Ana içeriğe geç

12 GPT-4 Açık Kaynak Alternatifi

GPT-4'e benzer performans sunabilen ve çalıştırmak için daha az hesaplama kaynağı gerektiren açık kaynak alternatifler. Bu projeler, talimatlar, kod kaynakları, model ağırlıkları, veri kümeleri ve sohbet botu arayüzleriyle birlikte gelir.
Abid Ali Awan
Abid Ali Awan

Ücretsiz Hesabınızı Oluşturun

Alıştırma and program your progress.

Google ile devam edinDevam ederek, Kullanım Koşullarımızı ve Gizlilik Politikamızı kabul etmiş ve verilerinizin ABD'de saklandığını onaylamış olursunuz.

Kafesinden çıkan kuş benzeri bir yapay zekâ

GPT-4, OpenAI tarafından geliştirilen en gelişmiş Üretken Yapay Zekâdır. Çalışma biçimimizi kökten değiştiriyor. Ancak GPT-4 açık kaynak değildir; yani sonuçları yeniden üretebilmek için kod, model mimarisi, veri veya model ağırlıklarına erişimimiz yoktur. Kendi GPT-4 benzeri bir sohbet botumuzu oluşturamayız. 

Dengeyi sağlamak için açık kaynak LLM toplulukları, benzer performans ve işlevsellik sunan ve daha az hesaplama kaynağı gerektiren GPT-4 alternatifleri üzerinde çalışmaya başladı.

GPT-1, GPT-2, GPT-3 ve GPT-4 hakkında bilgi edinmek için şunlara göz atabilirsiniz: GPT-4 Nedir ve Neden Önemlidir? veya Veri Bilimi Projeleri için ChatGPT kullanmayı öğrenip uçtan uca veri bilimi projelerinde daha iyi olmak için istem mühendisliğinde ustalaşabilirsiniz. 

Bu yazıda, kısa açıklamalar ve ilgili araştırma makalesi, blog yazısı, sohbet botu demosu, kod kaynağı ve model kartına bağlantılarla birlikte 12 GPT-4 alternatifini tanıtacağız. 

Not: Bahsedilen bazı modellerin yalnızca araştırma ve akademik amaçlarla kullanımına izin veren ticari olmayan lisansları vardır. Kullanmadan önce bu sınırlamaları anlamanız gerekir.

1. ColossalChat

ColossalChat, eksiksiz bir RLHF (İnsan Geri Bildiriminden Pekiştirmeli Öğrenme) hattı kullanarak yapay zekâ modellerini klonlamanıza olanak tanıyan açık kaynaklı bir projedir. 

Tamamen açık kaynaklı olan proje; iki dilli veri kümesi, eğitim kodu, demo ve 4-bit kuantize çıkarım içerir. Tüm bu bileşenler, size daha ucuz ve daha hızlı şekilde özelleştirilmiş bir sohbet botu oluşturma imkânı sağlar.

image10.png

Görsel: ColossalChat

2. Alpaca-LoRA

Alpaca-LoRA, Stanford Alpaca ve düşük dereceli uyarlama (LoRA) kullanılarak oluşturulmuş bir modeldir. Düşük dereceli uyarlama, 4 GB RAM'li Raspberry Pi 4 üzerinde GPT-3.5 ile benzer kalitede bir Instruct modeli çalıştırmamıza olanak tanır. 

Proje; kaynak kodu, ince ayar örnekleri, çıkarım kodu, model ağırlıkları, veri kümesi ve demoyu sağlar. En iyi yanı ise tek bir RTX 4090 üzerinde birkaç saat içinde modelimizi eğitebilmemizdir.

image2.png

Görsel: Alpaca-LoRA

3. Vicuna

Vicuna, sohbet botları için tutarlı ve yaratıcı metinler üretebilir. ShareGPT.com'dan toplanan bir konuşma veri kümesi üzerinde ince ayar yapılan dönüştürücü tabanlı bir mimariye sahiptir.

Vicuna, ChatGPT performansının yaklaşık %90'ını sunar. Kullanıcıların kendi sohbet botlarını eğitmesine, sunmasına ve değerlendirmesine olanak tanıyan açık bir platform olan FastChat'in bir parçasıdır. FastChat, özel bir sohbet botu modeli oluşturmak için gerekli tüm bileşen ve araçları sağlar.

image14.png

Görsel: FastChat (lmsys.org)

4. GPT4ALL

GPT4ALL, Nomic AI Ekibi tarafından kelime problemleri, kod, hikâyeler, tasvirler ve çok turlu diyalog gibi destekli etkileşimlerden özenle derlenmiş büyük bir veri üzerinde geliştirilen bir sohbet botudur. Model mimarisi LLaMa tabanlıdır ve CPU üzerinde daha hızlı çıkarım için düşük gecikmeli makine öğrenimi hızlandırıcıları kullanır.

GPT4ALL ile bir Python istemcisi, GPU ve CPU üzerinde çıkarım, TypeScript bağlayıcıları, bir sohbet arayüzü ve bir Langchain arka ucu elde edersiniz.

image3.png

Görsel: gpt4all-ui

5. Raven RWKV

Raven RWKV, dönüştürücü tabanlı olmayan, RWKV (%%100 RNN) dil modeli ile çalışan ChatGPT benzeri açık kaynaklı bir model olan ChatRWKV'nin bir parçasıdır.

RNN'leri kullanarak model, dönüştürücülerle karşılaştırılabilir kalite ve ölçeklenebilirlik seviyelerine ulaşırken daha hızlı işlem ve VRAM tasarrufu gibi ek avantajlar sağlar. Raven, talimatları takip edecek şekilde ince ayarlandı ve Stanford Alpaca, code-alpaca ve daha pek çok veri kümesi üzerinde eğitildi. 

image6.png

Görsel: Raven RWKV 7B

6. OpenChatKit

OpenChatKit, sohbet botu uygulamaları geliştirmek için ChatGPT'ye açık kaynaklı bir alternatif sunan kapsamlı bir araç setidir. 

Bu araç seti, kendi talimat-uyarlı büyük dil modelinizi eğitmek, modele ince ayar yapmak ve botun yanıtlarını güncellemek için genişletilebilir bir getirme sistemi için adım adım talimatlar içerir. Ayrıca, uygunsuz soruları filtrelemeye yardımcı olabilecek moderasyon özellikleri de dahildir.

image11.png

Görsel: OpenChatKit 

7. OPT

OPT (Open Pre-trained Transformer) Dil Modelleri, ChatGPT kalitesine ulaşamasa da sıfır örnekli ve az örnekli öğrenmede, ayrıca Kalıpyargısal Önyargı analizinde dikkat çekici yetenekler sergilemiştir. 

OPT, 125M ile 175B parametre arasında değişen büyük dil modeli ailesidir. Modeller yalnızca kod çözücü dönüştürücülerdir; yani metni soldan sağa otoregresif olarak üretirler.

image4.png

Görsel: LLM'ler için Filigran

8. Flan-T5-XXL

Flan-T5-XXL, talimat biçiminde sunulan geniş bir veri kümesi koleksiyonu üzerinde ince ayar yapılmış T5 modelleridir. Bu tür bir ince ayar; PaLM, T5 ve U-PaLM gibi çeşitli model sınıflarında performansı önemli ölçüde artırmıştır. Ayrıca Flan-T5-XXL modeli, birden çok dili kapsayan 1000'den fazla ek görev üzerinde ince ayardan geçirilmiştir. 

image1.png

Görsel: Chat Llm Streaming

9. Baize

Baize, potansiyel riskleri azaltmaya yardımcı olan emniyet şeritleri sayesinde çok turlu diyaloglarda etkileyici performans sergiler. Bunu, ChatGPT'nin kendi kendisiyle konuşmasını sağlayarak geliştirilen yüksek kaliteli bir çok turlu sohbet külliyatı aracılığıyla başarmıştır.

Baize kod kaynağı, modeli ve veri kümesi ticari olmayan (araştırma amaçlı) bir lisansla yayımlanmıştır. 

image7.pngGörsel: Baize 7B

10. Koala

Koala, web'den kazınan bir diyalog veri kümesi üzerinde LLaMa'ya ince ayar yapılarak eğitilmiş bir sohbet botudur. Koala, birçok durumda Alpaca'dan daha iyi performans göstermiş ve ChatGPT'ye benzer sonuçlar sunmuştur. 

Koala; eğitim kodu, halka açık ağırlıklar ve diyaloğa özel ince ayar bileşeni sağlar ve 100 kişi tarafından değerlendirilmıştır.  

image8.png

Görsel: FastChat/Koala

11. Dolly

Dolly, Databricks tarafından eğitilen ve eski açık kaynaklı dil modellerini kullanarak onlara ChatGPT sihri gibi talimat izleme yeteneği kazandırabileceğimizi gösteren büyük bir dil modelidir. Model eğitimi, yüksek kaliteli eğitim verisi kullanılarak tek bir makinede 30 dakika sürer. Yüksek kaliteye ulaşmak için büyük modellere bile ihtiyacınız yoktur. Ekip, GPT-3'ün 175 milyarına kıyasla 6 milyar parametreli bir model kullanmıştır.

Ticari olarak kullanılabilen bir talimat izleme dil modeli olan Dolly 2.0'a göz atın.

image12.png

Görsel: Hello Dolly

12. Open Assistant

Open Assistant, herkese üst düzey sohbet tabanlı büyük dil modellere erişim vermeyi amaçlayan gerçek anlamda açık kaynaklı bir projedir. İnsanların üçüncü taraf sistemlerle etkileşime geçmesini, bilgiyi dinamik olarak getirmesini ve dili kullanarak yeni uygulamalar oluşturmasını mümkün kılarak dilde bir inovasyon devrimi yaratmayı hedefler. 

Büyük dil sohbet botunu tek bir üst düzey tüketici GPU'sunda çalıştırabilirsiniz; kodu, modelleri ve verileri açık kaynak lisanslarıyla lisanslanmıştır.

image5.png

Görsel: open-assistant.io

GPT-4 Alternatifleri: Karşılaştırmalı Bir Yaklaşım

Şimdiye kadar ele aldıklarımızı bu karşılaştırmalı tabloda gözden geçirelim:

Model AdıTemel ÖzelliklerFaydalarLisanslama
ColossalChatEksiksiz RLHF hattı, iki dilli veri kümesi, 4-bit kuantize çıkarımDaha hızlı, daha ucuz sohbet botu özelleştirmeAçık kaynak
Alpaca-LoRADüşük dereceli uyarlama, Raspberry Pi 4 üzerinde çalışırSınırlı donanımda yüksek kaliteli Instruct modeliAçık kaynak
VicunaShareGPT.com konuşma veri kümesi üzerinde ince ayarlıChatGPT performansının neredeyse %90'ı, FastChat platformunun parçasıAçık kaynak
GPT4ALLLLaMa mimarisi, düşük gecikmeli hızlandırıcılarCPU'larda hızlı çıkarım, çok turlu diyalogAçık kaynak
Raven RWKVRNN tabanlı dil modeli (dönüştürücü değil)Daha hızlı işlem, VRAM tasarrufuAçık kaynak
OpenChatKitTalimat-uyarlı LLM, ince ayar, moderasyon özellikleriSohbet botu geliştirme için kapsamlı araç setiAçık kaynak
OPTYalnızca kod çözücü dönüştürücüler, çeşitli parametre boyutlarıSıfır/az örnekli öğrenme, kalıpyargısal önyargı analizi
Ticari olmayan lisans (yalnızca araştırma ve akademik)
Flan-T5-XXL1000+ görevde talimat-İnce ayar, çok dilliÇeşitli model sınıflarında iyileştirilmiş performansAçık kaynak
BaizeÇok turlu diyalog, risk azaltma için emniyet şeritleriYüksek kaliteli sohbet külliyatı
Ticari olmayan lisans (yalnızca araştırma ve akademik)
KoalaDiyalog veri kümesi üzerinde ince ayarlı LLaMaAlpaca'yı aşan performans, birçok durumda ChatGPT'ye benzerAçık kaynak
DollyTek bir makinede 30 dakikada eğitilen talimat izleyen LLMDaha küçük modellerle ChatGPT benzeri yetenekleri gösterirAçık kaynak
Open AssistantTek bir tüketici GPU'sunda büyük dil sohbet botuGerçek anlamda açık kaynak, dinamik bilgi getirmeAçık kaynak

Önemli Hususlar

Bu açık kaynak alternatifler heyecan verici olanaklar sunsa da GPT-4 ile karşılaştırıldığında sınırlamalarının farkında olmak önemlidir.

  • Performans farkları: Bazı modeller GPT-4'ün yeteneklerine yaklaşsa da hiçbiri tüm görevlerdeki performansını tamamen kopyalamış değildir.
  • Kaynak kısıtları: Bazı modeller, eğitim ve ince ayar için önemli ölçüde hesaplama kaynağı gerektirebilir.
  • Topluluk odaklı: Açık kaynak projeler topluluk katkılarına dayanır; bu da kalite ve destek düzeylerinde farklılıklara yol açabilir.

Sonuç

Bu GPT-4 alternatifleri, araştırmacıların, geliştiricilerin ve küçük şirketlerin kendi dil tabanlı teknolojilerini oluşturmalarına ve sektördeki devlerle rekabet etmelerine yardımcı olabilir. Modellerin performansı GPT-4'ün üzerinde değildir; ancak zamanla ve topluluk katkılarıyla bazıları GPT-4'ü geride bırakma potansiyeline sahip olabilir.

ChatGPT'ye yeni başlıyorsanız Introduction to ChatGPT kursumuzu deneyin; üretken yapay zekâya aşinaysanız kapsamlı Veri Bilimi için ChatGPT El Kitabını inceleyerek veya aşağıdaki kaynaklara göz atarak istem yazmada kendinizi geliştirebilirsiniz.

Abid Ali Awan

Yazar

Abid Ali Awan

LinkedInTwitter

Sertifikalı bir veri bilimcisi olarak, yenilikçi makine öğrenimi uygulamaları oluşturmak için en son teknolojileri kullanmaya büyük ilgi duyuyorum. Konuşma tanıma, veri analizi ve raporlama, MLOps, konuşma yapay zekası ve NLP alanlarında güçlü bir geçmişe sahip olarak, gerçek bir etki yaratabilecek akıllı sistemler geliştirme becerilerimi geliştirdim. Teknik uzmanlığımın yanı sıra, karmaşık kavramları açık ve özlü bir dille ifade etme yeteneğine sahip, becerikli bir iletişimciyim. Sonuç olarak, veri bilimi konusunda aranan bir blog yazarı oldum ve giderek büyüyen veri profesyonelleri topluluğuyla görüşlerimi ve deneyimlerimi paylaşıyorum. Şu anda, içerik oluşturma ve düzenlemeye odaklanıyorum. Büyük dil modelleriyle çalışarak, hem işletmelerin hem de bireylerin verilerinden en iyi şekilde yararlanmalarına yardımcı olabilecek güçlü ve ilgi çekici içerikler geliştiriyorum.

Konular

Yapay Zeka

İlgili

Devamını Gör →