Vicuna-13B Eğitimi: Vicuna-13B Çalıştırma Kılavuzu

Büyük dil modellerinin ortaya çıkışı, OpenAI'nin GPT-3.5 ve GPT-4 gibi teknolojilerin gücünü çeşitli uygulamalara taşıyarak sektörleri dönüştürdü. Ancak yüksek maliyet ve veri gizliliği endişeleri, potansiyel benimseyicileri sıklıkla caydırıyor. Tam da burada Vicuna-13B gibi açık kaynaklı modeller devreye giriyor; benzer performansı, hassas bilgiler için ciddi maliyet ve risk olmadan sunuyorlar.

GPT-3.5 ve GPT-4 hakkında daha fazla bilgi edinmek için, OpenAI Python paketiyle ChatGPT ile programatik olarak nasıl sohbet edileceğini anlamanıza yardımcı olacak Python'da OpenAI API'si üzerinden GPT-3.5 ve GPT-4 Kullanımı eğitimimiz iyi bir başlangıç noktasıdır.

Vicuna-13B nedir?

Vicuna-13B, ShareGPT'den toplanan, kullanıcıların paylaştığı sohbetlerle LLaMa 13B modelinin ince ayarından eğitilmiş, açık kaynaklı bir sohbet modelidir.

Yargıç olarak GPT-4'ün kullanıldığı ön değerlendirme, Vicuna-13B'nin ChatGPT ve Google Bard kalitesinin %90'ından fazlasına ulaştığını ve ardından LLaMa ve Alpaca gibi diğer modelleri vakaların %90'ından fazlasında geride bıraktığını gösterdi. Genel ince ayar ve değerlendirme iş akışı aşağıda gösterilmiştir:

Vicuna-13B ince ayar ve değerlendirme iş akışı (kaynak)

Bu, Vicuna-13B'nin gücünü ortaya koysa da modelin kendi sınırlamaları vardır ve matematik ile akıl yürütme gibi görevlere sınırlı değildir.

LMSYSORG görseli, yazar tarafından düzenlenmiştir

Vicuna-13B'nin kullanım alanları

Akıllı bir sohbet botu olarak Vicuna-13B'nin uygulamaları sayısızdır ve bunlardan bazıları müşteri hizmetleri, sağlık, eğitim, finans ve seyahat/konaklama gibi farklı sektörlerde aşağıda gösterilmiştir.

Gerçek hayatta Vicuna-13'ün beş farklı uygulaması

• Müşteri hizmetleri: 7/24 hizmet sunabilme yetenekleri sayesinde, sohbet botları müşterileri desteklemek ve tekrarlayan, basit sorguları otomatikleştirmek için kullanılabilir. Örneğin Sephora, müşterilerine ürün bulma, sipariş durumunu kontrol etme ve web sitelerinden makyaj ipuçları alma konularında yardımcı olmak için sohbet botları kullanıyor.

• Sağlık: Hastalar kişiselleştirilmiş sağlık bilgilerine hızla ulaşabilir; bu da sağlık uzmanlarının yeni tedavi keşifleri için diğer araştırmalara odaklanmalarını sağlar. Örneğin Babylon Health, hastaların sağlık durumunu daha iyi izlemek için sağlık değerlendirmeleri yapmak üzere yapay zekâ destekli sohbet botlarından yararlanıyor.

• Eğitim: Duolingo gibi birçok saygın eğitim kurumu, öğrencilerin ilgisini artırmak ve daha ileri düzey kavramların anlaşılmasını kolaylaştırmak için yapay zekâ botlarını daha yaratıcı bir şekilde kullanıyor.

• Finans: Yardım gerektiğinde banka hesabımla ilk etkileşimim akıllı bir bot aracılığıyla oluyor ve Wells Fargo gibi birçok bankanın, bakiye sorgulama, para transferi ve hesap yönetimi gibi tekrarlayan görevlerde müşterilerine yardımcı olmak için benzer teknolojileri kullandığına inanıyorum.

• Seyahat/konaklama: Bankacılık hizmetlerine benzer şekilde, sohbet botları kullanıcıların bütçesine ve seyahat gereksinimlerine göre en iyi destinasyonları bulmalarına yardımcı olmak ve hatta sanal konsiyerj olarak kullanılabilir. Equinox Hotel New York'un konaklama sohbet botu, Omar, müşteri sorularının neredeyse %85'ini karşılıyor. Bu sayede üç aydan kısa sürede 2600 yeni talep işleyip yalnızca dört ayda 150 nitelikli potansiyel müşteri ürettiler.

Yukarıdaki liste kapsamlı değildir; NLP veri biliminin geleceğini nasıl değiştiriyor başlıklı makalemiz, NLP'nin veri bilimi ve makine öğreniminin geleceğini nasıl yönlendirdiğini, gelecekteki uygulamalarını, risklerini ve bunları nasıl azaltabileceğinizi ele alır.

Vicuna-13B'yi çalıştırmayı öğrenmenin önemi ve ilgisi

Bu gerçek dünya uygulamalarına dayanarak, Vicuna-13B gibi yapay zekâ destekli sohbet ajanlarına büyük sektörlerde muazzam bir talep olduğundan şüphe yoktur.

Bu nedenle, giderek daha fazla şirket müşteri etkileşimlerini güçlendirmek, daha fazla potansiyel müşteri üretmek ve genel olarak yatırım getirisini artırmak için bu teknolojileri kullandıkça, bu tür bir teknolojiyi bir sektör iş akışına nasıl uygulayıp entegre edeceğini öğrenmek giderek daha önemli bir beceri haline geliyor.

İyi haber şu ki, bu eğitimin tüm amacı, Vicuna-13B modelini çalıştırmak ve bunu herhangi bir kurumsal bilgi sistemi iş akışına entegre edebilmek için gereken becerileri geliştirmenize yardımcı olmaktır.

Önkoşullar

Vicuna-13B modelinin çalıştırma sürecine dalmadan önce, aşağıdakileri içeren önkoşulları doğru şekilde kurmak önemlidir:

• Vicuna-13B iş akışını anlama
• Gerekli donanım ve yazılımın kurulması
• Vicuna-13B için LLaMa ağırlıklarının edinilmesi

Bu gereksinimler karşılandıktan sonra, girdi ve çıktı biçimlerini daha iyi anlayacak ve modeli başarıyla çalıştırabileceğiz.

Vicuna-13B iş akışını anlama

Vicuna-13B'nin girdi ve çıktı biçimini daha iyi anlamak, geliştiriciye modelin karar verme sürecini etkileyebilecek faktörler hakkında asgari bir bilgi sağlayabilir.

Bu bölümde, girdide gerekli temel parametreler ile Vicuna-13B modelinin beklenen çıktı biçimi açıklanmaktadır.

Uçtan uca iş akışının minimalist iş akışı

Yukarıdaki iş akışını anlayalım. Önce kullanıcı, yanıt almak istediği ana metinsel istek olan istemi içeren istediği girdiyi gönderir.

İstem, aşağıdaki ek parametrelerle birlikte sağlanır:

• Max-length: modelin nihai yanıtta dikkate alması gereken azami karakter sayısını belirtmek için kullanılır.
• Temperature: bu değer 0 ile 1 arasında değişir. Değer ne kadar düşükse, nihai sonuç o kadar belirleyicidir. Öte yandan daha yüksek bir değer daha fazla rastgeleliğe, dolayısıyla daha çeşitli ve yaratıcı çıktılara yol açar.
• Top-p: tahminlerin çeşitliliğini kontrol etmek için kullanılır; yani kümülatif olasılığı belirli bir eşiği aşan en olası belirteçleri seçer. Sıfırdan başlayarak, daha yüksek bir değer daha iyi bir çıktı bulma şansını artırır ancak ek hesaplama gerektirir.
• Repetition_penalty: belirli bir kelime sıkça geçiyorsa, bu parametre o kelimenin fazla tekrarlanmasını önlemeye yardımcı olur ve nihai sonucu daha çeşitli kılar.
• Seed: aynı girdiye birden çok çalıştırmada tutarlı sonuç sağlamak için.
• Debug: kullanıcı hata ayıklama modunu etkinleştirmek istediğinde yararlı olabilir; bu, modelin davranışını ve performansını teşhis etmek için faydalıdır.

Yukarıdaki parametrelerle istem gönderildikten sonra, Vicuna-13B modeli gerekli çıktıyı üretmek için perde arkasında ilgili işlemleri gerçekleştirir ve bu, aşağıdaki şemaya karşılık gelir:

• Text: Vicuna modelinin ürettiği metinsel çıktı
• Metadata: model tarafından üretilen bazı ek bilgiler. Ayrıntılı açıklama sonraki bölümlerde verilmiştir.

Gerekli donanım ve yazılımın kurulması

Girdi ve çıktıyı daha iyi anladığımıza göre, vicuna modelini başarıyla çalıştırmak için gereken ana kütüphanelerin belirlenmesine geçebiliriz.

• Conda: vicuna modelinin bağımlılıkları için temiz ve yalıtılmış bir ortam sağlar.
• FastAPI: kullanıcının isteminin otomatik analizini sağlayan, Vicuna modelinin API'sini geliştirmek için modern bir çerçeve sunar.
• Uvicorn: Vicuna modelinin FastAPI uygulamasını sunar, verimli ve güvenilir performans sağlar.
• LLaMa.cpp: vicuna modelini oluşturan büyük dil modellerinin işlem karmaşıklığını yönetir.

Sanal ortamın oluşturulması

Bu bölümdeki tüm komutlar bir terminalden çalıştırılır. conda create ifadesini kullanarak vicuna-env adlı bir sanal ortam oluşturuyoruz.

conda create --name vicuna-env

Sanal ortam başarıyla oluşturulduktan sonra, aşağıdaki gibi conda activate ifadesini kullanarak yukarıdaki sanal ortamı etkinleştiriyoruz:

conda activate vicuna-env

Yukarıdaki ifade, terminalin başında parantez içinde ortam değişkeninin adını aşağıdaki gibi göstermelidir:

Etkinleştirmeden sonra sanal ortamın adı

Kütüphanelerin kurulumu

Yukarıdaki kütüphaneler iki şekilde kurulabilir. İlki, her kütüphane için tek tek pip install çalıştırmaktır; çok sayıda kütüphane ile uğraşırken bu zaman alıcıdır ve endüstri düzeyinde çalışırken optimal değildir.

İkincisi en iyi seçenektir ve gerekli her bir kütüphaneyi içeren bir requirements.txt dosyası kullanır. Aşağıda requirements.txt dosyasının içeriği ve tek bir pip install komutuyla kurulum yer almaktadır.

# Content of the requirements.txt file

llama-cpp-python==0.1.48
fastapi 
uvicorn[standard]

Üç kütüphanenin tamamı aşağıdaki şekilde kurulabilir:

pip install -r requirements.txt

LLaMa ağırlığının edinilmesi

Hugging Face platformundan, aşağıda gösterildiği gibi Vicuna model ağırlıklarını indirebiliriz:

Hugging Face'ten Vicuna-13B ağırlığını indirmek için iki ana adım

Kodun daha iyi organize edilmesi için, indirilen modelin ağırlığını yeni bir model klasörüne taşıyabiliriz.

Bir API'nin Paketlenmesi ve Oluşturulması

Modeli komut satırı üzerinden çalıştırmak için tüm önkoşullar karşılanmış olsa da, modele arayüz sağlayan bir API dağıtmak daha pratik bir yaklaşımdır. Bu, modeli daha geniş bir kullanıcı kitlesi için kolayca erişilebilir kılacaktır.

Bu seviyeye ulaşmak için aşağıdaki adımlara ihtiyacımız var:

• Modeli yerel makineden yüklemek
• Modeli sunmak için bir API oluşturmak

Kaynak kodun genel yapısı aşağıda verilmiştir; tam kod GitHub'da mevcuttur.

------ model
         |------- ggml-vicuna-13b-4bit.bin

------ requirements.txt
------ vicuna_app.py

• ggml-vicuna-13b-4bit.bin, model klasöründeki indirilen model ağırlığıdır
• requirements.txt, modeli çalıştırmak için gerekli bağımlılıkları içerir
• vicuna_app.py, bu bölümün ana odağı olan API'yi oluşturmak için Python kodunu içerir.

API'nin ana rotalarının tanımı

Bizim durumumuzda aşağıdaki iki ana rota gereklidir. Bundan önce, ilgili kütüphaneleri içe aktarmamız, modeli yüklememiz ve FastAPI modülünün bir örneğini oluşturmamız gerekir.

# Import the libraries
from fastapi import FastAPI, HTTPException
from llama_cpp import Llama

# Load the model 
vicuna_model_path = "./model/ggml-vicuna-13b-4bit.bin"
vicuna_model = Llama(model_path=vicuna_model_path)

app = FastAPI()

• Birinci rota: Varsayılan "/” rotası, parametre almayan home() işlevi aracılığıyla “Message”: “Welcome to the Vicuna Demo FastAPI” biçimindeki JSON'u döndürür.

# Define the default route
@app.get("/")
def home():
   return {"Message": "Welcome to the Vicuna Demo FastAPI"}

• İkinci rota: “/vicuna_says” kullanıcının istemini parametre olarak alan ve Vicuna modelinin sonucunu ve bazı ek metaverileri içeren bir JSON yanıtı döndüren answer_prompt() işlevini tetiklemekten sorumludur.

@app.post("/vicuna_says")
def answer_prompt(user_prompt):

   if (not (user_prompt)):
       raise HTTPException(status_code=400,
                           detail="Please Provide a valid text message")

   response = vicuna_model(user_prompt)

   return {"Answer": response}

Rotaların çalıştırılması

Son olarak, vicuna_app.py dosyasının konumundan komut satırında aşağıdaki komutla API'yi çalıştırabiliriz.

uvicorn vicuna_app:app --reload

• uvicorn, unicorn sunucusunu başlatır.
• vicuna_app: python vicuna_app.py'ye karşılık gelir. ":" işaretinin solundaki kısımdır.
• app: vicuna_app.py dosyası içinde app = FastAPI() ifadesiyle oluşturulan nesneye karşılık gelir. Dosyanın adı main.py olsaydı komut uvicorn main:app --reload olurdu.
• --reload: herhangi bir kod değişikliğinden sonra sunucuyu yeniden başlatmak için kullanılan bir seçenektir. Bunun yalnızca geliştirme aşamasında, dağıtım aşamasında değil, kullanılacağını unutmayın.

Önceki komutu çalıştırmaktan elde ettiğimiz sonuç aşağıdadır; sunucunun yerel bilgisayarda 8000 portunda çalıştığını görebiliriz (http://127.0.0.1:8000)

Yerel makinede çalışan API'nin URL'si

Varsayılan rotaya erişmek basittir. Herhangi bir tarayıcıya aşağıdaki URL'yi yazmanız yeterlidir.

Varsayılan rotadan gelen yanıt

Şimdi ilginç bir kısım. http://127.0.0.1:8000/docs URL'si, API ile etkileşim kurmak için eksiksiz bir pano sağlar ve sonuç aşağıdadır.

İki rotanın görsel gösterimi

Önceki görselden, yeşil kutudaki /vicuna_says öğesini seçtiğimizde, aşağıda gösterildiği gibi API'mizle etkileşime geçmek için eksiksiz bir kılavuz elde ederiz.

Kullanıcının istemini yürütmenin üç ana adımı

Sadece Try it out sekmesini seçin ve tahmin almak istediğiniz mesajı text_message alanına girin.

Execute düğmesini seçtikten sonra sonunda aşağıdaki sonucu elde ederiz.

Vicuna modelinin kullanıcının sorgusuna sunucu yanıtı

Vicuna modelinin yanıtı "text" alanında sağlanır ve sonuç oldukça etkileyici görünüyor.

Modelin kullanıldığı sürüm, yanıtın oluşturulma tarihi, istemdeki belirteç sayısı ve yanıttaki belirteç sayısı gibi ek metaveriler de sağlanır.

Dağıtımların Vicuna-13B kullanımını nasıl kolaylaştırdığına dair bazı içgörüler

Böylesine güçlü bir modelin dağıtımı, kullanıcı deneyimini ve operasyonel verimliliği aşağıdakilerle sınırlı olmamak üzere çeşitli dikkat çekici şekillerde artırır:

• Erişim kolaylığı: Dağıtım, kullanıcıların modele bir API aracılığıyla erişmesine olanak tanır; modeli yerel olarak indirme ve kurma ihtiyacını ortadan kaldırır.

• Kaynak yönetimi: Yeterli sunucu kaynakları birden çok eşzamanlı isteği işleyerek güvenilir bir hizmet sağlar.

• Ölçeklenebilirlik: Kaynaklar, artan kullanıcı taleplerini karşılamak üzere ölçeklendirilebilir ve tutarlı performans sağlanır.

• Güncellemeler ve bakım: Merkezi güncellemeler ve bakım, kullanıcıların her zaman modelin en son sürümüne erişmesini sağlar.

• Entegrasyon: Diğer sistem ve uygulamalarla daha kolay entegrasyon, modelin potansiyel kullanım durumlarını ve çok yönlülüğünü genişletir.


Genel olarak, dağıtım vicuna-13B modelinin daha erişilebilir, güvenilir ve çok yönlü kullanımını kolaylaştırır ve onu çeşitli kullanıcılar ve uygulamalar için daha geniş ölçekte uygulanabilir kılar.

Vicuna-13B En İyi Uygulamalar ve İpuçları

Vicuna-13B modeliyle çalışırken, bazı en iyi uygulamalar ve ipuçları geliştiricilerin deneyimlerini ve sonuçlarını optimize etmelerine ve yaygın sorunları gidermelerine yardımcı olabilir.

Vacune-13B modelinin performansını optimize etmeye yönelik ipuçları

Bu en iyi uygulamaları ve ipuçlarını izleyerek, Vicuna-13B modeliyle çalışırken daha sorunsuz bir deneyim ve daha iyi sonuçlar elde edilebilir.

Vicuna-13B modelinin performansını optimize etmek için 4 ipucu

• Donanım optimizasyonu: Vicuna-13B'yi barındıran sunucunun, modelin hesaplama ihtiyaçlarını verimli şekilde karşılamak için yeterli RAM ve CPU kaynaklarına sahip olmasını sağlayın.
• Toplu işleme: Mümkün olduğunda verileri toplu olarak işleyerek modelin paralel işleme yeteneklerinden yararlanın.
• Sonuçları önbelleğe alma: Sık karşılaşılan sorguların sonuçlarını önbelleğe alarak yinelenen hesaplamaları azaltın ve yanıt sürelerini iyileştirin.
• Girdi ön işleme: Girdi verilerini model için en uygun biçimde olduğundan emin olacak şekilde ön işleyin; bu hem doğruluğu hem performansı artırmaya yardımcı olur.

Yaygın sorunların giderilmesi

Performans optimizasyonundan geçiş yaparken, Vicuna-13B kullanımında ortaya çıkabilecek yaygın sorunları gidermede yetkin olmak da önemlidir; aşağıda dört örnek verilmiştir:

Bazı yaygın sorun giderme konuları

• Bellek hataları: Bellek hatalarıyla karşılaşılırsa, sunucunun RAM'ini artırmak veya girdinin boyutunu model için daha yönetilebilir hale getirecek şekilde optimize etmek gibi seçenekleri değerlendirin.
• Yavaş yanıt süreleri: Modelden kaynaklanan yavaş yanıt sürelerini iyileştirmek için sunucunun CPU'sunu yükseltin veya toplu işlemeyi kullanın.
• Hatalı çıktılar: Hatalı veya beklenmedik çıktılar durumunda, sonuçları etkileyebilecek anormallikler veya hatalar açısından girdi verilerini dikkatle gözden geçirin.
• Entegrasyon sorunları: Vicuna-13B'nin diğer sistemler veya uygulamalarla entegrasyonunda zorluklar yaşanırsa, API belgelerini ayrıntılı biçimde inceleyin ve tüm entegrasyon noktalarının doğru yapılandırıldığını doğrulayın.

Sonuç

Özetle, bu makale Vicuna-13B modelinin kurulumu ve kullanımı hakkında kapsamlı bir genel bakış sundu. Modeli başarıyla çalıştırmak için gerekli LLaMa ağırlıklarının edinilmesi de dahil olmak üzere gerekli donanım ve yazılım önkoşullarını ele aldık.

Çalışma ortamının kurulumu, gerekli yazılımın yüklenmesi ve Vicuna-13B'nin ağırlıklarının ayarlanmasına ilişkin ayrıntılı talimatlar verildi; dil modellerinde ağırlıkların önemine vurgu yapıldı.

Ayrıca, Vicuna-13B'nin paketlenmesi ve dağıtımına değinerek, dağıtımın bir web arayüzü ve API olarak kullanımını nasıl kolaylaştırdığını vurguladık.

Son olarak, Vicuna-13B ile etkileşim kurmaya yönelik pratik içgörüler, yeteneklerine ilişkin örnekler ve performansını optimize etmeye ve yaygın sorunları gidermeye yönelik en iyi uygulamalar da paylaşıldı.

Yapay zekâ ve makine öğrenmesinin dünyasına daha derinlemesine dalmaya hazır mısınız? Yapay zekâ profesyonellerinin kullandığı güçlü derin öğrenme çerçevesiyle becerilerinizi geliştirin. Deep Learning with PyTorch kursuna bugün katılın.