Llama 3.2 90B Eğitimi: Groq ve Streamlit ile Görsel Altyazı Uygulaması

Meta, Llama 3.2 11B & 90B görsel modellerini tanıtarak Llama ekosistemine nihayet çok kipli yetenekler ekledi. Bu iki model hem metin hem görseli işlemekte oldukça başarılı; bu da beni 90B sürümünü kullanarak bir proje geliştirmeyi denemeye itti.

Bu yazıda yaptığım çalışmayı paylaşacak ve ön yüz için Streamlit, altyazı üretimi için motor olarak Llama 3.2 90B kullanarak etkileşimli bir görsel altyazı uygulamasını adım adım nasıl kuracağınızı anlatacağım.

Görsel Altyazı Uygulaması İçin Neden Llama 3.2 90B?

Llama 3.2-Vision 90B, hem görsel hem metin girdilerini içeren görevler için oluşturulmuş, son teknoloji bir çok kipli büyük dil modelidir (LLM).

Görsel akıl yürütme, görüntü tanıma ve görsel altyazı gibi karmaşık görevleri ele alma yeteneğiyle öne çıkar. 6 milyar görsel-metin çifti içeren devasa bir veri kümesi üzerinde eğitilmiştir.

Llama 3.2-Vision, metin görevlerinde çoklu dil desteği sunması (görselle ilgili uygulamalarda birincil odağı İngilizce olsa da) nedeniyle uygulamamız için iyi bir seçimdir. Görsel Soru Cevaplama (VQA), Doküman VQA ve görsel-metin erişimi gibi görevler için güçlüdür; görsel altyazı da öne çıkan kullanım alanlarından biridir.

Şimdi bu yeteneklerin görsel altyazı gibi gerçek bir uygulamaya nasıl yansıdığına bakalım.

Görsel Altyazı İş Hattı

Görsel altyazı, bir görüntünün içeriğini özetleyen betimleyici metnin otomatik olarak üretilmesidir. Görsel ayrıntıları dilde yorumlamak ve ifade etmek için bilgisayarlı görü ile doğal dil işlemeyi birleştirir.

Geleneksel olarak görsel altyazı, genellikle görüntü işleme ve dil üretimi için ayrı aşamalar içeren karmaşık bir işlem hattı gerektirirdi. Standart yaklaşım üç ana adımdan oluşur: görsel ön işleme, özellik çıkarımı ve altyazı üretimi.

1. Görsel ön işleme: Görseller genellikle modelin girdi gereksinimlerini karşılamak üzere yeniden boyutlandırılır, normalleştirilir ve bazen kırpılır.
2. Özellik çıkarımı: Görseldeki nesneleri, sahneleri veya ilgili ayrıntıları tanımlamak için görsel özellikler çıkarılır. Çoğu modelde bu, görseli yorumlayıp dil modellerinin anlayabileceği yapılandırılmış veriler üreten ayrı bir görsel model gerektirir.
3. Altyazı üretimi: Çıkarılan bu özellikler, görsel veride tanımlanan nesneleri, bağlamı ve ilişkileri bir araya getirerek tutarlı bir açıklama oluşturmada dil modeli tarafından kullanılır.

Llama 3.2 90B ile bu geleneksel olarak karmaşık süreç daha basit hale geliyor. Modelin görsel adaptörü, görsel özellikleri dil modelinin çekirdeğine entegre ederek görselleri doğrudan yorumlayıp basit istemlerle altyazı üretebilmesini sağlar.

Mimarisi içine çapraz dikkat katmanları yerleştirildiği için Llama 3.2 90B, ayrı işlem aşamalarına gerek kalmadan yalnızca modellere istem vererek bir görseli betimlemeye olanak tanır. Bu sadelik, tek bir istemle bir görselin özünü etkili biçimde yakalayan doğal ve betimleyici altyazılar elde etmeyi mümkün kılar.

Görsel Altyazı Uygulamasına Genel Bakış

Llama 3.2 90B'nin gücünü ortaya koymak için, ön yüz için Streamlit ve altyazı üretimi için Groq kullanan basit ama etkili bir görsel altyazı uygulaması geliştireceğiz.

Uygulama, kullanıcıların bir görsel yükleyip yalnızca iki tıklamayla model tarafından üretilen betimleyici bir altyazı almasına olanak tanıyacak. Kurulum kullanıcı dostudur ve başlamanız için asgari düzeyde kod bilgisi gerektirir.

Uygulamamız şu özellikleri içerecek:

1. Başlık: Uygulamanın amacını ortaya koyan belirgin bir başlık, Llama Captioner.
2. Yükleme düğmesi: Kullanıcının cihazından görsel yüklemek için bir arayüz.
3. Oluştur düğmesi: Altyazı üretim sürecini başlatan bir düğme.
4. Altyazı çıktısı: Uygulama, üretilen altyazıyı doğrudan arayüzde gösterecek.

Llama 3.2 90B Uygulamamız İçin Kod Uygulaması

Groq API, kullanıcının yüklediği görsel ile Llama 3.2-Vision modeli arasında köprü görevi görecek. Benimle birlikte ilerleyip kodlamak isterseniz, önce şunları yaptığınızdan emin olun:

1. Groq API anahtarınızı Groq Console üzerinden kaydolarak edinin.
2. API anahtarınızı erişimi kolaylaştırmak için bir credentials.json dosyasına kaydedin.
3. Kurulum ve yapılandırma için Groq'un hızlı başlangıç kılavuzunu izleyin.

Aşağıdaki Python kodu, Groq API ile etkileşim kurmak için bir Streamlit uygulaması kurar. Şunları içerir:

1. Web uygulaması geliştirme (Streamlit), yapay zeka etkileşimleri (Groq), görsel işleme (base64) ve dosya işlemleri (os, json) için kütüphaneleri içe aktarır.
2. Groq API anahtarını, güvenliği artırmak amacıyla ayrı bir JSON dosyasından okur.
3. Görselleri verimli iletim ve işleme için base64 biçimine kodlayan bir işlev tanımlar.

import streamlit as stfrom groq import Groqimport base64import osimport json# Set up Groq API Keyos.environ['GROQ_API_KEY'] = json.load(open('credentials.json', 'r'))['groq_token']# Function to encode the imagedef encode_image(image_path):   with open(image_path, "rb") as image_file:       return base64.b64encode(image_file.read()).decode('utf-8')Altyapı:

Ardından, yüklenen bir görselin Groq API kullanılarak metinsel açıklamasını üretmek için tasarlanmış aşağıdaki işlevi yazıyoruz. İşlevin yaptığı işlerin özeti:

1. Görsel kodlama: Yüklenen görsel, base64 ile kodlanmış bir dizeye dönüştürülür. Bu biçim, görsel verisinin API isteği içinde kolayca iletilmesini sağlar.
2. Groq API ile etkileşim: Groq servisiyle iletişimi sağlamak için bir Groq istemcisi başlatılır. Şunlardan oluşan bir sohbet tamamlama isteği oluşturulur:

• Bir kullanıcı istemi: "What's in this image?"
• Veri URI içine gömülü, base64 ile kodlanmış görsel verisi. Görseli işleyip metinsel bir açıklama üretmesi için llama-3.2-90b-vision-preview modeli belirtilir.

3. Altyazı çıkarımı: Üretilen altyazı, Groq API yanıtından alınır. Altyazıyı içeren ilk seçeneğin mesaj içeriği döndürülür.

# Function to generate captiondef generate_caption(uploaded_image):   base64_image = base64.b64encode(uploaded_image.read()).decode('utf-8')   client = Groq()   chat_completion = client.chat.completions.create(       messages=[           {               "role": "user",               "content": [                   {"type": "text", "text": "What's in this image?"},                   {                       "type": "image_url",                       "image_url": {                           "url": f"data:image/jpeg;base64,{base64_image}",                       },                   },               ],           }       ],       model="llama-3.2-90b-vision-preview",   )   return chat_completion.choices[0].message.contentAltyapı:

Son olarak, etkileşimli web uygulamamızı Streamlit ile oluşturuyoruz:

# Streamlit Appst.title("Llama Captioner")uploaded_file = st.file_uploader("Upload an image", type=["jpg", "jpeg", "png"])if uploaded_file is not None:   # Show the uploaded image   st.image(uploaded_file, caption="Uploaded Image", use_container_width=True)   if st.button("Generate Caption"):       with st.spinner("Generating caption..."):           caption = generate_caption(uploaded_file)       st.success("Caption Generated!")       st.write("**Caption:**", caption)Altyapı:

Nihai Streamlit Uygulaması: Llama Captioner

Bu Streamlit uygulaması, görsel altyazı için kullanıcı dostu bir arayüz sunar. İşlevlerinin özeti:

1. Başlık ve dosya yükleyici:

• Uygulama şu başlığı gösterir: "Llama Captioner".
• Bir dosya yükleyici bileşeni, kullanıcıların bir görsel dosyası seçmesine (JPG, JPEG veya PNG) olanak tanır.

2. Görsel gösterimi:

• Bir görsel yüklendiğinde, uygulama onu st.image işleviyle gösterir.

3. Altyazı üretimi:

• "Generate Caption" adlı bir düğme, altyazı üretim sürecini tetikler.
• Tıklandığında, altyazının üretildiğini belirten bir döndürücü görünür.
• Yüklenen görseli işleyip bir altyazı elde etmek için generate_caption işlevi çağrılır.
• Başarılı bir şekilde üretildikten sonra bir başarı mesajı ve ardından üretilen altyazı gösterilir.

Aşağıdaki parçacık, Eddie Hall'un bir görselinin yüklenerek altyazı üretildiği canlı kod örneğidir. Şaşırtıcı biçimde, net görünmeyen "Strongest Man" gibi bilgileri bile çıkardı.

Sonuç

Llama 3.2 90B ve Streamlit ile bir görsel altyazı uygulaması geliştirmek, ileri düzey yapay zekanın zorlu görevleri nasıl kolaylaştırabileceğini gösteriyor. Bu proje, güçlü bir modeli basit bir arayüzle birleştirerek sezgisel ve kullanımı kolay bir araç ortaya koyuyor.

Bir Yapay Zeka Mühendisi olarak, bu tür araçlarda büyük bir potansiyel görüyorum. Teknolojiyi daha erişilebilir kılabilir, insanların içerikle daha iyi etkileşime girmesine yardımcı olabilir ve süreçleri daha akıllı yollarla otomatikleştirebilirler.

Llama konusunda öğrenmeye devam etmek için şu kaynakları öneririm:

• Torchchat ile Android Telefonda Llama 3.2 1B Nasıl Çalıştırılır
• Llama 3.2 ve Gradio Eğitimi: Çok Kipli Bir Web Uygulaması Oluşturun
• Llama Stack: Pratik Örneklerle Bir Rehber
• Llama 3.2'yi İnce Ayarlama ve Yerelde Kullanma: Adım Adım Rehber
• Llama 3.3: Demo Projesiyle Adım Adım Eğitim