Foundation Model'lar Nedir?

BERT, GPT-3, DALL-E 2, LLaMA, BLOOM; bu modeller, ChatGPT'nin yayınlanmasından bu yana tanık olduğumuz yapay zekâ devriminin bazı yıldızları. Bu modellerin ortak noktası ne? Tahmin ettiğiniz gibi: hepsi foundation model.

Foundation model'lar yapay zekâda nispeten yeni bir gelişmedir. Bu modeller, çıktının genelliğini ve çok yönlülüğünü optimize etmek üzere tasarlanmış algoritmalardan geliştirilir. Geniş bir yelpazede veri kaynağı ve büyük miktarda veri üzerinde eğitilen, çoğu zaman özel olarak geliştirilip eğitilmedikleri bazı aşağı akış görevler de dahil olmak üzere çok çeşitli görevleri yerine getirebilen büyük ölçekli sinir ağlarına dayanırlar.

Foundation model'ların yaygınlaşması, Dar Yapay Zekâ ile Yapay Genel Zekâ (AGI), diğer adıyla Güçlü Yapay Zekâ arasındaki klasik tartışmayı yeniden alevlendiriyor. Dar Yapay Zekâ, belirli görevler için tasarlanmış ancak planlanan kapsamın dışındaki görevleri yerine getiremeyen yapay zekâ sistemlerini ifade eder. Buna karşılık AGI, tıpkı bir insan gibi çok çeşitli görevlerde anlayabilen, öğrenebilen ve bilgiyi uygulayabilen varsayımsal bir yapay zekâ sistemidir.

Foundation model'lar henüz insanlar gibi düşünmekten uzak olsa da, bizi AGI eşiğine yaklaştıran çığır açıcı sonuçlar sunuyor. Bu nedenle veri profesyonellerinin ve alan dışı kişilerin bu modellere aşina olması gerekir.

Konuya yeni başlayanlar için, AI Essentials Beceri Yolumuz yeni nesil yapay zekâ modellerine derin bir genel bakış sunar. Hâlihazırda becerileri olanlar için, üretken yapay zekâ projeleri hakkındaki makalemiz bilgilerinizi sınama fırsatı verir.

Hadi foundation model'lara yakından bakalım!

Foundation Model'lar Nedir? Temel Kavramları Anlamak

Foundation model, Üretken Yapay Zekâ, transformer ve büyük dil modelleri (LLM'ler) gibi diğer popüler kavramlarla örtüşebilen, nispeten yeni bir terimdir.

Yine de yapay zekâ terminolojisi hâlâ tartışmalıdır. Hızla evrilen yapay zekâ alanında yolunuzu bulmanıza yardımcı olacak bazı tanımlar şunlardır:

• Üretken Yapay Zekâ. İçerik üretmeyi birincil işlev olarak benimseyen yapay zekâ sistemlerini tanımlamak için kullanılan geniş bir terimdir; sınıflandırma ve tahmin gibi diğer görevler için tasarlanan sistemlerin aksine.
• Transformer. Transformer'lar derin öğrenme alanında devrim yaratmıştır. Sıralı veriyi daha etkili şekilde işlemek için yenilikçi bir mimari sunarlar. Metni işlemeye özellikle uygundurlar; bu nedenle doğal dil işleme (NLP) ve doğal dil üretimi (NLG) alanlarının temel taşlarından biri hâline gelmişlerdir. Ancak transformer'lar, görüntüler gibi diğer veri türleriyle de aynı derecede başarılı sonuçlarla kullanılmıştır.
• Büyük Dil Modeli. LLM'ler, insan dilini modellemek ve işlemek için kullanılan yapay zekâ sistemleridir. Transformer'lar LLM'lerin altında yatan teknolojilerdir. “Büyük” olarak adlandırılmalarının nedeni, yüz milyonlarca hatta milyarlarca parametreye sahip olmaları ve devasa bir metin veri külliyatı kullanılarak önceden eğitilmeleridir.
• Foundation Model. Çok geniş ve genel bir çıktı yelpazesi üretmek üzere tasarlanmış yapay zekâ modellerini tanımlamak için kullanılan geniş bir terimdir. Metin, video, görüntü veya ses üretimi gibi çeşitli görev ve uygulamaları gerçekleştirebilirler. Bu modellerin ayırt edici bir özelliği, bağımsız sistemler olarak çalışabilmeleri veya diğer uygulamalar için bir “temel” olarak kullanılabilmeleridir. Örneğin, GPT adlı LLM, ChatGPT'nin foundation model'ı olarak çalışır.

Foundation Model'lar Nasıl Çalışır?

Foundation model'ların dayandığı teknoloji –tasarlandıkları görev ve eğitimde kullandıkları veri türünden bağımsız olarak– transformer'dır.

2017'de Google araştırmacıları tarafından geliştirilen transformer'lar, sıralı veriyi, yani metni, işlemek için geleneksel tekrarlayan sinir ağlarına (RNN'ler) ve evrişimli sinir ağlarına (CNN'ler) bir alternatif sunar.

Transformer'lar, tutarlı bir yanıt oluşturmak için bir dizideki bir sonraki kelimeyi tahmin ederek çalışır. Bu süreç, bir yanıt üretilirken farklı kelimelerin etkisini tartan dikkat (attention) adı verilen bir mekanizmayla yürütülür.

Transformer'ları eğitmek iki adımdan oluşur: ön eğitim (pretraining) ve ince ayar (fine-tuning).

Ön eğitim

Bu aşamada, transformer'lar büyük miktarda ham (metin) veri üzerinde, birincil veri kaynağı olarak internet kullanılarak eğitilir.

Eğitim, verilerin etiketlenmesi için insan müdahalesi gerektirmeyen yenilikçi bir eğitim türü olan kendinden gözetimli öğrenme ile yapılır.

Ön eğitimin amacı, dilin istatistiksel kalıplarını öğrenmektir. Transformer'ların performansını artırmak için yaygın strateji, modelin boyutunu (yani parametre sayısını) ve ön eğitimde kullanılan veri miktarını artırmak olduğundan, bu aşama genellikle zaman alıcı ve maliyetlidir.

İnce ayar

Ön eğitim, bir transformer'ın dile dair temel bir anlayış kazanmasını sağlar ancak belirli pratik görevleri yerine getirmek için yeterli değildir. Bu nedenle model, belirli yönergeleri izleyen insan değerlendiricilerin yardımıyla oluşturulmuş daha dar, alan odaklı bir veri kümesi üzerinde eğitildiği bir ince ayar aşamasından geçer.

Modalite

Foundation model'ların bir diğer önemli özelliği modalitedir. Foundation model'ların girdi olarak alabileceği veri türüne bağlı olarak tek modlu (unimodal) veya çok modlu (multimodal) olabilirler. İlki yalnızca bir tür veriyi alıp aynı türde çıktı üretebilirken, ikincisi birden fazla türde girdi alıp birden fazla türde çıktı üretebilir (örneğin GPT-4 hem görüntü hem metin girdilerini kabul edip metin çıktıları üretebilir.

Transformer'ların nasıl çalıştığını anlamak zor olabilir ve bu makalenin kapsamı dışındadır. Daha ayrıntılı bir açıklama için, soruyu doğrudan ChatGPT'ye yönelttiğimiz ve daha teknik bir bakış için Transformer'lar ve Hugging Face'i ele aldığımız ChatGPT Nedir başlıklı makalemize göz atın.

LLM'lerin nasıl çalıştığı hakkında daha fazla ayrıntı isterseniz, Büyük Dil Modelleri (LLM'ler) Kavramları Kursumuz harika bir başlangıç noktasıdır.

Foundation Model'ların Uygulamaları

Foundation model'lar bağımsız bir sistem olarak veya sayısız aşağı akış yapay zekâ sistemi ve uygulamasının temeli olarak kullanılabilir. Modern foundation sistemlerinin çoğu metin veya kod üretmek ve NLP görevlerini yerine getirmek üzere tasarlanmış olsa da, görüntü veya müzik gibi diğer çıktı türlerini üretebilen sistemlerin sayısı artmaktadır.

Aşağıda en popüler foundation model'lardan bazılarının yer aldığı bir tablo bulabilirsiniz.