Resimler ve videolar her yerde. İnsanlar olarak sürüş, arkadaşlarımızı tanıma ve sorunları teşhis etme gibi birçok görev için görme duyumuza güveniriz. Bilgisayarlar günlük işlerimizin içine daha fazla girdikçe, onların da görüntüleri kullanabilmesi her zamankinden daha önemli hale geliyor. Görüntü analizi, bilgisayarların bir görüntüyü “görmesini” ve anlamasını sağlayan yöntemdir. Görüntü analizi makine öğrenimiyle desteklendiğinde, buna bilgisayarla görme diyoruz.
Bu eğitim, bilgisayarların görüntüleri nasıl “gördüğünü” anlatacak, görüntü işlemenin temellerini ele alacak ve son olarak makine öğrenimi ile üretken yapay zekânın görüntülere nasıl uygulanabileceğini tartışacaktır. Hadi başlayalım!
Görüntü sınıflandırma hakkında daha fazla bilgi edinmek isterseniz, Hugging Face ile Görüntü Sınıflandırma konulu birlikte kodlama oturumumuza göz atın.
Bilgisayarla Görme Nedir?
Bilgisayarla Görme, bilgisayarların ve sistemlerin dijital görüntüler, videolar ve diğer görsel girdilerden anlamlı bilgi elde etmesini sağlayan bir yapay zekâ alanıdır. Gören makinelerin bilim ve teknolojisidir. Bilimsel bir disiplin olarak bilgisayarla görme, kuramlarını ve modellerini bilgisayarla görme sistemlerinin inşasına uygulamayı amaçlar.
Özünde bilgisayarla görme, görsel veriyi yorumlamakla ilgilidir. Bir makinenin kullanabileceği sayısal veya sembolik bilgi üretmek için gerçek dünyadan yüksek boyutlu veriler çıkarmak amacıyla dijital görüntülerin edinilmesi, işlenmesi, analiz edilmesi ve anlaşılmasını kapsar. Fizik, matematik, elektrik mühendisliği ve bilgisayar bilimi gibi birçok disiplinden çeşitli yöntem ve teknikler kullanır.
Görüntü Analizine Giriş
En alt düzeyde bilgisayarlar 1’ler ve 0’larla çalışır. Görüntülerle çalışırken de durum farklı değildir. Bilgisayarlar bir görüntüyü 1’ler ve 0’lardan oluşan bir matris olarak temsil edebilir. Bir bilgisayar bir görüntüyü gösterirken, her biri tek bir renkle doldurulmuş piksellerden oluşan bir ızgara gösterir. Aşağıdaki siyah üçgen gibi çok basit bir şekli düşünün.
Şekil 1: 28 pikselden oluşan basit, düşük çözünürlüklü bir üçgen.
Bu şekil 28 pikselden oluşur: 16 siyah piksel ve 12 beyaz piksel. Aşağıdaki görüntüde her pikselin nasıl çerçevelendiğini görebilirsiniz.
Şekil 2: Her pikseli çerçevelenmiş siyah üçgen.
Ancak bu görüntü, bilgisayarın sakladığı sayı matrisinin yalnızca bir temsilidir.
Şekil 3: Üçgen görüntüyü oluşturan matristeki 1 ve 0’ların bir gösterimi.
Bu, yalnızca iki renge sahip görüntüler için oldukça basittir: siyah ve beyaz. Görüntünüz gri tonlardaysa daha fazla nüans gerekir. Bunun yerine kutularda 0,015 gibi sayılarla karşılaşabilirsiniz. Bu sayı, temelde bilgisayara ekrandaki her piksele hangi parlaklığı vermesi gerektiğini söyler. Siyah (1) ile beyaz (0) arasında bir değer tanımlar.
Renkli görüntüleri analiz etmek
Ama görüntüler nadiren bu kadar sönüktür. Peki bilgisayarlar renkli görüntülerle ne yapar? Bu üçgeni yeşile çevirelim!
Şekil 4: Öncekiyle aynı 28 piksellik üçgen, ancak biraz renk katıldı!
Bu durumda, bu rengi tanımlamak için sıfır ile bir arasında bir sayı kullanamazsınız. Mevcut çok fazla renk vardır; her birine sezgisel olacak tek bir sayı atamak pratik değildir.
Bunun yerine, bir rengin bireysel bileşenlerini ayırıp her bileşene sayılar atamak için birkaç sistem geliştirilmiştir.
Örneğin, RGB’yi duymuş olabilirsiniz. Bu, her rengi sırasıyla hedeflediğiniz rengi oluşturmak için birleşen kırmızı, yeşil ve mavi miktarlarına ayıran bir renk modelidir.
RGB modeli, televizyonlar gibi kırmızı, yeşil ve mavi piksellere sahip ekranların kullanımından ortaya çıkmıştır. Bu model, bu cihazlarda ışık tarafından kullanılan toplamsal renk karışımına olanak tanır.
Bu sistemde kırmızı, mavi ve yeşil “kanal” olarak adlandırılır. 8 bitlik bir görüntü için her kanala 0 ile 255 arasında bir değer atanır (bu, 8 basamaklı bir ikili sayının alabileceği en büyük değerdir).
Bunun basit yeşil üçgenimiz için ne anlama geldiğine bakalım.
Bu yeşil tonunun RGB değerleri sırasıyla 154, 205 ve 50’dir. Eğer bu saf bir yeşil olsaydı, kırmızı ve mavi kanalların her biri 0 olurdu. Bu RGB temsili, bu tonu oluşturmak için yeşile çokça kırmızı ve biraz mavi karıştırıldığını gösterir. Her pikseli tanımlayan üç kanallı değer vardır. Her yeşil piksel 154, 205, 50 ile ve her beyaz piksel 0, 0, 0 ile temsil edilir.
Bu, bu basit 28 piksellik yeşil üçgenin üç adet 7x4 matrisle temsil edildiği anlamına gelir.
Bu üç matrisi üst üste yığılıyormuş gibi hayal ederek bu görüntünün oluştuğunu düşünebilirsiniz.
Şekil 5: Bu basit yeşil üçgen için, RGB renk sistemindeki her renk kanalı görüntüyü temsil eden piksel değerlerinden oluşan bir matris içerir. Birleştirildiğinde bu üç matris üst üste gelerek bu tek görüntüyü oluşturur!
Görüntülerin, her pikselin onu tanımlamak için üç sayı gerektirdiği düşünüldüğünde, bir bilgisayarda ne kadar hızlı yer kaplayabileceğini görebilirsiniz. Bir an durup yüksek çözünürlüklü bir görüntünün, örneğin bir 4K görüntünün (4.000 pikseli olan) kaç sayıdan oluştuğunu düşünün.
RGB, görüntülere renk atamak için kullanılan tek sistem değildir. Dört sayıyla her rengi tanımlayan CYMK’yı da duymuş olabilirsiniz. Bu model dört rengi kullanır: camgöbeği, eflatun, sarı ve siyah. Bu, örneğin baskıda olduğu gibi çıkarımsal (subtractive) bir renk modeline ihtiyaç duyduğunuz durumlarda yararlıdır.
Her renk sisteminin avantajları ve dezavantajları vardır; görüntüleri analiz ederken bellek sorunlarıyla karşılaşıyorsanız birkaçını araştırmaya değer. Bu eğitimin amaçları doğrultusunda RGB ile devam edeceğiz.
Peki bu piksel değeri matrisleriyle neler yapabilirsiniz?
Elle Görüntü Analizi Teknikleri
Eşikleme ile Nesneleri İzole Etme
Bir bilgisayar, hangi piksellerin bir yüzü ya da başka bir nesneyi temsil ettiğine nasıl karar verir? Günümüzde bu tanımlama işinin büyük kısmı makine öğrenimi modelleriyle yapılıyor. Ancak bunları anlamak için önce bir görüntüde bir figürü elle nasıl izole edeceğinizi anlamanız faydalı olacaktır.
Açık renkli bir arka plan üzerinde iki kertenkele bulunan bir videoya sahip olduğunuzu hayal edin. Basitlik adına videoyu gri tonlamaya çeviriyorsunuz, böylece yalnızca tek bir kanal var. Videodaki kertenkelelerin hareketini izlemekle ilgileniyorsunuz.
Video, üst üste yığılmış bir dizi fotoğraftan (veya kareden) ibarettir. Bu nedenle ilk yapmanız gereken, bu yığını parçalamak ve her fotoğrafı tek tek ele almaktır. Artık elinizde tek bir gri tonlamalı fotoğraf olduğuna göre, bilgisayara fotoğrafın hangi kısmının kertenkele olduğunu, hangisinin olmadığını göstermeniz gerekir.
Teorik olarak, kertenkeleyi oluşturan her bir pikseli farenizle işaretleyip “kertenkele” olarak etiketleyebilirsiniz. Ancak çoğu fotoğrafın çözünürlüğü ve videonuzu oluşturan çok sayıda fotoğraf olduğu gerçeği göz önüne alındığında, bu makul bir öneri değildir.
Bunun yerine, bilgisayara neyin kertenkeleye ait olduğunu, neyin olmadığını söyleyen bir kural geliştirebilirsiniz. Bunu yapmanın en basit yolu eşiklemedir.
Şekil 6: Basitleştirmek için bu fotoğrafı gri tonlamalı olarak ele alacağız.
Eşikleme nedir?
Eşikleme, her piksele atanan sayısal değere dayalı olarak bir görüntünün bölümlere ayrılması işlemidir. Kertenkelelerin gri tonlamalı görüntüsüne tekrar bakın. Kertenkelelerin arka plandan daha koyu göründüğünü fark edin. Birçok görüntüde, izole etmek istediğimiz nesne ile arka planı arasında parlaklık farkı olur.
Eşikleme, bu parlaklık farkını kullanarak nesnenin, bu durumda kertenkelelerin, kenarını bulma işlemidir. Bu teknik, açık ve koyu pikselleri ayıran bir eşik parlaklığı tanımlamayı amaçlar.
İkili görüntü oluşturma
Bu gri tonlamalı görüntüyü tanımlayan sayı matrisini hayal edin. Her piksel 0 ile 255 arasında bir sayıyla tanımlanır.
Eşikleme ile, yeterince koyu olan her şeyin kertenkele olduğunu söyleyen bir kural tanımlayabilirsiniz. Örneğin, değeri 130 veya üzerinde olan herhangi bir pikselin kertenkele olduğunu, 130’un altındaki her şeyin ise kertenkele olmadığını söyleyebilirsiniz.
Teknik olarak, eşik değerine eşit veya daha büyük olan her şeyi 255’e, diğer her şeyi 0’a ayarlarsınız. Bu, siyah ve beyaz piksellerden oluşan ikili bir görüntü oluşturur. İyi bir eşik değeri seçtiyseniz, kertenkeleler beyaz bir arka plan üzerinde siyah olacaktır.
Şekil 7: 130 eşik değeri belirlenerek oluşturulan ikili görüntü.
Bu örnekte, eşik olarak sadece rastgele bir sayı seçtik: 130. Ancak kertenkeleleri doğru şekilde izole etmek için, kertenkelelerin büyük çoğunluğunu yakalarken kertenkeleye ait olmayan pikselleri en aza indirecek bir sayı seçmek istersiniz.
Tüm görüntü için tek bir eşik değeri seçme sürecine küresel eşikleme denir. Bu, hedefinizi izole etmenin kaba bir yoludur ve çoğu zaman oldukça kusurludur. Mükemmel beyaz bir arka plan üzerinde mükemmel siluetli bir kertenkeleye sahipseniz, küresel eşikleme harika çalışacaktır. Ancak bu kertenkele örneğinde gördüğünüz gibi, gerçek görüntüler nadiren bu kadar kolaydır. Muhtemelen daha karmaşık bir eşikleme yöntemine ihtiyacınız olacaktır.
Böyle bir yöntem yerel eşiklemedir. Bu teknikte, görüntünüzün farklı bölümleri için farklı eşik değerleri seçersiniz. Bu, arka planda aydınlatma gradyanı olduğunda özellikle kullanışlıdır. Karmaşıklığı değişen daha birçok optimizasyon yöntemi vardır ve hangisini seçeceğiniz koşullarınıza bağlıdır.
Renkli görüntülere de eşikleme uygulamak mümkündür. Bunu yapmak çok daha karmaşıktır ve bu eğitimin kapsamı dışındadır.
Morfolojik Analiz
Eşikleme, bu kertenkeleleri izole etmede sizi oldukça ileri götürse de mükemmel değildir. Yine de arka planın bazı kısımlarının kertenkele olarak tanımlanması veya kertenkelenin bazı kısımlarının eksik kalmasıyla sonuçlanabilirsiniz. Hayvanları daha da izole etmek için başka bir araca ihtiyacınız var. Eşikleme ile rengi veya parlaklığı temel alan bir kural tanımlamıştınız. Şimdi, morfolojik işlemler kullanarak şekle dayalı bir kural tanımlayacaksınız.
Yapısal öğelerle şekil tanımlama
Morfolojik işlemler, şekillerin kenarlarını belirlemek için yapısal öğeler kullanır. Yapısal öğe, belirli bir şekle sahip küçük bir matristir; genellikle kare, daire veya çarpıdır. Farklı etkiler elde etmek için yapısal öğenin boyutunu da değiştirebilirsiniz.
Bir morfolojik işlem sırasında, her piksel bu şekil içindeki komşularıyla karşılaştırılır. Hedef nesnemizin şeklini tanımlamak için kullanabileceğiniz iki temel morfolojik işlem vardır: genişletme (dilation) ve aşındırma (erosion).
Genişletme
Genişletmede, yapısal öğenin sınırları içindeki komşu piksellerden herhangi biri koyuysa (bu durumda 1), hedef piksel de buna uyacak şekilde 1 yapılır.
Sayılar ızgarası üzerinde kare biçimli bir büyüteç gezdirdiğinizi hayal edin. Kareyi öyle yerleştirirsiniz ki sayılardan biri karenin ortasında olsun ve kare içindeki diğer sayılara bakarsınız. Eğer onlardan herhangi biri 1 ise, ortadaki sayıyı başlangıçta ne olursa olsun 1 olarak etiketlersiniz.
Bu şekilde genişletme, nesnelerin sınırlarını büyütebilir veya delikleri doldurabilir.
Aşındırma
Aşındırma, genişletmeyle aynı şekilde çalışır ancak zıt etkiye sahiptir. Aşındırmada, bir pikselin komşularından herhangi biri 0 ise, o piksel 0 olarak yeniden tanımlanır. Bu, nesneleri ayırmaya, gürültüyü azaltmaya ve sınırları iyileştirmeye yarayabilir.
Şekil 8: Çarpı biçimli bir yapısal öğe kullanılarak genişletme ve aşındırmanın görsel örneği. Bu örnekte morfolojik işlemi yalnızca matrisin ikinci satırında gerçekleştirdik. Gerçek bir görüntüde her piksele uygulanırdı. Ancak bu basit örnekle bile aşındırmanın çizginin kenarlarını ayırdığını, genişletmenin ise kalınlaştırdığını görebilirsiniz.
Genişletme ve aşındırmanın ikili kertenkele görüntüsünü nasıl değiştirdiğini görebilirsiniz.
Şekil 9: Kertenkele fotoğrafına uygulanan aşındırma ve genişletme örneği. Burada kullanılan yapısal öğe 6x6 kareydi.
Genişletme ve aşındırmayı birleştirme
Genişletme ve aşındırma, nihai ürünü değiştirmek için yinelemeli veya ardışık olarak kullanılabilir. İzole edilmiş görüntünüzü daha iyi tanımlamak için hem genişletme hem de aşındırmayı kullanmak yaygın bir uygulamadır.
Aşındırmanın ardından genişletme uygulandığında, küçük çıkıntılar ve gürültü temizlenir ve kalan ana hat güçlendirilir. Bu tekniğe açma (opening) denir.
Genişletmenin ardından aşındırma uygulandığında, küçük delikler ve boşluklar doldurulur ve kenarlar toparlanır. Bu tekniğe kapama (closing) denir.
Şekil 10: Kertenkele fotoğrafında 6x6 kare yapısal öğe kullanılarak açma ve kapama tekniklerinin gösterimi.
Bu görüntülerin hiçbirinin kertenkelelerimizi arka plandan tam olarak izole etmediğini görebilirsiniz. Ancak her ince ayar ve yinelemeyle, sonuca biraz daha yaklaşabilirsiniz.
Bir sonraki yinelemede, bilgisayara belirli bir boyut aralığının dışındaki her şeyi yok saymasını söyleyebilirsiniz. Bu, lekelerin çoğunu kaldırır ve kertenkeleleri sağlam bırakır. Bunu kendiniz nasıl yapacağınızı DataCamp’teki Python ile Görüntü İşleme kursunda öğrenin!
Her görüntü veya görüntü serisi için, bilgisayara hedefinizin nasıl göründüğünü söyleyen buna benzer bir dizi kural oluşturabilirsiniz. Ardından bilgisayar bu bilgiyi kullanarak kararlar verebilir.
Bu kararlar, galaksileri belirlemekten hastalıklı dokuyu bulmaya kadar her şeyi etkiler. Ancak her resim için ayrı ayrı bir dizi kural oluşturmak zaman alıcı ve yorucudur. İşte makine öğreniminin devreye girdiği yer burasıdır.
Görüntü Analizi için Denetimli Makine Öğrenimi
Denetimli bir ML Modelini Eğitmek
Gördüğünüz gibi, görüntüleri elle analiz etmek zahmetli olabilir; devreye giren değişken sayısı çok fazladır. Neyse ki makine öğrenimi (ML) bu süreci otomatikleştirmeye yardımcı olabilir. Makine öğrenimine derinlemesine bakmak için Python ile Makine Öğrenimi Uzmanı veya Denetimli Makine Öğrenimi içeriklerine göz atabilirsiniz. Bu eğitim, görüntü işleme anlayışına yardımcı olacak makine öğrenimi yönlerini yalnızca kısaca ele alacaktır.
ML’nin iki büyük kategorisi vardır: denetimli ML ve denetimsiz ML.
Denetimli ML’de, bilgisayara temelde çok sayıda görüntü verir ve onları önceden etiketlersiniz. Bu, bir bebeğe hayvanların nasıl göründüğünü onlara işaret edip “Bu bir fil” diyerek öğretmeye benzer. Fili dediğimiz şeylerle balık dediğimiz şeyler arasında bir kalıp bulmak bebeğe kalmıştır.
Denetimli ML’de bilgisayar, o bebeğin yaptığına benzer bir iş yapar.
Şekil 11: Annelerin, bebeklere hayvanların nasıl göründüğünü öğretmek için oyuncak hayvanları işaret ettiği DALL-E tarafından üretilmiş görsel. Denetimli öğrenme, doğru cevabı içeren örneklerin sağlandığı benzer bir şekilde çalışır.
Anotasyon ve özellik çıkarımı
Bir makine öğrenimi modelini, daha önce hiç karşılaşmadığı bir görüntüdeki nesneleri tanımlayacak şekilde eğitmek istediğinizi varsayalım. Bu denetimli makine öğrenimi modelini eğitmenin ilk adımı, eğitim veri kümesi adı verilen bir görüntü koleksiyonunu açıklama (anotasyon) ve etiketlemektir. Anotasyon, bir görüntüdeki ilgi bölgelerinin elle belirlenip işaretlenmesini içerir.
Örneğin, bir modeli farklı hayvan türlerini sınıflandıracak şekilde eğitmek istiyorsak, görüntülerde bulunan hayvanları ana hatlarıyla belirleyerek ve onlara karşılık gelen sınıf etiketlerini, ‘inek’, ‘kedi’ vb. atayarak her görüntüyü açıklardık. Bu açıklamalı veri kümesi, modelin eğitiminin temelini oluşturur. Çalışmanız için kamuya açık birçok etiketlenmiş veri kümesi de mevcuttur.
Etiketlenmiş eğitim veri kümesini elde ettikten sonra, görüntülerden ilgili özellikleri çıkarmanız gerekir. Özellik çıkarımı, bir sınıfı diğerinden ayıran önemli özelliklerin veya kalıpların belirlenmesini ve yakalanmasını içerir.
Hayvan örneğimizde, ineklerin dört bacaklı ve benekli olmasını önemli bir özellik olarak tanımlayabilirsiniz.
Evrişimsel sinir ağları
Görüntü işleme alanında, renk histogramları ve doku tanımlayıcıları gibi basit yöntemlerden evrişimsel sinir ağları (CNN) gibi daha gelişmiş yaklaşımlara kadar özellik çıkarımı için çeşitli teknikler mevcuttur.
CNN’ler, eğitim sırasında etiketlenmiş görüntülerden önemli özellikleri ve kalıpları otomatik olarak öğrenen, popüler bir denetimli öğrenme algoritmasıdır. Katmanlardan oluşurlar ve her katman görüntü verisi üzerinde belirli işlemler yapar.
Evrişim katmanları yerel kalıpları yakalamak için filtreler uygular; havuzlama (pooling) katmanları mekânsal boyutları küçültür. Tam bağlantılı katmanlar, önceki katmanlardaki bilgileri birleştirir. Bu ardışık işlemler yoluyla ağ, görüntüde ne olduğuna dair doğru tahminler yapmak için özellikleri çıkarır ve birleştirir.
Bir mimari seçmek
Bir CNN gibi denetimli bir ML modelinin eğitim süreci birkaç adımdan oluşur. Öncelikle verinin tutarlılığını ve kalitesini sağlamak için ön işlenmesi gerekir. Bu, görüntülerin yeniden boyutlandırılmasını, piksel değerlerinin normalleştirilmesini ve veri çeşitliliğini artırmak için döndürme veya çevirme gibi dönüşümler uygulanarak veri kümesinin çoğaltılmasını (augmentasyon) içerebilir.
Ardından CNN modelinin mimarisini tasarlarsınız. Özünde mimari, kullandığınız katmanların sayısı ve türleri ile bunları kullandığınız yapılandırmalardır. Mimari, modelin temel özellikleri yakalarken aşırı uyumdan (overfitting) kaçınmasını sağlayacak şekilde, karmaşıklık ile sadelik arasında dikkatle dengelenmelidir. Yerleşik bir mimariyle başlamak ve ihtiyaçlarınıza göre ayarlamak faydalı olabilir. Harici bir kaynakta yardımcı bir mimari listesi bulabilirsiniz.
Şekil 12: Basit örnek CNN mimarileri.
Aşırı uyum
Aşırı uyum, bilgisayarın eğitim veri kümesindeki görüntüleri etiketlemede çok iyi hale gelmesi ancak eğitim setinin dışında kalan görüntüleri doğru şekilde tanıyamamasıdır.
Bu aşırı uyum genellikle, bilgisayarın eğitim setine bizim yanlışlıkla soktuğumuz ve gerçek hayatı temsil etmeyen bir önyargıyı (örneğin çoğu kedi resminin mavi arka plana sahip olması gibi) tespit etmesinden kaynaklanır. Modelin eğitim verisini ezberlemesini engelleyip bunun yerine daha genellenebilir kalıpları öğrenmesini teşvik etmeye yardımcı olan birçok teknik vardır.
Denetimli bir ML modelini eğitmek
Model mimarisi tanımlandıktan sonra, modelin parametrelerini başlatmanız ve eğitim sürecini başlatmanız gerekir.
Eğitim sırasında model, tahminleriyle önceden tanımladığınız gerçek etiketler arasındaki farkı en aza indirmek için gradyan inişi gibi optimizasyon tekniklerini kullanarak parametrelerini yinelemeli olarak ayarlar.
Bu süreç, modelin tahmin hatasını ölçen kayıp fonksiyonunun hesaplanmasını ve parametrelerin buna göre güncellenmesini içerir.
Görüntü analizi için denetimli bir ML modelini eğitmek yinelemeli bir süreçtir. Modeli etiketlenmiş veri kümesiyle eğitir, performansını bir doğrulama setinde değerlendirir ve doğruluğunu artırmak için ayarlamalar yaparsınız. Bu yinelemeli döngü, model tatmin edici sonuçlara ulaşana kadar devam eder.
Görüntü Analizinde Denetimli ML Modellerinin Uygulamaları
Denetimli ML modeli, etiketlenmiş görüntü verisi üzerinde eğitildikten sonra görüntü analizinde çeşitli görevlerde uygulanabilir. Aşağıda, denetimli ML modellerinin görüntü işleme görevlerindeki etkinliğini öne çıkaran bazı yaygın uygulamalar bulunmaktadır.
Görüntü sınıflandırma
Görüntü sınıflandırma, bir giriş görüntüsüne bir etiket veya sınıf atamanın hedeflendiği temel bir görevdir.
Örneğin, denetimli bir ML modeli, hayvan görüntülerini ‘balık’, ‘kertenkele’ veya ‘böcek’ gibi farklı kategorilere sınıflandıracak şekilde eğitilebilir.
Şekil 13: Görüntü sınıflandırma örneği. Bu görüntü “Akşam Yemeği” olarak sınıflandırılmıştır.
Model, etiketlenmiş örneklerden oluşan çeşitli bir veri kümesinden öğrenerek genelleyebilir ve görüntüleri yüksek bir doğrulukla sınıflandırabilir. Bu teknik, tıbbi görüntülerde hastalıkları tanımlamak, uydu görüntülerinde nesneleri tanımak ve hatta yüz ifadelerinden duyguları sınıflandırmak gibi görevlerde kullanılabilir. Konuyla ilgili daha fazla ayrıntı için bu DataCamp webinarına göz atın.
Nesne tespiti
Nesne tespiti, görüntü analizinde denetimli ML modellerinin bir başka önemli uygulamasıdır. Görüntü sınıflandırmadan farklı olarak, nesne tespiti yalnızca görüntüde bulunan nesneleri tanımlamakla kalmaz, aynı zamanda onların konumlarını etraflarına sınırlayıcı kutular çizerek belirler.
Bu süreç, modelin bir görüntü içinde birden fazla ilgi nesnesini tanımlamasına olanak tanır.
Şekil 14: Nesne tespiti örneği. Bu görüntüdeki çeşitli nesneler tanımlanmıştır.
Nesne tespitinin uygulamaları arasında, modellerin yayaları, araçları ve trafik işaretlerini tespit edip izlemesini sağlayan otonom sürüş; ilgi duyulan kişi veya nesneleri tanımlayıp izlemek için gözetim sistemleri yer alır. Facebook ve Instagram da fotoğraflarda yüzünüzü bulduğunda bu yöntemi kullanır.
Denetimli ML modellerinin zorlukları
Denetimli ML modellerinin görüntü analizindeki yetenekleri etkileyici olsa da farkında olunması gereken sınırlamalar ve zorluklar vardır.
Büyük miktarda etiketlenmiş eğitim verisine duyulan ihtiyaç önemli bir zorluktur. Görüntüleri açıklama ve etiketleme süreci zaman alıcı ve kaynak yoğun olabilir.
Denetimli ML modelleri ayrıca eğitim verisinde bulunan önyargılara karşı hassastır; bu da önyargılı tahminlere veya adaletsiz sonuçlara yol açabilir. Modelleri yeni alanlara veya yeni görüntü kategorilerine uyarlamak, ek eğitim veya ince ayar gerektirebilir.
Ve CNN gibi karmaşık modellerin öğrendikleri temsilleri ve karar verme süreçlerini yorumlamak zor olabilir; bu da bir modelin belirli bir tahmini neden yaptığını anlamayı güçleştirir.
Bu zorluklara rağmen, denetimli ML modelleri görüntü analizinin sınırlarını zorlamaya devam ederek sağlık, tarım ve güvenlik gibi alanlarda kayda değer ilerlemeler sağlamaktadır.
Alanın araştırma ve geliştirmesi ilerledikçe, bu zorlukların ele alınması ve modellerin iyileştirilmesi, daha doğru ve güvenilir görüntü işleme çözümlerinin önünü açacaktır.
Görüntü Analizi için Denetimsiz Makine Öğrenimi
Denetimsiz Öğrenimi Kullanmak
Denetimli öğrenmeye bir alternatif, denetimsiz makine öğrenimidir. Denetimli öğrenimden farklı olarak denetimsiz öğrenim, etiketli veriye dayanmaz; bunun yerine verinin kendi içinde gizli kalıpları, yapıları veya ilişkileri keşfetmeyi amaçlar.
Görüntü analizinde denetimsiz öğrenimin amacı, etiketlenmemiş görüntü verilerinden anlamlı yapılar ve içgörüler ortaya çıkarmaktır. Denetimsiz öğrenim tekniklerini kullanarak değerli bilgiler çıkarabilir ve görüntülerin temel özelliklerini daha derinlemesine anlayabilirsiniz.
Denetimsiz öğrenim, benzer görüntü kümelerini belirlemeye, belirli görüntü sınıflarına özgü kalıpları veya dokuları keşfetmeye ve verideki anormallikleri veya aykırı değerleri tespit etmeye yardımcı olabilir.
Denetimsiz öğrenimin farkı
Denetimli öğrenim bir bebeğe ineğin ne, balığın ne olduğunu söylemeye benziyorsa, denetimsiz öğrenim bir bebeğe bir sürü hayvan verip nasıl uygun görürse öyle ayırmasına benzer. Hayvanları boyut, bacak sayısı, doku veya renge göre sınıflandırabilir.
Sonuç, onları türe göre ayırdığınızda elde edeceğinize benzer görünebilir ya da çok farklı olabilir! Ancak ortaya çıkan kategorilerin özelliklerini incelemek yine de size faydalı bilgiler sağlayabilir.
Şekil 15: Denetimsiz öğrenme ortamında hayvan oyuncaklarını ayıran bir bebeğin DALL-E tarafından üretilmiş görseli.
Denetimsiz ML Modelleriyle Görüntü Analizi
Denetimsiz makine öğrenimi modelleri, etiketli veriye ihtiyaç duymadan görüntülerin kutulara veya kategorilere ayrılmasını mümkün kılarak görüntü analizi için heyecan verici olanaklar sunar.
Elinizde çok büyük bir görüntü koleksiyonu olduğunu ve bunları anlamlı gruplar hâlinde düzenlemek istediğinizi hayal edin. Denetimsiz ML modelleri, görüntülerin görsel özelliklerini analiz ederek onları renk veya şekil gibi ortak özelliklere göre gruplayabilir. Bu, değerli içgörüler sağlar ve görüntü analizi görevlerini basitleştirir.
Kümeleme algoritmaları
Kümeleme algoritmaları, benzer görüntüleri ortak özelliklerine göre bir araya getirir. Yaygın olarak kullanılan kümeleme algoritmalarından biri, veriyi önceden belirlenmiş sayıda kümeye ayıran ve bir küme içindeki her görüntü arasındaki matematiksel mesafeyi yinelemeli olarak en aza indiren k-ortalama (k-means) kümeleme yöntemidir.
Hiyerarşik kümeleme ise, benzerliğe dayalı olarak kümeleri yinelemeli biçimde birleştirip bölerek görüntü setlerinin hiyerarşik bir yapısını oluşturur. Bu kümeleme algoritmaları, etiketlenmemiş görüntü veri kümeleri içinde doğal gruplaşmaları keşfetmemize olanak tanıyarak görüntü benzerliği ve çeşitliliği hakkında içgörüler sağlar.
Görüntü bölütleme
Denetimsiz öğrenim, bir görüntünün anlamlı bölgelere veya nesnelere ayrılması olan görüntü bölütleme için özellikle değerlidir.
Kümeleme teknikleri veya diğer denetimsiz öğrenme yöntemlerini uygulayarak, bir görüntüyü renk, doku veya diğer özelliklere dayalı olarak farklı bölgelere ayırabilirsiniz.
Bu teknik, tümörleri bulmak için tıbbi görüntülemede, arazi örtüsü sınıflandırması için uydu görüntülerinde veya ön plan ve arka plan öğelerini çıkarmak için bilgisayar grafiklerinde yararlı olabilir.
Kalıp tanıma
Kalıp tanıma, denetimsiz öğrenimin başarılı olduğu bir başka alandır.
Denetimsiz öğrenme algoritmaları, veride bulunan temel kalıpları veya yapıları yakalayan temsilleri veya özellikleri öğrenebilir. Bu öğrenilmiş özellikler çıkarılarak, görüntüler paylaşılan kalıplarına veya görsel benzerliklerine göre sınıflandırılabilir veya gruplanabilir. Bu, görüntü getirme (retrieval) veya görüntü sentezi gibi görevleri mümkün kılar.
Anomali tespiti
Denetimsiz öğrenim, anomali tespitinde de kullanılır. Bir veri kümesinin normal kalıplarını veya özelliklerini öğrenerek, denetimsiz algoritmalar geri kalanından farklı olan görüntüleri veya bölgeleri tanımlayabilir. Bu, özellikle güvenlik izleme işine yardımcı olabilecek alışılmadık veya şüpheli etkinliklerin tespit edildiği gözetim gibi alanlarda yararlıdır.
Denetimsiz ML modellerinin zorlukları
Denetimsiz öğrenimin kendine özgü zorlukları vardır. Büyük bir zorluk, karşılaştırılacak bir gerçek değer veya etiketli veri olmadığından, sonuçları anlamaktır.
Hayvan ayırma örneğine dönersek, hepsi kahverengi olan bir at, böcek ve ahtapotun bulunduğu bir kategoriyle, beyaz bir at, tavşan ve çiçekten oluşan başka bir kategoriyle karşılaşabilirsiniz. Hayvanları nasıl ayıracağınızı belirtmediğiniz için, çok da anlamlı olmayan gruplar elde edebilirsiniz.
Denetimsiz ML modelinin ortaya çıkardığı kümelerin veya kalıpların kalitesini ve doğruluğunu değerlendirmek zor olabilir.
Denetimsiz ML modellerinin faydaları
Denetimsiz ML modelleri, görüntü işleme alanında çeşitli faydalar sunar. En önemlisi, kapsamlı elle etiketleme ihtiyacını ortadan kaldırarak büyük ölçekli görüntü veri setleriyle çalışmayı daha kolay ve maliyet etkin hâle getirir.
Instagram’daki her görüntüyü elle gözden geçirip etiketlediğinizi hayal edin. Denetimsiz makine öğrenimi modelleri, bu denli uzun ve emek yoğun bir çabaya duyulan ihtiyacı ortadan kaldırır.
Denetimsiz ML modelleri ayrıca verideki gizli kalıpları ve yapıları ortaya çıkararak, insanların hemen fark edilemeyebilecek yeni içgörüler edinmesini ve görsel ilişkileri keşfetmesini sağlar.
Denetimsiz öğrenimin bu keşifçi doğası, görüntü analizi için yeni kapılar açar ve uzay keşfi, robotik ve tıp gibi çeşitli alanlarda atılımlara yol açabilir.
|
Denetimli ML |
Denetimsiz ML |
|
|
Görevler |
|
|
|
Avantajlar |
|
|
|
Dezavantajlar |
|
|
Şekil 16: Görüntü işlemekte denetimli ve denetimsiz makine öğreniminin karşılaştırması.
Üretken yapay zekâ ile yeni görüntüler oluşturma
Bir model, görüntülerdeki farklı nesneleri tanımlayan özellikleri belirledikten sonra, bu bilgiyi yeni görüntüler oluşturmak için kullanabilir.
DALL-E ve Midjourney, yeni görüntüler üretmek için üretken modellemenin gücünden yararlanan denetimsiz ML modellerine dikkat çekici örneklerdir. Devasa veri setleri üzerinde eğitilerek, belirli sınıflayıcılara sahip görüntüler oluşturmak için gerekli bileşenleri öğrenmişlerdir.
Dolayısıyla DALL-E’den robot bir panda resmi oluşturmasını isterseniz, model içsel robot ve panda tanımlarına başvurur ve bu parçaları birleştirerek istediğiniz görüntüyü oluşturur.
Örneğin, robotların metal ve dişlilerden oluştuğunu, pandaların ise siyah beyaz olduğunu belirleyebilir. Bu bilgiyi kullanarak size metal, siyah beyaz, dişlilere sahip bir panda robotu oluşturur.
Şekil 17: 'Panda Robot' istemi kullanılarak DALL-E tarafından üretilmiş görsel.
Sonuç
Bu eğitim, görüntü analizini makine öğrenimindeki rolünü daha iyi anlamak amacıyla üst düzeyde keşfeder. Bilgisayarların görüntüleri nasıl ‘gördüğü’ ve işlediğine dair daha iyi bir sezgi edinmiş ve önişleme, özellik çıkarımı ve sınıflandırma algoritmaları gibi temel makine öğrenimi kavramlarına dair temel bir anlayış kazanmış olmalısınız.
Görüntü işleme, sosyal medyadan tıbbi görüntülemeye, uzay keşfinden gözetlemeye kadar hayatımızda büyük bir rol oynar. Bu büyüleyici konuyu daha derinlemesine incelemekle ilgileniyorsanız, DataCamp’teki Python ile Görüntü İşleme , Python’da Keras ile Görüntü İşleme ve PyTorch ile Görüntüler için Derin Öğrenme içeriklerine göz atın.
