Makine Öğrenimi ve Yapay Zekâ için En İyi 12 Docker Konteyner İmajı

Bir makine öğrenimi mühendisiyseniz, muhtemelen projelerinizden birinde Docker kullandınız—ister bir modelin çıkarım uç noktasını devreye almak, ister eğitim, değerlendirme ve dağıtım için makine öğrenimi hattını otomatikleştirmek için. Docker, bu süreçleri basitleştirerek üretim ortamlarında tutarlılık ve ölçeklenebilirlik sağlar.

Peki soru şu: Docker Hub ve GitHub’da mevcut tüm Docker imajlarının farkında mısınız? Bu önceden derlenmiş imajlar, imajları yerelde oluşturmaya gerek bırakmayarak zaman kazandırır. Bunun yerine, Dockerfile’larınızda veya Docker Compose kurulumlarınızda doğrudan çekip kullanabilir, geliştirme ve dağıtımı hızlandırabilirsiniz.

Bu blogda, makine öğrenimi iş akışları için tasarlanmış en iyi 12 Docker konteyner imajını inceleyeceğiz. Bunlar arasında geliştirme ortamları, derin öğrenme çerçeveleri, makine öğrenimi yaşam döngüsü yönetimi, iş akışı orkestrasyonu ve büyük dil modelleri için araçlar bulunuyor.

Docker’a yeniyseniz, temelleri anlamak için lütfen şu Docker’a Giriş Kursunu alın. 

Makine Öğrenimi için Neden Docker Konteynerleri Kullanılır?

“Benim makinemde çalışıyor” sözünü duymuşsanız, birden fazla platform ve aşamada tutarlı bir geliştirici ortamı korumanın zorluğunu bilirsiniz. Docker konteynerlerinin devreye girdiği yer burasıdır; kodu, bağımlılıkları ve yapılandırmaları taşınabilir bir imaj içine kapsülleyerek farklı ortamlarda tutarlılık sağlar. Modeller ve uç nokta API’si, altyapıdaki farklılıklardan bağımsız olarak geliştirme, test ve üretim dağıtımlarında aynı şekilde davranır. 

Python, PyTorch veya CUDA’nın belirli sürümleri gibi bağımlılıkları yalıtarak Docker, deneylerin tekrarlanabilirliğini sağlar ve kütüphaneler arasındaki çatışmaları azaltır.

Kaynak: Docker

Docker imajını ekibinizle paylaşabilir ve onlar da imajı çekip birden çok örnek oluşturabilir. Bu süreç, modelleri API’lerle birlikte konteynerlere paketleyerek dağıtımı da kolaylaştırır ve Kubernetes gibi orkestrasyon araçlarıyla entegrasyonu mümkün kılar; böylece üretimde ölçeklenebilir servis sunumu sağlanır.

Kısacası, bir makine öğrenimi mühendisi olarak Docker imajlarını nasıl yöneteceğinizi ve Docker konteynerlerini bulutta nasıl dağıtacağınızı bilmelisiniz.

Kısa Konteynerleştirme ve Sanallaştırma Kavramları kursuna kaydolarak konteynerleşmenin temel kavramlarını öğrenin.

Geliştirme Ortamı Docker Konteynerleri

Kesintisiz bir makine öğrenimi geliştirme iş akışı kurmak için temel araçlar ve kütüphanelerle güvenilir bir ortama ihtiyacınız var. Bu Docker konteyner imajları, önceden yapılandırılmış veri bilimi, kodlama ve deney düzenekleri sunar.

1. Python

Python, TensorFlow, PyTorch ve scikit-learn gibi neredeyse tüm büyük çerçeveler ve uygulamalar onun etrafında inşa edildiği için çoğu makine öğrenimi projesinin bel kemiğidir. Yaygınlığı dağıtıma da uzanır; Python, model çıkarımı için tutarlı ortamlar oluşturmak amacıyla Docker imajlarında yaygın olarak kullanılır. Örneğin:

FROM python:3.8
RUN pip install --no-cache-dir numpy pandasAltyapı:

Python’un sadeliği, kapsamlı kütüphane ekosistemi ve Docker gibi araçlarla uyumu, onu makine öğrenimi geliştirme ve dağıtımı için tercih edilen seçenek haline getirir.

2. Jupyter Notebook veri bilimi yığını

Jupyter Docker Stacks, Jupyter Notebook ve popüler veri bilimi kütüphanelerinden oluşan bir paketle veri bilimi ve makine öğrenimi için kapsamlı bir ortam sunar. İmajı Docker Hub’dan kolayca çekip yerelde kullanabilirsiniz. Ayrıca bu örneği bulutta dağıtabilir ve ekibinizle paylaşabilirsiniz.

Jupyter Data Science Notebook’u çalıştırmak için aşağıdaki komutu kullanın:

docker run -it --rm -p 8888:8888 jupyter/datascience-notebookAltyapı:

Dockerfile ile de kullanılabilir; böylece Python paketlerini pip ile kurmanıza gerek kalmaz. Yalnızca uygulamayı çalıştırmanız veya bir Python betiği yürütmeniz yeterlidir. İşte örnek bir Dockerfile:

FROM jupyter/datascience-notebook:latestAltyapı:

Bu imaj, Jupyter Notebook’un yanı sıra NumPy, pandas, matplotlib ve scikit-learn gibi popüler kütüphaneleri içerir. Etkileşimli hesaplama, veri keşfi, görselleştirme ve makine öğrenimi deneyleri için idealdir; veri bilimi topluluğunun vazgeçilmezlerinden biridir.

Daha fazla bilgi için, Docker komutlarını, makine öğrenimi uygulamalarını dockerize etmeyi ve sektör genelindeki en iyi uygulamaları öğreneceğiniz Veri Bilimi için Docker: Bir Giriş blog yazısına göz atın.

3. Kubeflow Notebooks

Kubeflow Notebook imajları, Kubernetes üzerinde makine öğrenimi iş akışları için oluşturulmuş pod’lar içinde çalışmak üzere tasarlanmıştır. Üç tür not defteri arasından seçim yapabilirsiniz: JupyterLab, RStudio ve Visual Studio Code (code-server).

Aşağıdaki komutu çalıştırarak yerelde test edin:

docker run -it --rm -p 8888:8888 kubeflownotebookswg/jupyter-pytorchAltyapı:

Kubeflow Notebooks imajları, Kubernetes’in temel altyapı olduğu ortamlarda özellikle faydalıdır. İşbirliğine dayalı ve ölçeklenebilir makine öğrenimi projelerini kolaylaştırır ve ölçeklenebilir, tekrarlanabilir iş akışları için Kubernetes ile sorunsuz entegre olur.

Docker ve Kubernetes hakkında daha fazla bilgi edinmek için Docker ve Kubernetes ile Konteynerleştirme ve Sanallaştırma yetkinlik yolunu alın. Bu interaktif yol, modern ortamlarda uygulamalar oluşturup dağıtmanıza olanak tanır.

Derin Öğrenme Çerçevesi Docker Konteynerleri

Derin öğrenme çerçeveleri, eğitim ve çıkarım için optimize edilmiş ortamlara ihtiyaç duyar. Bu konteyner imajları, gerekli bağımlılıklarla birlikte gelir ve kurulum ile yapılandırma için harcanan zamanı azaltır.

4. PyTorch

PyTorch, derin sinir ağlarını modüler bir yaklaşımla kurmasıyla bilinen önde gelen derin öğrenme çerçevelerinden biridir. Bir Dockerfile oluşturup pip komutuyla PyTorch paketini kurmadan model çıkarımınızı kolayca çalıştırabilirsiniz.

FROM pytorch/pytorch:latest
RUN python main.pyAltyapı:

PyTorch Docker imajı, araştırma ve üretim ortamlarında modelleri eğitmek ve dağıtmak için yaygın olarak kullanılır. Özellikle doğal dil işleme ve bilgisayarlı görü görevlerinde derin öğrenme modellerini geliştirmek ve dağıtmak için optimize edilmiş bir ortam sunar.

5. TensorFlow

TensorFlow, akademi ve endüstride yaygın olarak benimsenen bir diğer önde gelen derin öğrenme çerçevesidir. Google ekosistemi ve deney takibi ile model sunumu için TensorFlow’u destekleyen tüm paketlerle iyi çalışır. 

FROM tensorflow/tensorflow:latest
RUN python main.pyAltyapı:

TensorFlow Docker imajı, genellikle GPU hızlandırma için optimize edilmiş TensorFlow Python paketini ve bağımlılıklarını içerir. Bu da onu özellikle büyük ölçekli üretim ortamlarında makine öğrenimi modelleri inşa etmek ve dağıtmak için ideal kılar.

6. NVIDIA CUDA derin öğrenme çalışma zamanı

NVIDIA CUDA derin öğrenme çalışma zamanı, GPU’larda derin öğrenme hesaplamasını hızlandırmak için gereklidir. Bunu Dockerfile’ınıza kolayca ekleyebilir, böylece GPU hızlandırmalı makine öğrenimi görevlerini çalıştırmak için CUDA’yı elle kurma ihtiyacını ortadan kaldırabilirsiniz. 

FROM nvidia/cuda
RUN python main.pyAltyapı:

NVIDIA CUDA Docker imajları, NVIDIA GPU’ları kullanan derin öğrenme uygulamaları için optimize edilmiş bir çalışma zamanı ortamı sunar ve derin öğrenme modellerinin performansını önemli ölçüde artırır. 

GPU’ların veri bilimi iş akışlarını nasıl hızlandırdığını Polars GPU hızlandırma blog yazısında daha fazla öğrenebilirsiniz.

Makine Öğrenimi Yaşam Döngüsü Yönetimi Docker Konteynerleri

Deneylerden dağıtıma kadar makine öğrenimi yaşam döngüsünü yönetmek özel araçlar gerektirir. Bu Docker imajları, sürümleme, izleme ve dağıtımı kolaylaştırır.

7. MLflow

MLflow, deneyler, tekrarlanabilirlik ve dağıtım dahil olmak üzere makine öğrenimi yaşam döngüsünü yönetmek için açık kaynaklı bir platformdur. Aşağıdaki komutla MLflow sunucusunu çalıştırabilir, deneyleri, modelleri ve yapıtları depolamak ve sürümlemek için bir MLflow sunucusu elde edebilirsiniz. Ayrıca yöneticilerin deneyleri ve modelleri görüntülemesi için etkileşimli bir pano sağlar. 

docker run -it --rm -p 9000:9000 ghcr.io/mlflow/mlflowAltyapı:

8. Hugging Face Transformers

Hugging Face Transformers, büyük dil modellerini bulmaktan görsel üretim modelleri oluşturmaya kadar çok sayıda uygulamada yaygın olarak kullanılır. PyTorch, TensorFlow ve diğer büyük derin öğrenme çerçeveleri üzerine inşa edilmiştir. Bu da herhangi bir makine öğrenimi modelini yükleyebileceğiniz, ince ayar yapabileceğiniz, performansı takip edebileceğiniz ve çalışmalarınızı Hugging Face’e kaydedebileceğiniz anlamına gelir.

FROM huggingface/transformers-pytorch-gpu
RUN python main.pyAltyapı:

Hugging Face Transformers Docker imajları, büyük dil modellerini hızlı ve verimli biçimde ince ayar yapmak ve dağıtmak için popülerdir. Genel olarak modern yapay zekâ ekosistemi bu pakete büyük ölçüde dayanır; Dockerfile’ınıza ekleyerek bağımlılıkları dert etmeden tüm özelliklerinden yararlanabilirsiniz.

İş Akışı Orkestrasyonu Docker Konteynerleri

Makine öğrenimi projeleri genellikle otomasyon ve zamanlama gerektiren karmaşık iş akışlarını içerir. Bu iş akışı orkestrasyon araçları, makine öğrenimi hatlarını düzenlemeye yardımcı olur.

9. Airflow

Apache Airflow, iş akışlarını programlı olarak oluşturmak, zamanlamak ve izlemek için açık kaynaklı bir platformdur. 

docker run -it --rm -p 8080:8080 apache/airflowAltyapı:

Airflow, karmaşık makine öğrenimi hatlarını orkestre etmek için yaygın olarak kullanılır. İş akışlarını yönlendirilmiş çevrimsiz grafikler (DAG) olarak yazmaya, zamanlamaya ve izlemeye yönelik bir platform sunar; bu da veri iş akışlarını otomatikleştirmek ve yönetmek için makine öğrenimi mühendisliğinde onu vazgeçilmez kılar.

10. n8n

n8n, özellikle makine öğrenimi iş akışlarını otomatikleştirmede esnekliği ve kullanım kolaylığıyla popülerlik kazanan açık kaynaklı bir iş akışı otomasyon aracıdır. Yerelde çalıştırabilir ve sürükle-bırak arayüzüyle kendi RAG uygulamanızı oluşturabilirsiniz.

docker run -it --rm -p 5678:5678 n8nio/n8nAltyapı:

n8n, çeşitli hizmetler ve API’leri entegre eden iş akışları oluşturmak için kullanıcı dostu bir arayüz sağlar. Özellikle tekrarlayan görevleri otomatikleştirmede ve makine öğrenimi projelerinde farklı sistem ve hizmetleri birbirine bağlamada kullanışlıdır.

Python’da makine öğrenimi iş akışları oluşturma hakkında daha fazla bilgi edinmek için Python’da Makine Öğrenimi İş Akışları Tasarlama kursunu değerlendirin.

Büyük Dil Modelleri Docker Konteynerleri

LLM’ler yaygınlaştıkça, özel Docker konteynerleri bu modelleri verimli şekilde dağıtmayı ve ölçeklendirmeyi kolaylaştırır.

11. Ollama

Ollama, büyük dil modellerini yerelde dağıtmak ve çalıştırmak için tasarlanmıştır. Ollama Docker’ı kullanarak LLM’leri indirebilir ve servis edebilir, böylece bunları uygulamalarınıza entegre edebilirsiniz. Hem kuantize hem de tam büyük dil modellerini üretimde çalıştırmanın en kolay yoludur.

docker run -it --rm ollama/ollamaAltyapı:

12. Qdrant

Qdrant, vektör benzerlik arama uygulamalarını dağıtmak için kullanılan bir vektör arama motorudur. Hızla vektör verisi göndermeniz ve almanız için bağlanabileceğiniz bir pano ve sunucuyla birlikte gelir.

docker run -it --rm -p 6333:6333 qdrant/qdrantAltyapı:

Qdrant, yüksek boyutlu verilerin verimli benzerlik araması ve kümeleme işlemleri için araçlar sağlar. Öneri sistemleri, görsel ve metin getirimi ile anlamsal arama gibi uygulamalarda özellikle kullanışlıdır ve büyük dil modellerini içeren makine öğrenimi projelerinde giderek daha önemli hale gelmektedir.

Sonuç

Bu blogda, makine öğrenimi projeleri için tasarlanmış 12 temel Docker konteyner imajını inceledik. Bu imajlar, geliştirme ortamlarından büyük dil modelleri için araçlara kadar kapsamlı bir araç seti sunar. Bu konteynerlerden yararlanan veri bilimciler ve mühendisler, iş akışlarını düzene koyan ve üretkenliği artıran, tutarlı, tekrarlanabilir ve ölçeklenebilir proje ortamları oluşturabilir.

Öğrenme sürecindeki bir sonraki adım, bu Docker konteyner imajlarını kullanarak kendi projenizi oluşturmaktır! 

En yeni yapay zekâ geliştirici araçlarıyla kendi Yapay Zekâ uygulamalarınızı nasıl geliştireceğinizi öğrenmek için Yapay Zekâ Uygulamaları Geliştirme yoluna göz atın.