DeepChecks Eğitimi: Makine Öğrenimi Testlerini Otomatikleştirme

Bu eğitimde DeepChecks’i ve bunu veri doğrulaması ile makine öğrenimi testlerini gerçekleştirmek için nasıl kullanacağımızı öğreneceğiz. Ayrıca model testini otomatikleştirmek ve sonuçları yapıt (artifact) olarak kaydetmek için GitHub Actions kullanacağız. 

İlerledikçe makine öğrenimi testi ve DeepChecks hakkında bilgi edinecek, DeepChecks veri bütünlüğü paketini çalıştıracak ve kapsamlı bir rapor oluşturacağız. Ayrıca bir model değerlendirme paketini çalıştırarak makine öğrenimi test raporları üretecek, tam paket yerine tek bir testi nasıl çalıştıracağımızı öğrenecek, GitHub Actions ile test iş akışımızı otomatikleştirecek ve makine öğrenimi test raporunu bir GitHub Artifact olarak kaydedeceğiz. 

Görsel: Yazar

Makine Öğrenimi Testi Nedir?

Makine öğrenimi testi, modellerin adil, doğru ve sağlam olduğundan emin olmak için performanslarının değerlendirilmesini ve doğrulanmasını içeren kritik bir süreçtir. Sadece model doğruluğu ve performansından ibaret değildir. Model önyargılarına, yanlış pozitiflere, yanlış negatiflere, çeşitli performans ölçütlerine, model işleme hızına (throughput) ve modelin yapay zekâ etiğiyle uyumuna da bakmamız gerekir. 

Test süreci; veri doğrulaması, çapraz doğrulama, F1 skoru, karmaşıklık matrisi, tahmin kayması (prediction drift), veri kayması (data drift) ve sağlamlık testi gibi çeşitli değerlendirmeleri içerir; her biri modelin performans ve güvenilirliğinin farklı yönlerini doğrulamak üzere tasarlanmıştır. 

Ayrıca veri kümemizi üçe böleriz ki modeli eğitim sürecinde ve eğitimden sonra görülmemiş bir veri kümesi üzerinde değerlendirebilelim. 

Makine öğrenimi testi, yapay zekâ uygulamalarının vazgeçilmez bir parçasıdır ve bunu model eğitimiyle birlikte otomatikleştirmek, insanlar için çalışan güvenilir yapay zekâ sistemleri sağlar.

Makine öğreniminde yeniyseniz ve temelleri öğrenmek istiyorsanız, Python ile Makine Öğrenimi Temelleri beceri yoluna göz atın. Bu kurs, scikit-learn kütüphanesiyle denetimli öğrenmeden başlayarak Python ile makine öğreniminin temellerini öğretecektir.

DeepChecks ile Başlarken

DeepChecks; makine öğrenimi modelleri ve verileri için kapsamlı test ve doğrulamayı kolaylaştırmak üzere tasarlanmış, açık kaynaklı bir Python paketidir. Model performansı, veri dağılımı, veri bütünlüğü ve daha fazlasıyla ilgili sorunları belirlemek için geniş bir yerleşik kontrol yelpazesi sunar. DeepChecks, sürekli doğrulama işlevleri de içerir; böylece modeller, gerçek dünyada devreye alınıp kullanıldıkça güvenilir ve etkili kalır.

Başlamak için pip komutuyla Python paketini kuracağız.

%pip install deepchecks --upgrade -qAltyapı:

Veri kümesini yükleme

Bu eğitim için DataCamp veri kümelerinden Kredi Verisini kullanıyoruz. 9578 satırdan oluşur ve kredi yapısı, kredi alan kişi ve kredinin tamamen geri ödenip ödenmediğine dair bilgiler içerir.

CSV dosyasını Pandas ile yükleyin ve ilk 5 satırı görüntüleyin.

import pandas as pd
loan_data = pd.read_csv("loan_data.csv")
loan_data.head()Altyapı:

Veri kümesini hazırlama

Kredi veri kümesi, etiket sütun adı ve kategorik özellik adını kullanarak DeepChecks veri kümesini oluşturun.

from sklearn.model_selection import train_test_split
from deepchecks.tabular import Dataset

label_col = 'not.fully.paid'

deep_loan_data = Dataset(loan_data, label=label_col, cat_features=["purpose"])Altyapı:

DeepChecks veri bütünlüğü paketini çalıştırma

Tablolu veriler için bir veri bütünlüğü paketi kullanacağız. Paket tüm testleri özerk olarak çalıştıracak ve sonuçlarla etkileşimli bir rapor oluşturacaktır. 

Bunu yapmak için veri bütünlüğü paketini içe aktaracak, başlatacak ve ardından paketi DeepChecks kredi verilerini sağlayarak çalıştıracağız. Son olarak, sonuçları görüntüleyeceğiz.

from deepchecks.tabular.suites import data_integrity

integ_suite = data_integrity()
suite_result = integ_suite.run(deep_loan_data)
suite_result.show()Altyapı:

Not: Geliştirici ortamı olarak DataLab kullanıyoruz. ipywidgets kullanımı devre dışı bırakıldı, bu da sonuçların görüntülenmesini engelliyor. Bunun yerine sonucu bir iframe olarak görüntülemek için 'show_in_iframe' işlevini kullanacağız. Sonuçlar her düzeyde aynı olacaktır.

suite_result.show_in_iframe()Altyapı:

Veri bütünlüğü raporumuz aşağıdaki test sonuçlarını içerir:

• Özellik-Etiket Korelasyonu
• Özellik-Özellik Korelasyonu
• Sütunda Tek Değer
• Özel Karakterler
• Karışık Null Değerleri
• Karışık Veri Tipleri
• Dize Uyumsuzluğu
• Veri Yinelenmeleri
• Sınır Dışı Dize Uzunluğu
• Çelişen Etiketler
• Aykırı Örnek Tespiti

Jupyter Notebook’ta Veri Bütünlüğü test sonuçları. 

Sonuçları HTML dosyası olarak kaydedip ekip arkadaşlarınızla da paylaşabilirsiniz. 

suite_result.save_as_html()Altyapı:

'output.html'Altyapı:

Tek bir test çalıştırma

Tüm paketi büyük bir veri kümesi üzerinde çalıştırmak, sonuçların üretilmesi uzun süreceği için verimli değildir. Bunun yerine, verinize uygun birkaç bireysel testi çalıştırabilir ve kendi raporunuzu oluşturabilirsiniz.

Tek bir test çalıştırmak için tablolu kontrolleri içe aktarın, kontrolü başlatın ve DeepCheck Kredi verileriyle çalıştırın. Ardından, etkileşimli bir rapor üretmek yerine results.value işlevini kullanarak değerleri görüntüleyin.

from deepchecks.tabular.checks import IsSingleValue, DataDuplicates

result = IsSingleValue().run(deep_loan_data)
result.valueAltyapı:

Gördüğünüz gibi, her sütunda bulunan benzersiz değer sayısını gösterir. 

{'credit.policy': 2,
 'purpose': 7,
 'int.rate': 249,
 'installment': 4788,
 'log.annual.inc': 1987,
 'dti': 2529,
 'fico': 44,
 'days.with.cr.line': 2687,
 'revol.bal': 7869,
 'revol.util': 1035,
 'inq.last.6mths': 28,
 'delinq.2yrs': 11,
 'pub.rec': 6,
 'not.fully.paid': 2}Altyapı:

Verilerimizde yinelenen örnekleri kontrol etmeyi deneyelim. 

result = DataDuplicates().run(deep_loan_data)
result.valueAltyapı:

Veri kümemizde sıfır yinelenen kayıt var. 

0.0Altyapı:

DeepChecks ile Makine Öğrenimi Testi

Bu bölümde birden fazla modeli bir araya getirip işlenmiş kredi veri kümesi üzerinde eğiteceğiz. Ardından bir model test raporu oluşturmak için eğitim ve test veri kümeleri üzerinde bir model değerlendirme paketini çalıştıracağız. 

Veri işleme ve model eğitimi

1. Scikit-learn kütüphanesinden temel işlevleri içe aktarın. 
2. Veri kümesini eğitim ve test setlerine ayırın. 
3. 'purpose' kategorik sütununu etiket kodlayıcı kullanarak sayısala dönüştürün.
4. LogisticRegression, RandomForestClassifier ve GaussianNB modellerini tanımlayın. 
5. Oy verme sınıflandırıcısı (voting classifier) kullanarak modelleri birleştirin. 
6. Birleştirilmiş modeli eğitim setinde eğitin. 

from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.ensemble import VotingClassifier
from sklearn.naive_bayes import GaussianNB
from sklearn.preprocessing import LabelEncoder

# Train test split
df_train, df_test = train_test_split(loan_data, stratify=loan_data[label_col], random_state=0)

# Encode the 'purpose' column
label_encoder = LabelEncoder()
df_train['purpose'] = label_encoder.fit_transform(df_train['purpose'])
df_test['purpose'] = label_encoder.fit_transform(df_test['purpose'])

# Define models
model_1 = LogisticRegression(random_state=1, max_iter=10000)
model_2 = RandomForestClassifier(n_estimators=50, random_state=1)
model_3 = GaussianNB()

# Create the VotingClassifier
clf_model = VotingClassifier(
    estimators=[('lr', model_1), ('rf', model_2), ('svc', model_3)],
    voting='soft'
)

# Train the model
clf_model.fit(df_train.drop(label_col, axis=1), df_train[label_col])Altyapı:

Model değerlendirme paketini çalıştırma

Modelin performansını değerlendirmek için DeepChecks model değerlendirme paketini çalıştıracağız. 

7. Hem eğitim hem de test setlerini DeepCheck veri kümesine dönüştürün. 
8. Model değerlendirmesini başlatın ve eğitim, test setleri ile modeli kullanarak çalıştırın. 
9. Sonuçları iframe içinde gösterin. 

from deepchecks.tabular.suites import model_evaluation

deep_train = Dataset(df_train, label=label_col, cat_features=[])
deep_test =  Dataset(df_test,  label=label_col, cat_features=[])

evaluation_suite = model_evaluation()
suite_result = evaluation_suite.run(deep_train, deep_test, clf_model)
suite_result.show_in_iframe()Altyapı:

Model değerlendirme raporumuz aşağıdaki test sonuçlarını içerir:

• ROC raporu
• Zayıf Segment Performansı
• Kullanılmayan Özellikler
• Eğitim-Test Performansı
• Tahmin Kayması
• Basit Model Karşılaştırması
• Model Çıkarım Süresi
• Karmaşıklık Matrisi Raporu
• Ve daha fazlası

10. Sonucu JSON formatında görmek için to_json() işlevini kullanın. 

suite_result.to_json()Altyapı:

Tek Bir Test Çalıştırma

Veri doğrulamasında olduğu gibi, tek bir makine öğrenimi testi de çalıştırabilirsiniz. Bizim durumumuzda, etiketlerimizin zaman içinde değişip değişmediğini kontrol etmek için eğitim ve test bölümlerinde etiket kayması (label drift) çalıştıracağız. 

from deepchecks.tabular.checks import LabelDrift
check = LabelDrift()
result = check.run(deep_train, deep_test)
result.valueAltyapı:

Veride herhangi bir kayma tespit edilmedi.

{'Drift score': 0.0, 'Method': "Cramer's V"}Altyapı:

Veri doğrulama ve model değerlendirme paketlerini çalıştırırken sorun yaşıyorsanız, lütfen DeepChecks ile Makine Öğrenimi Testi başlıklı DataLab çalışma alanına başvurun.

"Manuel" makine öğrenimi testine ilgi duyuyorsanız, Weights & Biases kullanarak makine öğrenimi deneylerinizi nasıl yapılandıracağınızı, kaydedeceğinizi ve analiz edeceğinizi öğrenmek için Makine Öğrenimi Deneyleri eğitimini takip edin.

GitHub Actions ve DeepChecks kullanarak Makine Öğrenimi Testlerini Otomatikleştirme

Veri doğrulama, model eğitimi ve model değerlendirme aşamalarını GitHub Actions ile otomatikleştirelim ve sonuçları zip dosyası olarak kaydedelim. 

Makine öğrenimi testlerinin otomatikleştirilmesi, MLOps hattının ayrılmaz bir parçasıdır. Bunun hakkında daha fazla bilgi edinmek için MLOps Temelleri beceri yolunu alın. Bu kurslar serisinde, makine öğrenimi modellerini üretime alma ve izleme ile ilgili temel ilkeleri öğreneceksiniz.

Kurulum

1. GitHub hesabına gidin ve gerekli tüm bilgilerle yeni bir depo oluşturun. 

2. Depoyu yerel sisteme klonlayın.
3. Dizini depoya değiştirin. 
4. “data” adlı yeni bir klasör oluşturun ve "Downloads" klasöründen kredi verisi CSV dosyasını depo klasörüne taşıyın. 
5. Python ile veri doğrulamayı oluşturun ve VSCode’u (Tümleşik geliştirme ortamı) başlatın. 

$ cd C:\Repository\GitHub\
$ git clone https://github.com/kingabzpro/Automating-Machine-Learning-Testing.git

$ cd .\Automating-Machine-Learning-Testing\
$ mkdir data
$ mv -v ".Downloads\loan_data.csv" ".\Automating-Machine-Learning-Testing\data"
$ code -r data_validation.pyAltyapı:

Veri doğrulama dosyası

6. Veri doğrulama dosyasında, CSV dosyasını yükleyecek, DeepChecks veri kümesine dönüştürecek, veri bütünlüğü paketini başlatacak ve kredi veri kümesi üzerinde çalıştıracaksınız. 
7. “results” adlı yeni klasör oluşturun ve sonucu bir HTML dosyası olarak kaydedin. 

import pandas as pd
from deepchecks.tabular import Dataset
from deepchecks.tabular.suites import data_integrity

# Load the loan data from a CSV file
loan_data = pd.read_csv("data/loan_data.csv")

# Define the label column
label_col = "not.fully.paid"

# Create a Deepchecks Dataset object with the loan data
deep_loan_data = Dataset(loan_data, label=label_col, cat_features=["purpose"])

# Initialize the data integrity suite
integ_suite = data_integrity()

# Run the data integrity suite on the dataset
suite_result = integ_suite.run(deep_loan_data)

# Save the results of the data integrity suite as an HTML file
suite_result.save_as_html("results/data_validation.html")Altyapı:

Model test dosyası

8. Veri işleme, model kurma, eğitim ve değerlendirmeyi içeren bir veri doğrulama Python dosyası oluşturun. Dosya ayrıca veri kümesini bir DeepChecks veri kümesine dönüştürmeyi, model değerlendirme paketini çalıştırmayı ve "results" klasörüne bir HTML dosyası olarak kaydetmeyi de içermelidir.

$ code -r train_validation.pyAltyapı:

import pandas as pd
from sklearn.ensemble import RandomForestClassifier, VotingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB
from sklearn.preprocessing import LabelEncoder, StandardScaler
from deepchecks.tabular import Dataset
from deepchecks.tabular.suites import model_evaluation

# Load the loan data from a CSV file
loan_data = pd.read_csv("data/loan_data.csv")

# Define the label column
label_col = "not.fully.paid"

# Train test split
df_train, df_test = train_test_split(
    loan_data, stratify=loan_data[label_col], random_state=0
)

# Encode the 'purpose' column
label_encoder = LabelEncoder()
df_train["purpose"] = label_encoder.fit_transform(df_train["purpose"])
df_test["purpose"] = label_encoder.transform(df_test["purpose"])

# Standardize the features
scaler = StandardScaler()
df_train[df_train.columns.difference([label_col])] = scaler.fit_transform(df_train[df_train.columns.difference([label_col])])
df_test[df_test.columns.difference([label_col])] = scaler.transform(df_test[df_test.columns.difference([label_col])])

# Define models
model_1 = LogisticRegression(random_state=1, max_iter=10000)
model_2 = RandomForestClassifier(n_estimators=50, random_state=1)
model_3 = GaussianNB()

# Create the VotingClassifier
clf_model = VotingClassifier(
    estimators=[("lr", model_1), ("rf", model_2), ("gnb", model_3)], voting="soft"
)

# Train the model
clf_model.fit(df_train.drop(label_col, axis=1), df_train[label_col])

# Calculate the accuracy score using the .score function
accuracy = clf_model.score(df_test.drop(label_col, axis=1), df_test[label_col])

# Print the accuracy score
print(f"Accuracy: {accuracy:.2f}")

# Create Deepchecks datasets
deep_train = Dataset(df_train, label=label_col, cat_features=["purpose"])
deep_test = Dataset(df_test, label=label_col, cat_features=["purpose"])

# Run the evaluation suite
evaluation_suite = model_evaluation()
suite_result = evaluation_suite.run(deep_train, deep_test, clf_model)

# Save the results as HTML
suite_result.save_as_html("results/model_validation.html")Altyapı:

GitHub Actions kullanma

GitHub Actions’a yeniyseniz, otomasyon sürecine başlamadan önce "GitHub Actions ve MakeFile: Uygulamalı Bir Giriş" eğitimini tamamlayın. Bu eğitim, GitHub Actions’ın nasıl çalıştığını kod örnekleriyle ayrıntılı şekilde açıklayacaktır.

9. GitHub Actions’ı başlatmak için değişiklikleri sahneleyip (stage) kaydedip (commit) uzak GitHub deposuna itin. 

$ git add .
$ git commit -m "Data and Validation files"  
$ git pushAltyapı:

10. GitHub deposuna gidin, “Actions” sekmesine tıklayın ve ardından mavi renkteki “set up a workflow yourself” metnine tıklayın. 

11. main.yml iş akışı dosyasına yönlendirileceğiz. Lütfen aşağıdaki kodu kopyalayıp yapıştırın. Aşağıdaki kod önce ortamı kuracak ve DeepChecks paketini yükleyecek. Ardından klasörü oluşturacak, veri doğrulaması ve model değerlendirmeyi çalıştıracak ve sonuçları bir GitHub Artifact olarak kaydedecektir.

name: Model Training and Validation

on:
  push:
    branches: [ main ]
  pull_request:
    branches: [ main ]

jobs:
  build:
    runs-on: ubuntu-latest
    steps:
      - name: Checkout Repository
        uses: actions/checkout@v4

      - name: Set up Python 3.10
        uses: actions/setup-python@v5
        with:
          python-version: '3.10'

      - name: Install dependencies
        run: |
          python -m pip install --upgrade pip
          pip install deepchecks
          
      - name: Create a folder
        run: |
          mkdir -p results
          
      - name: Validate Data
        run: |
          python data_validation.py
      - name: Validate Model Performance
        run: |
          python train_validation.py
      - name: Archive Deepchecks Results
        uses: actions/upload-artifact@v4
        if: always()
        with:
          name: deepchecks results
          path: results/*_validation.htmlAltyapı:

12. Değişiklikleri bir iletiyle kaydedin. 

Değişiklikleri ana dala (main) kaydettiğinizde iş akışı çalışması başlatılacaktır. Çalıştırma günlüğünü görüntülemek için "Actions" sekmesine gidin ve iletiyle ilişkili mevcut iş akışı çalışmasına tıklayın.

13. İş akışı çalışması tamamlandığında, lütfen aşağı kaydırın ve “Artifacts” bölümünün altındaki zip dosyasını indirin.

14. Zip dosyasını yerelde açın ve veri ile model doğrulama sonuçlarını görüntüleyin. 

Lütfen rehber olarak kingabzpro/Automating-Machine-Learning-Testing GitHub deposuna göz atın. Tam otomatik testleri çalıştırmak için veri, Python kodu, iş akışı dosyaları ve diğer gerekli dosyaları içerir. 

Tüm makine öğrenimi hattını otomatikleştirmek, çeşitli süreç ve araçlara dair bilgi gerektirir. Bunları öğrenmek için MLOps Dağıtım ve Yaşam Döngüsü kursunu almayı düşünebilirsiniz. Bu kurs, modern MLOps çerçevelerini; özellikle makine öğrenimi modellerinin yaşam döngüsü ve dağıtımını inceler.

Sonuç

Test sürecini otomatikleştirerek geliştiriciler, modellerin büyük ve karmaşık veri kümelerine karşı doğruluğunu ve sağlamlığını hızlı ve verimli bir şekilde doğrulayabilir. Otomatik test, manuel testle fark edilmeyebilecek veri tutarsızlıkları, veri kayması ve model önyargıları gibi sorunları erken aşamada tespit etmeye yardımcı olur. Bu da zaman kazandırır ve modelin adil ve doğru tahminler yapma yeteneğini artırır.

Bu eğitimde, makine öğrenimi testini ve veri doğrulaması ile makine öğrenimi testleri için DeepChecks’in nasıl kullanılacağını öğrendik. Ayrıca veriyi ve modeli test etmeyi otomatikleştirdik ve sonuçları GitHub Actions kullanarak artifact olarak kaydettik. 

Eğitimi beğendiyseniz ve makine öğrenimi alanında kariyere başlamayı düşünüyorsanız, Python ile Makine Öğrenimi Bilimcisi kariyer yoluna kaydolmayı düşünebilirsiniz. Tüm kursları 3 ay içinde tamamlayarak bir makine öğrenimi bilimcisi işi için gereken becerileri edinin.