Veri Mühendisliğinde Cron İşleri: Veri Hatları Nasıl Zamanlanır

Sık sık yinelenen görevleri elle yönetiyorsanız, bunun yalnızca zahmetli olmadığını bilirsiniz — kaçırılan son teslim tarihlerine ve tutarsız veri boru hatlarına davetiye çıkarır.

Cron işleri, Unix tabanlı sistemlerde tekrarlayan görevleri otomatikleştirmek için başvurulan bir çözümdür. Belirli aralıklarla çalışacak komutları veya betikleri zamanlamanıza olanak tanır. Cron'un basit ve esnek zamanlama sisteminden yararlanarak, temel veri toplamadan aksi takdirde sürekli manuel müdahale gerektirecek karmaşık ETL iş akışlarına kadar her şeyi otomatikleştirebilirsiniz. Bu otomatik süreçleri kurmak, insan hatasını ortadan kaldırır ve veri boru hatlarınızın tutarlı ve güvenilir şekilde çalışmasını sağlar.

Cron işlerini ustalıkla kullanmak, Unix ortamlarında çalışan her veri mühendisliği profesyoneli için kritik öneme sahiptir. Otomatik görevleri zamanlama ve yönetme becerisi, iş akışınızı katbekat iyileştirir ve bakım yükünü azaltır.

Bu kapsamlı kılavuzda, veri mühendisliği için cron işleri hakkında bilmeniz gereken her şeyi — temel kurulumdan gelişmiş kullanım örneklerine ve en iyi uygulamalara kadar — adım adım anlatacağım.

>Veri Mühendisliğine tamamen yabancı mısınız? Kursumuz terimleri sadeleştirip kavramları açıklar.

Cron İşi Nedir?

Cron işi, Unix işletim sistemlerinde komutları belirli zamanlarda, tarihlerde veya aralıklarda otomatik olarak çalıştırmanıza olanak tanıyan zaman tabanlı bir zamanlayıcıdır. 

Cron'u, görevleri tam olarak istediğiniz zamanda, manuel müdahale olmadan çalıştıran kişisel asistanınız gibi düşünün. Veri mühendisleri için bu; veritabanı yedeklerini, veri transferlerini, rapor üretimini ve daha fazlasını otomatikleştirebileceğiniz anlamına gelir.

Cron işleri, "crontab" (cron tablosu) adı verilen basit bir metin dosyasında yer alır. Bu dosyadaki her satır, belirli bir formata sahip altı bileşenden oluşan zamanlanmış bir görevi temsil eder:

* * * * * command-to-execute
│ │ │ │ │
│ │ │ │ └─── Day of week (0-6, where 0 is Sunday)
│ │ │ └───── Month (1-12)
│ │ └─────── Day of month (1-31)
│ └───────── Hour (0-23)
└─────────── Minute (0-59)Altyapı:

İlk beş alan, cron'a komutunuzu tam olarak ne zaman çalıştıracağını söyler. Belirli değerleri, aralıkları (ör. 1-5), listeleri (ör. 1, 3, 5) veya her zaman birimini ifade eden yıldız işaretlerini (*) kullanabilirsiniz. Altıncı bileşen ise çalıştırmak istediğiniz asıl komuttur.

Örneğin, her gün gece yarısında bir Python betiğini çalıştırarak bir API'den veri çıkarmak isterseniz, cron işiniz şöyle görünür:

0 0 * * * /usr/bin/python3 /home/username/scripts/extract_data.pyAltyapı:

Bu, cron'a betiğinizi 0. dakikada, 0. saatte (gece yarısı), ayın her günü, her ay ve haftanın her günü çalıştırmasını söyler. Hem Python yorumlayıcısının hem de betiğinizin mutlak yolunu kullanmak, ortamdan bağımsız olarak işin doğru çalışmasını sağlar.

Daha karmaşık zamanlamalar da oluşturabilirsiniz. Diyelim ki veritabanı temizliğini Pazartesi, Çarşamba ve Cuma günleri saat 15:30'da çalıştırmak istiyorsunuz; cron ifadeniz şöyle olur:

30 15 * * 1,3,5 /path/to/cleanup_script.shAltyapı:

Her yıldız işareti bir joker karakter görevi görür ve tam ihtiyaçlarınıza uyan esnek zamanlamalar oluşturmanızı sağlar. Yaygın zamanlama kalıplarını daha okunur kılmak için @daily, @weekly veya @monthly gibi özel kısayolları da kullanabilirsiniz.

Temeller bu kadar. Sırada, veri mühendisliği görevleri için cron işleriyle pratik olarak nasıl çalışacağınızı göstereceğim.

Veri Mühendisliği Görevleri için Cron İşi Kurulumu

Artık cron işlerinin ne olduğunu anladığınıza göre, ilk otomatik görevinizi oluşturalım. Süreç basittir ve başlamak için sadece birkaç komut gerektirir.

crontab dosyasını düzenleme

Cron işleri oluşturmak veya değiştirmek için crontab dosyanıza erişmeniz gerekir. Bunu crontab -e komutuyla yapabilirsiniz:

crontab -eAltyapı:

Görsel 1 - Bir crontab dosyasını düzenleme

Yukarıdaki komut, zamanlanmış görevleri ekleyebileceğiniz, düzenleyebileceğiniz veya kaldırabileceğiniz vi metin düzenleyicisini açar.

Crontab dosyanız, daha önce hiç kullanmadıysanız boş olabilir. Yeni bir cron işi eklemek için, daha önce açıkladığım cron sözdizimini izleyen yeni bir satır eklemeniz yeterlidir. Her satır hem zamanlama hem de çalıştırılacak komutu içermelidir.

Örneğin, bir betiği her gün saat 03:00'te çalıştırmak için şu satırı ekleyin:

0 3 * * * /path/to/your/commandAltyapı:

Dosyayı kaydedip düzenleyiciden çıkın. Cron, yeni crontab'ınızı otomatik olarak yükler ve işleri belirtilen zamanlarda çalıştırmaya başlar.

Basit bir veri mühendisliği görevinin zamanlanması

Pratik bir örnekle başlayalım: bir Python betiğini bir API'den veri çekmek üzere her dakika çalışacak şekilde zamanlamak. Aşağıda, bir REST API uç noktasına bağlanan, nesne verilerini alan ve bir CSV dosyasına kaydeden eksiksiz bir Python betiği yer alıyor — sadece Python yorumlayıcınızda requests ve pandas paketlerinin kurulu olduğundan emin olun:

# fetch_api_data.py

import requests
import pandas as pd
import os
from datetime import datetime

# Create a timestamp for the filename
timestamp = datetime.now().strftime("%Y%m%d_%H%M%S")

# Set file paths - CHANGE THIS
data_dir = "/Users/dradecic/Desktop/cron/data"
output_file = f"{data_dir}/objects_{timestamp}.csv"

# Make sure the data directory exists
os.makedirs(data_dir, exist_ok=True)

# Fetch data from the API
try:
    response = requests.get("https://jsonplaceholder.typicode.com/posts")
    if response.status_code == 200:
        data = response.json()
        
        # Check if we have data
        if data:
            df = pd.DataFrame([
                {
                    "id": row.get("id", ""),
                    "user_id": row.get("userId", ""),
                    "title": row.get("title", ""),
                    "body": row.get("body", "")
                } for row in data
            ])

            df.to_csv(output_file, index=False)
            
            print(f"Data successfully saved to {output_file}")
        else:
            print("API returned empty data")
    else:
        print(f"API request failed with status code: {response.status_code}")
except Exception as e:
    print(f"Error occurred: {str(e)}")Altyapı:

Şimdi bu betiği cron ile her gün saat 02:00'de çalışacak şekilde zamanlamak için:

* * * * * /Users/dradecic/miniforge3/bin/python /Users/dradecic/Desktop/cron/fetch_api_data.pyAltyapı:

Görsel 2 - Etkin crontab'leri listeleme

Bu satır, Python betiğinizi her günün her dakikasında çalıştırmasını cron'a söyler. Hem Python yorumlayıcısı (/Users/dradecic/miniforge3/bin/python benim durumumda) hem de betiğiniz (/Users/dradecic/Desktop/cron/fetch_api_data.py benim durumumda) için mutlak yollar kullandığınızdan emin olun.

Neden mutlak yollar? Cron sınırlı bir ortamla çalışır; bu nedenle kabuğunuzun PATH değişkenini veya mevcut dizininizi bilmez. Mutlak yollar olmadan, cron kullanmak istediğiniz komutları veya dosyaları bulamadığı için işiniz başarısız olabilir.

Siz bunu okurken, data klasörüme birkaç CSV dosyası kaydedildi; bu da cron işinin beklendiği gibi çalıştığını gösteriyor:

Görsel 3 - Kaydedilen CSV dosyaları

ETL görevlerini zamanlama

Daha karmaşık veri mühendisliği iş akışları örneğin ETL (Extract, Transform, Load) işleri için, çok adımlı süreçleri zamanlamak amacıyla cron'u kullanabilirsiniz. Yaygın bir yaklaşım, tüm ETL adımlarınızı içeren bir kabuk betiği oluşturmak ve ardından bu betiği cron ile zamanlamaktır.

Basitlik adına, aşağıdaki .sh betiğinde göreceğiniz kod yalnızca teoriktir ve herhangi bir veri kaynağına bağlanmaz:

#!/bin/bash
# etl_pipeline.sh

# Extract data from source
/usr/bin/psql -U username -d source_db -c "COPY (SELECT * FROM source_table) TO '/tmp/extracted_data.csv' WITH CSV HEADER;"

# Transform data
/usr/bin/python3 /home/username/scripts/transform_data.py

# Load data into target
/usr/bin/psql -U username -d target_db -c "\COPY target_table FROM '/tmp/transformed_data.csv' WITH CSV HEADER;"

# Log completion
echo "ETL job completed at $(date)" >> /home/username/logs/etl_job.logAltyapı:

Bu kısmı hallettikten sonra, kabuk betiğinizi çalıştırılabilir hale getirmek isteyeceksiniz:

chmod +x /home/username/scripts/etl_pipeline.shAltyapı:

Son olarak, cron ile örneğin her iş günü saat 01:00'de çalışacak şekilde zamanlayın:

0 1 * * 1-5 /home/username/scripts/etl_pipeline.shAltyapı:

Bir veri mühendisiyseniz, ETL görevlerini cron ile zamanlamanın şu avantajları vardır:

• Karmaşık iş akışlarını okunabilir bir betikte tutabilirsiniz.
• Betik hata yakalama ve günlükleme (logging) içerebilir.
• Betik dosyasını doğrudan çalıştırarak ETL sürecinizi manuel olarak test edebilirsiniz.
• Crontab temiz ve basit kalır.

Daha büyük ETL süreçleri için betiklerinize hata yönetimi eklemek isteyebilirsiniz:

#!/bin/bash
# etl_pipeline.sh

# Set error handling
set -e  # Exit immediately if any command fails

# Execute ETL steps
# ...

# If we get here, all steps succeeded
echo "ETL job completed successfully at $(date)" >> /home/username/logs/etl_job.logAltyapı:

Ve hepsi bu! ETL boru hattınız planlanan zamanlarda otomatik olarak çalışır, verilerinizi işler ve izleme amaçlı durumunu günlüklere yazar.

Cron İşlerini Yönetme ve İzleme

Cron işlerini kurduktan sonra, beklendiği gibi çalıştıklarından emin olmak için bunları yönetmeniz ve izlemeniz gerekir. 

Bundan kastım; şu anda hangi işlerin zamanlandığını kontrol etmek, eski işleri kaldırmak ve yürütmelerini izlemektir. Bu bölümde, cron işlerinizi zahmetsizce sürdürmek için temel komut ve teknikleri göreceksiniz.

Mevcut cron işlerini görüntüleme

Şu anda zamanlanmış tüm cron işlerinizi görmek için crontab -l komutunu kullanın:

crontab -lAltyapı:

Bu komut, zamanlamaları ve komutları dâhil olmak üzere tüm zamanlanmış işleri gösteren mevcut crontab dosyanızın içeriğini görüntüler. Düzenleme moduna girmeden hangi işlerin etkin olduğunu hızlıca doğrulamanın bir yoludur.

Önceki bölümü takip ettiyseniz, çıktınız aşağıdakine benzeyecektir:

Görsel 4 - Etkin cron işleri

Başka bir kullanıcının cron işlerini kontrol etmeniz gerekirse (root erişimi gerekir), bunun yerine şu komutu çalıştırın:

sudo crontab -u username -lAltyapı:

Cron işlerini kaldırma veya devre dışı bırakma

Artık ihtiyaç olmadığında cron işlerini kaldırmanın veya devre dışı bırakmanın birden fazla yolu vardır. Belirli bir işi kaldırmak için crontab'ınızı düzenleme modunda açın ve ilgili satırı silin:

crontab -eAltyapı:

Bir işi silmeden geçici olarak devre dışı bırakmak için, satırın başına bir # ekleyerek yorum satırı yapın:

Görsel 5 - Bir cron işini geçici olarak devre dışı bırakma

Yorum satırı yapılan iş, ileride başvurmak üzere crontab'ınızda kalır, ancak tanımlanan zamanlamada çalıştırılmaz.

Tüm crontab'ınızı (tüm işleri) kaldırmak isterseniz, -r seçeneğini kullanın:

crontab -rAltyapı:

Görsel 6 - Tüm crontab'ı silme

Bu komutu dikkatli kullanın — hiçbir onay istemi olmadan tüm zamanlanmış işlerinizi kaldırır. Yanlışlıkla silmeyi önlemek için önce crontab'ınızın yedeğini alabilirsiniz:

crontab -l > my_crontab_backupAltyapı:

Bu işlem, mevcut crontab'ınızı gerektiğinde işlerinizi geri yüklemek için kullanabileceğiniz bir dosyaya kaydeder:

crontab my_crontab_backupAltyapı:

Görsel 7 - Bir yedekten crontab geri yükleme

Cron işi çıktısını izleme

Varsayılan olarak cron, işlerin çıktısını crontab'ın sahibi olan kullanıcıya e-postayla göndermeye çalışır. Ancak bunun için düzgün yapılandırılmış bir posta sistemi gerekir ve bu her zaman mevcut olmayabilir. Bunun yerine, daha kolay takip ve sorun giderme için çıktıyı günlük dosyalarına yönlendirebilirsiniz.

Hem standart çıktıyı hem de hata mesajlarını yakalamak için şu yönlendirme söz dizimini kullanın:

* * * * * /Users/dradecic/miniforge3/bin/python /Users/dradecic/Desktop/cron/fetch_api_data.py >> /Users/dradecic/Desktop/cron/logs/api_fetch.log 2>&1Altyapı:

Bu yönlendirme ilk bakışta göz korkutucu görünebilir; parçalayalım:

• >>, çıktıyı belirtilen dosyanın sonuna ekler.
• 2>&1, stderr'i (hata mesajları) stdout ile (standart çıktı) aynı konuma yönlendirir.

Görsel 8 - Cron işi günlüklerini yakalama

Daha iyi günlük yönetimi için günlük girdilerinize zaman damgaları ekleyebilirsiniz:

* * * * * /Users/dradecic/miniforge3/bin/python /Users/dradecic/Desktop/cron/fetch_api_data.py >> /Users/dradecic/Desktop/cron/logs/api_fetch.log 2>&1 && echo "Job completed at $(date)" >> /Users/dradecic/Desktop/cron/logs/api_fetch.logAltyapı:

Görsel 9 - Zaman damgalı cron işi günlüklerini yakalama

Normal çıktı ve hatalar için ayrı günlük dosyaları istiyorsanız, şunu kullanın:

* * * * * /Users/dradecic/miniforge3/bin/python /Users/dradecic/Desktop/cron/fetch_api_data.py >> /Users/dradecic/Desktop/cron/logs/api_fetch.log 2>> /Users/dradecic/Desktop/cron/logs/api_fetch_errors.logAltyapı:

Görsel 10 - Cron işi günlük ve hata dosyaları

Arıza durumunda bildirim gerektiren kritik işler için e-posta uyarıları kurabilirsiniz. Sisteminizde bir posta aktarım aracısı (ör. postfix veya sendmail) kurulu olduğunu varsayarsak, iş yalnızca başarısız olursa e-posta gönderecek şekilde cron işinizi değiştirebilirsiniz:

* * * * * /Users/dradecic/miniforge3/bin/python /Users/dradecic/Desktop/cron/fetch_api_data.py >> /Users/dradecic/Desktop/cron/logs/api_fetch.log 2>&1 || echo "API fetch failed on $(date)" | mail -s "Cron Job Failed" [email protected]Altyapı:

Bu, || işleçini kullanır; bu da "önceki komut başarısız olursa posta komutunu çalıştır" anlamına gelir.

“Başarı” e-posta bildirimleri için ise şunu kullanın:

* * * * * /Users/dradecic/miniforge3/bin/python /Users/dradecic/Desktop/cron/fetch_api_data.py >> /Users/dradecic/Desktop/cron/logs/api_fetch.log 2>&1 && echo "API fetch completed successfully on $(date)" | mail -s "Cron Job Succeeded" [email protected]Altyapı:

Daha gelişmiş izleme araçlarısını, örneğin Node Exporter ile Prometheus veya adaha adanmış cron izleme servislerini kullanabilirsiniz; ancak bu basit günlükleme ve e-posta teknikleri, çoğu veri mühendisliği ihtiyacı için etkili bir izleme sağlar.

Veri Mühendisliğinde İleri Düzey Cron İşi Kullanım Senaryoları

Şimdiye kadar, günlükleri ve hataları yakalamak için temel cron komutlarını ve kalıplarını öğrendiniz. Başlamak için iyidir, ancak üretim senaryolarında daha gelişmiş komutları ve konteyner teknolojileriyle entegrasyonu keşfetmek isteyeceksiniz.

Bu bölümde, daha sofistike veri mühendisliği iş akışları için cron işi uygulamanızı nasıl bir üst seviyeye taşıyacağınızı göreceksiniz.

Birden çok komutla cron işleri çalıştırma

Ayrı kabuk betiklerine gerek kalmadan, tek bir cron işinde birden çok komutu zincirleyerek karmaşık iş akışları oluşturabilirsiniz. 

Komutları birleştirmenin birkaç yolu vardır.

Önceki komutların başarı durumundan bağımsız olarak komutları ardışık çalıştırmak için noktalı virgül kullanabilirsiniz:

* * * * * cd /path/to/data && python3 extract.py; python3 transform.py; python3 load.pyAltyapı:

Ya da && kullanarak, önceki komut başarılı olursa sonraki komutu çalıştır (ilk hatada durur) kuralını uygulayabilirsiniz:

* * * * * cd /path/to/data && python3 extract.py && python3 transform.py && python3 load.py >> /path/to/logs/etl.log 2>&1Altyapı:

Alternatif olarak || kullanarak, önceki komut başarısız olursa bir komutu çalıştırabilirsiniz (hata işleme):

* * * * * python3 /path/to/critical_job.py || python3 /path/to/send_alert.py "Critical job failed"Altyapı:

Daha karmaşık komut zincirleri için, komutları gruplayacak parantezleri kullanabilirsiniz:

* * * * * (cd /path/to/data && python3 extract.py && echo "Extraction complete") && (python3 transform.py && echo "Transform complete") >> /path/to/logs/etl.log 2>&1Altyapı:

Bu yaklaşım, daha basit çok adımlı iş akışları için iyi çalışır. Ancak çok sayıda adım, koşullu mantık veya hata yönetimi içeren çok karmaşık boru hatları için özel bir kabuk betiği hâlâ daha iyi bir seçenektir.

Docker ile cron işleri

Docker konteynerleri, modern veri mühendisliği yığınlarının vazgeçilmez bir parçası haline geldi. Zamanlanmış görevlerinizin tutarlı ve izole ortamlarda çalışmasını sağlamak için cron'u Docker ile çeşitli güçlü şekillerde entegre edebilirsiniz.

Göstermek için, fetch_api_data.py betiğini biraz değiştirerek veri alma ve günlükler için ayrılmış dizinler kullanacağım ve betiğin bir konteyner ortamında çalışabilmesi için yolları güncelleyeceğim:

# fetch_api_data.py

import requests
import pandas as pd
import os
import uuid
from datetime import datetime

# Set file paths
data_dir = "/app/data"
log_dir = "/app/logs"
output_file = f"{data_dir}/objects_{str(uuid.uuid4())}.csv"

# Make sure the data directory exists
os.makedirs(data_dir, exist_ok=True)
os.makedirs(log_dir, exist_ok=True)


def log_message(message):
    print(f"{datetime.now().isoformat()}: {message}")


# Fetch data from the API
try:
    log_message("Starting API data fetch")
    response = requests.get("https://jsonplaceholder.typicode.com/posts")
    if response.status_code == 200:
        data = response.json()

        # Check if we have data
        if data:
            df = pd.DataFrame(
                [
                    {
                        "id": row.get("id", ""),
                        "user_id": row.get("userId", ""),
                        "title": row.get("title", ""),
                        "body": row.get("body", ""),
                    }
                    for row in data
                ]
            )

            df.to_csv(output_file, index=False)

            log_message(f"Data successfully saved to {output_file}")
        else:
            log_message("API returned empty data")
    else:
        log_message(f"API request failed with status code: {response.status_code}")
except Exception as e:
    log_message(f"Error occurred: {str(e)}")Altyapı:

Yani hem alınan veriler hem de günlükler /app/runs klasörüne kaydedilecek.

Sıradaki adım, Docker'a konteynerin nasıl oluşturulacağını ve çalıştırılacağını anlatan tek bir dosya olan bir Dockerfile oluşturmaktır:

FROM python:3.12-slim

# Install cron and required packages
RUN apt-get update && apt-get -y install cron \
    && pip install requests pandas \
    && rm -rf /var/lib/apt/lists/*

# Set up directories
WORKDIR /app
RUN mkdir -p /app/runs/data /app/runs/logs

# Copy our script
COPY fetch_api_data.py /app/

# Make the script executable
RUN chmod +x /app/fetch_api_data.py

# Create the crontab file
RUN echo "* * * * * root /usr/local/bin/python /app/fetch_api_data.py >> /app/runs/logs/api_fetch.log 2>&1" | tee /etc/cron.d/api-cron
RUN chmod 0644 /etc/cron.d/api-cron

# Create a startup script
RUN echo '#!/bin/sh' > /app/start.sh && \
    echo 'mkdir -p /app/runs/logs' >> /app/start.sh && \
    echo 'touch /app/runs/logs/api_fetch.log' >> /app/start.sh && \
    echo 'tail -f /app/runs/logs/api_fetch.log &' >> /app/start.sh && \
    echo 'cron -f' >> /app/start.sh
RUN chmod +x /app/start.sh

# Set entry point
CMD ["/app/start.sh"]Altyapı:

Neredeyse hazırız. Şimdi imajı oluşturmak ve Docker konteynerini çalıştırmak için aşağıdaki komutu çalıştırabilirsiniz

docker build --no-cache -t api-cron-job . && \
docker run --rm --name api-fetcher api-cron-jobAltyapı:

Konteynere bağlanırsanız, Python betiğinin her dakika çalıştırıldığını görürsünüz:

Görsel 11 - Docker konteynerinde çalışan cron işi

Diğer yandan, bir veri mühendisliği boru hattını bir Docker konteynerinde kron zamanlamasıyla çalıştırmanın bir yolunu arıyorsanız, fetch_api_data.py betiğini değiştirmeden bırakın ancak Dockerfile'ı düzenleyin:

# Use Python 3.12 slim as base image
FROM python:3.12-slim

# Install required Python packages
RUN pip install --no-cache-dir requests pandas

# Set working directory
WORKDIR /app

# Copy the script into the container
COPY fetch_api_data.py /app/

# Set execution permissions
RUN chmod +x /app/fetch_api_data.py

# Run the script
CMD ["/usr/local/bin/python", "/app/fetch_api_data.py"]Altyapı:

Ardından sisteminizdeki crontab dosyasına şunları ekleyin:

*/2 * * * * cd /path/to/root/project/folder && docker build --no-cache -t api-cron-job . && docker run --rm --name api-fetcher api-cron-jobAltyapı:

Bu, container'ı her 2 dakikada bir oluşturup çalıştıracaktır.

Cron işlerini uzak sunucularda çalıştırma

Dağıtık veri mühendisliği iş akışlarında, süreçleri uzak sunucularda yürütmeniz sıkça gerekir. Cron işleri, SSH kullanarak bu uzak işlemleri tetikleyebilir.

Örneğin, uzak bir sunucuda bir cron işini çalıştırmak için şu komutu kullanabilirsiniz:

0 5 * * * ssh username@remote-server 'python3 /path/to/remote_job.py' >> /path/to/logs/remote_job.log 2>&1Altyapı:

Bunun parolasız çalışması için sunucular arasında SSH anahtar tabanlı kimlik doğrulaması kurmanız gerekir.

Sunucular arasında zamanlanmış veri transferi yapmak için şu cron işini kullanın:

0 6 * * * scp /path/to/local/data.csv username@remote-server:/path/to/destination/ >> /path/to/logs/data_transfer.log 2>&1Altyapı:

Daha karmaşık uzak işlemler için SSH'i kabuk betikleriyle birleştirebilirsiniz:

#!/bin/bash
# remote_etl.sh

# Run extraction on the data source server
ssh username@source-server 'python3 /path/to/extract.py'

# Transfer the extracted data to the processing server
scp username@source-server:/path/to/extracted_data.csv /local/temp/

# Run transformation locally
python3 /path/to/transform.py

# Transfer the transformed data to the warehouse server
scp /local/temp/transformed_data.csv username@warehouse-server:/path/to/data/

# Trigger the load process on the warehouse server
ssh username@warehouse-server 'python3 /path/to/load.py'Altyapı:

Ve ardından cron ile zamanlamak yeterlidir:

0 7 * * * /path/to/remote_etl.sh >> /path/to/logs/remote_etl.log 2>&1Altyapı:

Bu yaklaşım, çok sunuculu veri boru hatlarını doğrudan cron işlerinden orkestre etmenize olanak tanır. İşe yarar, ancak çok karmaşık dağıtık iş akışları için özel orkestrasyon araçlarını, örneğin Apache Airflow veya Prefect'i düşünebilirsiniz.

Veri Mühendisliği için Cron İşi En İyi Uygulamaları

En iyi tasarlanmış cron işleri bile doğru operasyonel uygulamalarla hayata geçirilmezse başarısız olabilir veya sorunlara yol açabilir. 

Bir veri mühendisi olarak, zamanlanmış görevlerinizin güvenilir şekilde çalışmasını, hatalarda zarifçe toparlanmasını ve sorun giderme için yeterli görünürlük sağlamasını temin etmeniz gerekir. Bu bölümde bunu nasıl yapacağınızı göstereceğim.

Doğru günlükleme ayarlayın

Günlükleme, doğrudan gözetim olmadan çalışan otomatik süreçler için kritik öneme sahiptir. Onlar olmadan, cron işleriyle ilgili sorunları teşhis etmek neredeyse imkansız hale gelir.

Temel günlükleme kurmak için, hem standart çıktıyı hem de hata mesajlarını günlük dosyalarına yönlendirebilirsiniz:

* * * * * /Users/dradecic/miniforge3/bin/python /Users/dradecic/Desktop/cron/fetch_api_data.py >> /Users/dradecic/Desktop/cron/logs/script.log 2>&1Altyapı:

Görsel 12 - Cron işi günlükleme yapılandırması (1)

Bu komut, betiğinizi her dakika çalıştırır ve tüm çıktıyı bir günlük dosyasının sonuna ekler. >> işleci çıktıyı üzerine yazmak yerine eklerken, 2>&1 hem standart hatayı (dosya tanımlayıcı 2) hem de standart çıktıyı (dosya tanımlayıcı 1) aynı günlük dosyasına yönlendirir.

Daha yapısal günlükleme için zaman damgaları ve iş tanımlayıcıları ekleyebilirsiniz:

* * * * * (echo "=== Job started at $(date) ==="; /Users/dradecic/miniforge3/bin/python /Users/dradecic/Desktop/cron/fetch_api_data.py; echo "=== Job finished at $(date) with exit code $? ===") >> /Users/dradecic/Desktop/cron/logs/script.log 2>&1Altyapı:

Görsel 13 - Cron işi günlükleme yapılandırması (2)

Bu geliştirilmiş komut, betiğinizi çalıştırmadan önce zaman damgalı net bir başlangıç işareti ve tamamlandıktan sonra hem zaman damgası hem de çıkış kodu içeren bir bitiş işareti ekler. Parantezler bu komutları bir arada gruplar, böylece tüm çıktı günlük dosyasına yönlendirilir. $? değişkeni en son çalıştırılan komutun çıkış kodunu içerir; bu da betiğin başarılı olup olmadığını (çıkış kodu 0) veya başarısız olup olmadığını (sıfırdan farklı çıkış kodu) belirlemenize yardımcı olur.

Günlüklerin aşırı disk alanı tüketmesini önlemek için günlük döndürme uygulayabilirsiniz. Çoğu Linux dağıtımında bulunan logrotate aracını kullanın:

/etc/logrotate.d/cron-jobs konumunda bir yapılandırma dosyası oluşturun:

/path/to/logs/*.log {
    daily
    missingok
    rotate 14
    compress
    delaycompress
    notifempty
    create 0640 username groupname
}Altyapı:

Bu yapılandırma sisteme şunları söyler:

• Günlük dosyalarını günlük olarak işle (daily)
• Günlük dosyaları eksikse hata raporlamasını atla (missingok)
• Silmeden önce günlükleri 14 gün sakla (rotate 14)
• Alan kazanmak için eski günlükleri sıkıştır (compress)
• Önceki günün günlüğünü sıkıştırmayı ikinci güne ertele (delaycompress)
• Günlük dosyası boşsa döndürmeyi atla (notifempty)
• Yeni günlük dosyalarını belirli izinler ve sahiplikle oluştur (create 0640 username groupname)

Sistemin logrotate servisi bu ayarları otomatik olarak uygular ve genellikle günde bir kez çalışır. Çalıştığında mevcut günlük dosyanızın adını değiştirir (tarih soneki ekleyerek), daha eski günlükleri sıkıştırır, 14 günden eski günlükleri siler ve yeni kayıtlar için taze bir günlük dosyası oluşturur.

Hataları ve yeniden denemeleri yönetin

Sağlam veri mühendisliği iş akışları, hataları ele almak için stratejilere ihtiyaç duyar. Betiklerinize veya cron işlerinize yeniden deneme mantığı entegre edebilir ya da cron işlerinizi izleme sistemlerine bağlayabilirsiniz.

Bu bölümde bu seçeneklerin tümünü nasıl uygulayacağınızı göstereceğim.

Yerleşik yeniden deneme mantığı doğrudan Python betiklerinize aşağıdaki gibi uygulanabilir:

import time
import random

def fetch_data_with_retry(max_attempts=3, backoff_factor=1.5):
    attempt = 1
    while attempt <= max_attempts:
        try:
            # Try to fetch data
            return fetch_data()
        except Exception as e:
            print(f"Attempt {attempt} failed: {str(e)}")
            # Calculate backoff time with jitter
            backoff_time = backoff_factor ** (attempt - 1) * (random.uniform(0.8, 1.2))
            if attempt < max_attempts:
                print(f"Retrying in {backoff_time:.2f} seconds...")
                time.sleep(backoff_time)
            else:
                print("Max retry attempts reached. Giving up.")
                raise
        attempt += 1Altyapı:

Bu Python fonksiyonu, jitter ile üstel geri çekilme stratejisi uygular. Nasıl çalıştığına bakalım:

• Veri getirme işlemini en fazla max_attempts kez (varsayılan 3) yürütmeyi dener.
• İşlem başarısız olursa, yeniden denemeden önce bir bekleme süresi hesaplar.
• Bekleme süresi her denemede üstel olarak artar (geri çekilme katsayısı, (deneme-1) üstü).
• Rastgele jitter (hesaplanan sürenin %80–%120'si), birden fazla yeniden deneme sürecinin senkronize yük artışları oluşturmasını önler.
• Maksimum deneme sayısından sonra vazgeçer ve istisnayı yeniden yükseltir.

Bu desen, ağ sorunları veya API hız sınırları gibi geçici hataları ele almak için idealdir. Bekleme süresinin üstel olarak artması, harici sistemin toparlanmasına zaman tanırken jitter "ani yüklenme" sorunlarını önler.

Cron tabanlı yeniden denemeler de geçerli bir seçenektir. Başarısız işleri, ihtiyaç duyulandan daha sık zamanlayarak yeniden deneyebilirsiniz.

Aşağıda iki cron işi kurduğum bir örnek yer alıyor:

1. Python betiğini her 10 dakikada bir çalıştırır. Görev başarıyla biterse, betiğin 10 dakika içinde tekrar çalışmasını engelleyen bir success_flag dosyası oluşturulur.
2. Her gün gece yarısında bir kez çalışarak başarı işareti dosyasını kaldırır ve böylece ilk işin ertesi gün yeniden çalışmasına izin verir.

*/10 * * * * [ ! -f /path/to/success_flag ] && python /path/to/script.py && touch /path/to/success_flag
0 0 * * * rm -f /path/to/success_flag Altyapı:

Yukarıdaki kurulum anlaşılması zor olabilir; adımları tekrar açıklayayım:

1. Bir başarı işareti dosyasının mevcut olup olmadığını kontrol eder ([ ! -f /path/to/success_flag ])
2. Dosya yoksa betiğinizi çalıştırır (/path/to/script.py)
3. Betiğin çalışması başarılı olursa başarı işareti dosyasını oluşturur (touch /path/to/success_flag)
4. İkinci iş gece yarısında (0 0 * * *) çalışır ve başarı işaretini kaldırır; böylece sürecin ertesi gün tekrar çalışmasına izin verir.

Bu teknik, günde bir kez tamamlanması gereken ancak geçici olarak başarısız olabilen görevler için kullanışlıdır. İş, gün boyunca başarıya ulaşana kadar denemeye devam eder.

İzleme entegrasyonu cron işlerinizi Prometheus gibi izleme sistemlerine bağlamanıza imkan tanır. Bu başlı başına bir konudur, bu yüzden burada yalnızca üst düzey bir genel bakış sunacağım.

Aşağıda göreceğiniz betik, gerçek işinizin etrafına sarılan ve Prometheus’a metrik toplayıp raporlayan bir sarmalayıcıdır. Betiğin yaptığı adımlar şunlardır:

1. İşin başlangıç zamanını kaydeder.
2. Asıl iş betiğinizi çalıştırır.
3. Çıkış kodunu yakalar (başarı için 0, başarısızlık için sıfırdan farklı).
4. İşin çalışmasının ne kadar sürdüğünü hesaplar.
5. Prometheus’un Pushgateway servisine üç metrik gönderir: saniye cinsinden süre, çıkış kodu ve tamamlanma zaman damgası.
6. Gerçek işle aynı çıkış koduyla çıkar.

#!/bin/bash
# monitored_job.sh

# Define pushgateway URL
PUSHGATEWAY="http://prometheus-pushgateway:9091"

# Start time in seconds
START_TIME=$(date +%s)

# Run the actual job
/path/to/actual_job.sh
EXIT_CODE=$?

# End time in seconds
END_TIME=$(date +%s)
DURATION=$((END_TIME - START_TIME))

# Push metrics to Prometheus
cat <<EOF | curl --data-binary @- ${PUSHGATEWAY}/metrics/job/cron_job/instance/$(hostname)
# HELP cron_job_duration_seconds How long the cron job took to execute
# TYPE cron_job_duration_seconds gauge
cron_job_duration_seconds{name="data_extraction"} ${DURATION}

# HELP cron_job_exit_code Exit code of the cron job
# TYPE cron_job_exit_code gauge
cron_job_exit_code{name="data_extraction"} ${EXIT_CODE}

# HELP cron_job_last_run_timestamp Timestamp of last job run
# TYPE cron_job_last_run_timestamp gauge
cron_job_last_run_timestamp{name="data_extraction"} ${END_TIME}
EOF

exit ${EXIT_CODE}Altyapı:

Bu metrikler şunları yapmanızı sağlar:

• İş başarısızlıkları (sıfırdan farklı çıkış kodları) için uyarılar ayarlamak.
• Performans sorunları için iş süresi eğilimlerini izlemek.
• İş yürütmesini doğrulamak ve son başarılı çalışmayı izlemek.
• Planlanmış tüm işlerinizin sağlığını gösteren panolar oluşturmak.

Pushgateway bir ara katman olarak görev yapar; kısa ömürlü cron işinin metriklerini Prometheus’a iletmesine olanak tanır; Prometheus da bunları uyarı ve görselleştirme için saklar.

Saat dilimi hususları

Saat dilimi sorunları, özellikle küresel veri kaynakları veya dağıtık sistemlerle çalışırken, veri mühendisliğinde sık karşılaşılan zorluklardır. 

Bekleneceği üzere, cron işleri saat dilimi ayarlarına duyarlıdır.

Varsayılan olarak, cron sistemin yerel saat dilimini kullanır. Sisteminizin saat dilimini şu Linux komutuyla kontrol edebilirsiniz:

timedatectlAltyapı:

Yukarıdaki komut, sisteminizin mevcut saat ve saat dilimi yapılandırmasını gösterir. Sunucunuz America/New_York gibi yerel bir saat dilimini kullanacak şekilde yapılandırılmışsa tüm cron zamanlamaları o saat diliminde yorumlanır.

Sunucu konumundan veya yaz saati uygulaması değişikliklerinden bağımsız olarak tutarlı zamanlama sağlamak için cron işlerinizde UTC kullanın:

# Set the CRON_TZ environment variable at the top of your crontab
CRON_TZ=UTC

# Now all job schedules will use UTC
0 0 * * * /path/to/daily_job.shAltyapı:

Crontab dosyanızın en üstüne CRON_TZ=UTC satırını ekleyerek, cron’a tüm zaman belirtimlerini yerel saat yerine UTC olarak yorumlamasını söylersiniz. 

Bu, işin sunucunun yerel saat diliminden veya yaz saati uygulamasından bağımsız olarak her gün UTC’ye göre gece yarısında çalışacağı anlamına gelir. UTC (Eşgüdümlü Evrensel Zaman) yaz saati uygulaması için değişmez ve tüm konumlar arasında tutarlı bir referans noktası sağlar.

Veri Mühendisleri için Cron İşi Rehberinin Özeti

Bir veri mühendisiyseniz, cron işleri paha biçilmez bir araçtır.

Tekrarlayan görevleri otomatikleştirmenize ve güvenilir veri hatları oluşturmanıza yardımcı olabilirler. Betikleri zamanlamak ve çok adımlı ETL süreçlerinin karmaşık orkestrasyonunu gerçekleştirmek için tutarlı ve güçlü bir yol sunarlar. Sözdizimine alışmak biraz zaman alır ama birkaç gün içinde ikinci doğanız haline gelecektir.

Cron işlerini veri mühendisliği çalışmalarınıza uygularken, günlükleme, hata yönetimi ve saat dilimi yönetimine ilişkin en iyi uygulamaları takip etmeyi unutmayın. Doğru günlükleme, iş yürütmesine görünürlük sağlar ve sorun gidermeyi kolaylaştırır. Yeniden deneme mekanizmaları içeren iyi hata yönetimi teknikleri, hatlarınızın geçici hatalardan kurtulmasını sağlar. Dikkatli saat dilimi yönetimi, özellikle küresel veri kaynakları veya dağıtık ekiplerle çalışırken zamanlamalarınızı tutarlı kılar.

>2025’te Veri Mühendisi olarak işe girmeyi mi düşünüyorsunuz? Mutlaka sahip olmanız gereken 5 temel beceri burada.

Elbette, özelleşmiş iş akışı orkestrasyon araçları olan Apache Airflow veya Prefect, karmaşık veri hatları için daha gelişmiş özellikler sunar; ancak cron, birçok veri mühendisliği görevi için hâlâ geçerliliğini korur. Kullanımı basit, güvenilir ve düşük ek yük gerektirir—tüm bunlar onu otomasyon ihtiyaçları için ideal kılar.

Veri mühendisliği hakkında daha fazlasını öğrenmek için DataCamp’in şu kurslarına kaydolun:

• Veri Mühendisliğini Anlamak
• Veri Mühendisliğine Giriş
• Python ile Veri Mühendisliği
• SQL ile Veri Mühendisliği