Firecrawl: LLM Uygulamaları için Yapay Zekâlı Web Tarayıcı

Firecrawl, yapay zekâ iş akışları için optimize edilmiş yeni bir tür web tarayıcısıdır. Geliştiricilerin sayfaları, web sitelerini veya hatta tüm ağı kazımasına olanak tanır. JavaScript desteği, otomatik markdown dönüştürme ve popüler LLM çerçeveleriyle entegrasyon gibi özellikleriyle geleneksel web kazımadaki karmaşıklığı ortadan kaldırmak için idealdir.

Bu yazıda, sadece Firecrawl’ın temel işlevlerinden bahsetmekle kalmayacağım; aynı zamanda bazı işlevsel ileri düzey ipuçları, ekosistem entegrasyonları ve gerçek dünya uygulamalarından da söz edeceğim ki siz de hemen pratik yapmaya başlayabilesiniz.

Firecrawl Nedir?

Firecrawl, Mendable.ai tarafından geliştirilen yapay zekâ destekli bir web tarayıcısıdır. Web sitelerini tarayan ve bunları markdown, JSON vb. gibi temiz, LLM’e hazır verilere dönüştüren bir API hizmetidir.

Geleneksel BeautifulSoup veya Puppeteer gibi kazıyıcılardan farklı olarak, sayfa bağlamını anlayan ve ana içeriği anlaşılır biçimde çıkaran yapay zekâ odaklı bir yaklaşımdır; bu tür araçlar ağı körlemesine tarar ve sıklıkla temiz olmayan veriler döndürür. Firecrawl, tüm web sitelerini temiz markdown’a veya yapılandırılmış verilere dönüştürebilir ve LLM görevleri için idealdir.

Firecrawl’ın birazdan ayrıntılarına gireceğim 3 temel modu vardır. Genellikle tek bir URL’yi kazımak için scrape modunu, tüm bir web sitesini kazımak için crawl modunu ve URL keşfi için map modunu kullanırsınız.

Firecrawl’ın Başlıca Özellikleri

Firecrawl’ı öne çıkaran şey; akıllı bir gezinme mekanizmasına sahip olduğu için site haritasına ihtiyaç duymaması, yoğun JavaScript ve dinamik web içeriğini işlemesi, çıktısının temiz markdown, HTML, JSON, ekran görüntüleri ve daha fazlası olması nedeniyle kullanımda çok esnek olması, yerleşik proxy, anti-bot ve önbellekleme mekanizmalarına sahip olması, toplu işlemeyi desteklemesi ve geniş ölçekli işler için eşzamanlı çalışması, etiketleri hariç tutabilme, özel başlıklarla tarama, tarama derinliği ayarlama gibi yüksek özelleştirilebilirlik sunması, LangChain, LlamaIndex ve CrewAI gibi LLM çerçeveleriyle iyi entegre olması ve elbette hız sınırı, eşzamanlılık denetimleri ve güvenilirliği ayarlayabildiğiniz için kurumsal kullanıma uygun olmasıdır.

Firecrawl Nasıl Kurulur

Firecrawl’ın güzel yanı, çok hızlı şekilde çalışır hâle getirebilmenizdir; sisteminize kurmak için izlenecek temel adımlar şunlardır:

API anahtarı yapılandırması

1. firecrawl.dev adresinden kaydolun ve bir API anahtarı edinin.
2. Python istemci kitaplığını kurun:

pip install firecrawl

Ve langchain kullanıyorsanız, şunu kullanın

pip install firecrawl-py

3. API anahtarını ortam değişkenleriyle güvenli biçimde saklayın:

import os
from firecrawl import FirecrawlApp

# Set your Firecrawl API key as an environment variable for security
api_key = os.getenv('FIRECRAWL_API_KEY')
# Create an instance of the FirecrawlApp class with your API key 
app = FirecrawlApp(api_key=api_key)

Temel kazıma örneği

İlk kazımanızı basitçe .scrape_url() yöntemiyle yapabilirsiniz:

response = app.scrape_url(url=example.com', formats=['markdown'])
print(response)

Bu kod, firecrawl.dev web sayfasının ana içeriğini markdown olarak alır.

Firecrawl Modları ve Uç Noktalarını Anlama

Firecrawl, ne kadar kapsamlı kazıma yapmak istediğinizi belirleyen üç temel moda sahiptir. Bu bölümde her birini adım adım anlatacağım.

Scrape modu

Scrape modu, tekil URL’leri hedefler. Ürün detayları veya haber makaleleri çıkarmak için idealdir. llm_extract parametresi şema tabanlı çıkarımı etkinleştirir. Yapmanız gereken; nihai JSON’unuzun nasıl görüneceğine dair şemayı tanımlamak, yapılandırmanızı başlatmak ve kazımaya başlamaktır:

from firecrawl import JsonConfig
from pydantic import BaseModel

# Define the expected data structure for the JSON extraction schema
class ExtractSchema(BaseModel):
    company_mission: str
    supports_sso: bool
    is_open_source: bool
    is_in_yc: bool

# Define the JSON configuration and set it to llm extraction mode
json_config = JsonConfig(
    extractionSchema=ExtractSchema.model_json_schema(),
    mode="llm-extraction",
    pageOptions={"onlyMainContent": True}
)

# Scrape the URL, extract data, and format it into JSON
llm_extraction_result = app.scrape_url(
    'https://firecrawl.dev',
    formats=["json"],
    json_options=json_config
)
print(llm_extraction_result)

İşte tek URL kazımanın bir başka türü; ancak bu kez, seçici (selector) temelli çıkarımla:

# Get a screenshot of the top of the overview page
scrape_result = app.scrape_url('firecrawl.dev', 
    formats=['markdown', 'html', "screenshot"], 
    actions=[
        {"type": "wait", "milliseconds": 3000},
        {"type": "click", "selector": "h1"},
        {"type": "wait", "milliseconds": 3000},
        {"type": "scrape"},
        {"type": "screenshot"}
    ],
)
print(scrape_result)

Bu betik önce web sitesini açar, ardından 3000 milisaniye bekler, ilk h1 seçicisine tıklar, tekrar bekler ve ardından geçerli sayfayı kazıyıp bir ekran görüntüsü kaydeder. Zaman aşımı hataları alırsanız, bekleme sürelerini zaman aşımı parametresiyle birlikte artırmayı deneyin.

Crawl modu

Crawl modu, bir site haritasına gerek olmadan, erişilebilir tüm alt sayfalar dâhil olmak üzere tüm bir web sitesini taramanıza olanak tanır. İlerlemeyi izlemek için bir iş kimliği döndürür ve üstbilgiler ve zaman damgaları gibi ek bilgileri almak istediğinizde metadata alımını, siteyi ne kadar hızlı istekte bulunarak vuracağınızı ayarlamak için hız kontrolünü ve kaç bağlantı seviyesinin takip edileceğine karar vermek üzere özyinelemeli derinlik ayarlarını destekler. Bir tarayıcının adımları şöyledir:

1. Önce tarayıcı verilen URL’yi açar
2. Onu kazır
3. Alt sayfalara giden tüm köprüler taranır ve her birine ayrı tarayıcılar verilir
4. Adımlar tanımlı bir en yüksek sınıra ulaşılana kadar tekrarlanır.

İşte Python requests kullanarak bir tarayıcı örneği:

import requests

url = "https://api.firecrawl.dev/v1/crawl" 
headers = {
    "Content-Type": "application/json",
    "Authorization": "Bearer YOUR_API_KEY"
}
data = {
    "url": "https://docs.firecrawl.dev", 	# site to crawl
    "limit": 100, 		# max items
    "scrapeOptions": {
        "formats": ["markdown", "html"]  	# output formats
    }
}

response = requests.post(url, headers=headers, json=data)

print(response.status_code)
print(response.json())

Bu kod, Firecrawl’a https://docs.firecrawl.dev adresinden en fazla 100 sayfa getirmesini, her sayfayı hem Markdown hem HTML olarak döndürmesini söyler ve ardından sonucu yazdırır.

API’ler hakkında daha fazla bilgi edinmek isterseniz, Introduction to APIs in Python kursumuza, Working with APIs in Python birlikte kodlama oturumuna ve Mastering Python APIs: A Comprehensive Guide to Building and Using APIs in Python eğitimine göz atın.

Map modu

Map, bir web sitesi girmenize ve sitedeki tüm URL’leri son derece hızlı biçimde anında almanıza olanak tanır. Bu yüzden /map oluşturuldu: Tek bir URL’yi kapsamlı bir site haritasına dönüştürür; bu da, son kullanıcılardan kazınacak bağlantıları seçmelerini istemeniz gerektiğinde, tüm site URL’lerini hızla ortaya çıkarmak istediğinizde, arama parametresiyle belirli bir konuya ilişkin sayfalara odaklanmak veya taramanızı belirli sayfalarla sınırlandırmak istediğinizde idealdir.

Bir not: Bu uç nokta hıza öncelik verdiğinden, her bağlantıyı yakalamayabilir.

# Map a website:
map_result = app.map_url('https://firecrawl.dev')
print(map_result)

Bu kod, Firecrawl’a https://firecrawl.dev sayfasındaki tüm bağlantıları keşfetmesini ve size listelemesini söyler.

Firecrawl’ın Gerçek Dünya Uygulamaları

Firecrawl, daha önce gördüğümüz gibi çok çeşitli görevler için çok yönlü bir araçtır ve bu da onu gerçek dünya senaryolarında son derece kullanışlı kılar. İş ilanı panolarını veya haber sitelerini kazıyarak analiz için güncel listelemeleri veya makaleleri derlemek ya da tahminleme makine öğrenimi modelinizi eğitmek gibi durumlarda çok uygundur. Ayrıca, e-ticaret veya Amazon gibi inceleme sitelerinden müşteri yorumları toplayarak duygu analizi gerçekleştirebilir, duyarlılığı analiz edip iş kararlarını bilgilendirebilirsiniz.

Bu, fiyat izleme ile daha da güçlendirilebilir; örneğin birden çok platformdaki ürün fiyatlarını takip ederek trendleri belirlemek veya fiyat düşüşleri için uyarılar tetiklemek. Ayrıca Firecrawl’ı, teknik dokümantasyonu çıkarıp yapay zekâ ajanlarını eğitmek veya bilgilendirmek için kullanabilir, bilgi tabanlarını geliştirebilir ya da CAMEL-AI’nin yaptığı gibi çok ajanlı yapay zekâ hatlarına veri yutumu için kullanabilirsiniz.

Ayrıca geri getirme artırmalı üretim (RAG) sistemlerine yapılandırılmış web verisi sağlayarak model performansını artırabilir ve halüsinasyon seviyelerini azaltabilirsiniz

İleri Teknikler ve En İyi Uygulamalar

Firecrawl’ın potansiyelini en üst düzeye çıkarmak için bazı ileri teknikler ve en iyi uygulamaları şöyle sıralıyorum:

• LLM’iniz için yapılandırılmış verileri, bir isteme veya şemaya dayalı yapılandırılmış veri döndürmek üzere /extract uç noktasını kullanarak çıkarın; çünkü LLM’ler bu tür verileri ham HTML’den daha iyi işler.

• Geçici API hatalarını yönetmek için üssel geri çekilme (exponential backoff) ile yeniden deneme mantığı uygulayarak hatalarınızı yeniden denemelerle yönetin.

• Performansı, Firecrawl’ın eşzamansız taramasını kullanarak uygulamanızı engellemeden büyük taramaları başlatarak optimize edin. Bu, web uygulamaları veya hizmetler için idealdir.

• Taramanızı belirli alt alan adlarına veya sayfa türlerine sınırlamak için max_depth veya exclude gibi parametrelerle filtreleyin. Bu, gereksiz verileri azaltmanıza yardımcı olur.

• Kazınan verileri doğrulamak ve temizlemek için Python araçlarını kullanın; örneğin dengeleme, boş değerleri silme ve benzeri işlemler. pandas, numpy, seaborn ve diğerleri bu tür görevlerde oldukça yardımcıdır. Veri temizleme hakkında daha fazla bilgi edinmek isterseniz Cleaning Data in Python kursumuzu değerlendirin.

Firecrawl ve Geleneksel Kazıma Araçları Karşılaştırması

Firecrawl, çoğu durumda en iyi tercihlerden biri olmasını sağlayan pek çok avantaja sahiptir ve Scrapy, BeautifulSoup ve Puppeteer gibi geleneksel kazıma araçlarının önüne geçer. JavaScript ile oluşturulan içeriği zahmetsizce işler; oysa BeautifulSoup gibi araçlar ek olarak Selenium gibi araçlara ve bazen elle incelemeye ihtiyaç duyar. Yerleşik proxy döndürme ve hız sınırı yönetimine sahiptir; bu da Scrapy’nin zaman alan manuel yapılandırmalarına kıyasla kurulum süresini azaltır. Ayrıca Firecrawl’ın LLM çıkarım yetenekleri, çoğu geleneksel araçta bulunmayan bir özellik olan yapılandırılmış veri sunar.

Bununla birlikte, belirli durumlarda geleneksel araçlar tercih edilebilir; örneğin yerel yürütme istediğinizde, BeautifulSoup’un API bağımlılığı olmadan yerelde çalışması bulut hizmetlerinden kaçınan kullanıcılar için caziptir. Uygulama kolaylığı ve verimlilik, bazen aşırı özelleştirmenin bedeliyle gelir; Scrapy’nin son derece özelleştirilebilir kazıma hatları için sunduğu ince ayarlı denetim buna örnektir.

Entegrasyonlar ve Ekosistem Desteği

Firecrawl, güçlü ekosistem desteğiyle birçok yaygın LLM çerçevesiyle iyi entegre olur ve bu da yapay zekâ iş akışlarındaki faydasını artırır. LangChain ile FirecrawlLoader modülünü kullanarak entegre olabilir, web verilerini LangChain hatlarına kolayca dahil edebilirsiniz. Ya da LlamaIndex ile kullanabilirsiniz; FirecrawlReader, dizinleme ve sorgulama için web verilerinin yüklenmesini destekler. Firecrawl ayrıca CrewAI çerçevesinde web sitelerini taramak için yerleşik bir araçtır ve Flowise, Dify ve CAMEL-AI gibi birçok başka çerçeveyi de geniş uyumlulukla destekler.

Fiyatlandırma Planları ve Kullanım Sınırları

Firecrawl, farklı ihtiyaçları karşılamak üzere kullanım durumuna bağlı olarak çeşitli fiyatlandırma planları sunar. Olası değişiklikler için mutlaka Firecrawl resmi fiyatlandırma sayfasına başvurun.

• Ücretsiz katman: Sınırlı sayıda kredi içerir ve testler ile küçük projeler için uygundur.
• Hobi katmanı: Düşük maliyetle bireyler veya küçük ekipler için daha fazla kredi sunar.
• Standard, Growth, Enterprise katmanları: Artan krediler, daha yüksek hız sınırları ve özel dakika başına istek (RPM) gibi gelişmiş özellikler sağlar.

Kredi sistemi şu şekilde çalışır:

Sonuç

Firecrawl, özellikle yapay zekâ uygulamaları için web verisi çıkarımında oyunun kurallarını değiştiriyor. Web sitelerini temiz, yapılandırılmış ve LLM’e hazır verilere dönüştürerek geliştiricilerin daha akıllıca geliştirme yapmasına yardımcı olur. Kullanım kolaylığı, zengin özellik seti ve kapsamlı entegrasyonları, fiyat izleme gibi görevlerden RAG iş akışlarına kadar pek çok konuda onu üst düzey bir tercih hâline getirir.

Yeteneklerini test etmek için Firecrawl’ın ücretsiz katmanını keşfetmenizi öneririm. Güncellemeler, ipuçları ve destek için Firecrawl GitHub ve Discord topluluğuyla etkileşimde kalın.

Firecrawl ile web verisi artık bir zorluk değil. Yapay zekâ yenilikleriniz için güçlü bir varlık.

Bir sonraki adım olarak aşağıdaki kurs ve birlikte kodlamayı öneririm: