Firecrawl: LLM एप्लिकेशन्स के लिए बना AI वेब क्रॉलर

Firecrawl AI वर्कफ़्लो के लिए अनुकूलित वेब क्रॉलर का एक नया प्रकार है। यह डेवलपर्स को पेज, वेबसाइट, या पूरे वेब तक स्क्रैप करने देता है। यह पारंपरिक वेब स्क्रैपिंग की जटिलता को कम करने के लिए उपयुक्त है—जैसे JavaScript सपोर्ट, स्वचालित मार्कडाउन कन्वर्ज़न, और लोकप्रिय LLM फ़्रेमवर्क्स से इंटीग्रेशन जैसी सुविधाओं के साथ।

इस लेख में, मैं Firecrawl की मुख्य कार्यक्षमता का वर्णन करने के साथ-साथ कुछ उन्नत व्यावहारिक टिप्स, इकोसिस्टम इंटीग्रेशन, और वास्तविक दुनिया के अनुप्रयोगों का उल्लेख करूँगा, ताकि आप स्वयं अभ्यास शुरू कर सकें।

Firecrawl क्या है?

Firecrawl, Mendable.ai द्वारा विकसित एक AI-संचालित वेब क्रॉलर है। यह एक API सेवा है जो वेबसाइटों को क्रॉल करती है और उन्हें साफ, LLM-तैयार डेटा जैसे मार्कडाउन, JSON आदि में बदल देती है।

यह AI-चालित दृष्टिकोण है जो पेज के संदर्भ को समझता है और मुख्य सामग्री को स्पष्ट रूप से निकालता है—जबकि पारंपरिक स्क्रेपर्स जैसे BeautifulSoup या Puppeteer बिना समझ के क्रॉल करते हैं और अक्सर असाफ़ डेटा लौटाते हैं। यह पूरी वेबसाइटों को साफ मार्कडाउन या संरचित डेटा में बदलने में सक्षम है, और LLM कार्यों के लिए आदर्श है।

Firecrawl के 3 कोर मोड हैं, जिन पर मैं आगे विस्तार से चर्चा करूँगा। सामान्यतः आप एकल URL स्क्रैप करने के लिए scrape मोड, पूरी वेबसाइट के लिए crawl मोड, और URL डिस्कवरी के लिए map मोड का उपयोग करेंगे।

Firecrawl की प्रमुख विशेषताएँ

Firecrawl की विशेषता यह है कि इसे साइटमैप की आवश्यकता नहीं होती क्योंकि इसमें बुद्धिमान नेविगेशन मैकेनिज़्म है; यह भारी JavaScript और डायनेमिक वेब सामग्री को संभालता है; इसका आउटपुट साफ़ मार्कडाउन, HTML, JSON, स्क्रीनशॉट्स आदि होता है, जिससे उपयोग में यह बहुत लचीला है; इसमें बिल्ट-इन प्रॉक्सी, एंटी-बॉट, और कैशिंग मैकेनिज़्म हैं; यह बैच प्रोसेसिंग संभालता है और बड़े पैमाने के कार्यों के लिए समकालिक (कंकरेन्ट) है; यह अत्यंत अनुकूलन योग्य है—आप टैग्स को exclude कर सकते हैं, कस्टम हेडर के साथ क्रॉल कर सकते हैं, क्रॉल डेप्थ सेट कर सकते हैं, और भी बहुत कुछ; यह LangChain, LlamaIndex, और CrewAI जैसे LLM फ़्रेमवर्क्स के साथ अच्छी तरह इंटीग्रेट होता है; और निश्चित रूप से यह एंटरप्राइज़-फ्रेंडली है क्योंकि आप अपना रेट-लिमिट, कंकरेन्सी कंट्रोल्स और रिलायबिलिटी सेट कर सकते हैं।

Firecrawl कैसे सेट अप करें

Firecrawl की अच्छी बात यह है कि आप इसे बहुत जल्दी काम पर लगा सकते हैं। अपने सिस्टम में इसे इंस्टॉल करने के लिए ये मुख्य चरण हैं:

API कुंजी कॉन्फ़िगरेशन

1. firecrawl.dev पर साइन अप करें और API कुंजी प्राप्त करें।
2. Python क्लाइंट लाइब्रेरी इंस्टॉल करें:

pip install firecrawl

और यदि आप langchain का उपयोग कर रहे हैं, तो यह उपयोग करें

pip install firecrawl-py

3. पर्यावरण वेरिएबल्स का उपयोग करके API कुंजी को सुरक्षित रूप से स्टोर करें:

import os
from firecrawl import FirecrawlApp

# Set your Firecrawl API key as an environment variable for security
api_key = os.getenv('FIRECRAWL_API_KEY')
# Create an instance of the FirecrawlApp class with your API key 
app = FirecrawlApp(api_key=api_key)

बेसिक स्क्रैपिंग उदाहरण

आप सरलता से .scrape_url() मेथड का उपयोग करके अपना पहला स्क्रैपिंग कर सकते हैं:

response = app.scrape_url(url=example.com', formats=['markdown'])
print(response)

यह कोड firecrawl.dev वेबपेज की मुख्य सामग्री को मार्कडाउन के रूप में प्राप्त करता है।

Firecrawl मोड्स और एंडपॉइंट्स समझना

Firecrawl में तीन कोर मोड हैं जो यह निर्धारित करते हैं कि आप कितनी व्यापकता से स्क्रैप करना चाहते हैं। इस खंड में, मैं प्रत्येक को समझाऊँगा।

Scrape मोड

Scrape मोड व्यक्तिगत URLs को टार्गेट करता है। यह प्रोडक्ट डिटेल्स या न्यूज़ आर्टिकल्स निकालने के लिए आदर्श है। llm_extract पैरामीटर स्कीमा-आधारित एक्सट्रैक्शन सक्षम करता है। आपको जो करना है वह है—अपने अंतिम JSON का स्कीमा परिभाषित करें, कॉन्फ़िगरेशन सेट करें, और स्क्रैपिंग शुरू करें:

from firecrawl import JsonConfig
from pydantic import BaseModel

# Define the expected data structure for the JSON extraction schema
class ExtractSchema(BaseModel):
    company_mission: str
    supports_sso: bool
    is_open_source: bool
    is_in_yc: bool

# Define the JSON configuration and set it to llm extraction mode
json_config = JsonConfig(
    extractionSchema=ExtractSchema.model_json_schema(),
    mode="llm-extraction",
    pageOptions={"onlyMainContent": True}
)

# Scrape the URL, extract data, and format it into JSON
llm_extraction_result = app.scrape_url(
    'https://firecrawl.dev',
    formats=["json"],
    json_options=json_config
)
print(llm_extraction_result)

यहाँ एक और प्रकार की सिंगल-URL स्क्रैपिंग है, लेकिन इस बार सेलेक्टर-आधारित एक्सट्रैक्शन के साथ:

# Get a screenshot of the top of the overview page
scrape_result = app.scrape_url('firecrawl.dev', 
    formats=['markdown', 'html', "screenshot"], 
    actions=[
        {"type": "wait", "milliseconds": 3000},
        {"type": "click", "selector": "h1"},
        {"type": "wait", "milliseconds": 3000},
        {"type": "scrape"},
        {"type": "screenshot"}
    ],
)
print(scrape_result)

यह स्क्रिप्ट पहले वेबसाइट खोलती है, फिर 3000 मिलीसेकंड प्रतीक्षा करती है, पहले h1 सेलेक्टर पर क्लिक करती है, फिर से प्रतीक्षा करती है, और उसके बाद वर्तमान पेज को स्क्रैप करके उसका स्क्रीनशॉट सेव करती है। यदि आपको टाइमआउट एरर मिलते हैं, तो वेटिंग टाइम्स को टाइमआउट पैरामीटर के साथ बढ़ाने का प्रयास करें।

Crawl मोड

Crawl मोड आपको बिना साइटमैप की आवश्यकता के, पूरी वेबसाइट—उसके सभी उपलब्ध सबपेज सहित—को क्रॉल करने देता है। यह प्रोग्रेस ट्रैक करने के लिए एक जॉब ID लौटाता है और मेटाडेटा रिट्रीवल को सपोर्ट करता है जब आप हेडर्स और टाइमस्टैम्प्स जैसी अतिरिक्त जानकारी लेना चाहते हैं; रेट कंट्रोल ताकि साइट पर हिट की गति नियंत्रित कर सकें; और रिकर्सिव डेप्थ सेटिंग्स जिससे तय कर सकें कितने लिंक-लेवल्स फॉलो करने हैं। एक क्रॉलर के चरण इस प्रकार हैं:

1. पहले, क्रॉलर दिए गए URL को खोलता है
2. उसे स्क्रैप करता है
3. सबपेज से जुड़ी सभी हाइपरलिंक्स स्कैन की जाती हैं और उन्हें अलग-अलग क्रॉलर दिए जाते हैं
4. ये चरण तब तक दोहराए जाते हैं जब तक परिभाषित अधिकतम तक न पहुँचा जाए।

यहाँ Python requests का उपयोग करते हुए एक क्रॉलर का उदाहरण है:

import requests

url = "https://api.firecrawl.dev/v1/crawl" 
headers = {
    "Content-Type": "application/json",
    "Authorization": "Bearer YOUR_API_KEY"
}
data = {
    "url": "https://docs.firecrawl.dev", 	# site to crawl
    "limit": 100, 		# max items
    "scrapeOptions": {
        "formats": ["markdown", "html"]  	# output formats
    }
}

response = requests.post(url, headers=headers, json=data)

print(response.status_code)
print(response.json())

यह कोड Firecrawl को https://docs.firecrawl.dev से अधिकतम 100 पेज लाने, प्रत्येक पेज को Markdown और HTML दोनों में लौटाने, और फिर परिणाम प्रिंट करने के लिए निर्देश देता है।

यदि आप APIs के बारे में और सीखना चाहते हैं, तो हमारा Introduction to APIs in Python कोर्स, Working with APIs in Python कोड-अलॉन्ग, और हमारा Mastering Python APIs: A Comprehensive Guide to Building and Using APIs in Python ट्यूटोरियल देखें।

Map मोड

Map आपको एक वेबसाइट इनपुट करने देता है और साइट पर मौजूद हर URL को बेहद तेज़ी से तुरंत प्राप्त कर लेता है। यही कारण है कि हमने /map बनाया: यह एकल URL को एक व्यापक साइटमैप में बदल देता है—जब आपको एंड-यूज़र्स को स्क्रैप करने के लिए लिंक चुनने हेतु प्रॉम्प्ट करना हो, साइट के सभी URLs जल्दी निकालने हों, सर्च पैरामीटर का उपयोग करके किसी विशेष विषय से संबंधित पेजों पर फोकस करना हो, या अपने क्रॉल को विशिष्ट पेजों तक सीमित करना हो, तब यह आदर्श है।

एक ध्यान देने योग्य बात: यह एंडपॉइंट गति को प्राथमिकता देता है, इसलिए हो सकता है कि यह हर लिंक को न पकड़ पाए।

# Map a website:
map_result = app.map_url('https://firecrawl.dev')
print(map_result)

यह कोड Firecrawl को https://firecrawl.dev पेज में मौजूद सभी लिंक्स को खोजने और उन्हें सूचीबद्ध करने के लिए कहता है।

Firecrawl के वास्तविक-world उपयोग

Firecrawl विभिन्न कार्यों के लिए एक बहुमुखी टूल है, जैसा कि हमने पहले देखा, जो इसे वास्तविक परिदृश्यों में बेहद उपयोगी बनाता है। यह जॉब बोर्ड्स या न्यूज़ वेबसाइटों को स्क्रैप करने में बहुत उपयोगी है—ताकि विश्लेषण के लिए अपडेटेड लिस्टिंग या लेख संकलित किए जा सकें, या आपके फ़ोरकास्टिंग मशीन लर्निंग मॉडल को प्रशिक्षित किया जा सके। आप स्क्रैप की गई समीक्षाओं के माध्यम से सेंटिमेंट विश्लेषण भी कर सकते हैं—जैसे ई-कॉमर्स या Amazon जैसी रिव्यू साइट्स से ग्राहक समीक्षाएँ इकट्ठा कर, भावना का विश्लेषण करना और व्यावसायिक निर्णयों के लिए इनसाइट्स निकालना।

इसे प्राइस मॉनिटरिंग से और बेहतर बनाया जा सकता है—जैसे कई प्लेटफ़ॉर्म्स पर प्रोडक्ट की कीमतों को ट्रैक करना ताकि रुझान पहचाने जा सकें या प्राइस ड्रॉप के लिए अलर्ट ट्रिगर किए जा सकें। इसके अलावा, आप तकनीकी डॉक्युमेंटेशन निकालने के लिए Firecrawl का उपयोग कर सकते हैं, ताकि AI एजेंट्स को प्रशिक्षित या सूचित किया जा सके, उनके नॉलेज बेस को बेहतर बनाया जा सके, या CAMEL-AI की तरह मल्टी-एजेंट AI पाइपलाइंस में डेटा इन्जेस्ट किया जा सके।

यह retrieval-augmented generation (RAG) सिस्टम्स को संरचित वेब डेटा भी प्रदान कर सकता है, जिससे मॉडल का प्रदर्शन बढ़े और भ्रम (हैलुसिनेशन) कम हों।

उन्नत तकनीकें और सर्वोत्तम प्रथाएँ

Firecrawl की क्षमता का अधिकतम लाभ उठाने के लिए, यहाँ कुछ उन्नत तकनीकें और सर्वोत्तम प्रथाएँ दी गई हैं:

• अपने LLM के लिए संरचित डेटा निकालें—/extract एंडपॉइंट का उपयोग करके प्रॉम्प्ट या स्कीमा के आधार पर संरचित डेटा लौटाएँ, क्योंकि LLMs कच्चे HTML की तुलना में इस प्रकार के डेटा को बेहतर संभालते हैं।

• रीट्राइज़ के साथ त्रुटियों को संभालें—ट्रांज़िएंट API एरर्स को मैनेज करने के लिए एक्सपोनेंशियल बैकऑफ़ वाली रिट्राई लॉजिक लागू करें।

• प्रदर्शन अनुकूलित करें—Firecrawl की असिंक्रोनस क्रॉलिंग का उपयोग करें ताकि बड़े क्रॉल्स को आपकी एप्लिकेशन को ब्लॉक किए बिना शुरू किया जा सके। यह वेब ऐप्स या सेवाओं के लिए आदर्श है।

• पैरामीटर्स जैसे max_depth या exclude से क्रॉल्स को फ़िल्टर करें—क्रॉल को विशिष्ट सबडोमेन्स या पेज प्रकारों तक सीमित करें। इससे अनावश्यक डेटा कम करने में मदद मिलेगी।

• Python टूल्स का उपयोग करके क्रॉल किए गए डेटा को वैलिडेट और साफ़ करें—जैसे बैलेंस करना, null मानों को हटाना, और कई अन्य। pandas, numpy, seaborn आदि ऐसे कार्यों में सहायक हैं। यदि आप डेटा क्लीनिंग के बारे में और सीखना चाहते हैं, तो हमारा Cleaning Data in Python कोर्स देखें।

Firecrawl बनाम पारंपरिक स्क्रैपिंग टूल्स

Firecrawl के अनेक लाभ हैं जो इसे अधिकांश मामलों में बेहतरीन विकल्प बनाते हैं और इसे Scrapy, BeautifulSoup, और Puppeteer जैसे पारंपरिक टूल्स से अलग खड़ा करते हैं। यह JavaScript-रेंडर्ड कंटेंट को आसानी से संभालता है, जबकि BeautifulSoup जैसे टूल्स को Selenium जैसे अतिरिक्त टूल्स और कभी-कभी मैनुअल इंस्पेक्शन की ज़रूरत होती है। इसमें बिल्ट-इन प्रॉक्सी रोटेशन है और रेट लिमिट्स को संभालता है—जो Scrapy की मैनुअल कॉन्फ़िगरेशन की तुलना में सेटअप समय कम करता है, जो अपने आप में काफी समय लेता है। इसके अलावा, Firecrawl की LLM एक्सट्रैक्शन क्षमताएँ संरचित डेटा प्रदान करती हैं—जो अधिकांश पारंपरिक टूल्स में अनुपस्थित सुविधा है।

हालाँकि, कुछ विशेष मामलों में पारंपरिक टूल्स वरीय हो सकते हैं—जैसे जब आप लोकल निष्पादन चाहते हैं, तब BeautifulSoup जैसे टूल्स बिना API निर्भरताओं के लोकल रूप से चलते हैं, जो क्लाउड सेवाओं से बचने वाले उपयोगकर्ताओं को भाता है। कार्यान्वयन की सहजता और दक्षता कभी-कभी अत्यधिक कस्टमाइज़ेशन की कीमत पर आती है—जैसे Scrapy अत्यधिक कस्टमाइज़ेबल स्क्रैपिंग पाइपलाइंस के लिए फाइन-ग्रेन्ड कंट्रोल प्रदान करता है।

इंटीग्रेशन और इकोसिस्टम सपोर्ट

Firecrawl कई सामान्य LLM फ़्रेमवर्क्स के साथ अच्छी तरह इंटीग्रेट होता है, मज़बूत इकोसिस्टम सपोर्ट के साथ—जो AI वर्कफ़्लो में इसकी उपयोगिता बढ़ाता है। आप LangChain के साथ FirecrawlLoader मॉड्यूल का उपयोग करके इंटीग्रेट कर सकते हैं, जो वेब डेटा को LangChain पाइपलाइंस में आसानी से शामिल करने देता है। या, आप LlamaIndex के साथ इसका उपयोग कर सकते हैं क्योंकि FirecrawlReader इंडेक्सिंग और क्वेरींग के लिए वेब डेटा लोड करने को सपोर्ट करता है। Firecrawl CrewAI के फ़्रेमवर्क के भीतर वेबसाइटें क्रॉल करने के लिए भी एक बिल्ट-इन टूल है, और Flowise, Dify, और CAMEL-AI जैसे कई अन्य फ़्रेमवर्क्स के साथ व्यापक रूप से संगत है।

मूल्य योजनाएँ और उपयोग सीमाएँ

Firecrawl अलग-अलग आवश्यकताओं को समायोजित करने के लिए उपयोग-केस पर निर्भर कई मूल्य योजनाएँ प्रदान करता है। कृपया यह सुनिश्चित करें कि यदि कुछ बदलता है तो Firecrawl की आधिकारिक प्राइसिंग पेज देखें।

• फ्री टियर: इसमें सीमित क्रेडिट होते हैं और यह टेस्टिंग और छोटे प्रोजेक्ट्स के लिए उपयुक्त है।
• हॉबी टियर: कम लागत पर व्यक्तिगत या छोटे टीमों के लिए अधिक क्रेडिट प्रदान करता है।
• स्टैंडर्ड, ग्रोथ, एंटरप्राइज़ टियर्स: बढ़ते क्रेडिट, उच्च रेट लिमिट्स, और कस्टम रिक्वेस्ट्स पर मिनट (RPM) जैसी उन्नत सुविधाएँ प्रदान करते हैं।

क्रेडिट सिस्टम इस प्रकार काम करता है:

निष्कर्ष

Firecrawl वेब डेटा एक्सट्रैक्शन के लिए, विशेषकर AI एप्लिकेशन्स में, गेम-चेंजर है। वेबसाइटों को साफ, संरचित, LLM-तैयार डेटा में बदलकर, यह डेवलपर्स को अधिक स्मार्ट तरीके से निर्माण करने में मदद करता है। इसका उपयोग में सरल होना, समृद्ध फीचर सेट, और व्यापक इंटीग्रेशन्स—प्राइस मॉनिटरिंग से लेकर RAG वर्कफ़्लोज़ तक—इसे शीर्ष पसंद बनाते हैं।

मैं आपको इसकी क्षमताओं का परीक्षण करने के लिए Firecrawl का फ्री टियर आज़माने के लिए प्रोत्साहित करता हूँ। अपडेट्स, टिप्स, और सपोर्ट के लिए Firecrawl के GitHub और Discord समुदाय से जुड़े रहें।

Firecrawl के साथ, वेब डेटा अब चुनौती नहीं रहा—यह आपके AI नवाचारों के लिए एक शक्तिशाली संपत्ति है।

अगले चरण के रूप में, मैं निम्न कोर्स और कोड-अलॉन्ग की सिफारिश करता हूँ: