कोर्स
व्यवसाय में AI समाधान लागू करना
2 घंटा
55.9K
ScrapeGraphAI क्या है?
ScrapeGraphAI एक शक्तिशाली वेब स्क्रैपिंग टूल है जो बड़े भाषा मॉडल (LLMs) और सीधी ग्राफ़ लॉजिक का उपयोग करके स्क्रैपिंग पाइपलाइन्स बनाता है।
यह वेबसाइटों और XML, HTML, JSON, तथा Markdown जैसे विभिन्न स्थानीय दस्तावेज़ फॉर्मैट्स से जानकारी निकाल सकता है।
फ़ीचर्स
ScrapeGraphAI को उपयोगकर्ता-अनुकूल और कुशल बनाया गया है। उपयोगकर्ता बस अपनी ज़रूरत की जानकारी बताते हैं, और बाकी काम ScrapeGraphAI संभालता है। यह उपयोगकर्ता प्रॉम्प्ट्स के आधार पर स्क्रैपिंग पाइपलाइन्स के निर्माण को स्वचालित करता है, जिससे मैन्युअल कोडिंग की आवश्यकता घटती है।
यह टूल विभिन्न दस्तावेज़ फॉर्मैट्स को सपोर्ट करता है और APIs के माध्यम से अलग-अलग LLMs के साथ इंटीग्रेट हो सकता है। यह स्केलेबल है, सिंगल-पेज और मल्टी-पेज दोनों तरह की स्क्रैपिंग क्षमताएँ प्रदान करता है, जिससे यह छोटे और बड़े—दोनों पैमाने के डेटा निष्कर्षण कार्यों के लिए उपयुक्त है।
अंत में, यह OpenAI, Groq, Azure और Gemini जैसे अनेक LLM प्रदाताओं के साथ-साथ स्थानीय मॉडल (Ollama के माध्यम से) के साथ भी संगत है।
स्क्रैपिंग पाइपलाइन्स
ScrapeGraphAI में स्क्रैपिंग पाइपलाइन्स के कई प्रकार शामिल हैं:
- SmartScraperGraph: यह एक सिंगल-पेज स्क्रैपर है जिसे केवल उपयोगकर्ता प्रॉम्प्ट और एक इनपुट स्रोत की आवश्यकता होती है।
- SearchGraph: यह मल्टी-पेज स्क्रैपर शीर्ष खोज परिणामों से जानकारी निकालता है।
- SpeechGraph: यह सिंगल-पेज स्क्रैपर वेबसाइट सामग्री से ऑडियो फ़ाइलें बनाता है।
- ScriptCreatorGraph: यह सिंगल-पेज स्क्रैपर निकाले गए डेटा के लिए Python स्क्रिप्ट्स बनाता है।
- SmartScraperMultiGraph: यह मल्टी-पेज स्क्रैपर एक ही प्रॉम्प्ट और स्रोतों की सूची के साथ कई पृष्ठों पर काम करता है।
- ScriptCreatorMultiGraph: यह मल्टी-पेज स्क्रैपर कई पृष्ठों और स्रोतों से जानकारी निकालने के लिए Python स्क्रिप्ट्स बनाता है।
ScrapeGraphAI इंस्टॉलेशन
ScrapeGraphAI वेबसाइटों और स्थानीय दस्तावेज़ों से डेटा निष्कर्षण कार्यों को सेट अप और रन करना आसान बनाता है। यहाँ बताया गया है कि लाइब्रेरी को तेज़ी से कैसे इंस्टॉल करें और एक बेसिक स्क्रैपिंग एप्लिकेशन कैसे बनाएं।
क्विक इंस्टॉल
ScrapeGraphAI इंस्टॉल करने के लिए यह चलाएँ:
pip install scrapegraphaiएक साधारण ScrapeGraphAI एप्लिकेशन बनाना
हम SmartScraperGraph का उपयोग करके एक सरल स्क्रैपिंग पाइपलाइन बनाएंगे। पहले मैं चरणों का वर्णन करूंगा, फिर कोड दूंगा।
चरण 1: कार्य परिभाषित करें
बताएँ कि आप कौन-सी जानकारी निकालना चाहते हैं। इस उदाहरण में, हम अपने Substack न्यूज़लेटर The Limitless Playbook 🧬 से सभी लेखों के शीर्षक और URLs निकालेंगे।
चरण 2: स्क्रैपिंग पाइपलाइन चुनें
उपयुक्त पाइपलाइन चुनें। एक पेज के लिए, हम SmartScraperGraph का उपयोग करेंगे। विभिन्न उपयोग मामलों के लिए अन्य पाइपलाइन्स भी देखें।
चरण 3: पाइपलाइन चलाएँ
डेटा निकालने के लिए .run() मेथड का उपयोग करके पाइपलाइन चलाएँ।
चरण 4: डेटा की समीक्षा और उपयोग करें:
निकाले गए डेटा को सत्यापित करें। LLMs शक्तिशाली हैं, लेकिन शुरुआती प्रयास में हमेशा परफेक्ट नतीजे नहीं दे सकते। इच्छित आउटपुट पाने के लिए आवश्यकतानुसार प्रॉम्प्ट समायोजित करें।
कोड
यहाँ पूरा कोड स्निपेट है जो ऊपर बताए गए चरणों को कवर करता है:
import json
import nest_asyncio
nest_asyncio.apply()
from scrapegraphai.graphs import SmartScraperGraph
# Define the configuration for the scraping pipeline
OPENAI_API_KEY = "YOUR_OPENAI_API_KEY"
graph_config = {
"llm": {
"api_key": OPENAI_API_KEY,
"model": "gpt-3.5-turbo-0125",
"temperature": 0,
},
"verbose": True,
}
# Create the SmartScraperGraph instance
smart_scraper_graph = SmartScraperGraph(
prompt="List me all the articles with their respective urls",
source="<https://ryanocm.substack.com/archive>",
config=graph_config
)
# Run the pipeline
articles_data = smart_scraper_graph.run()
# Save the result to a JSON file
with open('articles_data.json', 'w') as json_file:
json.dump(articles_data, json_file, indent=4)और ये हैं अंतिम परिणाम। काफ़ी अच्छे हैं, है ना?
{
"articles": [
{
"title": "#112 | I Built an AI Tool to Help You Learn More and Take Action Faster",
"url": "<https://ryanocm.substack.com/p/112-i-built-an-ai-tool-to-help-you>"
},
{
"title": "#111 | Don't Fight When You Are Getting Flooded \\ud83c\\udf0a",
"url": "<https://ryanocm.substack.com/p/111-dont-fight-when-you-are-getting>"
},
{
"title": "#110 | How to process past fights in relationships",
"url": "<https://ryanocm.substack.com/p/110-how-to-process-past-fights-in>"
},
{
"title": "#109 | AI x Crypto(graphy)",
"url": "<https://ryanocm.substack.com/p/109-ai-x-cryptography>"
},
{
"title": "#108 | How to Love Intentionally \\u2764\\ufe0f",
"url": "<https://ryanocm.substack.com/p/108-how-to-love-intentionally>"
},
{
"title": "#107 | 16 Questions To Better Understand Who You Are \\ud83c\\udfad",
"url": "<https://ryanocm.substack.com/p/107-16-questions-to-better-understand>"
},
{
"title": "#106 | Three Types of Burnouts \\ud83e\\udd15",
"url": "<https://ryanocm.substack.com/p/106-three-types-of-burnouts>"
},
{
"title": "#105 | The Bagel Method in Relationships \\ud83e\\udd6f",
"url": "<https://ryanocm.substack.com/p/105-the-bagel-method-in-relationships>"
},
{
"title": "#104 | The 8 Play Personalities \\ud83c\\udfad",
"url": "<https://ryanocm.substack.com/p/104-the-8-play-personalities>"
},
{
"title": "#103 | The Top Ten Myths About Conflict by Relationship Experts Julie and John Gottman",
"url": "<https://ryanocm.substack.com/p/103-the-top-ten-myths-about-conflict>"
},
{
"title": "#102 | 7 Principles to Writing Well",
"url": "<https://ryanocm.substack.com/p/102-7-principles-to-writing-well>"
},
{
"title": "#101 | How to Remember More from Books",
"url": "<https://ryanocm.substack.com/p/101-how-to-remember-more-from-books>"
}
]
}निष्कर्ष
ScrapeGraphAI वेब और दस्तावेज़ स्क्रैपिंग को सरल और स्वचालित बनाता है, जिससे डेटा निष्कर्षण आसान और तेज़ हो जाता है। विभिन्न LLMs और दस्तावेज़ फॉर्मैट्स के साथ इसकी संगतता इसे हर तरह के डेटा कार्यों के लिए एक बहुमुखी टूल बनाती है। ScrapeGraphAI के साथ, आप डेटा इकट्ठा करने के बजाय उसके विश्लेषण और उपयोग पर ध्यान दे सकते हैं।
और अधिक जानने के लिए, ये संसाधन देखें:
और अंत में, कृपया ScrapeGraphAI का जिम्मेदारी से उपयोग करें और जिन वेबसाइटों को आप टारगेट करते हैं, उनकी स्क्रैपिंग नीतियों से अवगत रहें। हमेशा वेब स्क्रैपिंग के लिए सेवा की शर्तों और कानूनी दिशानिर्देशों का पालन करें।