ScrapeGraphAI-tutorial: Aan de slag met AI-webscraping

Wat is ScrapeGraphAI?

ScrapeGraphAI is een krachtige webscrapingtool die large language models (LLM’s) en directe graaflogica gebruikt om scrapingpipelines te bouwen.

Het kan informatie halen van websites en uit diverse lokale documentformaten, zoals XML, HTML, JSON en Markdown.

Functies

ScrapeGraphAI is ontworpen om gebruiksvriendelijk en efficiënt te zijn. Gebruikers geven simpelweg aan welke informatie ze nodig hebben, en ScrapeGraphAI doet de rest. Het automatiseert het opzetten van scrapingpipelines op basis van gebruikersprompts, waardoor minder handmatig coderen nodig is.

De tool ondersteunt diverse documentformaten en kan via API’s integreren met verschillende LLM’s. Hij is schaalbaar, met zowel single-page- als multi-page-scraping, en daardoor geschikt voor kleine én grootschalige data-extractietaken.

Tot slot is hij compatibel met meerdere LLM-providers zoals OpenAI, Groq, Azure en Gemini, evenals met lokale modellen via Ollama.

Scrapingpipelines

ScrapeGraphAI bevat verschillende soorten scrapingpipelines:

• SmartScraperGraph: Dit is een single-page-scraper die alleen een gebruikersprompt en een invoerbron nodig heeft.
• SearchGraph: Deze multi-page-scraper haalt informatie uit de beste zoekresultaten.
• SpeechGraph: Deze single-page-scraper genereert audiobestanden van website-inhoud.
• ScriptCreatorGraph: Deze single-page-scraper maakt Python-scripts voor de geëxtraheerde data.
• SmartScraperMultiGraph: Deze multi-page-scraper werkt op meerdere pagina’s met één prompt en een lijst met bronnen.
• ScriptCreatorMultiGraph: Deze multi-page-scraper maakt Python-scripts om informatie uit meerdere pagina’s en bronnen te halen.

ScrapeGraphAI installeren

ScrapeGraphAI maakt het opzetten en uitvoeren van data-extractietaken van websites en lokale documenten eenvoudig. Zo installeer je de bibliotheek snel en bouw je een basisapplicatie voor scraping.

Snel installeren

Om ScrapeGraphAI te installeren, voer je het volgende uit:

pip install scrapegraphai

Een eenvoudige ScrapeGraphAI-applicatie bouwen

We bouwen een eenvoudige scrapingpipeline met SmartScraperGraph. Eerst beschrijf ik de stappen, daarna geef ik de code.

Stap 1: Definieer de taak

Geef aan welke informatie je wilt extraheren. In dit voorbeeld halen we alle artikeltitels en URL’s op uit mijn eigen Substack-nieuwsbrief The Limitless Playbook 🧬.

Stap 2: Kies de scrapingpipeline

Kies de juiste pipeline. Voor één pagina gebruiken we SmartScraperGraph. Verken gerust andere pipelines voor verschillende use-cases.

Stap 3: Voer de pipeline uit

Voer de pipeline uit met de methode .run() om de data te extraheren.

Stap 4: Controleer en gebruik de data

Valideer de geëxtraheerde data. LLM’s zijn krachtig, maar leveren in eerste instantie niet altijd perfecte resultaten. Pas de prompt aan indien nodig om de gewenste output te krijgen.

Code

Hier is de complete code snippet die de eerder beschreven stappen dekt:

import json
import nest_asyncio
nest_asyncio.apply()
from scrapegraphai.graphs import SmartScraperGraph
# Define the configuration for the scraping pipeline
OPENAI_API_KEY = "YOUR_OPENAI_API_KEY"
graph_config = {
    "llm": {
        "api_key": OPENAI_API_KEY,
        "model": "gpt-3.5-turbo-0125",
        "temperature": 0,
    },
    "verbose": True,
}
# Create the SmartScraperGraph instance
smart_scraper_graph = SmartScraperGraph(
    prompt="List me all the articles with their respective urls",
    source="<https://ryanocm.substack.com/archive>",
    config=graph_config
)
# Run the pipeline
articles_data = smart_scraper_graph.run()
# Save the result to a JSON file
with open('articles_data.json', 'w') as json_file:
    json.dump(articles_data, json_file, indent=4)

En hier zijn de eindresultaten. Best goed, toch?

{
    "articles": [
        {
            "title": "#112 | I Built an AI Tool to Help You Learn More and Take Action Faster",
            "url": "<https://ryanocm.substack.com/p/112-i-built-an-ai-tool-to-help-you>"
        },
        {
            "title": "#111 | Don't Fight When You Are Getting Flooded \\ud83c\\udf0a",
            "url": "<https://ryanocm.substack.com/p/111-dont-fight-when-you-are-getting>"
        },
        {
            "title": "#110 | How to process past fights in relationships",
            "url": "<https://ryanocm.substack.com/p/110-how-to-process-past-fights-in>"
        },
        {
            "title": "#109 | AI x Crypto(graphy)",
            "url": "<https://ryanocm.substack.com/p/109-ai-x-cryptography>"
        },
        {
            "title": "#108 | How to Love Intentionally \\u2764\\ufe0f",
            "url": "<https://ryanocm.substack.com/p/108-how-to-love-intentionally>"
        },
        {
            "title": "#107 | 16 Questions To Better Understand Who You Are \\ud83c\\udfad",
            "url": "<https://ryanocm.substack.com/p/107-16-questions-to-better-understand>"
        },
        {
            "title": "#106 | Three Types of Burnouts \\ud83e\\udd15",
            "url": "<https://ryanocm.substack.com/p/106-three-types-of-burnouts>"
        },
        {
            "title": "#105 | The Bagel Method in Relationships \\ud83e\\udd6f",
            "url": "<https://ryanocm.substack.com/p/105-the-bagel-method-in-relationships>"
        },
        {
            "title": "#104 | The 8 Play Personalities \\ud83c\\udfad",
            "url": "<https://ryanocm.substack.com/p/104-the-8-play-personalities>"
        },
        {
            "title": "#103 | The Top Ten Myths About Conflict by Relationship Experts Julie and John Gottman",
            "url": "<https://ryanocm.substack.com/p/103-the-top-ten-myths-about-conflict>"
        },
        {
            "title": "#102 | 7 Principles to Writing Well",
            "url": "<https://ryanocm.substack.com/p/102-7-principles-to-writing-well>"
        },
        {
            "title": "#101 | How to Remember More from Books",
            "url": "<https://ryanocm.substack.com/p/101-how-to-remember-more-from-books>"
        }
    ]
}

Conclusie

ScrapeGraphAI vereenvoudigt en automatiseert web- en documentscraping, waardoor data-extractie makkelijker en sneller wordt. De compatibiliteit met verschillende LLM’s en documentformaten maakt het een veelzijdige tool voor allerlei datataken. Met ScrapeGraphAI kun je je richten op het analyseren en gebruiken van je data in plaats van op het verzamelen ervan.

Wil je meer weten? Bekijk dan deze bronnen:

• ScrapeGraphAI GitHub-repository
• ScrapeGraphAI’s documentatie
• ScrapeGraphAI’s projectbeschrijving

Gebruik ScrapeGraphAI tot slot verantwoordelijk en wees je bewust van de scrapingregels van de websites die je target. Volg altijd de servicevoorwaarden en wettelijke richtlijnen voor webscraping.