Firecrawl: Trình thu thập dữ liệu web bằng AI dành cho ứng dụng LLM

Firecrawl là một loại trình thu thập dữ liệu web mới được tối ưu cho quy trình AI. Nó cho phép nhà phát triển thu thập dữ liệu từ trang, website, hoặc thậm chí toàn bộ web. Công cụ này rất phù hợp để loại bỏ sự phức tạp của việc web scraping truyền thống với các tính năng như hỗ trợ JavaScript, tự động chuyển đổi sang markdown, và tích hợp với các framework LLM phổ biến.

Trong bài viết này, tôi không chỉ mô tả chức năng chính của Firecrawl, mà còn đưa ra một số mẹo nâng cao hữu ích, cách tích hợp trong hệ sinh thái, và đề cập đến một số ứng dụng thực tế, để bạn có thể tự mình bắt đầu thực hành.

Firecrawl là gì?

Firecrawl là trình thu thập dữ liệu web sử dụng AI do Mendable.ai phát triển. Đây là một dịch vụ API thu thập dữ liệu từ các website và chuyển chúng thành dữ liệu sạch, sẵn sàng cho LLM như markdown, JSON, v.v.

Đây là một cách tiếp cận dựa trên AI, hiểu ngữ cảnh của trang và trích xuất nội dung chính một cách mạch lạc, khác với các trình thu thập truyền thống như BeautifulSoup hay Puppeteer, vốn thu thập “mù” và thường trả về dữ liệu lộn xộn. Nó có thể biến cả website thành markdown sạch hoặc dữ liệu có cấu trúc, rất lý tưởng cho các tác vụ LLM.

Firecrawl có 3 chế độ cốt lõi, tôi sẽ bàn chi tiết ngay sau đây. Thông thường, bạn sẽ dùng chế độ scrape để thu thập một URL đơn lẻ, chế độ crawl để thu thập toàn bộ website, và chế độ map để khám phá URL.

Các tính năng chính của Firecrawl

Điểm nổi bật của Firecrawl là không cần sitemap vì có cơ chế điều hướng thông minh; xử lý tốt JavaScript nặng và nội dung web động; đầu ra là markdown, HTML, JSON, ảnh chụp màn hình sạch và nhiều hơn nữa, giúp linh hoạt trong sử dụng; có proxy tích hợp, cơ chế chống bot và bộ nhớ đệm; xử lý theo lô và chạy song song cho các tác vụ quy mô lớn; khả năng tùy biến cao như loại trừ thẻ, thu thập với header tùy chỉnh, đặt độ sâu crawl, v.v.; tích hợp tốt với các framework LLM như LangChain, LlamaIndex, và CrewAI; và dĩ nhiên phù hợp cho doanh nghiệp vì bạn có thể đặt giới hạn tốc độ, kiểm soát mức độ song song và độ tin cậy.

Cách thiết lập Firecrawl

Điểm thú vị của Firecrawl là bạn có thể thiết lập và chạy rất nhanh, dưới đây là các bước chính để cài đặt vào hệ thống của bạn:

Cấu hình khóa API

1. Đăng ký tại firecrawl.dev để lấy khóa API.
2. Cài đặt thư viện client Python:

pip install firecrawlĐược hỗ trợ bởi

Và nếu bạn dùng langchain, hãy dùng

pip install firecrawl-pyĐược hỗ trợ bởi

3. Lưu trữ khóa API một cách an toàn bằng biến môi trường:

import os
from firecrawl import FirecrawlApp

# Set your Firecrawl API key as an environment variable for security
api_key = os.getenv('FIRECRAWL_API_KEY')
# Create an instance of the FirecrawlApp class with your API key 
app = FirecrawlApp(api_key=api_key)Được hỗ trợ bởi

Ví dụ scraping cơ bản

Bạn có thể thực hiện lần thu thập đầu tiên bằng phương thức .scrape_url():

response = app.scrape_url(url=example.com', formats=['markdown'])
print(response)Được hỗ trợ bởi

Đoạn mã này lấy nội dung chính của trang firecrawl.dev dưới dạng markdown.

Tìm hiểu các chế độ và endpoint của Firecrawl

Firecrawl có ba chế độ cốt lõi xác định phạm vi bạn muốn thu thập. Trong phần này, tôi sẽ hướng dẫn bạn từng chế độ.

Chế độ Scrape

Scrape nhắm vào các URL riêng lẻ. Lý tưởng để trích xuất chi tiết sản phẩm hoặc bài báo. Tham số llm_extract cho phép trích xuất dựa trên schema. Việc bạn cần làm là định nghĩa schema cho JSON đầu ra mong muốn, khởi tạo cấu hình, và bắt đầu thu thập:

from firecrawl import JsonConfig
from pydantic import BaseModel

# Define the expected data structure for the JSON extraction schema
class ExtractSchema(BaseModel):
    company_mission: str
    supports_sso: bool
    is_open_source: bool
    is_in_yc: bool

# Define the JSON configuration and set it to llm extraction mode
json_config = JsonConfig(
    extractionSchema=ExtractSchema.model_json_schema(),
    mode="llm-extraction",
    pageOptions={"onlyMainContent": True}
)

# Scrape the URL, extract data, and format it into JSON
llm_extraction_result = app.scrape_url(
    'https://firecrawl.dev',
    formats=["json"],
    json_options=json_config
)
print(llm_extraction_result)Được hỗ trợ bởi

Đây là một kiểu scraping cho URL đơn khác, nhưng lần này dựa trên selector:

# Get a screenshot of the top of the overview page
scrape_result = app.scrape_url('firecrawl.dev', 
    formats=['markdown', 'html', "screenshot"], 
    actions=[
        {"type": "wait", "milliseconds": 3000},
        {"type": "click", "selector": "h1"},
        {"type": "wait", "milliseconds": 3000},
        {"type": "scrape"},
        {"type": "screenshot"}
    ],
)
print(scrape_result)Được hỗ trợ bởi

Script này mở website, chờ 3000 mili giây, nhấp vào selector h1 đầu tiên, chờ tiếp, rồi thu thập và lưu ảnh chụp màn hình của trang hiện tại. Nếu gặp lỗi hết thời gian chờ, hãy tăng thời gian chờ cùng với tham số timeout.

Chế độ Crawl

Chế độ crawl cho phép bạn thu thập toàn bộ website, bao gồm mọi trang con có thể truy cập, mà không cần sitemap. Nó trả về một ID job để theo dõi tiến độ và hỗ trợ lấy metadata khi bạn muốn lấy thêm thông tin như header và timestamp, kiểm soát tốc độ để điều chỉnh tần suất truy cập site, và thiết lập độ sâu đệ quy để quyết định theo dõi bao nhiêu cấp liên kết. Các bước của một crawler như sau:

1. Đầu tiên, crawler mở URL đã cho
2. Thu thập nội dung
3. Mọi siêu liên kết trỏ tới trang con được quét và gán cho các crawler riêng
4. Lặp lại các bước cho đến khi đạt giới hạn đã định.

Dưới đây là ví dụ về một crawler dùng Python requests:

import requests

url = "https://api.firecrawl.dev/v1/crawl" 
headers = {
    "Content-Type": "application/json",
    "Authorization": "Bearer YOUR_API_KEY"
}
data = {
    "url": "https://docs.firecrawl.dev", 	# site to crawl
    "limit": 100, 		# max items
    "scrapeOptions": {
        "formats": ["markdown", "html"]  	# output formats
    }
}

response = requests.post(url, headers=headers, json=data)

print(response.status_code)
print(response.json())Được hỗ trợ bởi

Đoạn mã này yêu cầu Firecrawl lấy tối đa 100 trang từ https://docs.firecrawl.dev, trả về mỗi trang ở cả định dạng Markdown và HTML, rồi in kết quả.

Nếu bạn muốn tìm hiểu thêm về API, hãy xem khóa học Giới thiệu về API trong Python, buổi code-along Làm việc với API trong Python, và bài hướng dẫn Làm chủ Python APIs: Hướng dẫn toàn diện về xây dựng và sử dụng API trong Python.

Chế độ Map

Map cho phép bạn nhập một website và ngay lập tức truy xuất mọi URL trên site với tốc độ cực nhanh. Đó là lý do chúng tôi tạo ra /map: Nó biến một URL duy nhất thành một sơ đồ sitemap toàn diện, rất phù hợp khi bạn cần gợi ý người dùng cuối chọn liên kết để thu thập, nhanh chóng khám phá tất cả URL của site, tập trung vào các trang liên quan đến một chủ đề cụ thể bằng tham số tìm kiếm, hoặc giới hạn việc crawl vào các trang nhất định.

Lưu ý: Vì endpoint này ưu tiên tốc độ, nó có thể không bắt được mọi liên kết.

# Map a website:
map_result = app.map_url('https://firecrawl.dev')
print(map_result)Được hỗ trợ bởi

Đoạn mã này yêu cầu Firecrawl khám phá tất cả liên kết trong trang https://firecrawl.dev và liệt kê lại cho bạn.

Ứng dụng thực tế của Firecrawl

Firecrawl là công cụ linh hoạt cho nhiều tác vụ như đã thấy, khiến nó đặc biệt hữu ích trong các kịch bản thực tế. Rất phù hợp khi thu thập dữ liệu từ bảng việc làm hoặc trang tin tức để tổng hợp danh sách/bài viết cập nhật phục vụ phân tích, hoặc huấn luyện mô hình học máy dự báo. Bạn cũng có thể thực hiện phân tích cảm xúc qua các bài đánh giá thu thập được, như gom phản hồi khách hàng từ các trang thương mại điện tử hoặc đánh giá như Amazon, để phân tích cảm xúc và hỗ trợ quyết định kinh doanh.

Điều này có thể nâng cao hơn với việc theo dõi giá, như theo dõi giá sản phẩm trên nhiều nền tảng để nhận diện xu hướng hoặc kích hoạt cảnh báo khi giá giảm. Ngoài ra, bạn có thể dùng Firecrawl để trích xuất tài liệu kỹ thuật nhằm huấn luyện hoặc cung cấp thông tin cho tác tử AI, cải thiện kho tri thức của họ, hoặc nạp dữ liệu vào các pipeline AI đa tác tử, như cách CAMEL-AI thực hiện.

Nó cũng có thể cung cấp dữ liệu web có cấu trúc cho hệ thống RAG (retrieval-augmented generation) để tăng hiệu suất mô hình và giảm mức độ ảo giác.

Kỹ thuật nâng cao và thông lệ tốt

Để tối đa hóa tiềm năng của Firecrawl, dưới đây là một số kỹ thuật nâng cao và thông lệ tốt:

• Trích xuất dữ liệu có cấu trúc cho LLM bằng cách dùng endpoint /extract để trả về dữ liệu có cấu trúc dựa trên prompt hoặc schema, vì LLM xử lý loại dữ liệu này tốt hơn HTML thô.

• Xử lý lỗi bằng cơ chế thử lại, triển khai logic retry với backoff lũy tiến để quản lý lỗi API tạm thời.

• Tối ưu hiệu năng bằng cách sử dụng cơ chế crawl bất đồng bộ của Firecrawl để khởi động các tác vụ lớn mà không chặn ứng dụng. Điều này lý tưởng cho web app hoặc dịch vụ.

• Lọc quá trình crawl bằng các tham số như max_depth hoặc exclude để giới hạn vào các tên miền phụ hoặc loại trang cụ thể. Điều này giúp giảm dữ liệu không cần thiết.

• Dùng công cụ Python để kiểm tra và làm sạch dữ liệu đã thu thập, như cân bằng dữ liệu, xoá giá trị null, và nhiều thao tác khác. pandas, numpy, seaborn, và các công cụ khác hỗ trợ tốt cho các tác vụ này. Nếu muốn học thêm về làm sạch dữ liệu, hãy cân nhắc khóa học Cleaning Data in Python.

Firecrawl so với công cụ scraping truyền thống

Firecrawl có nhiều ưu điểm khiến nó trở thành lựa chọn hàng đầu trong hầu hết trường hợp và nổi bật hơn các công cụ scraping truyền thống như Scrapy, BeautifulSoup, và Puppeteer. Nó xử lý nội dung render bằng JavaScript một cách dễ dàng, trong khi các công cụ như BeautifulSoup cần thêm công cụ như Selenium và đôi khi phải kiểm tra thủ công. Nó có xoay vòng proxy tích hợp và xử lý giới hạn tốc độ giúp giảm thời gian thiết lập so với cấu hình thủ công của Scrapy, vốn tốn rất nhiều thời gian. Bên cạnh đó, khả năng trích xuất bằng LLM của Firecrawl cung cấp dữ liệu có cấu trúc, một tính năng thiếu vắng ở phần lớn công cụ truyền thống.

Tuy nhiên, công cụ truyền thống có thể phù hợp trong một số trường hợp cụ thể, như khi bạn muốn chạy cục bộ, khiến các công cụ như BeautifulSoup hoạt động tại chỗ mà không phụ thuộc API, hấp dẫn với người dùng tránh dịch vụ đám mây. Sự dễ dàng và hiệu quả trong triển khai đôi khi đánh đổi với khả năng tùy biến cao, như cách Scrapy cung cấp kiểm soát chi tiết cho các pipeline scraping tùy biến mạnh.

Tích hợp và hỗ trợ hệ sinh thái

Firecrawl tích hợp tốt với nhiều framework LLM phổ biến, có hỗ trợ hệ sinh thái mạnh mẽ, từ đó nâng cao tính hữu dụng trong quy trình AI. Bạn có thể tích hợp với LangChain qua module FirecrawlLoader, cho phép đưa dữ liệu web vào pipeline LangChain dễ dàng. Hoặc dùng với LlamaIndex vì FirecrawlReader hỗ trợ nạp dữ liệu web để lập chỉ mục và truy vấn. Firecrawl cũng là công cụ tích hợp sẵn để thu thập website trong framework của CrewAI và hỗ trợ nhiều framework khác như Flowise, Dify, và CAMEL-AI với khả năng tương thích rộng.

Gói giá và giới hạn sử dụng

Firecrawl cung cấp nhiều gói giá tùy trường hợp sử dụng để đáp ứng các nhu cầu khác nhau. Hãy đảm bảo tham khảo trang giá chính thức của Firecrawl phòng khi có thay đổi.

• Gói miễn phí: Bao gồm số credit giới hạn, phù hợp để thử nghiệm và dự án nhỏ.
• Gói Hobby: Cung cấp nhiều credit hơn cho cá nhân hoặc nhóm nhỏ với chi phí thấp.
• Các gói Standard, Growth, Enterprise: Cung cấp số credit tăng dần, giới hạn tốc độ cao hơn, và tính năng nâng cao như yêu cầu mỗi phút (RPM) tùy chỉnh.

Hệ thống credit hoạt động như sau:

Kết luận

Firecrawl là “cú hích” cho việc trích xuất dữ liệu web, đặc biệt cho các ứng dụng AI. Bằng cách chuyển đổi website thành dữ liệu sạch, có cấu trúc, sẵn sàng cho LLM, nó giúp nhà phát triển xây dựng giải pháp thông minh hơn. Tính dễ dùng, bộ tính năng phong phú và khả năng tích hợp rộng khiến nó trở thành lựa chọn hàng đầu cho các tác vụ từ theo dõi giá đến các quy trình RAG.

Tôi khuyến khích bạn khám phá gói miễn phí của Firecrawl để thử nghiệm khả năng của nó. Hãy tương tác cùng cộng đồng trên GitHub và Discord của Firecrawl để cập nhật, nhận mẹo và hỗ trợ.

Với Firecrawl, dữ liệu web không còn là thách thức. Đó là tài sản mạnh mẽ cho các đổi mới AI của bạn.

Bước tiếp theo, tôi gợi ý khóa học và buổi code-along sau: