Crawl4AI: Chuyển Trang Web Thành Markdown Cho LLM

Hiểu Mục Đích Của Crawl4AI

Crawl4AI là công cụ thu thập dữ liệu web và scraping mã nguồn mở, xây riêng để chuẩn bị nội dung cho các mô hình ngôn ngữ lớn, phát hành dưới dạng thư viện Python cài qua pip và dưới dạng image Docker chạy server FastAPI. Nó điều khiển Chromium, Firefox, hoặc WebKit qua Playwright, render trang, rồi chuyển thành Markdown, có thể lọc bớt nội dung thừa bằng bộ lọc pruning hoặc BM25 trước khi nội dung đến LLM hoặc một schema trích xuất CSS.

Năng Lực Cốt Lõi Để Trích Xuất Dữ Liệu

• ✓Hai hướng trích xuất: CSS/XPath selector để cào dữ liệu nhanh theo schema mà không cần LLM, hoặc trích xuất bằng LLM theo schema Pydantic với bất kỳ provider nào mà LiteLLM hỗ trợ.
• ✓Tạo Markdown với PruningContentFilter hoặc BM25ContentFilter để lọc bớt nội dung thừa trước khi đưa vào LLM.
• ✓Crawl sâu theo chiến lược BFS kèm giới hạn số trang từ CLI, cùng khả năng khôi phục sau sự cố qua callback `resume_state` và `on_state_change` thêm từ bản v0.8.0.
• ✓Kiểm soát trình duyệt đầy đủ: profile người dùng lâu dài, cookie, header tùy chỉnh, proxy có xác thực, và hook JS định nghĩa ở từng bước crawl.
• ✓Điều khiển Chromium, Firefox, hoặc WebKit qua Playwright, có chế độ managed browser dùng lại profile trình duyệt đã đăng nhập của bạn để tránh bị phát hiện là bot.
• ✓Chế độ prefetch (`prefetch=True`), mà README nói giúp tăng tốc khám phá URL 5-10 lần khi crawl sâu.
• ✓Image Docker đi kèm dashboard giám sát, playground tương tác, và xác thực bằng JWT token cho API server.
• ✓Cache lại kết quả để bỏ qua các lượt tải trùng lặp.

Cài Đặt Và Các Tùy Chọn Thiết Lập

Crawl4AI cài từ PyPI: `pip install -U crawl4ai`, sau đó chạy `crawl4ai-setup` để cài phần phụ thuộc trình duyệt Playwright, rồi `crawl4ai-doctor` để kiểm tra việc cài đặt. Nếu Playwright tải trình duyệt thất bại, README gợi ý chạy tay lệnh `python -m playwright install --with-deps chromium`. Có một bản cài đồng bộ dựa trên Selenium (`pip install crawl4ai[sync]`) nhưng README ghi rõ bản này đã deprecated. Để đóng góp mã nguồn, clone repo rồi chạy `pip install -e .`, kèm các extra tùy chọn như `[torch]`, `[transformer]`, `[cosine]`, hoặc `[all]`. Đường Docker là `docker pull unclecode/crawl4ai:latest`, sau đó `docker run -d -p 11235:11235 --name crawl4ai --shm-size=1g unclecode/crawl4ai:latest`, mở ra dashboard giám sát và playground request ở cổng 11235.

Chạy Lượt Crawl Đầu Tiên

Cách dùng Python tối giản là một async context manager: mở `AsyncWebCrawler()`, gọi `crawler.arun(url=...)`, rồi đọc `result.markdown`. CLI bọc quanh cùng engine đó. Thử `crwl <url> -o markdown` cho một lượt crawl đơn lẻ, `crwl <url> --deep-crawl bfs --max-pages 10` để crawl tài liệu theo kiểu breadth-first, hoặc `crwl <url> -q "Extract all product prices"` để chạy trích xuất bằng LLM từ một câu hỏi thường. Muốn trích xuất không cần LLM, định nghĩa schema CSS/XPath rồi truyền vào `JsonCssExtractionStrategy`. Muốn trích xuất bằng LLM, `LLMExtractionStrategy` nhận một model Pydantic cùng bất kỳ provider nào mà LiteLLM hỗ trợ.

So Sánh Với Các Công Cụ Scraping Khác

Câu Hỏi Thường Gặp Về Crawl4AI

Vấn đề Crawl4AI giải quyết

Chuyển một trang web sống thành thứ LLM dùng sạch sẽ được không hề đơn giản: HTML thô chứa đầy nav bar và quảng cáo, trang render bằng JS cần trình duyệt thật, và một số site giới hạn tốc độ với truy cập tự động. README của Crawl4AI kể lại rằng người tạo ra nó gặp đúng vấn đề này năm 2023: lựa chọn gần nhất lúc đó đòi đăng ký tài khoản, tạo API token, và trả 16 đô la, mà kết quả vẫn chưa đạt yêu cầu. Khoảng trống đó là lý do Crawl4AI mặc định trả về Markdown thay vì HTML thô.

Trường hợp sử dụng tốt nhất

• •Nạp dữ liệu cho pipeline RAG: crawl tài liệu hoặc trang sản phẩm, lọc nhiễu bằng BM25 hoặc pruning, rồi đưa Markdown sạch cho retriever.
• •Xây dựng agent nghiên cứu hoặc agent mua sắm cần đọc các trang bất kỳ dưới dạng Markdown thay vì HTML thô.
• •Cào các trang có bố cục lặp lại thành JSON có cấu trúc bằng schema CSS/XPath, bỏ hẳn chi phí trích xuất qua LLM.
• •Crawl sâu một trang tài liệu theo kiểu breadth-first với giới hạn số trang, ví dụ `crwl <url> --deep-crawl bfs --max-pages 10`.
• •Chạy Docker API server phía sau lớp xác thực riêng để một nhóm nhỏ gửi job crawl qua HTTP thay vì gọi Python trực tiếp.

Ai nên dùng — và ai nên bỏ qua

Hãy dùng Crawl4AI nếu bạn là nhà phát triển Python đang xây pipeline RAG, một agent, hoặc một job cào dữ liệu, và muốn kiểm soát bằng code với session trình duyệt, proxy, và cách một trang được chuyển thành Markdown hoặc JSON. Bỏ qua nếu bạn muốn một công cụ scraping kiểu point-and-click không cần code hoặc một API được vận hành sẵn ngay hôm nay, vì Cloud API vẫn đang closed beta, hoặc nếu bạn không muốn tự vận hành cả một stack tự động hoá trình duyệt và thích một lựa chọn được host sẵn như firecrawl hơn.

Repo liên quan