Katana: Go Web Crawler cho Pipeline

Katana là gì?

Katana là một framework crawling và spidering dạng command-line của ProjectDiscovery, viết bằng Go, được thiết kế để nối vào pipeline recon và automation chứ không chạy như một ứng dụng độc lập. Nó crawl một hoặc nhiều URL ở chế độ HTTP thuần hoặc chế độ headless Chrome, đi theo các link, parse JavaScript để tìm endpoint, rồi ghi kết quả ra stdout, file, hoặc JSONL.

Tính năng chính của Katana

• ✓Chế độ standard dùng HTTP client của Go để crawl nhanh, không cần browser, còn chế độ headless hook trực tiếp vào Chrome để render các trang nặng JavaScript.
• ✓Parse JavaScript (-jc) trích endpoint ra từ file JS; có thêm parser dựa trên jsluice (-jsl) nhưng README ghi rõ nó tốn nhiều bộ nhớ.
• ✓Tự động điền form (-aff) được đánh dấu là experimental, cố gắng điền các form gặp phải trong lúc crawl.
• ✓Kiểm soát scope khóa crawl vào một domain, root domain, hoặc FQDN, hoặc nhận regex tùy chỉnh qua -crawl-scope và -crawl-out-scope.
• ✓Knowledge base (-kb) tự tải một model ML ở lần chạy đầu để phân loại loại trang và loại form trong lúc crawl.
• ✓Bộ lọc độ tương đồng nội dung trang chạy thêm một lớp khử trùng lặp sau bước khớp chính xác, chọn giữa simhash, TF-IDF, hoặc BM25.
• ✓Xử lý captcha ở chế độ headless chuyển thử thách reCAPTCHA cho một bên giải bên ngoài như capsolver qua -captcha-solver-provider.
• ✓Output ghi ra stdout, file, hoặc JSONL có cấu trúc, kèm flag để bỏ dữ liệu request/response thô hoặc bỏ field cụ thể.

Cài đặt Katana

Katana cần Go 1.26+ để build từ source; README ghi chú rằng nếu cài lỗi thì thử bản Go mới nhất thường khắc phục được, vì phiên bản tối thiểu từng thay đổi. Cách cài chuẩn là `CGO_ENABLED=1 go install github.com/projectdiscovery/katana/cmd/katana@latest`. Bản binary dựng sẵn cũng có trên trang release của GitHub. Người dùng Docker chạy `docker pull projectdiscovery/katana:latest`, rồi `docker run projectdiscovery/katana:latest -u https://tesla.com` cho chế độ standard, hoặc thêm `-system-chrome -headless` cho chế độ headless. Trên Ubuntu, cách README khuyến nghị là cài Go qua snap và Google Chrome từ repo apt trước khi chạy go install, vì chế độ headless cần một bản Chrome thật.

Cách dùng Katana cơ bản

Lệnh cơ bản là `katana -u https://tesla.com` cho một target; nối nhiều URL bằng dấu phẩy, trỏ `-list` vào một file, hoặc pipe URL qua stdin, ví dụ `cat domains | httpx | katana`. `-d` set độ sâu crawl (mặc định 3), `-c` set concurrency (mặc định 10), `-rl` giới hạn số request mỗi giây (mặc định 150). Thêm `-jc` để parse file JavaScript tìm endpoint, `-headless` để chuyển sang crawl bằng browser, và `-j` để ghi JSONL thay vì URL thuần ra stdout. `katana -h` in ra toàn bộ danh sách flag, chia theo input, configuration, headless, scope, filter, rate-limit, và output.

Các lựa chọn thay thế Katana

Câu hỏi thường gặp

Vấn đề mà Katana giải quyết

Các pipeline recon và bug bounty thường buộc phải chọn một trong hai: crawler HTTP nhanh nhưng bỏ sót link và API call render bằng JavaScript, hoặc crawler headless-browser đầy đủ nhưng chạy chậm khi quét hàng trăm target. Katana nằm giữa hai lựa chọn đó, mặc định crawl bằng HTTP thuần nhẹ nhàng của Go và chỉ trả giá cho headless Chrome ở những target được đánh dấu bằng flag -headless.

Trường hợp sử dụng tốt nhất

• •Liệt kê attack surface cho một scope bug bounty hoặc pentest trước khi chạy scanner lỗ hổng nhắm vào đó.
• •Đẩy danh sách host đang sống từ một công cụ như httpx vào katana qua stdin để crawl từng host tìm endpoint.
• •Crawl các single-page app nặng JavaScript ở chế độ headless để bắt được endpoint mà crawler HTTP thuần sẽ bỏ sót.
• •Lấy endpoint API và field form ra từ bundle JS để dựng bản đồ bề mặt API.

Nên dùng — và nên bỏ qua khi nào

Team bảo mật và người săn bug bounty chạy pipeline recon cần phát hiện endpoint nhanh trên nhiều target là nhóm phù hợp nhất, nhất là khi đã có httpx hoặc công cụ tương tự đẩy danh sách target vào. Developer chỉ cần scrape vài trang để lấy nội dung, không cần kiểm soát scope hay bộ máy headless, sẽ thấy một thư viện scraping thuần đơn giản hơn. Team cần giải captcha hoặc điền form ổn định ở mức production nên chờ thêm, vì README đánh dấu cả hai là experimental.

Repo liên quan