SpiderFoot: Công Cụ OSINT Tự Động Hóa Reconnaissance

SpiderFoot là gì?

SpiderFoot là công cụ tự động hóa OSINT nguồn mở viết bằng Python 3, tự động hóa reconnaissance qua nhiều nguồn dữ liệu công khai. Cung cấp một mục tiêu — domain, địa chỉ IP, email, số điện thoại, username, hoặc thậm chí địa chỉ Bitcoin — và nó xâu chuỗi hơn 200 module feed dữ liệu cho nhau để xây dựng hồ sơ bên ngoài hoàn chỉnh. Đi kèm giao diện web để khám phá tương tác và CLI cho vận hành tự động hoặc không cần tương tác, lưu toàn bộ kết quả vào SQLite để truy vấn trực tiếp bằng SQL tùy chỉnh.

Cài đặt SpiderFoot

Tải tarball ổn định mới nhất từ GitHub, giải nén, rồi cài dependency Python bằng pip: `wget https://github.com/smicallef/spiderfoot/archive/v4.0.tar.gz && tar zxvf v4.0.tar.gz && cd spiderfoot-4.0 && pip3 install -r requirements.txt`. Muốn bản dev mới nhất thì clone trực tiếp: `git clone https://github.com/smicallef/spiderfoot.git` rồi chạy pip install. Docker cũng được, build từ Dockerfile có sẵn trong repo. Yêu cầu Python 3.7 trở lên, và nhiều module cần API key được cấu hình trong settings trước khi dùng.

Chạy SpiderFoot qua CLI và web UI

Khởi động web UI bằng `python3 ./sf.py -l 127.0.0.1:5001`, mở trình duyệt trỏ tới địa chỉ đó. Trong giao diện web, bấm 'New Scan', nhập mục tiêu (domain, IP, email, v.v.), chọn loại module muốn chạy, rồi bấm 'Run Scan'. Muốn dùng CLI hoàn toàn: `python3 sf.py -s <target> -t <target_type>` với target_type là IP, DOMAIN, SUBDOMAIN, HOSTNAME, NETBLOCK_OWNER, ASOWNER, EMAILADDR, PHONE_NUMBER, USERNAME, BITCOIN_ADDRESS, hoặc PERSON_NAME. Flag `-M` giới hạn module chạy, `-o` chọn định dạng output (JSON, CSV, hoặc GEXF). Xem đầy đủ flag bằng `python3 sf.py -h`.

Các module và khả năng chính

• ✓Hơn 200 module trao đổi dữ liệu qua mô hình publisher/subscriber, tối đa hóa việc thu thập từ mỗi mục tiêu — một module phát hiện gì thì các module liên quan tự động được kích hoạt để đào sâu thêm
• ✓Hai chế độ giao diện: web UI cho điều tra tương tác và CLI cho pipeline tự động hoặc chạy headless trên server
• ✓37 quy tắc correlation định sẵn bằng YAML để khớp các phát hiện thành manh mối khả thi — giảm bớt việc phải đọc hàng trăm dòng kết quả thô
• ✓Lưu toàn bộ dữ liệu quét vào SQLite, cho phép truy vấn trực tiếp bằng SQL tùy chỉnh hoặc phân tích lịch sử mà không cần xuất ra file
• ✓Tích hợp sẵn TOR để tìm kiếm dark web và ẩn danh trong quá trình reconnaissance
• ✓Xuất dữ liệu ra CSV, JSON, hoặc GEXF để đưa vào công cụ khác như Maltego, Gephi, hoặc hệ thống SIEM
• ✓Gọi các công cụ bên ngoài như DNSTwist, Whatweb, Nmap, CMSeeK để mở rộng khả năng vượt trội so với tích hợp sẵn
• ✓Correlation engine hoàn toàn tùy chỉnh qua YAML — viết quy tắc riêng hoặc mở rộng 37 quy tắc có sẵn

Trường hợp sử dụng tấn công và phòng thủ

• •Reconnaissance cho red team: thu thập toàn bộ dấu chân bên ngoài của mục tiêu — subdomain, bucket công khai, DNS cấu hình sai, tài sản cloud liên quan — trước khi bắt đầu đợt đánh giá
• •Threat intelligence: tương quan kết quả giữa các mục tiêu để tìm pattern như hạ tầng dùng chung, ví Bitcoin tái sử dụng, hoặc thông tin đăng nhập bị rò rỉ cho thấy đã bị xâm nhập
• •Giám sát bề mặt tấn công: dùng CLI trong cron job để quét lại các domain quan trọng định kỳ, phát hiện subdomain mới, chứng chỉ mới, hoặc dịch vụ mới exposed trước khi kẻ tấn công kịp phát hiện
• •Due diligence: điều tra sự hiện diện số của một cá nhân bằng cách tương quan username, email, tên, và tài khoản mạng xã hội qua cơ sở dữ liệu breach và nguồn dark web
• •Phản ứng sự cố: nhanh chóng đánh giá những gì kẻ tấn công có thể thu thập được về tổ chức từ các nguồn công khai để hiểu phạm vi ảnh hưởng thực tế
• •Recon cho bug bounty: tự động liệt kê subdomain và chụp ảnh màn hình trên phạm vi lớn để xác định mục tiêu trong phạm vi nhanh hơn

Các lựa chọn thay thế cho SpiderFoot

Ai nên dùng SpiderFoot?

SpiderFoot phù hợp với chuyên gia bảo mật và red team nội bộ cần lập bản đồ bề mặt tấn công bên ngoài của mục tiêu nhanh trước đợt đánh giá, analyst threat intelligence muốn tương quan kết quả giữa các mục tiêu mà không phải xây pipeline riêng, và hunter bug bounty cần tự động liệt kê subdomain trên phạm vi lớn. Không phù hợp cho người dùng ngẫu nhiên — nếu chỉ cần tra cứu email hoặc kiểm tra subdomain nhanh, công cụ đơn mục đích sẽ nhanh hơn và ít phức tạp hơn nhiều. Defensive cũng có lợi từ quét định kỳ để hiểu dấu chân công khai của tổ chức mình, đặc biệt khi thiếu hạ tầng giám sát bề mặt tấn công chuyên dụng.

Câu hỏi thường gặp

Repo liên quan