Segment Anything Model (SAM): SAM segmentation model
Segment Anything Model (SAM) là mô hình phân đoạn ảnh zero-shot của Meta AI, được huấn luyện để biến một prompt điểm hoặc khung thành mask đối tượng mà không cần fine-tune riêng cho từng tác vụ. Nên dùng khi bạn cần mask nhanh trong một pipeline lớn hơn; nên bỏ qua nếu bạn cần theo dõi video thời gian thực, vì đó là việc của SAM 2, không phải bản gốc này.
Segment Anything Model là gì?
Segment Anything Model (SAM) là mô hình phân đoạn ảnh của Meta AI, biến một điểm, khung, hoặc lượt quét toàn ảnh thành mask chính xác đến từng pixel. SamPredictor nhận một prompt và trả mask sau một lượt forward; SamAutomaticMaskGenerator tạo mask cho mọi đối tượng mà không cần prompt nào. Repo này cung cấp code inference cùng ba checkpoint ViT đã huấn luyện sẵn, không phải một quy trình huấn luyện để bạn tự chạy.
Khả năng chính: prompt và tạo mask tự động
- ✓Hai cách lấy mask: SamPredictor cho một prompt điểm/khung, SamAutomaticMaskGenerator cho mọi đối tượng trong ảnh cùng lúc.
- ✓Ba checkpoint backbone ViT — vit_h (mặc định), vit_l, và vit_b — chỉ cần đổi chuỗi model_type để đánh đổi giữa độ chính xác và tốc độ.
- ✓Được huấn luyện trên bộ dữ liệu 11 triệu ảnh và 1,1 tỷ mask, đây là lý do mô hình có khả năng zero-shot tốt trên ảnh chưa từng thấy.
- ✓Mask decoder xuất được sang ONNX, nên mô hình đã export có thể chạy ngoài PyTorch — kể cả trên trình duyệt, theo app React trong thư mục demo/.
- ✓Có sẵn CLI (scripts/amg.py) để tạo mask hàng loạt cho cả một thư mục ảnh mà không cần viết Python.
- ✓Mask đầu ra ở dạng COCO RLE segmentation cùng các trường bbox, area, predicted_iou, và stability_score, sẵn sàng cho các công cụ COCO khác.
SAM phù hợp ở đâu trong pipeline computer vision
- •Lấy mask đối tượng cho pipeline gán nhãn thay vì tự vẽ polygon bằng tay.
- •Chuẩn bị dữ liệu huấn luyện cho một detector hoặc mô hình phân đoạn khác mà không cần tự tay gán nhãn mask.
- •Trình chỉnh sửa ảnh tương tác, nơi người dùng click một điểm và app cần trả mask ngay lập tức (đây chính là điều demo web ONNX thể hiện).
- •Tạo mask hàng loạt cho một thư mục ảnh từ dòng lệnh qua scripts/amg.py, không cần viết Python.
Cài đặt SAM và các dependency
Cần python>=3.8, pytorch>=1.7, và torchvision>=0.8 — cài PyTorch/TorchVision kèm CUDA trước, vì README khuyến nghị mạnh điều này. Sau đó chạy `pip install git+https://github.com/facebookresearch/segment-anything.git`, hoặc clone repo rồi chạy `pip install -e .`. Để hậu xử lý mask, xuất định dạng COCO, chạy các notebook mẫu, và xuất ONNX, cần cài thêm `pip install opencv-python pycocotools matplotlib onnxruntime onnx` — các gói này không đi kèm mặc định. Bạn vẫn phải tự tải riêng một checkpoint mô hình (file .pth của vit_h/vit_l/vit_b) trước khi chạy được gì cả; gói pip chỉ chứa code, không chứa weights.
Chạy SAM: prompt, mask tự động, và CLI
Prompt bằng điểm hoặc khung đi qua SamPredictor: nạp checkpoint bằng `sam_model_registry["<model_type>"](checkpoint=...)`, gọi `predictor.set_image(<your_image>)` một lần, rồi gọi `predictor.predict(<input_prompts>)` cho từng prompt. Để tạo mask toàn ảnh tự động, đưa cùng model đã nạp vào `SamAutomaticMaskGenerator(sam)` rồi gọi `.generate(<your_image>)` — không cần prompt nào. Việc này cũng chạy được từ terminal: `python scripts/amg.py --checkpoint <path> --model-type <model_type> --input <image_or_folder> --output <path>`. Để lấy file ONNX dùng cho trình duyệt hoặc thiết bị edge, chạy `python scripts/export_onnx_model.py --checkpoint <path> --model-type <model_type> --output <path>`; README khuyến nghị dùng bản PyTorch stable mới nhất riêng cho bước export này.
Vì sao SAM trở thành chuẩn mực trong segmentation
- ✓Một mô hình duy nhất phục vụ cả segmentation theo prompt lẫn tự động toàn phần — bạn không phải duy trì hai pipeline riêng cho hai chế độ.
- ✓Apache-2.0 cho cả code và model, nên không có ràng buộc copyleft hay giới hạn lĩnh vực sử dụng nào cản việc dùng SAM cho mục đích thương mại.
- ✓Ba kích thước checkpoint cho phép chọn vit_b để nhanh hoặc vit_h để chất lượng cao mà không cần đổi kiến trúc.
- ✓Đường xuất ONNX là thật, không chỉ nói suông — thư mục demo/ có sẵn một app trình duyệt chạy được dựa trên đó.
Giới hạn của bản phát hành SAM gốc
- △Bộ dữ liệu SA-1B có giấy phép riêng — 'SA-1B Dataset Research License' — phải chấp nhận trước khi tải, đây không phải giấy phép Apache-2.0 áp dụng cho code.
- △Đây là SAM gốc, chỉ dành cho ảnh tĩnh. Cần video? README dẫn sang dự án SAM 2 riêng biệt.
- △Không có code huấn luyện đi kèm — bạn chỉ có inference và checkpoint có sẵn, không có cách fine-tune SAM trên dữ liệu riêng ngay trong repo này.
- △Các checkpoint (ViT-H là lớn nhất) không hề nhỏ; README không công bố dung lượng file, nên cần tính trước dung lượng GPU và băng thông tải trước khi chọn vit_h.
So sánh SAM với các cách tiếp cận segmentation khác
Câu hỏi thường gặp về SAM
Code và weight của Segment Anything Model (SAM) được phát hành theo giấy phép Apache 2.0, nên dùng cho mục đích thương mại là được phép; chỉ riêng bộ dữ liệu SA-1B có điều khoản giấy phép nghiên cứu riêng.
Segment Anything Model (SAM) có ba checkpoint — vit_h (mặc định, chất lượng cao nhất), vit_l, và vit_b — đều nạp qua cùng một lệnh sam_model_registry, chỉ cần đổi chuỗi model_type.
Segment Anything Model (SAM) nhận prompt dạng điểm và khung qua SamPredictor để lấy một mask cụ thể, hoặc không cần prompt nào qua SamAutomaticMaskGenerator, tạo mask cho mọi đối tượng tìm thấy trong ảnh.
SA-1B là bộ dữ liệu dùng để huấn luyện Segment Anything Model (SAM) — gồm 11 triệu ảnh và 1,1 tỷ mask, tải riêng theo giấy phép SA-1B Dataset Research License của chính bộ dữ liệu.
SAM 2 mở rộng Segment Anything Model gốc sang video, coi một video như chuỗi các khung hình và thêm streaming memory để xử lý thời gian thực; nó nằm ở repo facebookresearch/segment-anything-2 riêng, không phải repo này.
Mask decoder của Segment Anything Model (SAM) xuất được sang ONNX qua scripts/export_onnx_model.py, và thư mục demo/ có sẵn app React chạy model đã export ngay trong trình duyệt với multithreading.
Ai nên dùng — và ai nên bỏ qua
Nên thử nếu bạn đang xây pipeline gán nhãn/annotation và muốn có mask mà không cần tự vẽ polygon, hoặc đang prototype một tính năng click-để-lấy-mask và có GPU để chạy inference. Nên bỏ qua nếu ảnh của bạn đã hợp với threshold hay contour detection đơn giản — dùng SAM ở đây là quá tay — hoặc nếu bạn thực sự cần video, lúc đó nên đi thẳng sang SAM 2 thay vì cố kéo repo này làm việc đó.
Vẫn đang phân vân về segment-anything?
Một cú bấm sẽ gửi câu hỏi kèm trang này cho AI — xem AI nói gì về segment-anything.
