TopGit
Đánh giá repo GitHub

Segment Anything Model (SAM): SAM segmentation model

facebookresearch/segment-anything
STopGit review image for facebookresearch/segment-anything
Review by Topgit.dev for facebookresearch/segment-anything, with GitHub repository stats and README context.
Nhận định nhanh

Segment Anything Model (SAM) là mô hình phân đoạn ảnh zero-shot của Meta AI, được huấn luyện để biến một prompt điểm hoặc khung thành mask đối tượng mà không cần fine-tune riêng cho từng tác vụ. Nên dùng khi bạn cần mask nhanh trong một pipeline lớn hơn; nên bỏ qua nếu bạn cần theo dõi video thời gian thực, vì đó là việc của SAM 2, không phải bản gốc này.

Sao
★ 55.1k
Fork
⑂ 6.4k
Ngôn ngữ
Jupyter Notebook
Giấy phép
Apache-2.0
Chủ đề
—
Cập nhật
Sep 2024
Trang chủ
—
GitHub

Segment Anything Model là gì?

Segment Anything Model (SAM) là mô hình phân đoạn ảnh của Meta AI, biến một điểm, khung, hoặc lượt quét toàn ảnh thành mask chính xác đến từng pixel. SamPredictor nhận một prompt và trả mask sau một lượt forward; SamAutomaticMaskGenerator tạo mask cho mọi đối tượng mà không cần prompt nào. Repo này cung cấp code inference cùng ba checkpoint ViT đã huấn luyện sẵn, không phải một quy trình huấn luyện để bạn tự chạy.

Khả năng chính: prompt và tạo mask tự động

  • ✓Hai cách lấy mask: SamPredictor cho một prompt điểm/khung, SamAutomaticMaskGenerator cho mọi đối tượng trong ảnh cùng lúc.
  • ✓Ba checkpoint backbone ViT — vit_h (mặc định), vit_l, và vit_b — chỉ cần đổi chuỗi model_type để đánh đổi giữa độ chính xác và tốc độ.
  • ✓Được huấn luyện trên bộ dữ liệu 11 triệu ảnh và 1,1 tỷ mask, đây là lý do mô hình có khả năng zero-shot tốt trên ảnh chưa từng thấy.
  • ✓Mask decoder xuất được sang ONNX, nên mô hình đã export có thể chạy ngoài PyTorch — kể cả trên trình duyệt, theo app React trong thư mục demo/.
  • ✓Có sẵn CLI (scripts/amg.py) để tạo mask hàng loạt cho cả một thư mục ảnh mà không cần viết Python.
  • ✓Mask đầu ra ở dạng COCO RLE segmentation cùng các trường bbox, area, predicted_iou, và stability_score, sẵn sàng cho các công cụ COCO khác.
Số sao GitHub của repo này thay đổi thế nào theo thời gian. Nguồn: star-history.com.Xem lịch sử sao ↗

SAM phù hợp ở đâu trong pipeline computer vision

  • •Lấy mask đối tượng cho pipeline gán nhãn thay vì tự vẽ polygon bằng tay.
  • •Chuẩn bị dữ liệu huấn luyện cho một detector hoặc mô hình phân đoạn khác mà không cần tự tay gán nhãn mask.
  • •Trình chỉnh sửa ảnh tương tác, nơi người dùng click một điểm và app cần trả mask ngay lập tức (đây chính là điều demo web ONNX thể hiện).
  • •Tạo mask hàng loạt cho một thư mục ảnh từ dòng lệnh qua scripts/amg.py, không cần viết Python.

Cài đặt SAM và các dependency

Cần python>=3.8, pytorch>=1.7, và torchvision>=0.8 — cài PyTorch/TorchVision kèm CUDA trước, vì README khuyến nghị mạnh điều này. Sau đó chạy `pip install git+https://github.com/facebookresearch/segment-anything.git`, hoặc clone repo rồi chạy `pip install -e .`. Để hậu xử lý mask, xuất định dạng COCO, chạy các notebook mẫu, và xuất ONNX, cần cài thêm `pip install opencv-python pycocotools matplotlib onnxruntime onnx` — các gói này không đi kèm mặc định. Bạn vẫn phải tự tải riêng một checkpoint mô hình (file .pth của vit_h/vit_l/vit_b) trước khi chạy được gì cả; gói pip chỉ chứa code, không chứa weights.

Chạy SAM: prompt, mask tự động, và CLI

Prompt bằng điểm hoặc khung đi qua SamPredictor: nạp checkpoint bằng `sam_model_registry["<model_type>"](checkpoint=...)`, gọi `predictor.set_image(<your_image>)` một lần, rồi gọi `predictor.predict(<input_prompts>)` cho từng prompt. Để tạo mask toàn ảnh tự động, đưa cùng model đã nạp vào `SamAutomaticMaskGenerator(sam)` rồi gọi `.generate(<your_image>)` — không cần prompt nào. Việc này cũng chạy được từ terminal: `python scripts/amg.py --checkpoint <path> --model-type <model_type> --input <image_or_folder> --output <path>`. Để lấy file ONNX dùng cho trình duyệt hoặc thiết bị edge, chạy `python scripts/export_onnx_model.py --checkpoint <path> --model-type <model_type> --output <path>`; README khuyến nghị dùng bản PyTorch stable mới nhất riêng cho bước export này.

Vì sao SAM trở thành chuẩn mực trong segmentation

  • ✓Một mô hình duy nhất phục vụ cả segmentation theo prompt lẫn tự động toàn phần — bạn không phải duy trì hai pipeline riêng cho hai chế độ.
  • ✓Apache-2.0 cho cả code và model, nên không có ràng buộc copyleft hay giới hạn lĩnh vực sử dụng nào cản việc dùng SAM cho mục đích thương mại.
  • ✓Ba kích thước checkpoint cho phép chọn vit_b để nhanh hoặc vit_h để chất lượng cao mà không cần đổi kiến trúc.
  • ✓Đường xuất ONNX là thật, không chỉ nói suông — thư mục demo/ có sẵn một app trình duyệt chạy được dựa trên đó.

Giới hạn của bản phát hành SAM gốc

  • △Bộ dữ liệu SA-1B có giấy phép riêng — 'SA-1B Dataset Research License' — phải chấp nhận trước khi tải, đây không phải giấy phép Apache-2.0 áp dụng cho code.
  • △Đây là SAM gốc, chỉ dành cho ảnh tĩnh. Cần video? README dẫn sang dự án SAM 2 riêng biệt.
  • △Không có code huấn luyện đi kèm — bạn chỉ có inference và checkpoint có sẵn, không có cách fine-tune SAM trên dữ liệu riêng ngay trong repo này.
  • △Các checkpoint (ViT-H là lớn nhất) không hề nhỏ; README không công bố dung lượng file, nên cần tính trước dung lượng GPU và băng thông tải trước khi chọn vit_h.
Xem trên GitHub ↗

So sánh SAM với các cách tiếp cận segmentation khác

SAM 2 (facebookresearch/segment-anything-2) — bản kế nhiệm của chính Meta, mở rộng cùng ý tưởng sang video với streaming memory; dùng cái này nếu đầu vào không phải ảnh tĩnh.supervision — thư viện tiện ích computer vision bọc quanh output mask của SAM để annotation và ghép pipeline, chứ không thay thế mô hình. ↗Detectron2 — thư viện instance segmentation cũ hơn của Meta; phù hợp nếu bạn muốn huấn luyện một detector từ đầu thay vì prompt một foundation model đã đóng băng.opencv (contour/watershed truyền thống) — không có prompting hay khả năng zero-shot, nhưng nhẹ hơn nhiều cho các hình dạng đơn giản, rõ ràng.

Câu hỏi thường gặp về SAM

Segment Anything Model (SAM) có miễn phí dùng cho mục đích thương mại không?

Code và weight của Segment Anything Model (SAM) được phát hành theo giấy phép Apache 2.0, nên dùng cho mục đích thương mại là được phép; chỉ riêng bộ dữ liệu SA-1B có điều khoản giấy phép nghiên cứu riêng.

SAM có những kích thước backbone ViT nào (ViT-H, ViT-L, ViT-B)?

Segment Anything Model (SAM) có ba checkpoint — vit_h (mặc định, chất lượng cao nhất), vit_l, và vit_b — đều nạp qua cùng một lệnh sam_model_registry, chỉ cần đổi chuỗi model_type.

SAM nhận những loại prompt nào để tạo mask?

Segment Anything Model (SAM) nhận prompt dạng điểm và khung qua SamPredictor để lấy một mask cụ thể, hoặc không cần prompt nào qua SamAutomaticMaskGenerator, tạo mask cho mọi đối tượng tìm thấy trong ảnh.

Bộ dữ liệu SA-1B mà SAM được huấn luyện trên đó là gì?

SA-1B là bộ dữ liệu dùng để huấn luyện Segment Anything Model (SAM) — gồm 11 triệu ảnh và 1,1 tỷ mask, tải riêng theo giấy phép SA-1B Dataset Research License của chính bộ dữ liệu.

SAM 2 khác gì so với Segment Anything Model gốc?

SAM 2 mở rộng Segment Anything Model gốc sang video, coi một video như chuỗi các khung hình và thêm streaming memory để xử lý thời gian thực; nó nằm ở repo facebookresearch/segment-anything-2 riêng, không phải repo này.

SAM có xuất được sang ONNX để triển khai trên web hoặc edge không?

Mask decoder của Segment Anything Model (SAM) xuất được sang ONNX qua scripts/export_onnx_model.py, và thư mục demo/ có sẵn app React chạy model đã export ngay trong trình duyệt với multithreading.

Ai nên dùng — và ai nên bỏ qua

Nên thử nếu bạn đang xây pipeline gán nhãn/annotation và muốn có mask mà không cần tự vẽ polygon, hoặc đang prototype một tính năng click-để-lấy-mask và có GPU để chạy inference. Nên bỏ qua nếu ảnh của bạn đã hợp với threshold hay contour detection đơn giản — dùng SAM ở đây là quá tay — hoặc nếu bạn thực sự cần video, lúc đó nên đi thẳng sang SAM 2 thay vì cố kéo repo này làm việc đó.

Nguồn & ghi công

Thông tin và ví dụ code lấy từ README của repo GitHub facebookresearch/segment-anything.

Dữ liệu GitHub · đồng bộ lần cuối 14 thg 8, 2026Đánh giá bởi Henry
← Về TopGit

Chưa chắc segment-anything có hợp với bạn?

Để ChatGPT, Claude hoặc Perplexity tìm hiểu giúp — bấm bên dưới và xem AI nói gì về segment-anything.

GitHub