haotian-liu/X-Decoder — dự án mã nguồn mở — đang có 4 sao GitHub. Official Implementation of X-Decoder for generalized decoding for pixel, image and language
Tóm tắt dựng từ metadata GitHub của chính dự án — chưa có bài review TopGit. Trang sẽ tự động cập nhật khi bài review đầy đủ được xuất bản.
VÌ SAO CHƯA CÓ REVIEW
TopGit viết bài đầy đủ cho repo có nhiều sao nhất và được yêu cầu nhiều nhất. Trang này là snapshot trong thời gian chờ — xem README gốc ở tab READ ME.
[2023.03.01] The Segmentation in the Wild Challenge had been launched and ready for submitting results!
[2023.02.28] We released the SGinW benchmark for our challenge. Welcome to build your own models on the benchmark!
[2023.02.27] Our X-Decoder has been accepted by CVPR 2023!
[2023.02.07] We combine X-Decoder (strong image understanding), GPT-3 (strong language understanding) and Stable Diffusion (strong image generation) to make an instructional image editing demo, check it out!
[2022.12.21] We release inference code of X-Decoder.
[2022.12.21] We release Focal-T pretrained checkpoint.
[2022.12.21] We release open-vocabulary segmentation benchmark.
:notes: Introduction
X-Decoder is a generalized decoding model that can generate pixel-level segmentation and token-level texts seamlessly!
It achieves:
State-of-the-art results on open-vocabulary segmentation and referring segmentation on eight datasets;
Better or competitive finetuned performance to generalist and specialist models on segmentation and VL tasks;
Friendly for efficient finetuning and flexible for novel task composition.
It supports:
One suite of parameters pretrained for Semantic/Instance/Panoptic Segmentation, Referring Segmentation, Image Captioning, and Image-Text Retrieval;
One model architecture finetuned for Semantic/Instance/Panoptic Segmentation, Referring Segmentation, Image Captioning, Image-Text Retrieval and Visual Question Answering (with an extra cls head);
Zero-shot task composition for Region Retrieval, Referring Captioning, Image Editing.
We appreciate the contructive dicussion with Haotian Zhang
We build our work on top of Mask2Former
We build our demos on HuggingFace :hugs: with sponsored GPUs
Citation
@article{zou2022xdecoder,
author = {Zou, Xueyan and Dou, Zi-Yi and Yang, Jianwei and Gan, Zhe and Li, Linjie and Li, Chunyuan and Dai, Xiyang and Wang, Jianfeng and Yuan, Lu and Peng, Nanyun and Wang, Lijuan and Lee, Yong Jae and Gao, Jianfeng},
title = {Generalized Decoding for Pixel, Image and Language},
publisher = {arXiv},
year = {2022},
}
Trang TopGit này là một snapshot — tab "Readme" hiển thị nguyên văn README của repo (đã bỏ link, giữ ảnh). Repo GitHub ở github.com/haotian-liu/X-Decoder là nguồn chính thức.
haotian-liu/X-Decoder có phải mã nguồn mở không?
Có — haotian-liu/X-Decoder phát hành theo license MIT, nghĩa là mã nguồn mở để đọc, fork và (tùy license) tái sử dụng. Mã: github.com/haotian-liu/X-Decoder.
haotian-liu/X-Decoder có tag gì không?
Bản đồng bộ chưa ghi nhận topic GitHub nào cho haotian-liu/X-Decoder. GitHub topics hiển thị ở thanh bên phải trang repo — đó là nơi đáng kiểm tra nhất.
haotian-liu/X-Decoder có website riêng không?
TopGit chưa ghi nhận URL trang chủ cho haotian-liu/X-Decoder. Phần README ở tab phía trên thường có link demo, hoặc xem mô tả GitHub của repo.
haotian-liu/X-Decoder còn đang phát triển không?
Commit gần nhất trên haotian-liu/X-Decoder là 3.7 năm trước (theo timestamp GitHub). Repo có 1 fork — một chỉ báo về mức độ quan tâm của cộng đồng.
haotian-liu/X-Decoder dùng license gì?
haotian-liu/X-Decoder phát hành theo license MIT. Nên mở file LICENSE trên GitHub để xác nhận — license metadata đôi khi lệch với thực tế dự án.
Đọc đầy đủ README ở tab phía trên.
Vẫn đang phân vân về X-Decoder?
Một cú bấm sẽ gửi câu hỏi kèm trang này cho AI — xem AI nói gì về X-Decoder.