salesforce/BLIP được TopGit xếp vào nhóm dự án mã nguồn mở, với 5.7k sao trên GitHub, viết chủ yếu bằng Jupyter Notebook. PyTorch code for BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
Tóm tắt dựng từ metadata GitHub của chính dự án — chưa có bài review TopGit. Trang sẽ tự động cập nhật khi bài review đầy đủ được xuất bản.
VÌ SAO CHƯA CÓ REVIEW
TopGit viết bài đầy đủ cho repo có nhiều sao nhất và được yêu cầu nhiều nhất. Trang này là snapshot trong thời gian chờ — xem README gốc ở tab READ ME.
To finetune the pre-trained checkpoint using 8 A100 GPUs, first set 'pretrained' in configs/retrieval_coco.yaml as "https://storage.googleapis.com/sfr-vision-language-research/BLIP/models/model_base.pth". Then run:
To finetune the pre-trained checkpoint using 8 A100 GPUs, first set 'pretrained' in configs/caption_coco.yaml as "https://storage.googleapis.com/sfr-vision-language-research/BLIP/models/model_base_capfilt_large.pth". Then run:
To finetune the pre-trained checkpoint using 16 A100 GPUs, first set 'pretrained' in configs/vqa.yaml as "https://storage.googleapis.com/sfr-vision-language-research/BLIP/models/model_base_capfilt_large.pth". Then run:
To finetune the pre-trained checkpoint using 16 A100 GPUs, first set 'pretrained' in configs/nlvr.yaml as "https://storage.googleapis.com/sfr-vision-language-research/BLIP/models/model_base.pth". Then run:
In order to finetune a model with ViT-L, simply change the config file to set 'vit' as large. Batch size and learning rate may also need to be adjusted accordingly (please see the paper's appendix for hyper-parameter details). Gradient checkpoint can also be activated in the config file to reduce GPU memory usage.
Pre-train:
Prepare training json files where each json file contains a list. Each item in the list is a dictonary with two key-value pairs: {'image': path_of_image, 'caption': text_of_image}.
In configs/pretrain.yaml, set 'train_file' as the paths for the json files .
Download MSRVTT dataset following the instructions from https://github.com/salesforce/ALPRO, and set 'video_root' accordingly in configs/retrieval_msrvtt.yaml.
We provide bootstrapped pre-training datasets as json files. Each json file contains a list. Each item in the list is a dictonary with two key-value pairs: {'url': url_of_image, 'caption': text_of_image}.
Image source
Filtered web caption
Filtered synthetic caption by ViT-B
Filtered synthetic caption by ViT-L
CC3M+CC12M+SBU
Download
Download
Download
LAION115M
Download
Download
Download
Citation
If you find this code to be useful for your research, please consider citing.
@inproceedings{li2022blip,
title={BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation},
author={Junnan Li and Dongxu Li and Caiming Xiong and Steven Hoi},
year={2022},
booktitle={ICML},
}
Acknowledgement
The implementation of BLIP relies on resources from ALBEF, Huggingface Transformers, and timm. We thank the original authors for their open-sourcing.
Trang TopGit này là một snapshot — tab "Readme" hiển thị nguyên văn README của repo (đã bỏ link, giữ ảnh). Repo GitHub ở github.com/salesforce/BLIP là nguồn chính thức.
salesforce/BLIP có bao nhiêu sao?
salesforce/BLIP có 5.7k sao GitHub — tải lại trang để xem số mới nhất, hoặc xem trực tiếp github.com/salesforce/BLIP. TopGit phản chiếu số sao của GitHub nhưng không cam kết đến từng phút.
salesforce/BLIP có những chủ đề gì?
GitHub topics của salesforce/BLIP: "image-captioning", "image-text-retrieval", "vision-and-language-pre-training", "vision-language", "vision-language-transformer", "visual-question-answering", "visual-reasoning". TopGit xếp repo vào nhóm mã nguồn mở.
salesforce/BLIP có website riêng không?
TopGit chưa ghi nhận URL trang chủ cho salesforce/BLIP. Phần README ở tab phía trên thường có link demo, hoặc xem mô tả GitHub của repo.
salesforce/BLIP còn đang phát triển không?
Commit gần nhất trên salesforce/BLIP là 8 tháng trước (theo timestamp GitHub). Repo có 771 fork — một chỉ báo về mức độ quan tâm của cộng đồng.
salesforce/BLIP dùng license gì?
salesforce/BLIP phát hành theo license BSD-3-Clause. Nên mở file LICENSE trên GitHub để xác nhận — license metadata đôi khi lệch với thực tế dự án.
salesforce/BLIP viết bằng ngôn ngữ gì?
salesforce/BLIP chủ yếu viết bằng Jupyter Notebook. Trường "language" của GitHub dựa trên phần lớn byte ở nhánh mặc định.
Đọc đầy đủ README ở tab phía trên.
Muốn nghe thêm một ý kiến về BLIP?
Hỏi một AI đọc được trang này — một cú bấm là có ngay nhận định về BLIP.