Tóm tắt dựng từ metadata GitHub của chính dự án — chưa có bài review TopGit. Trang sẽ tự động cập nhật khi bài review đầy đủ được xuất bản.
VÌ SAO CHƯA CÓ REVIEW
TopGit viết bài đầy đủ cho repo có nhiều sao nhất và được yêu cầu nhiều nhất. Trang này là snapshot trong thời gian chờ — xem README gốc ở tab READ ME.
Ferret-Bench - A multimodal evaluation benchmark that jointly requires Referring/Grounding, Semantics, Knowledge, and Reasoning.
Usage and License Notices: The data, and code is intended and licensed for research use only. They are also restricted to uses that follow the license agreement of LLaMA, Vicuna and GPT-4. The dataset is CC BY NC 4.0 (allowing only non-commercial use) and models trained using the dataset should not be used outside of research purposes.
Contents
Install
Train
Evaluation
Demo
Install
Clone this repository and navigate to FERRET folder
git clone https://github.com/apple/ml-ferret
cd ml-ferret
FERRET is trained on 8 A100 GPUs with 80GB memory. To train on fewer GPUs, you can reduce the per_device_train_batch_size and increase the gradient_accumulation_steps accordingly. Always keep the global batch size the same: per_device_train_batch_size x gradient_accumulation_steps x num_gpus.
Hyperparameters
We use a similar set of hyperparameters as LLaVA(Vicuna) in finetuning.
Hyperparameter
Global Batch Size
Learning rate
Epochs
Max length
Weight decay
FERRET-7B
128
2e-5
3
2048
0
FERRET-13B
128
2e-5
3
2048
0
Prepare Vicuna checkpoint and LLaVA's projector
Before you start, prepare our base model Vicuna, which is an instruction-tuned chatbot. Please download its weights following the instructions here. Vicuna v1.3 is used in FERRET.
Then download LLaVA's first-stage pre-trained projector weight (7B, 13B).
FERRET Training
The scripts are provided (7B, 13B).
Evaluation
Please see this doc for the details.
Checkpoints
We extracted the delta between our pre-trained model and Vicuna. Please first download weights of Vicuna following the previous instruction. Then download our prepared offsets of weights: 7B, 13B using wget or curl, and unzip the downloaded offsets. Lastly, apply the offset to the Vicuna's weight by running the following script:
Notices: Apple's rights in the attached weight differentials are hereby licensed under the CC-BY-NC license. Apple makes no representations with regards to LLaMa or any other third party software, which are subject to their own terms.
Please refer to the next section about how to set up a local demo with pre-trained weight.
Demo
To run our demo, you need to train FERRET and use the checkpoints locally. Gradio web UI is used. Please run the following commands one by one.
Wait until the process finishes loading the model and you see "Uvicorn running on ...". Now, refresh your Gradio web UI, and you will see the model you just launched in the model list.
Example of Ferret Interactive Demo.
Citation
If you find Ferret useful, please cite using this BibTeX:
@article{you2023ferret,
title={Ferret: Refer and Ground Anything Anywhere at Any Granularity},
author={You, Haoxuan and Zhang, Haotian and Gan, Zhe and Du, Xianzhi and Zhang, Bowen and Wang, Zirui and Cao, Liangliang and Chang, Shih-Fu and Yang, Yinfei},
journal={arXiv preprint arXiv:2310.07704},
year={2023}
}
apple/ml-ferret có 8.6k sao GitHub — tải lại trang để xem số mới nhất, hoặc xem trực tiếp github.com/apple/ml-ferret. TopGit phản chiếu số sao của GitHub nhưng không cam kết đến từng phút.
apple/ml-ferret có phải mã nguồn mở không?
TopGit chưa ghi nhận license cho apple/ml-ferret. Phần lớn repo public trên GitHub là mã nguồn mở, nhưng điều khoản khác nhau từng repo — mở file LICENSE để xác nhận.
apple/ml-ferret còn đang phát triển không?
Commit gần nhất trên apple/ml-ferret là 2 tháng trước (theo timestamp GitHub). Repo có 513 fork — một chỉ báo về mức độ quan tâm của cộng đồng.
apple/ml-ferret là gì?
apple/ml-ferret (apple/ml-ferret) là dự án Python TopGit theo dõi. Tính tới lần đồng bộ gần nhất, repo có 8.6k sao.
apple/ml-ferret viết bằng ngôn ngữ gì?
apple/ml-ferret chủ yếu viết bằng Python. Trường "language" của GitHub dựa trên phần lớn byte ở nhánh mặc định.
Đọc thêm về apple/ml-ferret ở đâu?
Trang TopGit này là một snapshot — tab "Readme" hiển thị nguyên văn README của repo (đã bỏ link, giữ ảnh). Repo GitHub ở github.com/apple/ml-ferret là nguồn chính thức.
Đọc đầy đủ README ở tab phía trên.
Chưa chắc ml-ferret có hợp với bạn?
Để ChatGPT, Claude hoặc Perplexity tìm hiểu giúp — bấm bên dưới và xem AI nói gì về ml-ferret.