NousResearch/Obsidian là dự án Python với 206 sao. Maybe the new state of the art vision model? we'll see 🤷♂️
Tóm tắt dựng từ metadata GitHub của chính dự án — chưa có bài review TopGit. Trang sẽ tự động cập nhật khi bài review đầy đủ được xuất bản.
VÌ SAO CHƯA CÓ REVIEW
TopGit viết bài đầy đủ cho repo có nhiều sao nhất và được yêu cầu nhiều nhất. Trang này là snapshot trong thời gian chờ — xem README gốc ở tab READ ME.
You just launched the Gradio web interface. Now, you can open the web interface with the URL printed on the screen. You may notice that there is no model in the model list. Do not worry, as we have not launched any model worker yet. It will be automatically updated when you launch a model worker.
Launch a model worker
This is the actual worker that performs the inference on the GPU. Each worker is responsible for a single model specified in --model-path.
Wait until the process finishes loading the model and you see "Uvicorn running on ...". Now, refresh your Gradio web UI, and you will see the model you just launched in the model list.
Training
1. Pretraining
Please download the 558K subset of the LAION-CC-SBU dataset with BLIP captions here.
Pretrain takes around 2.5 hours for Obsidian-3B-V0.5 on 4x A100 (80G), at 336px for the vision module.
Training script with DeepSpeed ZeRO-2: pretrain.sh.
--mm_projector_type mlp2x_gelu: the two-layer MLP vision-language connector.
Please download the annotation of the final mixture our instruction tuning data llava_v1_5_mix665k.json, and download the images from constituting datasets:
COCO: train2017
GQA: images
OCR-VQA: download script, we save all files as .jpg
TextVQA: train_val_images
VisualGenome: part1, part2
After downloading all of them, organize the data as follows in ./playground/data,
Our GPT-assisted evaluation pipeline for multimodal modeling is provided for a comprehensive understanding of the capabilities of vision-language models. Please see our paper for more details.
Evaluate the generated responses. In our case, answer-file-ref.jsonl is the response generated by text-only GPT-4 (0314), with the context captions/boxes provided.
Trang TopGit này là một snapshot — tab "Readme" hiển thị nguyên văn README của repo (đã bỏ link, giữ ảnh). Repo GitHub ở github.com/NousResearch/Obsidian là nguồn chính thức.
NousResearch/Obsidian có bao nhiêu sao?
NousResearch/Obsidian có 206 sao GitHub — tải lại trang để xem số mới nhất, hoặc xem trực tiếp github.com/NousResearch/Obsidian. TopGit phản chiếu số sao của GitHub nhưng không cam kết đến từng phút.
NousResearch/Obsidian có phải mã nguồn mở không?
Có — NousResearch/Obsidian phát hành theo license Apache-2.0, nghĩa là mã nguồn mở để đọc, fork và (tùy license) tái sử dụng. Mã: github.com/NousResearch/Obsidian.
NousResearch/Obsidian có website riêng không?
TopGit chưa ghi nhận URL trang chủ cho NousResearch/Obsidian. Phần README ở tab phía trên thường có link demo, hoặc xem mô tả GitHub của repo.
NousResearch/Obsidian là gì?
NousResearch/Obsidian (NousResearch/Obsidian) là dự án Python trên GitHub. Theo mô tả gốc: Maybe the new state of the art vision model? we'll see 🤷♂️
Đọc đầy đủ README ở tab phía trên.
Muốn nghe thêm một ý kiến về Obsidian?
Hỏi một AI đọc được trang này — một cú bấm là có ngay nhận định về Obsidian.