Được TopGit lập chỉ mục từ metadata GitHub: cvg/LightGlue có 4.9k sao, viết chủ yếu bằng Python. LightGlue: Local Feature Matching at Light Speed (ICCV 2023)
Tóm tắt dựng từ metadata GitHub của chính dự án — chưa có bài review TopGit. Trang sẽ tự động cập nhật khi bài review đầy đủ được xuất bản.
VÌ SAO CHƯA CÓ REVIEW
TopGit viết bài đầy đủ cho repo có nhiều sao nhất và được yêu cầu nhiều nhất. Trang này là snapshot trong thời gian chờ — xem README gốc ở tab READ ME.
LightGlue ⚡️ Local Feature Matching at Light Speed
Philipp Lindenberger
·
Paul-Edouard Sarlin
·
Marc Pollefeys
ICCV 2023
Paper |
Colab |
🤗 Demo |
Poster |
⚙️ Train your own
LightGlue is a deep neural network that matches sparse local features across image pairs. An adaptive mechanism makes it fast for easy pairs (top) and reduces the computational complexity for difficult ones (bottom).
This repository hosts the inference code of LightGlue, a lightweight feature matcher with high accuracy and blazing fast inference. It takes as input a set of keypoints and descriptors for each image and returns the indices of corresponding points. The architecture is based on adaptive pruning techniques, in both network width and depth - check out the paper for more details.
We release pretrained weights of LightGlue with SuperPoint, DISK, ALIKED and SIFT local features.
The training and evaluation code can be found in our library glue-factory.
LightGlue is now part of 🤗 Hugging Face Transformers (credit to @sbucaille!). It enables easy inference in a few lines of Python code, using pip install transformers (model card).
LightGlue can adjust its depth (number of layers) and width (number of keypoints) per image pair, with a marginal impact on accuracy.
Advanced configuration
[Detail of all parameters - click to expand]
n_layers: Number of stacked self+cross attention layers. Reduce this value for faster inference at the cost of accuracy (continuous red line in the plot above). Default: 9 (all layers).
flash: Enable FlashAttention. Significantly increases the speed and reduces the memory consumption without any impact on accuracy. Default: True (LightGlue automatically detects if FlashAttention is available).
For inputs with fewer than 1536 keypoints (determined experimentally), this compiles LightGlue but disables point pruning (large overhead). For larger input sizes, it automatically falls backs to eager mode with point pruning. Adaptive depths is supported for any input size.
Benchmark
Benchmark results on GPU (RTX 3080). With compilation and adaptivity, LightGlue runs at 150 FPS @ 1024 keypoints and 50 FPS @ 4096 keypoints per image. This is a 4-10x speedup over SuperGlue.
Benchmark results on CPU (Intel i7 10700K). LightGlue runs at 20 FPS @ 512 keypoints.
Obtain the same plots for your setup using our benchmark script:
Note: Point pruning introduces an overhead that sometimes outweighs its benefits.
Point pruning is thus enabled only when the there are more than N keypoints in an image, where N is hardware-dependent.
We provide defaults optimized for current hardware (RTX 30xx GPUs).
We suggest running the benchmark script and adjusting the thresholds for your hardware by updating LightGlue.pruning_keypoint_thresholds['cuda'].
Training and evaluation
With Glue Factory, you can train LightGlue with your own local features, on your own dataset!
You can also evaluate it and other baselines on standard benchmarks like HPatches and MegaDepth.
Other links
hloc - the visual localization toolbox: run LightGlue for Structure-from-Motion and visual localization.
LightGlue-ONNX: export LightGlue to the Open Neural Network Exchange (ONNX) format with support for TensorRT and OpenVINO.
Image Matching WebUI: a web GUI to easily compare different matchers, including LightGlue.
kornia now exposes LightGlue via the interfaces LightGlue and LightGlueMatcher.
BibTeX citation
If you use any ideas from the paper or code from this repo, please consider citing:
@inproceedings{lindenberger2023lightglue,
author = {Philipp Lindenberger and
Paul-Edouard Sarlin and
Marc Pollefeys},
title = {{LightGlue: Local Feature Matching at Light Speed}},
booktitle = {ICCV},
year = {2023}
}
License
The pre-trained weights of LightGlue and the code provided in this repository are released under the Apache-2.0 license. DISK follows this license as well but SuperPoint follows a different, restrictive license (this includes its pre-trained weights and its inference file). ALIKED was published under a BSD-3-Clause license.
cvg/LightGlue thuộc nhóm AI Tools trên TopGit, cùng 4 topic GitHub. Trang Trending và Topics liệt kê các repo cùng số sao và cùng ngôn ngữ để so sánh.
cvg/LightGlue có bao nhiêu sao?
cvg/LightGlue có 4.9k sao GitHub — tải lại trang để xem số mới nhất, hoặc xem trực tiếp github.com/cvg/LightGlue. TopGit phản chiếu số sao của GitHub nhưng không cam kết đến từng phút.
cvg/LightGlue có phải mã nguồn mở không?
Có — cvg/LightGlue phát hành theo license Apache-2.0, nghĩa là mã nguồn mở để đọc, fork và (tùy license) tái sử dụng. Mã: github.com/cvg/LightGlue.
cvg/LightGlue có website riêng không?
TopGit chưa ghi nhận URL trang chủ cho cvg/LightGlue. Phần README ở tab phía trên thường có link demo, hoặc xem mô tả GitHub của repo.
cvg/LightGlue là gì?
cvg/LightGlue (cvg/LightGlue) là dự án Python trên GitHub. Theo mô tả gốc: LightGlue: Local Feature Matching at Light Speed (ICCV 2023)
cvg/LightGlue so với các dự án AI Tools khác thế nào?
cvg/LightGlue được TopGit xếp vào nhóm AI Tools, với 4.9k sao GitHub và viết bằng Python. Xem trang chủ đề AI Tools trên TopGit để so sánh với các dự án tương tự theo số sao và mức độ hoạt động.
Đọc thêm về cvg/LightGlue ở đâu?
Trang TopGit này là một snapshot — tab "Readme" hiển thị nguyên văn README của repo (đã bỏ link, giữ ảnh). Repo GitHub ở github.com/cvg/LightGlue là nguồn chính thức.
Đọc đầy đủ README ở tab phía trên.
Muốn nghe thêm một ý kiến về LightGlue?
Hỏi một AI đọc được trang này — một cú bấm là có ngay nhận định về LightGlue.