Một mục mã nguồn mở trong kho dữ liệu GitHub của TopGit: huawei-noah/Pretrained-Language-Model, 3.2k sao, Python. Pretrained language model and its related optimization techniques developed by Huawei Noah's Ark Lab.
Tóm tắt dựng từ metadata GitHub của chính dự án — chưa có bài review TopGit. Trang sẽ tự động cập nhật khi bài review đầy đủ được xuất bản.
VÌ SAO CHƯA CÓ REVIEW
TopGit viết bài đầy đủ cho repo có nhiều sao nhất và được yêu cầu nhiều nhất. Trang này là snapshot trong thời gian chờ — xem README gốc ở tab READ ME.
This repository provides the latest pretrained language models and its related optimization techniques developed by Huawei Noah's Ark Lab.
Directory structure
PanGu-α is a Large-scale autoregressive pretrained Chinese language model with up to 200B parameter. The models are developed under the MindSpore and trained on a cluster of Ascend 910 AI processors.
NEZHA-TensorFlow is a pretrained Chinese language model which achieves the state-of-the-art performances on several Chinese NLP tasks developed under TensorFlow.
NEZHA-PyTorch is the PyTorch version of NEZHA.
NEZHA-Gen-TensorFlow provides two GPT models. One is Yuefu (乐府), a Chinese Classical Poetry generation model, the other is a common Chinese GPT model.
TinyBERT is a compressed BERT model which achieves 7.5x smaller and 9.4x faster on inference.
TinyBERT-MindSpore is a MindSpore version of TinyBERT.
DynaBERT is a dynamic BERT model with adaptive width and depth.
BBPE provides a byte-level vocabulary building tool and its correspoinding tokenizer.
PMLM is a probabilistically masked language model. Trained without the complex two-stream self-attention, PMLM can be treated as a simple approximation of XLNet.
TernaryBERT is a weights ternarization method for BERT model developed under PyTorch.
TernaryBERT-MindSpore is the MindSpore version of TernaryBERT.
HyperText is an efficient text classification model based on hyperbolic geometry theories.
BinaryBERT is a weights binarization method using ternary weight splitting for BERT model, developed under PyTorch.
AutoTinyBERT provides a model zoo that can meet different latency requirements.
PanGu-Bot is a Chinese pre-trained open-domain dialog model build based on the GPU implementation of PanGu-α.
CeMAT is a universal sequence-to-sequence multi-lingual pre-training language model for both autoregressive and non-autoregressive neural machine translation tasks.
Noah_WuKong is a large-scale Chinese vision-language dataset and a group of benchmarking models trained on it.
Noah_WuKong-MindSpore is a MindSpore version of Noah_WuKong.
CAME is a Confidence-guided Adaptive Memory Efficient Optimizer.
Đọc thêm về huawei-noah/Pretrained-Language-Model ở đâu?
Trang TopGit này là một snapshot — tab "Readme" hiển thị nguyên văn README của repo (đã bỏ link, giữ ảnh). Repo GitHub ở github.com/huawei-noah/Pretrained-Language-Model là nguồn chính thức.
huawei-noah/Pretrained-Language-Model có bao nhiêu sao?
huawei-noah/Pretrained-Language-Model có 3.2k sao GitHub — tải lại trang để xem số mới nhất, hoặc xem trực tiếp github.com/huawei-noah/Pretrained-Language-Model. TopGit phản chiếu số sao của GitHub nhưng không cam kết đến từng phút.
huawei-noah/Pretrained-Language-Model có phải mã nguồn mở không?
TopGit chưa ghi nhận license cho huawei-noah/Pretrained-Language-Model. Phần lớn repo public trên GitHub là mã nguồn mở, nhưng điều khoản khác nhau từng repo — mở file LICENSE để xác nhận.
huawei-noah/Pretrained-Language-Model còn đang phát triển không?
Commit gần nhất trên huawei-noah/Pretrained-Language-Model là 2.8 năm trước (theo timestamp GitHub). Repo có 638 fork — một chỉ báo về mức độ quan tâm của cộng đồng.
huawei-noah/Pretrained-Language-Model là gì?
huawei-noah/Pretrained-Language-Model (huawei-noah/Pretrained-Language-Model) là dự án Python trên GitHub. Theo mô tả gốc: Pretrained language model and its related optimization techniques developed by Huawei Noah's Ark Lab.
Đọc đầy đủ README ở tab phía trên.
Pretrained-Language-Model có đáng để bạn bỏ thời gian?
ChatGPT, Claude và Perplexity đều đọc được trang này. Hỏi thử xem họ nghĩ gì về Pretrained-Language-Model.