allenai/scibert là dự án Python với 1.7k sao trong nhóm AI Tools. A BERT model for scientific text.
Tóm tắt dựng từ metadata GitHub của chính dự án — chưa có bài review TopGit. Trang sẽ tự động cập nhật khi bài review đầy đủ được xuất bản.
VÌ SAO CHƯA CÓ REVIEW
TopGit viết bài đầy đủ cho repo có nhiều sao nhất và được yêu cầu nhiều nhất. Trang này là snapshot trong thời gian chờ — xem README gốc ở tab READ ME.
SciBERT is a BERT model trained on scientific text.
SciBERT is trained on papers from the corpus of semanticscholar.org. Corpus size is 1.14M papers, 3.1B tokens. We use the full text of the papers in training, not just abstracts.
SciBERT has its own vocabulary (scivocab) that's built to best match the training corpus. We trained cased and uncased versions. We also include models trained on the original BERT vocabulary (basevocab) for comparison.
It results in state-of-the-art performance on a wide range of scientific domain nlp tasks. The details of the evaluation are in the paper. Evaluation code and data are included in this repo.
Downloading Trained Models
Update! SciBERT models now installable directly within Huggingface's framework under the allenai org:
from transformers import *
tokenizer = AutoTokenizer.from_pretrained('allenai/scibert_scivocab_uncased')
model = AutoModel.from_pretrained('allenai/scibert_scivocab_uncased')
tokenizer = AutoTokenizer.from_pretrained('allenai/scibert_scivocab_cased')
model = AutoModel.from_pretrained('allenai/scibert_scivocab_cased')
We release the tensorflow and the pytorch version of the trained models. The tensorflow version is compatible with code that works with the model from Google Research. The pytorch version is created using the Hugging Face library, and this repo shows how to use it in AllenNLP. All combinations of scivocab and basevocab, cased and uncased models are available below. Our evaluation shows that scivocab-uncased usually gives the best results.
Tensorflow Models
scibert-scivocab-uncased (Recommended)
scibert-scivocab-cased
scibert-basevocab-uncased
scibert-basevocab-cased
PyTorch AllenNLP Models
scibert-scivocab-uncased (Recommended)
scibert-scivocab-cased
scibert-basevocab-uncased
scibert-basevocab-cased
PyTorch HuggingFace Models
scibert-scivocab-uncased (Recommended)
scibert-scivocab-cased
scibert-basevocab-uncased
scibert-basevocab-cased
Using SciBERT in your own model
SciBERT models include all necessary files to be plugged in your own model and are in same format as BERT.
If you are using Tensorflow, refer to Google's BERT repo and if you use PyTorch, refer to Hugging Face's repo where detailed instructions on using BERT models are provided.
Training new models using AllenNLP
To run experiments on different tasks and reproduce our results in the paper, you need to first setup the Python 3.6 environment:
pip install -r requirements.txt
which will install dependencies like AllenNLP.
Use the scibert/scripts/train_allennlp_local.sh script as an example of how to run an experiment (you'll need to modify paths and variable names like TASK and DATASET).
We include a broad set of scientific nlp datasets under the data/ directory across the following tasks. Each task has a sub-directory of available datasets.
For example to run the model on the Named Entity Recognition (NER) task and on the BC5CDR dataset (BioCreative V CDR), modify the scibert/train_allennlp_local.sh script according to:
DATASET='bc5cdr'
TASK='ner'
...
Decompress the PyTorch model that you downloaded using tar -xvf scibert_scivocab_uncased.tar
The results will be in the scibert_scivocab_uncased directory containing two files:
A vocabulary file (vocab.txt) and a weights file (weights.tar.gz).
Copy the files to your desired location and then set correct paths for BERT_WEIGHTS and BERT_VOCAB in the script:
Where [serialization-directory] is the path to an output directory where the model files will be stored.
Citing
If you use SciBERT in your research, please cite SciBERT: Pretrained Language Model for Scientific Text.
@inproceedings{Beltagy2019SciBERT,
title={SciBERT: Pretrained Language Model for Scientific Text},
author={Iz Beltagy and Kyle Lo and Arman Cohan},
year={2019},
booktitle={EMNLP},
Eprint={arXiv:1903.10676}
}
SciBERT is an open-source project developed by the Allen Institute for Artificial Intelligence (AI2).
AI2 is a non-profit institute with the mission to contribute to humanity through high-impact AI research and engineering.
allenai/scibert có 1.7k sao GitHub — tải lại trang để xem số mới nhất, hoặc xem trực tiếp github.com/allenai/scibert. TopGit phản chiếu số sao của GitHub nhưng không cam kết đến từng phút.
allenai/scibert có những chủ đề gì?
GitHub topics của allenai/scibert: "bert", "nlp", "scientific-papers". TopGit xếp repo vào nhóm AI Tools.
allenai/scibert còn đang phát triển không?
Commit gần nhất trên allenai/scibert là 4.7 năm trước (theo timestamp GitHub). Repo có 230 fork — một chỉ báo về mức độ quan tâm của cộng đồng.
allenai/scibert viết bằng ngôn ngữ gì?
allenai/scibert chủ yếu viết bằng Python. Trường "language" của GitHub dựa trên phần lớn byte ở nhánh mặc định.
Cùng nhóm AI Tools còn repo nào?
allenai/scibert thuộc nhóm AI Tools trên TopGit, cùng 3 topic GitHub. Trang Trending và Topics liệt kê các repo cùng số sao và cùng ngôn ngữ để so sánh.
Đọc thêm về allenai/scibert ở đâu?
Trang TopGit này là một snapshot — tab "Readme" hiển thị nguyên văn README của repo (đã bỏ link, giữ ảnh). Repo GitHub ở github.com/allenai/scibert là nguồn chính thức.
Vì sao allenai/scibert được xếp vào nhóm AI Tools?
TopGit xếp allenai/scibert vào nhóm AI Tools dựa trên GitHub topics và mô tả của repo (gắn thẻ: "bert", "nlp", "scientific-papers"). Việc phân loại dựa trên metadata thật của repo, không phải đoán theo cảm tính biên tập.
Đọc đầy đủ README ở tab phía trên.
Vẫn đang phân vân về scibert?
Một cú bấm sẽ gửi câu hỏi kèm trang này cho AI — xem AI nói gì về scibert.