erikgrinaker/toydb là dự án tập trung dữ liệu trên GitHub với 7.3k sao, viết chủ yếu bằng Rust. Distributed SQL database in Rust, written as an educational project
Tóm tắt dựng từ metadata GitHub của chính dự án — chưa có bài review TopGit. Trang sẽ tự động cập nhật khi bài review đầy đủ được xuất bản.
VÌ SAO CHƯA CÓ REVIEW
TopGit viết bài đầy đủ cho repo có nhiều sao nhất và được yêu cầu nhiều nhất. Trang này là snapshot trong thời gian chờ — xem README gốc ở tab READ ME.
Distributed SQL database in Rust, built from scratch as an educational project. Main features:
Raft distributed consensus for linearizable state machine replication.
ACID transactions with MVCC-based snapshot isolation.
Pluggable storage engine with BitCask and in-memory backends.
Iterator-based query engine with heuristic optimization and time-travel
support.
SQL interface including joins, aggregates, and transactions.
toyDB is intended to be simple and understandable, and also functional and correct. Other aspects
like performance, scalability, and availability are non-goals -- these are major sources of
complexity in production-grade databases, and obscure the basic underlying concepts. Shortcuts have
been taken where possible.
I originally wrote toyDB in 2020 to learn more about database internals. Since then, I've spent
several years building real distributed SQL databases at
CockroachDB and
Neon. Based on this experience, I've rewritten toyDB as a
simple illustration of the architecture and concepts behind distributed SQL databases.
Documentation
Architecture guide: a guided tour of toyDB's code and architecture.
SQL examples: walkthrough of toyDB's SQL features.
SQL reference: reference documentation for toyDB's SQL dialect.
References: research materials used while building toyDB.
Usage
With a Rust compiler installed, a local five-node
cluster can be built and started as:
$ ./cluster/run.sh
Starting 5 nodes on ports 9601-9605 with data under cluster/*/data/.
To connect to node 1, run: cargo run --release --bin toysql
toydb4 21:03:55 [INFO] Listening on [::1]:9604 (SQL) and [::1]:9704 (Raft)
toydb1 21:03:55 [INFO] Listening on [::1]:9601 (SQL) and [::1]:9701 (Raft)
toydb2 21:03:55 [INFO] Listening on [::1]:9602 (SQL) and [::1]:9702 (Raft)
toydb3 21:03:55 [INFO] Listening on [::1]:9603 (SQL) and [::1]:9703 (Raft)
toydb5 21:03:55 [INFO] Listening on [::1]:9605 (SQL) and [::1]:9705 (Raft)
toydb2 21:03:56 [INFO] Starting new election for term 1
[...]
toydb2 21:03:56 [INFO] Won election for term 1, becoming leader
A command-line client can be built and used with node 1 on localhost:9601:
$ cargo run --release --bin toysql
Connected to toyDB node n1. Enter !help for instructions.
toydb> CREATE TABLE movies (id INTEGER PRIMARY KEY, title VARCHAR NOT NULL);
toydb> INSERT INTO movies VALUES (1, 'Sicario'), (2, 'Stalker'), (3, 'Her');
toydb> SELECT * FROM movies;
1, 'Sicario'
2, 'Stalker'
3, 'Her'
toyDB supports most common SQL features, including joins, aggregates, and transactions. Below is an
EXPLAIN query plan of a more complex query (fetches all movies from studios that have released any
movie with an IMDb rating of 8 or more):
toydb> EXPLAIN SELECT m.title, g.name AS genre, s.name AS studio, m.rating
FROM movies m JOIN genres g ON m.genre_id = g.id,
studios s JOIN movies good ON good.studio_id = s.id AND good.rating >= 8
WHERE m.studio_id = s.id
GROUP BY m.title, g.name, s.name, m.rating, m.released
ORDER BY m.rating DESC, m.released ASC, m.title ASC;
Remap: m.title, genre, studio, m.rating (dropped: m.released)
└─ Order: m.rating desc, m.released asc, m.title asc
└─ Projection: m.title, g.name as genre, s.name as studio, m.rating, m.released
└─ Aggregate: m.title, g.name, s.name, m.rating, m.released
└─ HashJoin: inner on m.studio_id = s.id
├─ HashJoin: inner on m.genre_id = g.id
│ ├─ Scan: movies as m
│ └─ Scan: genres as g
└─ HashJoin: inner on s.id = good.studio_id
├─ Scan: studios as s
└─ Scan: movies as good (good.rating > 8 OR good.rating = 8)
Architecture
toyDB's architecture is fairly typical for a distributed SQL database: a transactional
key/value store managed by a Raft cluster with a SQL query engine on top. See the
architecture guide for more details.
Tests
toyDB mainly uses Goldenscripts for tests. These
script various scenarios, capture events and output, and later assert that the behavior remains the
same. See e.g.:
Raft cluster tests
MVCC transaction tests
SQL execution tests
End-to-end tests
Run tests with cargo test, or have a look at the latest
CI run.
Benchmarks
toyDB is not optimized for performance, but comes with a workload benchmark tool that can run
various workloads against a toyDB cluster. For example:
write: single-row inserts to sequential primary keys.
bank: bank transfers between various customers and accounts. To make things interesting, this
includes joins, secondary indexes, sorting, and conflicts.
For more information about workloads and parameters, run cargo run --bin workload -- --help.
Example workload results are listed below. Write performance is atrocious, due to
fsync and a lack of write batching in the Raft layer.
Disabling fsync, or using the in-memory engine, significantly improves write performance (at the
expense of durability).
Workload
BitCask
BitCask w/o fsync
Memory
read
14163 txn/s
13941 txn/s
13949 txn/s
write
35 txn/s
4719 txn/s
7781 txn/s
bank
21 txn/s
1120 txn/s
1346 txn/s
Debugging
VSCode and the CodeLLDB
extension can be used to debug toyDB, with the debug configuration under .vscode/launch.json.
Under the "Run and Debug" tab, select e.g. "Debug executable 'toydb'" or "Debug unit tests in
library 'toydb'".
erikgrinaker/toydb thuộc nhóm Data trên TopGit, cùng 6 topic GitHub. Trang Trending và Topics liệt kê các repo cùng số sao và cùng ngôn ngữ để so sánh.
Đọc thêm về erikgrinaker/toydb ở đâu?
Trang TopGit này là một snapshot — tab "Readme" hiển thị nguyên văn README của repo (đã bỏ link, giữ ảnh). Repo GitHub ở github.com/erikgrinaker/toydb là nguồn chính thức.
erikgrinaker/toydb có bao nhiêu sao?
erikgrinaker/toydb có 7.3k sao GitHub — tải lại trang để xem số mới nhất, hoặc xem trực tiếp github.com/erikgrinaker/toydb. TopGit phản chiếu số sao của GitHub nhưng không cam kết đến từng phút.
erikgrinaker/toydb có những chủ đề gì?
GitHub topics của erikgrinaker/toydb: "database", "distributed", "mvcc", "raft", "rust", "sql". TopGit xếp repo vào nhóm Data.
erikgrinaker/toydb còn đang phát triển không?
Commit gần nhất trên erikgrinaker/toydb là 3 tháng trước (theo timestamp GitHub). Repo có 623 fork — một chỉ báo về mức độ quan tâm của cộng đồng.
erikgrinaker/toydb viết bằng ngôn ngữ gì?
erikgrinaker/toydb chủ yếu viết bằng Rust. Trường "language" của GitHub dựa trên phần lớn byte ở nhánh mặc định.
Vì sao erikgrinaker/toydb được xếp vào nhóm Data?
TopGit xếp erikgrinaker/toydb vào nhóm Data dựa trên GitHub topics và mô tả của repo (gắn thẻ: "database", "distributed", "mvcc"). Việc phân loại dựa trên metadata thật của repo, không phải đoán theo cảm tính biên tập.
Đọc đầy đủ README ở tab phía trên.
Vẫn đang phân vân về toydb?
Một cú bấm sẽ gửi câu hỏi kèm trang này cho AI — xem AI nói gì về toydb.