Canal: đăng ký binlog MySQL cho CDC

Canal là gì?

Canal là một binlog parser viết bằng Java do Alibaba xây dựng, giả làm MySQL replica để lấy trực tiếp binary log events từ MySQL master. Nó chạy như một server độc lập nằm giữa MySQL và các consumer, giải mã binlog thô thành change event có cấu trúc mà client — viết bằng Java, Go, PHP, Python, Rust, C# hay Node.js — đọc qua protocol dựa trên protobuf, hoặc đẩy thẳng vào Kafka hay RocketMQ.

Tính năng chính

• ✓Nói trực tiếp protocol replication (dump) của MySQL nên trông giống một read replica bình thường với database nguồn — không cần trigger, không cần polling.
• ✓Giải mã binlog thô thành change event có cấu trúc, đọc được qua protocol client-server dựa trên protobuf.
• ✓Có connector native để đẩy change event vào Kafka hoặc RocketMQ, thay vì bắt bạn tự viết client để lấy, theo tài liệu Kafka/RocketMQ QuickStart.
• ✓Đi kèm Docker image, nên chạy được server mà không cần tự setup Java thủ công.
• ✓Xuất metrics cho Prometheus ngay từ trong core.
• ✓Hỗ trợ đăng ký binlog cho Aliyun RDS for MySQL, kể cả xử lý chuyển đổi master/replica tự động và đọc binlog OSS offline.
• ✓canal-admin (từ bản 1.1.4) thêm web UI để cấu hình instance, quản lý task và xem log thay vì sửa file config bằng tay.
• ✓Có client ở nhiều ngôn ngữ — Java, Go, PHP, Python, Rust, C#, Node.js — được liệt kê và link thẳng từ README.

Canal được dùng để làm gì

• •Mirror một database MySQL sang một store khác mà không đụng vào write path của ứng dụng.
• •Backup database gần thời gian thực, dựa trên replication stream thay vì dump định kỳ.
• •Rebuild hoặc duy trì các index dẫn xuất — README nêu rõ cả index tách (heterogeneous) lẫn inverted index.
• •Invalidate hoặc refresh cache của ứng dụng ngay khi một dòng dữ liệu bên dưới thay đổi.
• •Đẩy thay đổi ở mức dòng dữ liệu vào business logic tùy biến để xử lý theo từng sự kiện cụ thể.

Cài đặt và chạy Canal

README không đưa thẳng câu lệnh cài đặt — nó trỏ tới trang QuickStart và Docker QuickStart trên wiki của project, cùng trang GitHub Releases để tải bản build. Có sẵn Docker image (canal thêm hỗ trợ Docker native từ dòng bản 1.1.x), nhưng câu lệnh chạy cụ thể và cấu trúc file config thì không nằm trong chính README, nên hãy đọc kỹ QuickStart trên wiki trước khi giả định mọi thứ chạy chỉ với một dòng lệnh.

Kết nối client

Canal chạy như một server và cần client kết nối qua protocol riêng dựa trên protobuf 3.0, chứ không phải socket thô. Ví dụ chính thức nằm ở trang wiki ClientExample/ClientAPI cho client Java; với các ngôn ngữ khác, README trỏ ra các project được maintain riêng — CanalSharp cho C#, canal-go cho Go, canal-php cho PHP, canal-python cho Python, canal-rs cho Rust, canal-nodejs cho Node.js — thay vì đóng gói sẵn trong repo này. Nếu không muốn tự viết client, canal có thể đẩy change event thẳng vào Kafka hoặc RocketMQ và bạn tiêu thụ từ queue như một topic bình thường.

Lựa chọn thay thế cho Canal

Câu hỏi thường gặp

Vấn đề mà Canal giải quyết

Lấy thay đổi dữ liệu MySQL theo kiểu incremental mà không đụng vào write path của ứng dụng trước đây thường có ba cách: rải trigger khắp các bảng, polling bằng select tần suất cao, hoặc tự parse định dạng binlog của MySQL. Canal ra đời đúng từ nhu cầu đó ở Alibaba — đồng bộ xuyên trung tâm dữ liệu giữa Hàng Châu và Mỹ — khi cách làm dựa trên trigger trước năm 2010 không scale nổi, nên họ xây một công cụ nói thẳng protocol replication mà MySQL vốn đã dùng với replica của nó.

Nên dùng khi nào — và nên bỏ qua khi nào

Canal đáng để setup nếu bạn đã có sẵn một consumer downstream cụ thể trong đầu — search index, cache layer, database mirror, hay pipeline Kafka/RocketMQ — và bạn đang dùng MySQL từ 5.1 đến 8.0. Bỏ qua nếu bạn chỉ cần backup theo mốc thời gian thỉnh thoảng (mysqldump đã đủ) hoặc bạn không dùng MySQL/Aliyun RDS for MySQL, vì canal được thiết kế bám sát định dạng binlog riêng của MySQL.