DevOps Bash Tools: hơn 1200 script Bash cho DevOps
DevOps Bash Tools là bộ sưu tập cá nhân của Hari Sekhon gồm hơn 1200 script Bash và một môi trường .bashrc nâng cao cho AWS, GCP, Kubernetes, Docker, CI/CD và cơ sở dữ liệu, phát hành theo giấy phép MIT. Nên dùng để lấy một script chạy được ngay cho một tác vụ cụ thể, như script báo cáo IAM trên AWS. Nên bỏ qua nếu cần một SDK có phiên bản rõ ràng - đây là hộp công cụ của một tác giả duy nhất, không phải framework có hỗ trợ chính thức.
DevOps Bash Tools của Hari Sekhon là gì?
DevOps Bash Tools của Hari Sekhon là một repo GitHub công khai chứa hơn 1200 script Bash cùng một môi trường Bash nâng cao (.bashrc, .bash.d/*.sh) được xây dựng qua nhiều năm làm contractor cho Cloudera và Hortonworks. Repo này gói các thao tác CLI cho AWS, GCP, Kubernetes, Docker, cơ sở dữ liệu và các hệ CI như Jenkins thành từng script một lệnh. Theo README, repo còn được dùng trong nhiều dự án khác của tác giả và hơn 600 CI build.
Tính năng chính dành cho kỹ sư DevOps
- ✓Hơn 1200 script Bash được tổ chức theo từng công nghệ - AWS, GCP, Kubernetes, Docker, cơ sở dữ liệu, CI/CD - thay vì gộp thành một công cụ duy nhất.
- ✓Một môi trường Bash nâng cao, .bashrc cộng với .bash.d/*.sh, bổ sung alias, function, tô màu và tự động thiết lập PATH cho Python, Perl, Ruby, NodeJS và Golang trên cả Linux lẫn Mac.
- ✓curl_auth.sh nạp token OAuth2/JWT hoặc thông tin đăng nhập từ biến môi trường hoặc ô nhập mật khẩu ẩn ký tự, truyền qua file descriptor trong RAM để không lộ ra danh sách tiến trình.
- ✓Các script cài đặt trong thư mục install/ cho AWS CLI, Azure CLI, GCloud SDK, Terraform, Terragrunt, kubectl, Helm và eksctl, tự nhận diện hệ điều hành để dùng đúng RPM, Deb, Apk hay Homebrew.
- ✓Một khung kiểm tra chuẩn có thể cắm thẳng vào nhiều hệ CI (Jenkins, GitHub Actions, GitLab CI, CircleCI, Travis CI...) kèm khả năng tự nhận diện môi trường CI.
- ✓Các file dot-config cho git, vim, screen, tmux và psql của PostgreSQL, chỉ symlink vào $HOME khi chưa có cấu hình sẵn để tránh ghi đè.
- ✓Các thư viện tiện ích (lib/*.sh) dùng chung trong nhiều repo khác của Hari Sekhon, phục vụ Docker, nhận diện CI và kiểm tra tình trạng cổng/HTTP.
Ai nên dùng bộ công cụ này?
DevOps Bash Tools hợp với kỹ sư DevOps hoặc SRE quản lý hạ tầng đa cloud (cả AWS lẫn GCP) muốn có sẵn một script chạy được để copy cho một tác vụ cụ thể, thay vì một CLI đóng gói sẵn, và hợp với các contractor cần dựng nhanh máy làm việc mới cho khách hàng. Nó cũng hợp với ai thích tùy biến .bashrc sâu. Ngược lại, nếu bạn cần một package cài đặt có API ổn định, versioning rõ ràng, hay automation được cả một đội bảo trì và kiểm thử tập trung, đây không phải lựa chọn phù hợp.
Bắt đầu với DevOps Bash Tools
README nêu hai cách cài. Cách nhanh: chạy curl -L https://git.io/bash-bootstrap | sh, lệnh này thêm dòng source vào .bashrc/.bash_profile, symlink các dotfile chỉ khi chưa tồn tại sẵn, cài gói phụ thuộc theo hệ điều hành và cài luôn AWS CLI. Cách thủ công: clone repo về rồi chạy make để chỉ cài gói phụ thuộc cho script - git clone https://github.com/HariSekhon/DevOps-Bash-tools bash-tools, cd bash-tools, make. Sau đó make install sẽ chỉnh shell profile để source repo, còn make bash chỉ liên kết .bashrc và các dotfile.
Cách dùng script và môi trường
Sau khi cài, các script trong bin/ và những thư mục theo từng công nghệ chạy trực tiếp bằng đường dẫn, còn các function trong .bash.d/ có sẵn ngay khi mở shell mới. Một ví dụ từ README: foreach_path_bin.sh terraform --version chạy mọi bản terraform tìm thấy trong $PATH để so sánh phiên bản giữa các nơi cài đặt. Với hơn 1200 script, không có bảng tra cứu lệnh tổng hợp nào ngoài phần Index trong README - bạn cần lướt theo từng mục để tìm đúng script cần dùng.
Ưu điểm của bộ script này
- ✓Một repo bao quát nhiều công nghệ - AWS, GCP, Kubernetes, Docker, nhiều hệ CI, nhiều loại cơ sở dữ liệu - thay vì chỉ làm tốt một việc hẹp.
- ✓Từng script chạy độc lập, bạn có thể lấy đúng một file mà không cần cài cả môi trường .bashrc đi kèm.
- ✓Giấy phép MIT nên việc copy một script vào repo hay pipeline CI của riêng bạn gần như không bị ràng buộc gì.
- ✓Cách curl_auth.sh xử lý thông tin đăng nhập qua file descriptor trong RAM là kỹ thuật đáng học hỏi kể cả khi bạn không dùng phần còn lại của repo.
Những điều cần cân nhắc trước khi dùng
- △Không thấy changelog, tag phiên bản hay release note nào trong dữ liệu hiện có, nên khó biết giữa hai lần clone đã thay đổi gì hay ghim đúng một bản như với package thông thường.
- △Đây là dự án của một tác giả duy nhất (Hari Sekhon) chứ không phải một đội ngũ đứng sau, nên rủi ro phụ thuộc vào một người là có thật nếu bạn dựng automation quan trọng dựa trên repo này.
- △Lệnh bootstrap một dòng (curl -L https://git.io/bash-bootstrap | sh) chỉnh sửa shell profile và cài gói hệ điều hành, đòi hỏi bạn tin tưởng khá nhiều vào một curl pipe.
- △Với hơn 1200 script trải trên hàng chục nhóm, không có chỉ mục lệnh có thể tra cứu ngoài phần Index trong README, nên tìm đúng script cần dùng mất khá nhiều thời gian.
Các lựa chọn tự động hóa DevOps khác
Câu hỏi thường gặp
DevOps Bash Tools bao phủ AWS, GCP, Kubernetes, Docker, pipeline CI/CD, quản trị cơ sở dữ liệu (PostgreSQL, MySQL, Kafka, Hadoop), API của các nền tảng Git (GitHub, GitLab, Bitbucket) và quản trị hệ thống Linux/Mac nói chung, mỗi việc là một script Bash riêng.
Chạy curl -L https://git.io/bash-bootstrap | sh để bootstrap toàn bộ, hoặc clone repo về rồi chạy make bên trong để chỉ cài các gói phụ thuộc cho những script bạn định dùng.
DevOps Bash Tools tự nhận diện hệ điều hành để cài đúng gói RPM, Deb, Apk hay Homebrew, nên chạy tốt trên cả Linux và Mac; một số script, như các script tự động hóa bằng AppleScript, chỉ dành riêng cho Mac.
DevOps Bash Tools phát hành theo giấy phép MIT, nên copy từng script vào repo hay pipeline CI của bạn gần như không bị ràng buộc gì.
Script bootstrap chỉ symlink các dotfile như .vimrc hay .gitconfig khi chúng chưa tồn tại sẵn, đúng để tránh ghi đè cấu hình của bạn, còn .bash.d/*.sh source thẳng vào .bashrc hiện có mà không xung đột.
DevOps Bash Tools có hẳn nhóm script riêng cho AWS (báo cáo IAM, EC2, ECR, EKS, S3, CloudTrail) và GCP (GCE, GKE, GCR, BigQuery, Cloud SQL), cùng script cài AWS CLI, Azure CLI và GCloud SDK.
Vấn đề mà nó giải quyết
Kỹ sư DevOps thường phải viết đi viết lại các wrapper Bash quanh CLI của cloud (aws, gcloud, kubectl) và các báo cáo IAM hay kiểm kê tài nguyên giống nhau cho từng môi trường khách hàng hay cá nhân. DevOps Bash Tools đóng gói sẵn những script mà Hari Sekhon đã viết trong nhiều năm làm contractor cho Cloudera và Hortonworks, để bạn không phải viết lại từ đầu.
Các trường hợp sử dụng tốt nhất
- •Khởi tạo dotfiles và cài CLI cho một máy dev mới chỉ bằng một lệnh curl | sh.
- •Chạy nhanh các script kiểm toán IAM, EC2 hay S3 trên AWS mà không cần tự viết wrapper cho aws-cli.
- •Gắn khả năng nhận diện môi trường CI và các bước kiểm tra chuẩn vào pipeline Jenkins, GitHub Actions hay GitLab CI.
- •Dựng nhanh sandbox Docker để thử nghiệm PostgreSQL, MySQL, MariaDB hoặc SQLite.
- •Tự động xác thực các lệnh curl gọi API nội bộ hay bên thứ ba qua curl_auth.sh thay vì tự viết phần xử lý OAuth.