applied-ml: tuyển tập ML in production case studies
/applied-ml
applied-ml là cách nhanh nhất để xem vài công ty đã giải quyết cùng một bài toán ML trước khi bạn tự thiết kế — đó mới là giá trị thật, không phải việc đọc. Điểm trừ: đây là index, không phải tutorial, nên bạn vẫn phải click qua bài gốc của Airbnb hay Uber và tự đọc. applied-ml ăn đứt một danh sách 'awesome ML' liệt kê thư viện, vì mỗi link mô tả một hệ thống production thật, không phải README của package.
applied-ml là gì?
applied-ml là một reading list trên GitHub gồm các bài báo, buổi nói chuyện và bài viết kỹ thuật về cách các công ty xây dựng hệ thống data science và machine learning trong production. Eugene Yan sắp xếp nó thành 31 chủ đề — từ chất lượng dữ liệu, qua feature store, forecasting, đến đạo đức AI — mỗi mục được gắn nhãn công ty và, phần lớn, năm xuất bản.
Bên trong: 31 chủ đề từ chất lượng dữ liệu đến đạo đức AI
- ✓31 chủ đề trải khắp vòng đời ML, từ Data Quality và Data Engineering qua Feature Stores, Classification, Forecasting, Recommendation, đến Search & Ranking.
- ✓Các nhóm liên quan đến deep learning cũng có mục riêng: Embeddings, Natural Language Processing, Sequence Modelling, Computer Vision, Reinforcement Learning, và Generation.
- ✓Những mục vận hành mà hầu hết danh sách 'awesome ML' bỏ qua: Data Discovery, Weak Supervision, Anomaly Detection, Privacy-Preserving Machine Learning, và Validation and A/B Testing.
- ✓Một mục Team Structure về cách các đội ML tổ chức nhân sự, và một mục Fails ghi lại những gì không hiệu quả — không chỉ toàn chiến thắng.
- ✓Mỗi mục được gắn công ty và, phần lớn, năm xuất bản, nên một bài về ingestion của Airbnb năm 2016 đọc khác hẳn một bài của DoorDash năm 2022.
- ✓Riêng mục Feature Stores đã có bài từ Netflix, LinkedIn, Airbnb, Uber, Twitter, Gojek, DoorDash, Monzo Bank, QuintoAndar và Constructor.io, trải dài qua nhiều năm.
Điểm mạnh
- ✓Sắp xếp theo loại bài toán ML thay vì theo công ty hay ngày tháng — đúng trục bạn tìm khi đang bí với câu hỏi 'các đội khác làm forecasting thế nào', chứ không phải 'Uber năm nay công bố gì'.
- ✓Mỗi mục ghi rõ tên công ty và link thẳng tới nguồn gốc, không phải một bản tóm tắt lại của bản tóm tắt.
- ✓Bao phủ những mối lo vận hành không hào nhoáng mà hầu hết danh sách ML tuyển chọn bỏ qua: chất lượng dữ liệu, feature store, quản lý model, và các bài mổ xẻ thất bại trong mục Fails.
- ✓Đọc miễn phí trên GitHub, không cần đăng ký, và được cấp phép MIT nếu bạn muốn fork lại cấu trúc cho reading list của riêng mình.
Những gì applied-ml không đề cập
- △Đây là một link list, không phải một khóa học.
- △Không có tổng hợp nào ngoài tiêu đề — mỗi mục đưa bạn ra blog, buổi nói chuyện hay paper gốc của công ty, applied-ml không tóm tắt gì thêm.
- △Độ phủ không đều giữa các mục: Feature Stores và Data Engineering có hàng chục bài trải qua nhiều năm, trong khi các mục như Regression hay Graph chỉ có vài bài.
- △Các mục được sắp theo loại bài toán ML, không theo thời gian, nên đọc một mục từ trên xuống dưới là trộn lẫn một paper cũ với một bài viết mới.
- △Link ngoài có thể hỏng — các mục trỏ tới bài trên Medium, video YouTube, blog công ty có thể bị di chuyển hoặc biến mất, và applied-ml không lưu bản sao nội dung.
Các danh sách và tài nguyên đọc ML tuyển chọn tương tự
Câu hỏi thường gặp
applied-ml vẫn thêm mục mới qua nhiều năm — mục Feature Stores chẳng hạn có bài viết tới tận 2023 — nhưng đây là reading list cá nhân do một người, Eugene Yan, tuyển chọn, không theo lịch phát hành cố định, nên cập nhật diễn ra không đều.
Phần lớn bài viết trong applied-ml giả định bạn đã biết thuật ngữ ML như feature store, embedding, A/B testing, vì đây là các bài blog kỹ thuật do người thực hành viết cho người thực hành, không phải tutorial. applied-ml không thêm phần giải thích nền tảng nào, chỉ có link.
Phần lớn link trong applied-ml dẫn tới blog kỹ thuật công ty và video hội thảo miễn phí — như netflixtechblog.com, eng.uber.com, hay bài trên Medium — dù một số ít trỏ tới paper trên ACM hoặc IEEE có thể bị chặn trả phí tùy quyền truy cập của bạn.
Papers with Code ghép các paper học thuật với code triển khai và bảng xếp hạng benchmark. applied-ml bỏ hẳn phần code và benchmark, thay vào đó tuyển chọn bài blog kỹ thuật và paper về cách các công ty triển khai ML trong production, sắp theo loại bài toán thay vì theo dataset hay task.
Uber, Airbnb, Netflix, DoorDash và LinkedIn đóng góp nhiều mục nhất trong applied-ml, xuất hiện lặp lại ở Feature Stores, Data Engineering và Forecasting, bên cạnh bài viết từ Google, Amazon, Meta, Twitter, Lyft và Shopify.
Trường hợp sử dụng tốt nhất
- •Scoping một tính năng ML mới: đọc mục tương ứng với bài toán của bạn (recsys, forecasting, anomaly detection) trước khi viết design doc, để xem vài công ty đã giải quyết nó ra sao.
- •Ôn thi phỏng vấn ML system design: hai mục Feature Stores và Model Management đọc như một khóa cấp tốc về những gì interviewer thường hỏi.
- •Đối chiếu cách tổ chức đội ML của bạn với mục Team Structure và Practices khi công ty đang cân nhắc cách sắp xếp một đội ML.
- •Tìm prior art trước khi đề xuất một feature store hay pipeline validation, để bài đề xuất trích dẫn được những gì Airbnb, Uber hay LinkedIn đã thử thay vì bắt đầu từ số không.
Ai nên dùng — và ai nên bỏ qua
applied-ml phù hợp với ML engineer và data scientist đã nắm vững thuật ngữ — recsys, feature store, A/B testing — và muốn xem vài công ty đã giải quyết đúng bài toán họ đang bí ra sao trước khi tự thiết kế. Các engineering manager đang cân nhắc quyết định về cấu trúc đội, muốn hiểu 'production ML' thực sự bao gồm những gì, cũng có thể dùng được. Bỏ qua nó nếu bạn xuất phát từ số không. Ở đây không có phần giải thích feature store là gì, chỉ có link giả định bạn đã biết, và cũng bỏ qua nếu bạn muốn code chạy được thay vì đọc.
Repo liên quan
Muốn nghe thêm một ý kiến về applied-ml?
Hỏi một AI đọc được trang này — một cú bấm là có ngay nhận định về applied-ml.