Nền tảng cần cho lớp học
Nền tảng cần cho lớp học
1. Ngôn ngữ lập trình
1.1. Ngôn ngữ lập trình Python
Ngôn ngữ lập trình Python là một trong những ngôn ngữ phổ biến nhất hiện nay nhờ cú pháp đơn giản, dễ học và cộng đồng hỗ trợ mạnh mẽ.
Team đã có lớp học miễn phí Python tại: https://protonx.coursemind.io/courses/61b7081639320455cc70848b/info
1.2. Ngôn ngữ lập trình Go
Lợi thế ngôn ngữ Go so với Python là:
Go có hiệu năng cao hơn nhờ biên dịch xuống mã máy, hỗ trợ song song (concurrency) tốt qua goroutine, quản lý bộ nhớ hiệu quả và dễ dàng triển khai cho các hệ thống phân tán hoặc ứng dụng backend quy mô lớn. Bên cạnh đó, Go cũng có tiêu chuẩn code rõ ràng, công cụ tích hợp mạnh mẽ và tạo ra các tệp thực thi nhỏ gọn, thuận tiện cho việc triển khai.Ngoài ra, Go sở hữu hệ sinh thái thư viện phong phú phù hợp với phát triển dịch vụ web, microservices, đồng thời giúp giảm thiểu lỗi nhờ kiểm tra kiểu tĩnh. So với Python, Go thích hợp hơn cho các ứng dụng yêu cầu hiệu suất và khả năng mở rộng cao, trong khi vẫn giữ được sự đơn giản trong cú pháp và dễ bảo trì mã nguồn.
Xem thêm về Go với MLOps: https://www.scaler.com/blog/mlops-roadmap/
2. Các công cụ được trình bày trong lớp học
2.1. Cập nhật các công cụ trong MLops
Danh sách các công cụ: https://github.com/kelvins/awesome-mlops
Các công cụ nổi tiếng và dễ dùng
Category | Most Popular & Easy Tool | Why | Link |
AutoML | AutoKeras | Beginner-friendly, minimal code, good docs | |
CI/CD for Machine Learning | ClearML | Simple setup, good UI and integration | |
Cron Job Monitoring | HealthchecksIO | Straightforward to use | |
Data Catalog | Amundsen | Strong community, easy to deploy | |
Data Enrichment | Snorkel | Good abstractions for weak supervision | |
Data Exploration | Pandas Profiling | One-liner for full report | |
Data Management | DVC | Git-like commands, great documentation | |
Data Processing | Airflow | Extremely popular with rich community support | |
Data Validation | Great Expectations | Clear expectations-based API | |
Data Visualization | Tableau | Drag-and-drop interface, non-coders friendly | |
Drift Detection | Alibi Detect | Well-documented and PyData-friendly | |
Feature Engineering | Featuretools | Automated and well-documented | |
Feature Store | Feast | Industry standard, active community | |
Hyperparameter Tuning | Optuna | Simple API, excellent performance | |
Knowledge Sharing | Kyso | Easy for teams, Markdown-like interface | |
Machine Learning Platform | Sagemaker | Fully managed, beginner-friendly console | |
Model Fairness and Privacy | Fairlearn | Integrates well with scikit-learn | |
Model Interpretability | SHAP | Visual, works across models | |
Model Lifecycle | MLflow | All-in-one, simple API, UI | |
Model Serving | BentoML | Flexible, supports REST, gRPC | |
Model Testing & Validation | Deepchecks | Simple integration with sklearn | |
Optimization Tools | Ray | Scalable with easy-to-use APIs | |
Simplification Tools | PyCaret | Low-code and beginner-friendly | |
Visual Analysis and Debugging | Evidently | Interactive reports, beginner-friendly | |
Workflow Tools | Prefect | Modern, intuitive workflows |