List of topics
MLOps
Chi tiết vị trí kỹ sư MLOps
Nền tảng cần cho lớp học
Dự án mẫu
Development - Thu thập dữ liệu
Development - Xử lý dữ liệu
Development - Pytorch nền tảng
Deployment - Model Optimization
Deployment - ML Run
Deployment - MLFlow
Model Operations

Nền tảng cần cho lớp học

Nền tảng cần cho lớp học

1. Ngôn ngữ lập trình

1.1. Ngôn ngữ lập trình Python

Ngôn ngữ lập trình Python là một trong những ngôn ngữ phổ biến nhất hiện nay nhờ cú pháp đơn giản, dễ học và cộng đồng hỗ trợ mạnh mẽ.

Team đã có lớp học miễn phí Python tại: https://protonx.coursemind.io/courses/61b7081639320455cc70848b/info

1.2. Ngôn ngữ lập trình Go

Lợi thế ngôn ngữ Go so với Python là:

Go có hiệu năng cao hơn nhờ biên dịch xuống mã máy, hỗ trợ song song (concurrency) tốt qua goroutine, quản lý bộ nhớ hiệu quả và dễ dàng triển khai cho các hệ thống phân tán hoặc ứng dụng backend quy mô lớn. Bên cạnh đó, Go cũng có tiêu chuẩn code rõ ràng, công cụ tích hợp mạnh mẽ và tạo ra các tệp thực thi nhỏ gọn, thuận tiện cho việc triển khai.Ngoài ra, Go sở hữu hệ sinh thái thư viện phong phú phù hợp với phát triển dịch vụ web, microservices, đồng thời giúp giảm thiểu lỗi nhờ kiểm tra kiểu tĩnh. So với Python, Go thích hợp hơn cho các ứng dụng yêu cầu hiệu suất và khả năng mở rộng cao, trong khi vẫn giữ được sự đơn giản trong cú pháp và dễ bảo trì mã nguồn.


Xem thêm về Go với MLOps: https://www.scaler.com/blog/mlops-roadmap/

2. Các công cụ được trình bày trong lớp học

2.1. Cập nhật các công cụ trong MLops

Danh sách các công cụ: https://github.com/kelvins/awesome-mlops

Các công cụ nổi tiếng và dễ dùng

Category

Most Popular & Easy Tool

Why

Link

AutoML

AutoKeras

Beginner-friendly, minimal code, good docs

https://github.com/keras-team/autokeras

CI/CD for Machine Learning

ClearML

Simple setup, good UI and integration

https://clear.ml/

Cron Job Monitoring

HealthchecksIO

Straightforward to use

https://healthchecks.io/

Data Catalog

Amundsen

Strong community, easy to deploy

https://www.amundsen.io/

Data Enrichment

Snorkel

Good abstractions for weak supervision

https://snorkel.org/

Data Exploration

Pandas Profiling

One-liner for full report

https://github.com/ydataai/pandas-profiling

Data Management

DVC

Git-like commands, great documentation

https://dvc.org/

Data Processing

Airflow

Extremely popular with rich community support

https://airflow.apache.org/

Data Validation

Great Expectations

Clear expectations-based API

https://greatexpectations.io/

Data Visualization

Tableau

Drag-and-drop interface, non-coders friendly

https://www.tableau.com/

Drift Detection

Alibi Detect

Well-documented and PyData-friendly

https://github.com/SeldonIO/alibi-detect

Feature Engineering

Featuretools

Automated and well-documented

https://www.featuretools.com/

Feature Store

Feast

Industry standard, active community

https://feast.dev/

Hyperparameter Tuning

Optuna

Simple API, excellent performance

https://optuna.org/

Knowledge Sharing

Kyso

Easy for teams, Markdown-like interface

https://www.kyso.io/

Machine Learning Platform

Sagemaker

Fully managed, beginner-friendly console

https://aws.amazon.com/sagemaker/

Model Fairness and Privacy

Fairlearn

Integrates well with scikit-learn

https://fairlearn.org/

Model Interpretability

SHAP

Visual, works across models

https://github.com/shap/shap

Model Lifecycle

MLflow

All-in-one, simple API, UI

https://mlflow.org/

Model Serving

BentoML

Flexible, supports REST, gRPC

https://bentoml.com/

Model Testing & Validation

Deepchecks

Simple integration with sklearn

https://deepchecks.com/

Optimization Tools

Ray

Scalable with easy-to-use APIs

https://www.ray.io/

Simplification Tools

PyCaret

Low-code and beginner-friendly

https://pycaret.org/

Visual Analysis and Debugging

Evidently

Interactive reports, beginner-friendly

https://www.evidentlyai.com/

Workflow Tools

Prefect

Modern, intuitive workflows

https://www.prefect.io/

1. Ngôn ngữ lập trình
1.1. Ngôn ngữ lập trình Python
1.2. Ngôn ngữ lập trình Go
2. Các công cụ được trình bày trong lớp học
2.1. Cập nhật các công cụ trong MLops