Học thử MLOps

Slide

TensorRT

<p>MLOPs và các khái niệm liên quan</p>

MLOPs và các khái niệm liên quan

- Docker là gì?
- Phân biệt image và container
- Cài đặt Docker
- Xây dựng Docker Image và chạy docker Container
- Docker container

Deploy AI Model bằng Docker

Bên cạnh lượng tử hóa chúng ta sẽ đề cập đến
- Tỉa mô hình
- Nén mô hình với Huffman Coding
- Phân cụm tham số
- Chắt lọc tri thức

Tối ưu hóa mô hình

- Tại sao cần dùng Intriton Inference Server?
- Cách Deploy mô hình ONNX
- Cách Deploy mô hình Pytorch
- Cách Deploy mô hình Tensorflow
- Concurrent Model Execution
- Instance group
- Dynamic Batching
- Stateful vs Stateless Model
- Migrate từ Flask sang Triton Server

 

Triton Inference Server

- Phân tán song song dữ liệu
- Phân tán song song mô hình

Đào tạo phân tán

Apache Airflow

Cách sử dụng DB lưu trữ dữ liệu hiệu quả

TensorRT

1. Slide

1.1. Slide