Học thử MLOps

Slide

TensorRT

<p>MLOPs và các khái niệm liên quan</p>

MLOPs và các khái niệm liên quan

- Docker là gì?
- Phân biệt image và container
- Cài đặt Docker
- Xây dựng Docker Image và chạy docker Container
- Docker container

Deploy AI Model bằng Docker

Bên cạnh lượng tử hóa chúng ta sẽ đề cập đến
- Tỉa mô hình
- Nén mô hình với Huffman Coding
- Phân cụm tham số
- Chắt lọc tri thức

Tối ưu hóa mô hình

- Tại sao cần dùng Intriton Inference Server?
- Cách Deploy mô hình ONNX
- Cách Deploy mô hình Pytorch
- Cách Deploy mô hình Tensorflow
- Concurrent Model Execution
- Instance group
- Dynamic Batching
- Stateful vs Stateless Model
- Migrate từ Flask sang Triton Server

 

Triton Inference Server

- Phân tán song song dữ liệu
- Phân tán song song mô hình

Đào tạo phân tán

Apache Airflow

Cách sử dụng DB lưu trữ dữ liệu hiệu quả

Danh sách chủ đề

TensorRT

1. Slide

1.1. Slide

Bài học