Scale Machine Learning System - Nhân rộng hệ thống học máy (Video)

Giới thiệu về MLOps

Các bước trong vòng đời MLOps

Quá trình Exploratory Data Analysis bao gồm?

Khái niệm MLOPs

Design - Quy trình thiết kế

Chất lượng dữ liệu

Vấn đề này là?

Chỉ số đánh giá

Design - Thiết kế

3.1 Thu thập dữ liệu

3.3 Làm sạch dữ liệu

3.4 Khám phá dữ liệu

3.5. Lựa chọn và biến đổi dữ liệu

Sắp xếp thứ tự các bước trong Feature engineering?

Development - Quá trình xử lý dữ liệu

Bộ dữ liệu Titanic

Đặc trưng số và đặc trưng phân loại

Giả định và phân tích

Xử lý dữ liệu thiếu

Tạo khoảng giá trị

Đường dẫn Notebook

Ví dụ về một bài toán tiền xử lý dữ liệu

Development - Quá trình training

Thử nghiệm học máy

Lợi ích của việc sử dụng các công cụ để theo dõi thử nghiệm?

Development - Quá trình đào tạo

Các thành phần chính

Operations - Triển khai trên server

Operations - Theo dõi mô hình

Operations - Triển khai

Công cụ xây dựng vòng đời học máy và theo dõi thử nghiệm

Các công cụ

MLOps

Giới thiệu học giám sát, không giám sát và học tăng cường.




Giới thiệu học máy/học sâu

<ul><li>Giới thiệu bài toán Grab</li><li>Quá trình xây dựng một mô hình</li><li>Mô hình hồi quy tuyến tính</li><li>Thuật toán Gradient Descent</li><li>Lập trình hồi quy tuyến tính một biến</li></ul>

Mô hình hồi quy tuyến tính

Khai giảng

<ol><li>Thư viện Tensorflow với bài toán phân loại hình ảnh </li><li>Thực hành thư viện Pytorch</li><li>Thư viện HuggingFace với bài toán phân loại văn bản</li></ol>

Pytorch + Tensorflow + HuggingFace

Cách sử dụng DB lưu trữ dữ liệu hiệu quả

MongoDB + Crawl dữ liệu

<ul><li>Giới thiệu CPU </li><li>Tính toán song song trên CPUs </li><li>Nhiều lệnh song song (ILP) </li><li>Một lệnh trên nhiều luồng dữ liệu (SIMD) </li><li>Đa luồng (Multi-thread parallelism) </li><li>Phân tán (Distributed Compute) - Bài tập: Lập trình multi threading.</li></ul>

CPUs

GPUs và TPUs<ul><li>Sự khác biệt giữa CPUs và GPUs (tối ưu cho độ trễ và tối ưu cho băng thông)</li><li>Chi tiết kiến trúc của GPU</li><li>Giới thiệu CUDA</li><li>Lập trình CUDA với C++ </li><li>Song song trên GPUs - Thư viện Numba</li></ul>

GPUs

<ul><li>Bàn về các phiên bản của TPUs</li><li>Tham số đo quan trọng đo lường tốc độ phần cứng</li><li>TPUs</li><li>Số thực dấu phẩy động</li></ul>

TPUs - Số thực dấu phẩy động

<ul><li>Lượng tử hóa mô hình</li><li>ONNX</li></ul>

Học máy chính xác thấp

<ul><li>Chắt lọc tri thức</li><li>TensorRT</li></ul>

Chắt lọc tri thức + TensorRT

<ul><li>Docker là gì?</li><li>Phân biệt image và container</li><li>Cài đặt Docker</li><li>Xây dựng Docker Image và chạy docker Container</li><li>Docker container</li></ul>

Docker + Cloud

- Tại sao cần dùng Intriton Inference Server?- Cách Deploy mô hình ONNX- Cách Deploy mô hình Pytorch- Cách Deploy mô hình Tensorflow- Concurrent Model Execution- Instance group- Dynamic Batching- Stateful vs Stateless Model- Migrate từ Flask sang Triton Server

Triton Inference Server - Phần 1

<ul><li>Ôn tập deploy trên GG Cloud</li><li>Ôn tập deploy tên AWS</li></ul>

Triton Inference Server - Phần 2 

Tự động hóa Machine Learng Pipeline bao gồm Continuous Integration (CI) để kiểm thử hệ thống và Continous Delivery (CD) để tự động đưa ứng dụng lên production.

Machine Learning CI/CD

Trong bài này chúng ta sẽ nâng cấp Distillation thông qua việc train cả mô hình teacher và Student.

Bài tập cuối khóa - Distillation

Project - Thực hành chắt lọc tri thức

<ul><li>Đào tạo phân tán với Pytorch</li><li>Đào tạo phân tán với Keras</li></ul>

Đào tạo phân tán

Deploy mô hình trên Jetson Nano

MLOps

1. Khái niệm MLOPs

1.1. Giới thiệu về MLOps

1.2. Các bước trong vòng đời MLOps

1.3. Quá trình Exploratory Data Analysis bao gồm?

2. Design - Thiết kế

2.1. Design - Quy trình thiết kế

2.2. Chất lượng dữ liệu

2.3. Vấn đề này là?

2.4. Chỉ số đánh giá

3. Development - Quá trình xử lý dữ liệu

3.1. 3.1 Thu thập dữ liệu

3.2. 3.3 Làm sạch dữ liệu

3.3. 3.4 Khám phá dữ liệu

3.4. 3.5. Lựa chọn và biến đổi dữ liệu

3.5. Sắp xếp thứ tự các bước trong Feature engineering?

4. Ví dụ về một bài toán tiền xử lý dữ liệu

4.1. Bộ dữ liệu Titanic

4.2. Đặc trưng số và đặc trưng phân loại

4.3. Giả định và phân tích

4.4. Xử lý dữ liệu thiếu

4.5. Tạo khoảng giá trị

4.6. Đường dẫn Notebook

5. Development - Quá trình đào tạo

5.1. Development - Quá trình training

5.2. Thử nghiệm học máy

5.3. Lợi ích của việc sử dụng các công cụ để theo dõi thử nghiệm?

5.4. Lợi ích của việc sử dụng các công cụ để theo dõi thử nghiệm?

6. Operations - Triển khai

6.1. Các thành phần chính

6.2. Operations - Triển khai trên server

6.3. Operations - Theo dõi mô hình

7. Các công cụ

7.1. Công cụ xây dựng vòng đời học máy và theo dõi thử nghiệm