Scale Machine Learning System - Nhân rộng hệ thống học máy (Video)

Triton-Server-v2.pdf

Phiên bản sử dụng

Code inference bằng Google Colab

Slide

Thực hành phần 1

Video

- Tại sao cần dùng Intriton Inference Server?- Cách Deploy mô hình ONNX- Cách Deploy mô hình Pytorch- Cách Deploy mô hình Tensorflow- Concurrent Model Execution- Instance group- Dynamic Batching- Stateful vs Stateless Model- Migrate từ Flask sang Triton Server

Triton Inference Server - Phần 1

Giới thiệu học giám sát, không giám sát và học tăng cường.




Giới thiệu học máy/học sâu

<ul><li>Giới thiệu bài toán Grab</li><li>Quá trình xây dựng một mô hình</li><li>Mô hình hồi quy tuyến tính</li><li>Thuật toán Gradient Descent</li><li>Lập trình hồi quy tuyến tính một biến</li></ul>

Mô hình hồi quy tuyến tính

Khai giảng

MLOps

<ol><li>Thư viện Tensorflow với bài toán phân loại hình ảnh </li><li>Thực hành thư viện Pytorch</li><li>Thư viện HuggingFace với bài toán phân loại văn bản</li></ol>

Pytorch + Tensorflow + HuggingFace

Cách sử dụng DB lưu trữ dữ liệu hiệu quả

MongoDB + Crawl dữ liệu

<ul><li>Giới thiệu CPU </li><li>Tính toán song song trên CPUs </li><li>Nhiều lệnh song song (ILP) </li><li>Một lệnh trên nhiều luồng dữ liệu (SIMD) </li><li>Đa luồng (Multi-thread parallelism) </li><li>Phân tán (Distributed Compute) - Bài tập: Lập trình multi threading.</li></ul>

CPUs

GPUs và TPUs<ul><li>Sự khác biệt giữa CPUs và GPUs (tối ưu cho độ trễ và tối ưu cho băng thông)</li><li>Chi tiết kiến trúc của GPU</li><li>Giới thiệu CUDA</li><li>Lập trình CUDA với C++ </li><li>Song song trên GPUs - Thư viện Numba</li></ul>

GPUs

<ul><li>Bàn về các phiên bản của TPUs</li><li>Tham số đo quan trọng đo lường tốc độ phần cứng</li><li>TPUs</li><li>Số thực dấu phẩy động</li></ul>

TPUs - Số thực dấu phẩy động

<ul><li>Lượng tử hóa mô hình</li><li>ONNX</li></ul>

Học máy chính xác thấp

<ul><li>Chắt lọc tri thức</li><li>TensorRT</li></ul>

Chắt lọc tri thức + TensorRT

<ul><li>Docker là gì?</li><li>Phân biệt image và container</li><li>Cài đặt Docker</li><li>Xây dựng Docker Image và chạy docker Container</li><li>Docker container</li></ul>

Docker + Cloud

<ul><li>Ôn tập deploy trên GG Cloud</li><li>Ôn tập deploy tên AWS</li></ul>

Triton Inference Server - Phần 2 

Tự động hóa Machine Learng Pipeline bao gồm Continuous Integration (CI) để kiểm thử hệ thống và Continous Delivery (CD) để tự động đưa ứng dụng lên production.

Machine Learning CI/CD

Trong bài này chúng ta sẽ nâng cấp Distillation thông qua việc train cả mô hình teacher và Student.

Bài tập cuối khóa - Distillation

Project - Thực hành chắt lọc tri thức

<ul><li>Đào tạo phân tán với Pytorch</li><li>Đào tạo phân tán với Keras</li></ul>

Đào tạo phân tán

Deploy mô hình trên Jetson Nano

Triton Inference Server - Phần 1

1. Slide

1.1. Triton-Server-v2.pdf

1.2. Phiên bản sử dụng

1.3. Code inference bằng Google Colab

2. Video

2.1. Thực hành phần 1