MLEs - Scale ML System 02

Triton-Server-v2.pdf

Slide

Phần 1

Phần 2

Video

- Tại sao cần dùng Intriton Inference Server?
- Cách Deploy mô hình ONNX
- Cách Deploy mô hình Pytorch
- Cách Deploy mô hình Tensorflow
- Concurrent Model Execution
- Instance group
- Dynamic Batching
- Stateful vs Stateless Model
- Migrate từ Flask sang Triton Server

 

Triton Inference Server

**Chú ý:**

- Tải bài tập file notebook và dưới máy của mình
- Lập trình trên file đó và upload file đó lên hệ thống
- Sau đó nhấn **Nộp bài**

**Hạn nộp bài:**
- Điểm tối đa: **100 điểm**
- Bạn sẽ bị trừ 10% số điểm nếu nộp bài muộn.

Bạn vui lòng tải bộ dữ liệu xuống và cài đặt đúng đường dẫn.

Bài tập 1 - Xây dựng mô hình

- Hướng dẫn làm quen với hệ thống.
- Học máy là gì. 



Ôn tập Học máy

Khai giảng

  * Giới thiệu bài toán Grab
  * Quá trình xây dựng một mô hình
  * Mô hình hồi quy tuyến tính
  * Thuật toán Gradient Descent
  * Lập trình hồi quy tuyến tính một biến
 



Mô hình hồi quy tuyến tính

Ôn tập mô hình

- Đếm
- Quy tắc cộng
- Quy tắc nhân
- Nguyên lý bù trừ
- Chỉnh hợp
- Tổ hợp
- Hoán vị

Giới thiệu xác suất - Đếm

Xác suất + Định lý Bayes

Xác suất và ứng dụng AI

Biến ngẫu nhiên + Phân phối rời rạc

- Hàm mật độ xác suất
- Ôn tập tích phân, một số tích phân đơn giản
- Ứng dụng tích phân giải bài biến ngẫu nhiên liên tục
- Phân phối đều


Phân phối liên tục

- Hàm mật độ xác suất
- Hàm phân phối tích lũy
- Phân phối chuẩn đơn vị
- Kỹ thuật tính xác suất

Phân phối chuẩn

- Concentration inequalities
- Bất đẳng thức Markov
- Bất đẳng thức Chebyshev
- Luật số lớn yếu (Weak Law of Large Numbers)
- Luật số lớn mạnh (Strong Law of Large Numbers)
- Định luật giới hạn trung tâm (Central Limit Theorem - CLT)
- Một số bất đẳng thức khác
- Áp dụng lấy mẫu để tính toán tối ưu cho chi phí rủi ro thực nghiệm (Empirical Risk Minimization)


Kỹ thuật lấy mẫu con (Subsampling) (Nguyên tắc 1)

Bài tập luyện tập sử dụng HuggingFace để thực hành bài toán phân loại câu.

Bài tập 2 - HuggingFace

- Thư viện Tensorflow với bài toán phân loại hình ảnh
- Thư viện HuggingFace với bài toán phân loại văn bản

Tensorflow + HuggingFace

# Yêu cầu

### 1. Làm sạch dữ liệu

Đọc các phần tử trong file `sample.json`

Trường `message` của các phần tử sẽ được làm sạch bằng cách xoá tất cả link website có thể có. Ví dụ 

```
MUA NGAY: https://cellphones.com.vn/xiaomi-redmi-note-11-pro.html?utm_source=social&utm_medium=fanpage&utm_campaign=/xiaomi-redmi-note-11-pro.html\n.\n☀
```

Sẽ chỉ được làm sạch còn

```
MUA NGAY: \n.\n☀
```


### 2. Thêm dữ liệu vào database
Tạo database có tên là `raw_data` và thêm các dữ liệu này vào collection `sample`.

Các phần tử được thêm vào colection dưới dạng

```
{
    "_id":
    "id":
    "message":
}
```

### 3. Nộp bài
- Nén project này thành zip và gửi lên hệ thống ProtonX
- Gửi đường dẫn truy cập vào mongoDB của bạn để team ProtonX chạy test chấm bài. Chú ý mở truy cập vào database ở IP: 0.0.0.0/0


Đọc thêm về tiền xử lý dữ liệu văn bản [tại đây](https://web.stanford.edu/~jurafsky/slp3/2.pdf) 


Bài tập 3 - MongoDB

MongoDB + Training bằng Pytorch

- Sử dụng các thuật toán training.
- Cài đặt các tham số khởi tạo


Các kỹ thuật training hiệu quả 1 (Nguyên tắc 2)

- Giới thiệu Cloud Storage
- Thực hành lưu trữ dữ liệu trên Google Cloud Storage
- Hoàn thiện pipeline

Cloud Storage + Hoàn thiện pipeline training

Giảm chiều dữ liệu

PCA - Principal Component Analysis

- Định nghĩa MLOps
- Các thành tố chính
- Liên hệ tới thực tế

MLOPs - các khái niệm liên quan

Trong bài tập này chúng ta sẽ học cách lập trình process, cách truy cập chung dữ liệu giữa các process.


Bài tập 4 - Lập trình Process

- Giới thiệu CPU
  - Tính toán song song trên CPUs
  - Nhiều lệnh song song (ILP)
  - Một lệnh trên nhiều luồng dữ liệu (SIMD)
  - Đa luồng (Multi-thread parallelism)
  - Phân tán (Distributed Compute)
- Bài tập: Lập trình multi threading.


CPUs

Cài đặt CPUs trên một số Cloud nổi tiếng
- Google Cloud
- AWS
- Digital Ocean

CPUs trên Google Cloud + AWS + Digital Ocean

- RAM và cơ chế cache
- Đánh giá hiệu năng truy cập dữ liệu

RAM và cơ chế cache của CPUs

Thực hành lập trình chuyển vị một ma trận sau đó nhân chuyển vị này với ma trận ban đầu.

Công thức $$A^TA$$.

Trong bài tập ma trận $$A$$ được lưu trữ dưới biến có tên 
```python
matrix
```

Sau khi đã lập trình xong với file `transposeAndMultiply.cu` bạn upload lên Colab của mình, bật GPU và chạy đoạn code sau.

```python
!nvcc -o transposeAndMultiply transposeAndMultiply.cu
!./transposeAndMultiply
```

**Kết quả mong đợi.**

<style>img{max-width: 100%;height: auto;}</style>

<img src='https://storage.googleapis.com/mle-courses-prod/users/61b6fa1ba83a7e37c8309756/private-files/22143f80-f85e-11ed-90ec-69d0cbc6e5ee-Screen%20Shot%202023-05-22%20at%2012.03.53.png' width=700>

Cách chạy code đã được trình bày tại video:

https://protonx.io/courses/635a68c5fd9acb001a858aca/topics/645af7469a191b001a925130?activeAId=645cf80efa7d74155c90cb65


Bài tập 5 - Lập trình CUDA trên GPU

**GPUs và TPUs**
- Sự khác biệt giữa CPUs và GPUs (tối ưu cho độ trễ và tối ưu cho băng thông)
- Chi tiết kiến trúc của GPU
- Giới thiệu CUDA
- Lập trình CUDA với C++
- Song song trên GPUs
- Thư viện Numba


GPUs

- Bàn về các phiên bản của TPUs
- Tham số đo quan trọng đo lường tốc độ phần cứng
- TPUs

TPUs - Số thực dấu phẩy động

Bài tập lượng tử hóa nhân ma trận

Bài tập 6 - Lượng tử hóa

Học máy chính xác thấp

Trong bài tập này chúng ta sẽ cùng nghiên cứu cách tỉa mô hình hiệu quả. 3 cách thức đề cập trong bài tập này:
- Tỉa mô hình đã được train
- Tỉa mô hình chưa được train
- Tỉa theo lớp cụ thể

Có một điều thú vị là sau khi tỉa chúng ta vẫn có thể làm tăng được độ chính xác. Bạn hãy làm bài tập này nhé.

Bài tập 7 - Tỉa mô hình

ONNX và một số phương pháp tối ưu khác

- Docker là gì?
- Phân biệt image và container
- Cài đặt Docker
- Xây dựng Docker Image và chạy docker Container
- Docker container

Deploy AI Model bằng Docker

Triển khai Docker trên Cloud
- Google Cloud
- AWS 

Docker + Cloud

Chắt lọc tri thức + TensorRT

- Phân tán song song dữ liệu (DDP)
- Phân tán mô hình (MP)
- Phân tán các thành phần gây tốn RAM (ZeRO)

Danh sách chủ đề

Triton Inference Server

1. Slide

1.1. Triton-Server-v2.pdf

2. Video

2.1. Phần 1

2.2. Phần 2

Bài học