MLEs - Scale ML System 03

- Kiến trúc TPUv1: https://cloud.google.com/blog/products/ai-machine-learning/an-in-depth-look-at-googles-first-tensor-processing-unit-tpu
- So sánh TPU v2 và v3: https://gwern.net/doc/ai/scaling/hardware/2021-norrie.pdf



Danh sách nghiên cứu

Đọc một số nghiên cứu

CPUs vs GPUs vs TPUs - v2.pdf

Floating-point arithmetic.pdf

Điểm yếu của systolic array

Chuyển số sau về số thực dấu phẩy động

Slide

Video Zoom

Video

<ul><li>Bàn về các phiên bản của TPUs</li><li>Tham số đo quan trọng đo lường tốc độ phần cứng</li><li>TPUs</li><li>Số thực dấu phẩy động</li></ul>

TPUs - Số thực dấu phẩy động

Trong bài tập này chúng ta sẽ học cách lập trình process, cách truy cập chung dữ liệu giữa các process.




Bài tập 3 - Thực hành lập trình Process

- Hướng dẫn làm quen với hệ thống. - Học máy là gì.

Ôn tập Học máy

  * Giới thiệu bài toán Grab
  * Quá trình xây dựng một mô hình
  * Mô hình hồi quy tuyến tính
  * Thuật toán Gradient Descent
  * Lập trình hồi quy tuyến tính một biến
 



Mô hình hồi quy tuyến tính

Khai giảng lớp học

# Bài tập lập trình: Thử nghiệm các mô hình phân loại cảm xúc văn bản
```
ProtonX - MLEs Class
```

### Hướng dẫn làm bài
- Trong bài tập này bạn sẽ sử dụng Python 3.
- Sau khi bạn viết Code của mình xong, hãy chạy dòng Code đó để xem kết quả bên dưới.

### [Quan trọng] Chú ý
- **Không sử dụng hàm `input()` tại bất kỳ dòng lệnh nào**


Các bạn sẽ thực hiện `code` trong các phần hiển thị `#TODO: Lập trình tại đây` và thay thế các vị trí `None`. Có những câu hỏi chỉ cần trả về đáp án.

Sau khi viết xong Code của bạn, bạn hãy ấn "SHIFT"+"ENTER" để thực hiện chạy lệnh của Cell đó.

---
Điểm số:
* 10 điểm / Câu
* Câu cuối 20 điểm

Tiêu chí chấm điểm:
* Các bài tập sẽ được chấm dựa trên các Test-case.


Bài tập 1 - Lập trình HuggingFace

- Thư viện Tensorflow với bài toán phân loại hình ảnh
- Thư viện HuggingFace với bài toán phân loại văn bản

Pytorch + Tensorflow + HuggingFace

# Yêu cầu

### 1. Làm sạch dữ liệu

Đọc các phần tử trong file `sample.json`

Trường `message` của các phần tử sẽ được làm sạch bằng cách xoá tất cả link website có thể có. Ví dụ 

```
MUA NGAY: https://cellphones.com.vn/xiaomi-redmi-note-11-pro.html?utm_source=social&utm_medium=fanpage&utm_campaign=/xiaomi-redmi-note-11-pro.html\n.\n☀
```

Sẽ chỉ được làm sạch còn

```
MUA NGAY: \n.\n☀
```


### 2. Thêm dữ liệu vào database
Tạo database có tên là `raw_data` và thêm các dữ liệu này vào collection `sample`.

Các phần tử được thêm vào colection dưới dạng

```
{
    "_id":
    "id":
    "message":
}
```

### 3. Nộp bài
- Nén project này thành zip và gửi lên hệ thống ProtonX
- Gửi đường dẫn truy cập vào mongoDB của bạn để team ProtonX chạy test chấm bài. Chú ý mở truy cập vào database ở IP: 0.0.0.0/0


Đọc thêm về tiền xử lý dữ liệu văn bản [tại đây](https://web.stanford.edu/~jurafsky/slp3/2.pdf) 


Bài tập 2 - MongoDB

Cách sử dụng DB lưu trữ dữ liệu hiệu quả

MongoDB + Crawl dữ liệu

MLOps

- Tiền xử lý dữ liệu
- Quy trình đảm bảo chất lượng dũ liệu
- Hoàn thiện pipeline

Tiền xử lý dữ liệu + Hoàn thiện pipeline

<ul><li>Sử dụng các thuật toán training. </li><li>Cài đặt các tham số khởi tạo</li></ul>

Các kỹ thuật training hiệu quả

<ul><li>Giới thiệu CPU </li><li>Tính toán song song trên CPUs </li><li>Nhiều lệnh song song (ILP) </li><li>Một lệnh trên nhiều luồng dữ liệu (SIMD) </li><li>Đa luồng (Multi-thread parallelism) </li><li>Phân tán (Distributed Compute) - Bài tập: Lập trình multi threading.</li></ul>

CPUs

GPUs và TPUs<ul><li>Sự khác biệt giữa CPUs và GPUs (tối ưu cho độ trễ và tối ưu cho băng thông)</li><li>Chi tiết kiến trúc của GPU</li><li>Giới thiệu CUDA</li><li>Lập trình CUDA với C++ </li><li>Song song trên GPUs - Thư viện Numba</li></ul>

GPUs

<ul><li>RAM và cơ chế cache </li><li>Đánh giá hiệu năng truy cập dữ liệu</li></ul>

RAM và cơ chế cache của CPUs

Bài tập lượng tử hóa mô hình.

Cùng lập trình lượng tử hóa mô hình từ đầu

Bài tập 5 - Bài tập lượng tử hóa mô hình

<ul><li>Lượng tử hóa mô hình</li><li>ONNX</li></ul>

Học máy chính xác thấp

<ul><li>Chắt lọc tri thức</li><li>TensorRT</li></ul>

Chắt lọc tri thức + TensorRT

<ul><li>Docker là gì?</li><li>Phân biệt image và container</li><li>Cài đặt Docker</li><li>Xây dựng Docker Image và chạy docker Container</li><li>Docker container</li></ul>

Docker + Cloud

Thực hành <ul><li>Docker và Cloud</li></ul>

Thực hành Docker và Cloud

- Tại sao cần dùng Intriton Inference Server?
- Cách Deploy mô hình ONNX
- Cách Deploy mô hình Pytorch
- Cách Deploy mô hình Tensorflow
- Concurrent Model Execution
- Instance group
- Dynamic Batching
- Stateful vs Stateless Model
- Migrate từ Flask sang Triton Server

 

Triton Inference Server

Đào tạo phân tán

Giới thiệu về ML Orchestration<ul><li>Thiết kế một flow đơn giản</li><li>Airflow</li><li>Hướng dẫn quy trình học máy với Airflow</li></ul>

Orchestration for Machine Learning: Airflow + DVC

Dự án cuối khóa lớp học MLEs 03<ul><li>Project 1 - Triton Inference Server tập trung vào Client</li><li>Project 2 - Triton Inference Server tập trung vào Server</li><li>Project 3 - Deploy Bert với SQUAD model trên Triton Inference Server</li></ul>

TPUs - Số thực dấu phẩy động

1. Đọc một số nghiên cứu

1.1. Danh sách nghiên cứu

2. Slide

2.1. CPUs vs GPUs vs TPUs - v2.pdf

2.2. Floating-point arithmetic.pdf

2.3. Điểm yếu của systolic array

2.4. Chuyển số sau về số thực dấu phẩy động

3. Video

3.1. Video Zoom