Lớp học MLE - Xây dựng hệ thống học máy lớn.

**Khai giảng**: 22/08/2022

Toàn bộ nội dung [tại đây](https://docs.google.com/document/d/196zlgnRrnjsIsg4aJxTSrB-kaSlolpHDGN-avbyk8Fg/edit?usp=sharing).

Giảm **10%** cho nhóm đăng ký 2 người.

Blog tham khảo: [https://scale-ml.github.io/](https://scale-ml.github.io)

Đội ngũ giảng dạy: [ProtonX Engineering Team](https://scale-ml.github.io/blog/Authors) 


MLEs - Scale ML System

ProtonX

Với gói đăng ký này, học viên sẽ được
- Xem video bài giảng
- Tham gia hỏi đáp với giảng viên qua Zoom.  (Điểm khác biệt với gói **Essentials**)

Về làm bài tập:
- Học viên luyện bài tập qua hệ thống của ProtonX

Dành cho học viên muốn tương tác trực tiếp với giảng viên qua Zoom

Với gói này, học viên có thể xem lại video bao gồm:
- Video các bài  học
- Video chữa bài qua Zoom được ghi lại (Điểm khác biệt với gói **Pro**)

Về làm bài tập:
- Học viên luyện bài tập qua hệ thống của ProtonX


Dành cho người bận rộn, xem video và làm bài tập mọi lúc mọi nơi

Essentials

Lượng tử hóa mô hình hậu training - Post-training quantization

1. Bài tập ôn tập Pytorch

2. Bài tập luyện tập HuggingFace

5. Bài tập Restful API

Khai giảng

- Hướng dẫn làm quen với hệ thống.
- Học máy là gì. 



Ôn tập Học máy

Mô hình hồi quy tuyến tính + Thuật toán Gradient Descent

Ôn tập mô hình AI

Pytorch và Hugging Face

- Concentration inequalities
- Bất đẳng thức Markov
- Bất đẳng thức Chebyshev
- Luật số lớn yếu (Weak Law of Large Numbers)
- Luật số lớn mạnh (Strong Law of Large Numbers)
- Định luật giới hạn trung tâm (Central Limit Theorem - CLT)
- Một số bất đẳng thức khác
- Áp dụng lấy mẫu để tính toán tối ưu cho chi phí rủi ro thực nghiệm (Empirical Risk Minimization)


Kỹ thuật lấy mẫu con (Subsampling) (Nguyên tắc 1)

# Yêu cầu

### 1. Làm sạch dữ liệu

Đọc các phần tử trong file `sample.json`

Trường `message` của các phần tử sẽ được làm sạch bằng cách xoá tất cả link website có thể có. Ví dụ 

```
MUA NGAY: https://cellphones.com.vn/xiaomi-redmi-note-11-pro.html?utm_source=social&utm_medium=fanpage&utm_campaign=/xiaomi-redmi-note-11-pro.html\n.\n☀
```

Sẽ chỉ được làm sạch còn

```
MUA NGAY: \n.\n☀
```


### 2. Thêm dữ liệu vào database
Tạo database có tên là `raw_data` và thêm các dữ liệu này vào collection `sample`.

Các phần tử được thêm vào colection dưới dạng

```
{
    "_id":
    "id":
    "message":
}
```

### 3. Nộp bài
- Nén project này thành zip và gửi lên hệ thống ProtonX
- Gửi đường dẫn truy cập vào mongoDB của bạn để team ProtonX chạy test chấm bài. Chú ý mở truy cập vào database ở IP: 0.0.0.0/0



3. Bài tập MongoDB

Làm việc và lưu trữ, theo dõi dữ liệu

- Sử dụng các thuật toán training.
- Cài đặt các tham số khởi tạo


Các kỹ thuật training hiệu quả 1 (Nguyên tắc 2)

Lưu trữ dữ liệu với Cloud Storage và tự động hóa quá trình training

Giảm chiều dữ liệu

4. Bài tập Pytorch - PCA

PCA - Principal Component Analysis

Một số phương pháp để cải thiện training

- Giới thiệu CPU
  - Tính toán song song trên CPUs
  - Nhiều lệnh song song (ILP)
  - Một lệnh trên nhiều luồng dữ liệu (SIMD)
  - Đa luồng (Multi-thread parallelism)
  - Phân tán (Distributed Compute)
- Bài tập: Lập trình multi threading.


CPUs

Đồng bộ và bất đồng bộ

Bài tập ôn tập Pytorch - Solution

Bài tập MongoDB - Solution

Bài tập luyện tập HuggingFace - Solution

Thực hành deploy pipeline lên VPS 

RAM và cơ chế cache của CPUs

Giới thiệu 
- Webserver
- Restful API
- Flask + AI Model

Flask - Restful API

Tự động hóa Machine Learng Pipeline bao gồm Continuous Integration (CI) để kiểm thử hệ thống và Continous Delivery (CD) để tự động đưa ứng dụng lên production.

Machine Learning CI/CD

- Docker là gì?
- Phân biệt image và container
- Cài đặt Docker
- Xây dựng Docker Image và chạy docker Container
- Docker container

Deploy AI Model bằng Docker

- Cloud Storage: Lưu trữ data lớn + Model lớn
- Load Balancing: Phân luồng Máy chủ
- Compute Engine: Máy chủ
- Instance Group: Tự động scaling máy chủ


Scaling ML Model với Google Cloud

- Hiểu rõ khái niệm MLOps
- End-to-End Machine Learning Workflow

MLOps

**GPUs và TPUs**
- Sự khác biệt giữa CPUs và GPUs (tối ưu cho độ trễ và tối ưu cho băng thông)
- Giới thiệu CUDA
- Graphic Pipelines
- Demo training trên A100
- Song song trên GPU	
- Giới thiệu thư viện PyCUDA
- Lập trình song song với PyCUDA

**So sánh GPUs và TPUs**
- Điểm mạnh của TPUs so với GPUs
- TPU paper: https://arxiv.org/pdf/1704.04760.pdf
- Turing SM: https://developer.nvidia.com/blog/nvidia-turing-architecture-in-depth/



GPUs vs TPUs

- Số thực dấu phẩy động
- Lượng tử hóa mô hình

Học máy chính xác thấp

- Chi tiết về HTML/CSS
- Xử lý text từ website
- Build Text Dataset

Xây dựng Crawler Web và xây dựng Text Dataset

Vui lòng đọc kỹ hướng dẫn từng mục.

6. Bài tập phân cụm tham số

Bên cạnh lượng tử hóa chúng ta sẽ đề cập đến
- Tỉa mô hình
- Nén mô hình với Huffman Coding
- Phân cụm tham số
- Trắt lọc chi thức

#	Topic
1	Khai giảng No content
2	Ôn tập Học máy Hướng dẫn làm quen với hệ thống. Học máy là gì.
3	Mô hình hồi quy tuyến tính + Thuật toán Gradient Descent No content
4	Ôn tập mô hình AI No content
5	Pytorch và Hugging Face No content
6	Kỹ thuật lấy mẫu con (Subsampling) (Nguyên tắc 1) Concentration inequalities Bất đẳng thức Markov Bất đẳng thức Chebyshev Luật số lớn yếu (Weak Law of Large Numbers) Luật số lớn mạnh (Strong Law of Large Numbers) Định luật giới hạn trung tâm (Central Limit Theorem - CLT) Một số bất đẳng thức khác Áp dụng lấy mẫu để tính toán tối ưu cho chi phí rủi ro thực nghiệm (Empirical Risk Minimization)
7	Làm việc và lưu trữ, theo dõi dữ liệu No content
8	Các kỹ thuật training hiệu quả 1 (Nguyên tắc 2) Sử dụng các thuật toán training. Cài đặt các tham số khởi tạo
9	Lưu trữ dữ liệu với Cloud Storage và tự động hóa quá trình training No content
10	Giảm chiều dữ liệu No content
11	PCA - Principal Component Analysis PCA
12	Một số phương pháp để cải thiện training No content
13	CPUs Giới thiệu CPU Tính toán song song trên CPUs Nhiều lệnh song song (ILP) Một lệnh trên nhiều luồng dữ liệu (SIMD) Đa luồng (Multi-thread parallelism) Phân tán (Distributed Compute) Bài tập: Lập trình multi threading.
14	Đồng bộ và bất đồng bộ No content
15	Thực hành deploy pipeline lên VPS No content
16	RAM và cơ chế cache của CPUs No content
17	Flask - Restful API Giới thiệu Webserver Restful API Flask + AI Model
18	Machine Learning CI/CD Tự động hóa Machine Learng Pipeline bao gồm Continuous Integration (CI) để kiểm thử hệ thống và Continous Delivery (CD) để tự động đưa ứng dụng lên production.
19	Deploy AI Model bằng Docker Docker là gì? Phân biệt image và container Cài đặt Docker Xây dựng Docker Image và chạy docker Container Docker container
20	Scaling ML Model với Google Cloud Cloud Storage: Lưu trữ data lớn + Model lớn Load Balancing: Phân luồng Máy chủ Compute Engine: Máy chủ Instance Group: Tự động scaling máy chủ
21	MLOps Hiểu rõ khái niệm MLOps End-to-End Machine Learning Workflow
22	GPUs vs TPUs GPUs và TPUs Sự khác biệt giữa CPUs và GPUs (tối ưu cho độ trễ và tối ưu cho băng thông) Giới thiệu CUDA Graphic Pipelines Demo training trên A100 Song song trên GPU Giới thiệu thư viện PyCUDA Lập trình song song với PyCUDA So sánh GPUs và TPUs Điểm mạnh của TPUs so với GPUs TPU paper: https://arxiv.org/pdf/1704.04760.pdf Turing SM: https://developer.nvidia.com/blog/nvidia-turing-architecture-in-depth/
23	Học máy chính xác thấp Số thực dấu phẩy động Lượng tử hóa mô hình
24	Xây dựng Crawler Web và xây dựng Text Dataset Chi tiết về HTML/CSS Xử lý text từ website Build Text Dataset
25	Tối ưu hóa mô hình Bên cạnh lượng tử hóa chúng ta sẽ đề cập đến Tỉa mô hình Nén mô hình với Huffman Coding Phân cụm tham số Trắt lọc chi thức
26	Distributed Training và ONNX Multi-GPUs Training ONNX
27	Làm Project Chung No content