- Lập trình viên AI đã biết cách xây dựng mô hình nhưng còn khó khăn trong việc triển khai mô hình trên sản phẩm thực tế
- Lập trình viên AI còn thiếu kiến thức về nền tảng khoa học máy tính như CPUs/GPUs/TPUs, lập trình song song, đào tạo phân tán
- Lập trình viên AI quan tâm tới các kỹ thuật tối ưu mô hình mới nhất như Lượng tử hóa mô hình, chắt lọc tri thức.
- Lập trình viên AI muốn tìm hiểu các công nghệ mới nhất về triển khai mô hình như Triton Inference Server hay TensorRT.

Đối tượng lớp học MLEs

Yêu cầu đầu vào:
- Có nền tảng về học máy
- Đã biết lập trình các mô hình phổ biến



Đầu vào của lớp học MLEs

Lớp học được giảng dạy một buổi/tuần qua Zoom vào tối thứ 5 hàng tuần.
- Video của lớp học sẽ được ghi lại và đăng tải ngay sau khi lớp học kết thúc

Hình thức học của lớp học này như thế nào

Bạn có thể trao đổi với giảng viên qua 3 cách sau:
- Trao đổi trực tiếp qua Zoom khi học
- Trao đổi qua [Slack](https://slack.com/) trong suốt khóa học
- Trao đổi trực tiếp qua kênh chat trên trang chủ https://protonx.coursemind.io/

Cách thức trao đổi với giảng viên

MLEs - Scale ML System 03

ProtonX

Với gói đăng ký này, học viên sẽ được:
- Học trực tuyến qua Zoom
- Bài giảng Zoom được tải ngay sau khi lớp học kết thúc
- Có các video được tải lên trước để chuẩn bị trước lớp học tốt hơn.

Về làm bài tập:
- Học viên luyện bài tập qua hệ thống của ProtonX

Thời lượng sử dụng:
- 7 tháng từ khi lớp học được khai giảng, đây là thời lượng để xem lại video và làm các bài tập tương tác trực tuyến.
- Sau khi kết thúc 7 tháng, bạn có thể gia hạn với chi phí thấp [tại đây](https://docs.google.com/presentation/d/1DXQ8p-NSarmGGYqMRnua-7pf3o5Jq_WpYrk8fKIBYy8/edit?usp=sharing)

Dành cho học viên học trực tuyến qua Zoom

Pro - 7 tháng

Với gói đăng ký này, học viên sẽ được:
- Xem Video ghi lại bài giảng Zoom được tải ngay sau khi lớp học kết thúc
- Có các video được tải lên trước để chuẩn bị trước lớp học tốt hơn.

Về làm bài tập:
- Học viên luyện bài tập qua hệ thống của ProtonX

Thời lượng sử dụng:
- 7 tháng từ khi lớp học được khai giảng, đây là thời lượng để xem lại video và làm các bài tập tương tác trực tuyến.
- Sau khi kết thúc 7 tháng, bạn có thể gia hạn với chi phí thấp [tại đây](https://docs.google.com/presentation/d/1DXQ8p-NSarmGGYqMRnua-7pf3o5Jq_WpYrk8fKIBYy8/edit?usp=sharing)

Essentials 7 tháng

Trong bài tập này chúng ta sẽ học cách lập trình process, cách truy cập chung dữ liệu giữa các process.




Bài tập 3 - Thực hành lập trình Process

- Hướng dẫn làm quen với hệ thống. - Học máy là gì.

Ôn tập Học máy

  * Giới thiệu bài toán Grab
  * Quá trình xây dựng một mô hình
  * Mô hình hồi quy tuyến tính
  * Thuật toán Gradient Descent
  * Lập trình hồi quy tuyến tính một biến
 



Mô hình hồi quy tuyến tính

Khai giảng lớp học

# Bài tập lập trình: Thử nghiệm các mô hình phân loại cảm xúc văn bản
```
ProtonX - MLEs Class
```

### Hướng dẫn làm bài
- Trong bài tập này bạn sẽ sử dụng Python 3.
- Sau khi bạn viết Code của mình xong, hãy chạy dòng Code đó để xem kết quả bên dưới.

### [Quan trọng] Chú ý
- **Không sử dụng hàm `input()` tại bất kỳ dòng lệnh nào**


Các bạn sẽ thực hiện `code` trong các phần hiển thị `#TODO: Lập trình tại đây` và thay thế các vị trí `None`. Có những câu hỏi chỉ cần trả về đáp án.

Sau khi viết xong Code của bạn, bạn hãy ấn "SHIFT"+"ENTER" để thực hiện chạy lệnh của Cell đó.

---
Điểm số:
* 10 điểm / Câu
* Câu cuối 20 điểm

Tiêu chí chấm điểm:
* Các bài tập sẽ được chấm dựa trên các Test-case.


Bài tập 1 - Lập trình HuggingFace

- Thư viện Tensorflow với bài toán phân loại hình ảnh
- Thư viện HuggingFace với bài toán phân loại văn bản

Pytorch + Tensorflow + HuggingFace

# Yêu cầu

### 1. Làm sạch dữ liệu

Đọc các phần tử trong file `sample.json`

Trường `message` của các phần tử sẽ được làm sạch bằng cách xoá tất cả link website có thể có. Ví dụ 

```
MUA NGAY: https://cellphones.com.vn/xiaomi-redmi-note-11-pro.html?utm_source=social&utm_medium=fanpage&utm_campaign=/xiaomi-redmi-note-11-pro.html\n.\n☀
```

Sẽ chỉ được làm sạch còn

```
MUA NGAY: \n.\n☀
```


### 2. Thêm dữ liệu vào database
Tạo database có tên là `raw_data` và thêm các dữ liệu này vào collection `sample`.

Các phần tử được thêm vào colection dưới dạng

```
{
    "_id":
    "id":
    "message":
}
```

### 3. Nộp bài
- Nén project này thành zip và gửi lên hệ thống ProtonX
- Gửi đường dẫn truy cập vào mongoDB của bạn để team ProtonX chạy test chấm bài. Chú ý mở truy cập vào database ở IP: 0.0.0.0/0


Đọc thêm về tiền xử lý dữ liệu văn bản [tại đây](https://web.stanford.edu/~jurafsky/slp3/2.pdf) 


Bài tập 2 - MongoDB

Cách sử dụng DB lưu trữ dữ liệu hiệu quả

MongoDB + Crawl dữ liệu

MLOps

- Tiền xử lý dữ liệu
- Quy trình đảm bảo chất lượng dũ liệu
- Hoàn thiện pipeline

Tiền xử lý dữ liệu + Hoàn thiện pipeline

<ul><li>Sử dụng các thuật toán training. </li><li>Cài đặt các tham số khởi tạo</li></ul>

Các kỹ thuật training hiệu quả

<ul><li>Giới thiệu CPU </li><li>Tính toán song song trên CPUs </li><li>Nhiều lệnh song song (ILP) </li><li>Một lệnh trên nhiều luồng dữ liệu (SIMD) </li><li>Đa luồng (Multi-thread parallelism) </li><li>Phân tán (Distributed Compute) - Bài tập: Lập trình multi threading.</li></ul>

CPUs

GPUs và TPUs<ul><li>Sự khác biệt giữa CPUs và GPUs (tối ưu cho độ trễ và tối ưu cho băng thông)</li><li>Chi tiết kiến trúc của GPU</li><li>Giới thiệu CUDA</li><li>Lập trình CUDA với C++ </li><li>Song song trên GPUs - Thư viện Numba</li></ul>

GPUs

<ul><li>RAM và cơ chế cache </li><li>Đánh giá hiệu năng truy cập dữ liệu</li></ul>

RAM và cơ chế cache của CPUs

<ul><li>Bàn về các phiên bản của TPUs</li><li>Tham số đo quan trọng đo lường tốc độ phần cứng</li><li>TPUs</li><li>Số thực dấu phẩy động</li></ul>

TPUs - Số thực dấu phẩy động

Bài tập lượng tử hóa mô hình.

Cùng lập trình lượng tử hóa mô hình từ đầu

Bài tập 5 - Bài tập lượng tử hóa mô hình

<ul><li>Lượng tử hóa mô hình</li><li>ONNX</li></ul>

Học máy chính xác thấp

<ul><li>Chắt lọc tri thức</li><li>TensorRT</li></ul>

Chắt lọc tri thức + TensorRT

<ul><li>Docker là gì?</li><li>Phân biệt image và container</li><li>Cài đặt Docker</li><li>Xây dựng Docker Image và chạy docker Container</li><li>Docker container</li></ul>

Docker + Cloud

Thực hành <ul><li>Docker và Cloud</li></ul>

Thực hành Docker và Cloud

- Tại sao cần dùng Intriton Inference Server?
- Cách Deploy mô hình ONNX
- Cách Deploy mô hình Pytorch
- Cách Deploy mô hình Tensorflow
- Concurrent Model Execution
- Instance group
- Dynamic Batching
- Stateful vs Stateless Model
- Migrate từ Flask sang Triton Server

 

Triton Inference Server

Đào tạo phân tán

Giới thiệu về ML Orchestration<ul><li>Thiết kế một flow đơn giản</li><li>Airflow</li><li>Hướng dẫn quy trình học máy với Airflow</li></ul>

Orchestration for Machine Learning: Airflow + DVC

Dự án cuối khóa lớp học MLEs 03<ul><li>Project 1 - Triton Inference Server tập trung vào Client</li><li>Project 2 - Triton Inference Server tập trung vào Server</li><li>Project 3 - Deploy Bert với SQUAD model trên Triton Inference Server</li></ul>

Làm project cuối khóa

Lớp học thử cho lớp học chính thức: [MLEs - Scale ML System 03](https://protonx.io/courses/6471d348220a44001aa0d734) sẽ diễn ra vào ngày **20/07/2023**

Lớp học thử này giúp bạn làm quen với hai chủ đề quan trọng bạn cần nắm được khi học cách triển khai mô hình:
- MLOps và các khái niệm liên quan
- Deploy AI Model bằng Docker
- Các phép tối ưu hóa mô hình
- Chắt lọc tri thức
- Đào tạo phân tán trên nhiều máy


Học thử Scale Machine Learning System