<img style="max-width: 100%; height: auto;" src="https://storage.googleapis.com/mle-courses-prod/users/61b6fa1ba83a7e37c8309756/private-files/7a34dfb0-7236-11ee-94e8-253f843704ce-mles 04 banner.png" width="800" height="296" isdraggable="true"><h2>Lớp học MLEs 04 - Xây dựng hệ thống học máy lớn.</h2>Với việc các mô hình AI được đóng gói và training nhanh như hiện nay thì kỹ năng tối ưu và triển khai trên sản phẩm sẽ tiếp tục được săn đón trong năm 2023.Sở hữu kỹ năng này bạn chắc chắn sẽ vượt trội hơn các ứng viên khác cho vị trí kỹ sư học máy (Machine Learning Engineer).Các công nghệ triển khai mô hình AI mới nhất bao gồm<ul><li>TensorRT</li><li>ONNX</li><li>Triton Inference Server</li><li>Google Cloud/AWS</li><li>Đào tạo phân tán</li></ul>Hình thức học: Qua Video + Chat qua DiscordLớp học tập trung vào 3 nguyên tắc để triển khai mô hình AI trên sản phẩm thực tế<ul><li>Nguyên tắc 1: Sử dụng kỹ thuật lấy mẫu con (Sub Sampling) hiệu quả</li><li>Nguyên tắc 2: Sử dụng các mô hình/kỹ thuật tiên tiến</li><li>Nguyên tắc 3: Sử dụng tối đa năng lực tính toán của phần cứng Toàn bộ nội dung <a target="_blank" rel="noopener noreferrer nofollow" href="https://docs.google.com/document/d/1fHfQHihlvZjSK4101MXHU3horSoLekXAP8GGPzwFkhU/edit?usp=sharing">tại đây</a></li></ul>Nâng cấp mới: Deploy và tối ưu mô hình trên các thiết bị phần cứng khác nhau:<ul><li>Jetson Nano</li></ul><img style="max-width: 100%; height: auto;" src="https://storage.googleapis.com/mle-courses-prod/users/61b6fa1ba83a7e37c8309756/private-files/7e9a8d90-6a50-11ee-a9ae-9df1b5f74cea-1.png" width="300" height="400" isdraggable="true"><ul><li>Jetson Orin</li></ul><img style="max-width: 100%; height: auto;" src="https://storage.googleapis.com/mle-courses-prod/users/61b6fa1ba83a7e37c8309756/private-files/8153ba20-6a50-11ee-a9ae-9df1b5f74cea-2.png" width="300" height="400" isdraggable="true">Giảng viên: Bá Ngọc - Founder @ ProtonX.Truyền thông nói về giảng viên:<ul><li><a target="_blank" rel="noopener noreferrer nofollow" href="https://developers.google.com/community/experts/directory/profile/profile-ngoc-ba">ML Experts</a></li><li><a target="_blank" rel="noopener noreferrer nofollow" href="https://developers.googleblog.com/2021/11/machine-learning-communities-q3-21.html?fbclid=IwAR3F-fKbsLy4IpFp4EC53u-S_o8pT3dXBpYiaInb7Rw4VxwQmfZjEeid3S4">Tensorflow Page</a></li><li><a target="_blank" rel="noopener noreferrer nofollow" href="https://vnexpress.net/vi-sao-chatbot-ai-phan-hoi-ky-cuc-4572282.html">VnExpress</a></li><li><a target="_blank" rel="noopener noreferrer nofollow" href="https://dantri.com.vn/suc-manh-so/tri-tue-nhan-tao-bao-ve-hay-buc-tu-loai-nguoi-20230309154429357.htm">Dantri</a></li><li><a target="_blank" rel="noopener noreferrer nofollow" href="https://medium.com/google-developer-experts/google-developers-experts-transforming-global-machine-learning-communities-a2537236cdd4">Expert Blog</a><hr><h2>Profile giảng viên</h2><hr></li><li>Năm 2019, Anh Ngọc được Google công nhận là chuyên gia học máy đầu tiên tại Việt Nam và thứ 66 trên toàn thế giới.</li><li>Trong năm 2020 và 2021, anh Ngọc đã đào tạo hơn 120 lập trình viên thi đỗ chứng chỉ Tensorflow và đưa Việt Nam vào top 4 quốc gia có số lượng người thi đỗ nhiều nhất cùng với Mỹ, Ấn Độ và Hàn Quốc.</li><li>Năm 2022, Ngọc thành lập ProtonX - công ty trí tuệ nhân tạo của mình, với sứ mệnh ứng dụng AI để giải quyết các vấn đề quan trọng của xã hội. Vào tháng 8 năm 2022, ProtonX đã tiên phong ra mắt bộ gõ thông minh - <a target="_blank" rel="noopener noreferrer nofollow" href="https://bluestudio.ai/">Studio.</a>, giúp người dùng soạn một tài liệu chỉ với một câu ý tưởng. Studio đã tạo ra nửa tỷ từ tiếng Việt trong hai ngày đầu tiên ra mắt và “lên top thịnh hành” trong cộng đồng marketing và nhân sự.</li><li>Cũng trong năm đó, ProtonX được Amazon vinh danh là một trong những công ty công nghệ giáo dục (Edtech) sáng tạo nhất khu vực Châu Á - Thái Bình Dương.</li><li>Đầu năm 2023, ProtonX dành chiến thắng cuộc thi Sharktank - Pitch Contest của Amazon Web Service Edtech Accelerator. Đây là bệ phóng rất uy tín đã hỗ trợ rất nhiều các công ty thành công như Elsa, Royelles, CloudLabs.</li></ul>Đầu vào: Đã có kiến thức nền về học máy và học sâu. Kiểm tra kiến thức của mình qua hai bài kiểm tra ở đây:<ul><li>Bài 1: <a target="_blank" rel="noopener noreferrer nofollow" href="https://protonx.io/ai-challenges/6375bd8b8d784b00191a1147">Toán cơ bản + lập trình</a></li><li>Bài 2: <a target="_blank" rel="noopener noreferrer nofollow" href="https://protonx.io/ai-challenges/636f1507bc3e14001a18df23">Học máy cơ bản</a></li></ul>Đầu ra: Bạn có thể tự xây dựng được một pipeline triển khai model trên server vật lý, scale hệ thống này để phục vụ nhiều người dùng. Bạn cần vượt qua 60% hai bài kiểm tra này.Cách thức trao đổi với giảng viên:<ul><li>Trao đổi trực tiếp qua Slack</li><li>Trao đổi trực tiếp trên trang <a target="_blank" rel="noopener noreferrer nofollow" href="http://protonx.io">protonx.io</a></li></ul>Dự án cuối khóa:<ul><li>Tối ưu được mô hình lớn</li><li>Deploy được bằng Triton Inference Server và Phục vụ trên Cloud - (có khả năng nhân rộng và cân bằng tải)<img style="max-width: 100%; height: auto;" src="https://storage.googleapis.com/mle-courses-prod/users/61b6fa1ba83a7e37c8309756/private-files/1c85f810-64c9-11ee-a2d6-156113e6d276-mles intro.png" width="600" height="464" isdraggable="true"></li></ul>

Yêu cầu đầu vào:
- Có nền tảng về học máy
- Đã biết lập trình các mô hình phổ biến



Đầu vào của lớp học MLEs

Project lớp học sẽ được hướng dẫn trực tiếp offline tại ProtonX. 

Nội dung
- Tối ưu hóa mô hình phức tạp
- Triển khai mô hình trên sản phẩm thực tế

<style>img{max-width: 100%;height: auto;}</style>

<img src='https://storage.googleapis.com/mle-courses-prod/users/61b6fa1ba83a7e37c8309756/private-files/d513d540-788e-11ee-949a-b561a9297892-MLEs%2004.png' width=1000>

Project của lớp học MLEs

Scale Machine Learning System - Nhân rộng hệ thống học máy (Video)

ProtonX

Với gói đăng ký này, học viên sẽ được: <ul><li>Học trực tuyến qua Zoom </li><li>Bài giảng Zoom được tải ngay sau khi lớp học kết thúc </li><li>Có các video được tải lên trước để chuẩn bị trước lớp học tốt hơn. </li></ul>Về làm bài tập: <ul><li>Học viên luyện bài tập qua hệ thống của ProtonX Thời lượng sử dụng: </li><li>7 tháng từ khi lớp học được khai giảng, đây là thời lượng để xem lại video và làm các bài tập tương tác trực tuyến. </li><li>Sau khi kết thúc 7 tháng, bạn có thể gia hạn với chi phí thấp <a target="_blank" rel="noopener noreferrer nofollow" href="https://docs.google.com/presentation/d/1DXQ8p-NSarmGGYqMRnua-7pf3o5Jq_WpYrk8fKIBYy8/edit?usp=sharing">tại đây</a></li></ul>

Dành cho học viên học trực tuyến qua Zoom

Pro - 7 tháng

Với gói đăng ký này, học viên sẽ được:<ul><li>Có các video ngắn chuẩn bị trước</li><li>Bài giảng video record Zoom đầy đủ</li><li>Các câu quiz làm trực tuyến</li></ul>Về làm bài tập:<ul><li>Học viên luyện bài tập qua hệ thống của ProtonX Thời lượng sử dụng:</li><li>12 tháng từ khi lớp học được khai giảng, đây là thời lượng để xem lại video và làm các bài tập tương tác trực tuyến.</li><li>Sau khi kết thúc 12 tháng, bạn có thể gia hạn với chi phí thấp <a target="_blank" rel="noopener noreferrer nofollow" href="https://docs.google.com/presentation/d/1DXQ8p-NSarmGGYqMRnua-7pf3o5Jq_WpYrk8fKIBYy8/edit?usp=sharing">tại đây</a></li></ul>

Dành cho học viên học trực tuyến qua Zoom

Gói xem video + làm bài tập trực tuyến + Chat với giảng viên

Giới thiệu học giám sát, không giám sát và học tăng cường.




Giới thiệu học máy/học sâu

<ul><li>Giới thiệu bài toán Grab</li><li>Quá trình xây dựng một mô hình</li><li>Mô hình hồi quy tuyến tính</li><li>Thuật toán Gradient Descent</li><li>Lập trình hồi quy tuyến tính một biến</li></ul>

Mô hình hồi quy tuyến tính

Khai giảng

MLOps

<ol><li>Thư viện Tensorflow với bài toán phân loại hình ảnh </li><li>Thực hành thư viện Pytorch</li><li>Thư viện HuggingFace với bài toán phân loại văn bản</li></ol>

Pytorch + Tensorflow + HuggingFace

Cách sử dụng DB lưu trữ dữ liệu hiệu quả

MongoDB + Crawl dữ liệu

<ul><li>Giới thiệu CPU </li><li>Tính toán song song trên CPUs </li><li>Nhiều lệnh song song (ILP) </li><li>Một lệnh trên nhiều luồng dữ liệu (SIMD) </li><li>Đa luồng (Multi-thread parallelism) </li><li>Phân tán (Distributed Compute) - Bài tập: Lập trình multi threading.</li></ul>

CPUs

GPUs và TPUs<ul><li>Sự khác biệt giữa CPUs và GPUs (tối ưu cho độ trễ và tối ưu cho băng thông)</li><li>Chi tiết kiến trúc của GPU</li><li>Giới thiệu CUDA</li><li>Lập trình CUDA với C++ </li><li>Song song trên GPUs - Thư viện Numba</li></ul>

GPUs

<ul><li>Bàn về các phiên bản của TPUs</li><li>Tham số đo quan trọng đo lường tốc độ phần cứng</li><li>TPUs</li><li>Số thực dấu phẩy động</li></ul>

TPUs - Số thực dấu phẩy động

<ul><li>Lượng tử hóa mô hình</li><li>ONNX</li></ul>

Học máy chính xác thấp

<ul><li>Chắt lọc tri thức</li><li>TensorRT</li></ul>

Chắt lọc tri thức + TensorRT

<ul><li>Docker là gì?</li><li>Phân biệt image và container</li><li>Cài đặt Docker</li><li>Xây dựng Docker Image và chạy docker Container</li><li>Docker container</li></ul>

Docker + Cloud

- Tại sao cần dùng Intriton Inference Server?- Cách Deploy mô hình ONNX- Cách Deploy mô hình Pytorch- Cách Deploy mô hình Tensorflow- Concurrent Model Execution- Instance group- Dynamic Batching- Stateful vs Stateless Model- Migrate từ Flask sang Triton Server

Triton Inference Server - Phần 1

<ul><li>Ôn tập deploy trên GG Cloud</li><li>Ôn tập deploy tên AWS</li></ul>

Triton Inference Server - Phần 2 

Tự động hóa Machine Learng Pipeline bao gồm Continuous Integration (CI) để kiểm thử hệ thống và Continous Delivery (CD) để tự động đưa ứng dụng lên production.

Machine Learning CI/CD

Trong bài này chúng ta sẽ nâng cấp Distillation thông qua việc train cả mô hình teacher và Student.

Bài tập cuối khóa - Distillation

Project - Thực hành chắt lọc tri thức

<ul><li>Đào tạo phân tán với Pytorch</li><li>Đào tạo phân tán với Keras</li></ul>

Đào tạo phân tán

Deploy mô hình trên Jetson Nano

Deploy mô hình trên Jetson Nano

Dự án cuối khóa

Lớp học thử cho lớp học chính thức: [MLEs - Scale ML System 03](https://protonx.io/courses/6471d348220a44001aa0d734) sẽ diễn ra vào ngày **20/07/2023**

Lớp học thử này giúp bạn làm quen với hai chủ đề quan trọng bạn cần nắm được khi học cách triển khai mô hình:
- MLOps và các khái niệm liên quan
- Deploy AI Model bằng Docker
- Các phép tối ưu hóa mô hình
- Chắt lọc tri thức
- Đào tạo phân tán trên nhiều máy


Học thử Scale Machine Learning System