• Hướng dẫn làm quen với hệ thống.
• Học máy là gì.

• Concentration inequalities
• Bất đẳng thức Markov
• Bất đẳng thức Chebyshev
• Luật số lớn yếu (Weak Law of Large Numbers)
• Luật số lớn mạnh (Strong Law of Large Numbers)
• Định luật giới hạn trung tâm (Central Limit Theorem - CLT)
• Một số bất đẳng thức khác
• Áp dụng lấy mẫu để tính toán tối ưu cho chi phí rủi ro thực nghiệm (Empirical Risk Minimization)

• Sử dụng các thuật toán training.
• Cài đặt các tham số khởi tạo

PCA

• Giới thiệu CPU
  • Tính toán song song trên CPUs
  • Nhiều lệnh song song (ILP)
  • Một lệnh trên nhiều luồng dữ liệu (SIMD)
  • Đa luồng (Multi-thread parallelism)
  • Phân tán (Distributed Compute)
• Bài tập: Lập trình multi threading.

Giới thiệu

• Webserver
• Restful API
• Flask + AI Model

Tự động hóa Machine Learng Pipeline bao gồm Continuous Integration (CI) để kiểm thử hệ thống và Continous Delivery (CD) để tự động đưa ứng dụng lên production.

• Docker là gì?
• Phân biệt image và container
• Cài đặt Docker
• Xây dựng Docker Image và chạy docker Container
• Docker container

• Cloud Storage: Lưu trữ data lớn + Model lớn
• Load Balancing: Phân luồng Máy chủ
• Compute Engine: Máy chủ
• Instance Group: Tự động scaling máy chủ

• Hiểu rõ khái niệm MLOps
• End-to-End Machine Learning Workflow

GPUs và TPUs

• Sự khác biệt giữa CPUs và GPUs (tối ưu cho độ trễ và tối ưu cho băng thông)
• Giới thiệu CUDA
• Graphic Pipelines
• Demo training trên A100
• Song song trên GPU
• Giới thiệu thư viện PyCUDA
• Lập trình song song với PyCUDA

So sánh GPUs và TPUs

• Điểm mạnh của TPUs so với GPUs
• TPU paper: https://arxiv.org/pdf/1704.04760.pdf
• Turing SM: https://developer.nvidia.com/blog/nvidia-turing-architecture-in-depth/

• Số thực dấu phẩy động
• Lượng tử hóa mô hình

• Chi tiết về HTML/CSS
• Xử lý text từ website
• Build Text Dataset

Bên cạnh lượng tử hóa chúng ta sẽ đề cập đến

• Tỉa mô hình
• Nén mô hình với Huffman Coding
• Phân cụm tham số
• Trắt lọc chi thức

• Multi-GPUs Training
• ONNX