List of topics
Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên
Ôn tập Tokenizer + Thực hành HuggingFace
Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ
Ôn tập Transformer
[Xem thêm] Mô hình Bert
Demo Day Pretrained + Finetune LLMs
Họ model GPT - Fintune LLMs cho đa nhiệm bài toán
Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ
Kỹ thuật training ưu tiên - RLHF
Kỹ thuật training ưu tiên - DPO
Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT + Chữa bài tập
Chữa bài tập + Chuyên lượng tử hóa mô hình + Định dạng cho mô hình ngôn ngữ
Họ model LLAMA
Mô hình hóa đào tạo chuỗi tới chuỗi (Text - to - text models)
Họ mô hình DeepSeek
Multimodal
Dự án cuối khóa - 3 buổi
Agents và các bài toán liên quan
Các kỹ thuật Deployment mô hình ngôn ngữ

Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT + Chữa bài tập

  • Parameter-Efficient Fine-Tuning - PEFT

  • LORA

  • Lượng tử hóa mô hình

  • Chắt lọc tri thức mô hình

  • Tỉa tham số

  • Thực hành thư viện Unsolth

1. Nội dung

1.1. Đánh giá mô hình ngôn ngữ

1.2. Slide Parameter-Efficient Fine-Tuning - PEFT

1.3. Flash Attention

Cơ chế

Lập trình

Team thực hiện Benchmark Multiheaded Attention thường của Transformer và FlashAttention để tối ưu truy cập memory của GPU.

Kết quả sau 1000 lần thực hiện thì FlashAttention nhanh hơn khoảng gấp rưỡi so với Attention thông thường.

BenchMark này được thực hiện trên GPU T4 Google Colab.

P/S: trong Pytorch hàm scaled_dot_product_attention đã sử dụng Attention.

Notebook và kết quả: https://colab.research.google.com/drive/1-HjN3McMS_boMyBZFAt1TP7NLoRUd346?usp=sharing

1.4. Thực hành

Fine tune mô hình ngôn ngữ chất lượng thấp

https://colab.research.google.com/drive/1oumKQcX9mqjGUm_j6b9W1BGVXFJ4Y6NI?usp=sharing

Adapter Injection

https://huggingface.co/docs/peft/en/developer_guides/low_level_api

2. Các thuật toán tối ưu khác

2.1. Slide lượng tử hóa

2.2. Chắc lọc tri thức

2.3. Tỉa nén mô hình

2.4. Số thực dấu phẩy động

2.5. Notebook Distillation

Click to view more

3. Video

3.1. [LLMs-01] Zoom 08-03-2025

1. Nội dung
1.1. Đánh giá mô hình ngôn ngữ
1.2. Slide Parameter-Efficient Fine-Tuning - PEFT
1.3. Flash Attention
1.4. Thực hành
2. Các thuật toán tối ưu khác
2.1. Slide lượng tử hóa
2.2. Chắc lọc tri thức
2.3. Tỉa nén mô hình
2.4. Số thực dấu phẩy động
2.5. Notebook Distillation
3. Video
3.1. [LLMs-01] Zoom 08-03-2025