List of topics
Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên
Ôn tập Tokenizer + Thực hành HuggingFace
Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ
Ôn tập Transformer
[Xem thêm] Mô hình Bert
[Zoom 07-02-2025] Demo Day Pretrained + Finetune LLMs
[Zoom 07-02-2025] Họ model GPT - Fintune LLMs cho đa nhiệm bài toán
[Zoom 14-02-2025] Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ
[Zoom 21-02-2025] Kỹ thuật training ưu tiên - RLHF
[Zoom 28-02-2025] Kỹ thuật training ưu tiên - DPO
[Zoom 07-03-2025] Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT + Chữa bài tập
[Zoom 14-3-2025] Chữa bài tập + Chuyên lượng tử hóa mô hình + Định dạng cho mô hình ngôn ngữ
[Zoom 21 + 28-03-2025] Họ model LLAMA
[Zoom 04-04-2025] Mô hình hóa đào tạo chuỗi tới chuỗi (Text - to - text models)
[Zoom 11/18-04-2025] Họ mô hình DeepSeek
[Zoom 25-04-2025] Multimodal
Dự án cuối khóa - 3 buổi
Agents và các bài toán liên quan
Các kỹ thuật Deployment mô hình ngôn ngữ

[Zoom 21-02-2025] Kỹ thuật training ưu tiên - RLHF

  • Kỹ thuật RLHF

  • Kỹ thuật DPO

1. Các kỹ thuật training

1.1. Slide Instruction Finetune + DPO + RLHF

1.2. Thực hành

  1. [Thực hành trên lớp] Sinh kết quả ưu tiên Tiếng Việt

https://colab.research.google.com/drive/1hOqehF7cDLDXN-6jwU8Mj2b3ML07j-u4#scrollTo=h-JyC3r8WZWq

  1. [Thực hành trên lớp] DPO trên Tiếng Việt:

https://colab.research.google.com/drive/1G8jKgme1Flp9v0Vex6iH-xUhAn_vlU86?usp=sharing

  1. [Đọc thêm]

RLHF:

https://github.com/HumanSignal/RLHF/blob/master/tutorials/RLHF_with_Custom_Datasets.ipynb

https://github.com/HumanSignal/RLHF/tree/master

2. Video

2.1. [LLMs-01] Zoom 21-2-2025 - RLHF - Phần 1

2.2. [LLMs-01] Zoom 21-2-2025 - RLHF - Phần 2

1. Các kỹ thuật training
1.1. Slide Instruction Finetune + DPO + RLHF
1.2. Thực hành
2. Video
2.1. [LLMs-01] Zoom 21-2-2025 - RLHF - Phần 1
2.2. [LLMs-01] Zoom 21-2-2025 - RLHF - Phần 2