List of topics
Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên
Ôn tập Tokenizer + Thực hành HuggingFace
Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ
Ôn tập Transformer
[Xem thêm] Mô hình Bert
[Zoom 07-02-2025] Demo Day Pretrained + Finetune LLMs
[Zoom 07-02-2025] Họ model GPT - Fintune LLMs cho đa nhiệm bài toán
[Zoom 14-02-2025] Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ
[Zoom 21-02-2025] Kỹ thuật training ưu tiên - RLHF
[Zoom 28-02-2025] Kỹ thuật training ưu tiên - DPO
[Zoom 07-03-2025] Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT + Chữa bài tập
[Zoom 14-3-2025] Chữa bài tập + Chuyên lượng tử hóa mô hình + Định dạng cho mô hình ngôn ngữ
[Zoom 21 + 28-03-2025] Họ model LLAMA
[Zoom 04-04-2025] Mô hình hóa đào tạo chuỗi tới chuỗi (Text - to - text models)
[Zoom 11/18-04-2025] Họ mô hình DeepSeek
[Zoom 25-04-2025] Multimodal
Dự án cuối khóa - 3 buổi
Agents và các bài toán liên quan
Các kỹ thuật Deployment mô hình ngôn ngữ
[Zoom 21 + 28-03-2025] Họ model LLAMA
Nâng cấp của LLAMA 3.1 trên Transformer Decoder cơ bản
Rotary Positional Embedding
Hướng dẫn đào tạo song song model
1. Nội dung
1.1. LLAMA
1.2. Thực hành
Fine tune LLAMA 3.2 Tiếng Anh: https://colab.research.google.com/drive/1mNiTH0vrkzkO1MZx29nrFCBHnQ29DZfR?usp=sharing
Fine tune LLAMA 3.2 Tiếng Việt:
https://colab.research.google.com/drive/11PRX_0HYishpjdq50hrDVvqucSYX7vkR?usp=sharing
Fine tune tiết kiệm: https://unsloth.ai/blog/llama3-3
Code ROPE: https://colab.research.google.com/drive/1QBkP6ve4f2-KapKaWDeodkR8_2JEYWjw#scrollTo=g1rriEeAAcKm
Train song song mô hình: https://drive.google.com/file/d/1oqzS7US4avLKBOHaMjsBZJrp8NdMqGlS/view?usp=drive_link
1.3. ROPE
1.4. ZeRO stage 3
2. Video
2.1. [LLMs-01] Zoom 21-03-2025 - Phần 1 - LLAMA 1
2.2. [LLMs-01] Zoom 28-03-2025 - Phần 2 - LLAMA 2 + 3
1. Nội dung
1.1. LLAMA
1.2. Thực hành
1.3. ROPE
1.4. ZeRO stage 3
2. Video
2.1. [LLMs-01] Zoom 21-03-2025 - Phần 1 - LLAMA 1
2.2. [LLMs-01] Zoom 28-03-2025 - Phần 2 - LLAMA 2 + 3