Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên

Ôn tập Tokenizer + Thực hành HuggingFace

Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ

Ôn tập Transformer

[Xem thêm] Mô hình Bert

Demo Day Pretrained + Finetune LLMs

Họ model GPT - Fintune LLMs cho đa nhiệm bài toán

Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ

Kỹ thuật training ưu tiên - RLHF

Kỹ thuật training ưu tiên - DPO

Họ model LLAMA

Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT + Chữa bài tập

Chữa bài tập + Chuyên lượng tử hóa mô hình + Định dạng cho mô hình ngôn ngữ

Họ Model GPT OSS

Học model Kimi

Mô hình hóa đào tạo chuỗi tới chuỗi (Text - to - text models)

Họ mô hình DeepSeek

Multimodal

Dự án cuối khóa - 3 buổi

Agents và các bài toán liên quan

[Nâng cao] Mô hình Hope - Attention 2.0

Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên

1. Tài liệu

Hướng dẫn Pre train một mô hình ngôn ngữ bất kỳ
- Truyện Kiều (mẫu 1 câu): https://drive.google.com/file/d/1pI_3CGgj7DmY8MaPtO3sgYqMhviUuE15/view?usp=sharing
- Truyện Kiều (mẫu 4 câu chưa overllaping):
[Xem thêm] Tiến hành đào tạo một mô hình ngôn ngữ trên lập trình:
- https://colab.research.google.com/drive/1dk2_MNcUHy-THQ74Wdbivm2Omj5hPTta?usp=drive_link