List of topics
Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên
Ôn tập Tokenizer + Thực hành HuggingFace
Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ
Ôn tập Transformer
[Xem thêm] Mô hình Bert
Demo Day Pretrained + Finetune LLMs
Họ model GPT - Fintune LLMs cho đa nhiệm bài toán
Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ
Kỹ thuật training ưu tiên - RLHF
Kỹ thuật training ưu tiên - DPO
Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT + Chữa bài tập
Chữa bài tập + Chuyên lượng tử hóa mô hình + Định dạng cho mô hình ngôn ngữ
Họ model LLAMA
Mô hình hóa đào tạo chuỗi tới chuỗi (Text - to - text models)
Họ mô hình DeepSeek
Multimodal
Dự án cuối khóa - 3 buổi
Agents và các bài toán liên quan
Các kỹ thuật Deployment mô hình ngôn ngữ
Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên
Giới thiệu mô hình ngôn ngữ
Các cấp ứng dụng mô hình ngôn ngữ
Thực hành xây dựng mô hình ngôn ngữ trên Truyện Kiều
Thực hành xây dựng mô hình ngôn ngữ sinh code
1. Tài liệu
1.1. Giới thiệu mô hình ngôn ngữ - các mức áp dụng mô hình ngôn ngữ
Giới thiệu mô hình ngôn ngữ lớn
Các mức áp dụng mô hình ngôn ngữ
1.2. Xây dựng mô hình ngôn ngữ lớn đầu tiên - Truyện Kiều
1.3. [Xem thêm] Xây dựng mô hình ngôn ngữ lớn đầu tiên trên code
1.4. Thực hành
Hướng dẫn Pre train một mô hình ngôn ngữ bất kỳ
Truyện Kiều (mẫu 1 câu): https://drive.google.com/file/d/1pI_3CGgj7DmY8MaPtO3sgYqMhviUuE15/view?usp=sharing
Truyện Kiều (mẫu 4 câu chưa overllaping):
[Xem thêm] Tiến hành đào tạo một mô hình ngôn ngữ trên lập trình:
2. Video
2.1. [LLMs-01] Zoom 27-12-2024. Phần 1
2.2. [LLMs-01] Zoom 27-12-2024. Phần 2
1. Tài liệu
1.1. Giới thiệu mô hình ngôn ngữ - các mức áp dụng mô hình ngôn ngữ
1.2. Xây dựng mô hình ngôn ngữ lớn đầu tiên - Truyện Kiều
1.3. [Xem thêm] Xây dựng mô hình ngôn ngữ lớn đầu tiên trên code
1.4. Thực hành
2. Video
2.1. [LLMs-01] Zoom 27-12-2024. Phần 1
2.2. [LLMs-01] Zoom 27-12-2024. Phần 2