#Topic
1

Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên

  • Giới thiệu mô hình ngôn ngữ

  • Các cấp ứng dụng mô hình ngôn ngữ

  • Thực hành xây dựng mô hình ngôn ngữ trên Truyện Kiều

  • Thực hành xây dựng mô hình ngôn ngữ sinh code

2

Ôn tập Tokenizer + Thực hành HuggingFace

  • Chi tiết tách token

  • Thư viện HuggingFace

3

Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ

  • Ôn tập khái niệm học máy

  • Mô hình ngôn ngữ

4

Ôn tập Transformer

  • Lý do cần Transformer

  • Cơ chế Attention

  • Transformer Encoder

  • Transformer Decoder

5

[Xem thêm] Mô hình Bert

  • Chi tiết mô hình Bert

  • Ứng dụng mô hình Bert vào các bài toán khác nhau

6

Họ model GPT - Fintune LLMs cho đa nhiệm bài toán

  • Giới thiệu chi tiết họ GPT model

  • Các bài toán

    • Bài toán hỏi đáp (Question Answering - QA)

    • Bài toán sinh code (Code Generation)

    • Bài toán tóm tắt (Summarization)

    • Bài toán truy xuất thông tin (Information Retrieval)

    • Bài toán máy dịch (Translation)

7

Demo Day Pretrained + Finetune LLMs

  • Các học viên đăng ký thuyết trình về cách pretrained và finetune mô hình của mình

  • Giảng viên nhận xét từng bạn

  • Giảng viên tổng kết cách làm tốt nhất

8

Kỹ thuật training ưu tiên - RLHF

  • Kỹ thuật RLHF

  • Kỹ thuật DPO

9

Kỹ thuật training ưu tiên - DPO

  • Nâng cấp DPO từ RLHF

  • Thực hành lập trình DPO

10

Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ

  • Cách bố trí dữ liệu hiểu quả

  • Các công cụ tối ưu bố trí dữ liệu

11

Mixture of Experts (MoE)

Mixture of Experts (MoE)

12

Họ Model GPT OSS

No content
13

Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT

  • Parameter-Efficient Fine-Tuning - PEFT

  • LORA

  • Lượng tử hóa mô hình

  • Chắt lọc tri thức mô hình

  • Tỉa tham số

  • Thực hành thư viện Unsolth

14

Họ model LLAMA

  • Nâng cấp của LLAMA 3.1 trên Transformer Decoder cơ bản

  • Rotary Positional Embedding

  • Hướng dẫn đào tạo song song model

15

Họ mô hình DeepSeek

  • Giải thích chi tiết tất cả các phiên bản của DeepSeek

  • Mixture of Experts của DeepSeek

  • Multi-Head Latent Attention

16

Họ mô hình Qwen + Kimi

  • Qwen 2.5

  • Qwen 3

17

Multimodal

  • Chi tiết các mô hình Multimodal hiện tại và cách thiết kế chúng

    • Mô hình CLIP

    • Mô hình VIT

    • LLAMA3.2 Vision Model

18

Ứng dụng mô hình ngôn ngữ trong mô hìn Vision Language Model

Ứng dụng mô hình ngôn ngữ trong mô hìn Vision Language Model