#Topic
1

Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên

  • Giới thiệu mô hình ngôn ngữ

  • Các cấp ứng dụng mô hình ngôn ngữ

  • Thực hành xây dựng mô hình ngôn ngữ trên Truyện Kiều

  • Thực hành xây dựng mô hình ngôn ngữ sinh code

2

Ôn tập Tokenizer + Thực hành HuggingFace

  • Chi tiết tách token

  • Thư viện HuggingFace

3

Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ

  • Ôn tập khái niệm học máy

  • Mô hình ngôn ngữ

4

Ôn tập Transformer

  • Lý do cần Transformer

  • Cơ chế Attention

  • Transformer Encoder

  • Transformer Decoder

5

[Xem thêm] Mô hình Bert

  • Chi tiết mô hình Bert

  • Ứng dụng mô hình Bert vào các bài toán khác nhau

6

Demo Day Pretrained + Finetune LLMs

  • Các học viên đăng ký thuyết trình về cách pretrained và finetune mô hình của mình

  • Giảng viên nhận xét từng bạn

  • Giảng viên tổng kết cách làm tốt nhất

7

Họ model GPT - Fintune LLMs cho đa nhiệm bài toán

  • Giới thiệu chi tiết họ GPT model

  • Các bài toán

    • Bài toán hỏi đáp (Question Answering - QA)

    • Bài toán sinh code (Code Generation)

    • Bài toán tóm tắt (Summarization)

    • Bài toán truy xuất thông tin (Information Retrieval)

    • Bài toán máy dịch (Translation)

8

Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ

  • Cách bố trí dữ liệu hiểu quả

  • Các công cụ tối ưu bố trí dữ liệu

9

Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ

  • Cách bố trí dữ liệu hiểu quả

  • Các công cụ tối ưu bố trí dữ liệu

10

Kỹ thuật training ưu tiên - RLHF

  • Kỹ thuật RLHF

  • Kỹ thuật DPO

11

Kỹ thuật training ưu tiên - DPO

  • Nâng cấp DPO từ RLHF

  • Thực hành lập trình DPO

12

Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT + Chữa bài tập

  • Parameter-Efficient Fine-Tuning - PEFT

  • LORA

  • Lượng tử hóa mô hình

  • Chắt lọc tri thức mô hình

  • Tỉa tham số

  • Thực hành thư viện Unsolth

13

Họ model LLAMA

  • Nâng cấp của LLAMA 3.1 trên Transformer Decoder cơ bản

  • Rotary Positional Embedding

  • Hướng dẫn đào tạo song song model

14

Họ mô hình Qwen

  • Qwen 2.5

  • Qwen 3

15

Họ Model GPT OSS

No content
16

Họ model Kimi

Học model Kimi

17

Họ mô hình DeepSeek

  • Giải thích chi tiết tất cả các phiên bản của DeepSeek

  • Mixture of Experts của DeepSeek

  • Multi-Head Latent Attention

18

Multimodal

  • Chi tiết các mô hình Multimodal hiện tại và cách thiết kế chúng

    • Mô hình CLIP

    • Mô hình VIT

    • LLAMA3.2 Vision Model

19

Ứng dụng mô hình ngôn ngữ trong mô hìn Vision Language Model

Ứng dụng mô hình ngôn ngữ trong mô hìn Vision Language Model