#Topic
1

Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên

  • Giới thiệu mô hình ngôn ngữ

  • Các cấp ứng dụng mô hình ngôn ngữ

  • Thực hành xây dựng mô hình ngôn ngữ trên Truyện Kiều

  • Thực hành xây dựng mô hình ngôn ngữ sinh code

2

Ôn tập Tokenizer + Thực hành HuggingFace

  • Chi tiết tách token

  • Thư viện HuggingFace

3

Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ

  • Ôn tập khái niệm học máy

  • Mô hình ngôn ngữ

4

Ôn tập Transformer

  • Lý do cần Transformer

  • Cơ chế Attention

  • Transformer Encoder

  • Transformer Decoder

5

[Xem thêm] Mô hình Bert

  • Chi tiết mô hình Bert

  • Ứng dụng mô hình Bert vào các bài toán khác nhau

6

Demo Day Pretrained + Finetune LLMs

  • Các học viên đăng ký thuyết trình về cách pretrained và finetune mô hình của mình

  • Giảng viên nhận xét từng bạn

  • Giảng viên tổng kết cách làm tốt nhất

7

Họ model GPT - Fintune LLMs cho đa nhiệm bài toán

  • Giới thiệu chi tiết họ GPT model

  • Các bài toán

    • Bài toán hỏi đáp (Question Answering - QA)

    • Bài toán sinh code (Code Generation)

    • Bài toán tóm tắt (Summarization)

    • Bài toán truy xuất thông tin (Information Retrieval)

    • Bài toán máy dịch (Translation)

8

Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ

  • Cách bố trí dữ liệu hiểu quả

  • Các công cụ tối ưu bố trí dữ liệu

9

Kỹ thuật training ưu tiên - RLHF

  • Kỹ thuật RLHF

  • Kỹ thuật DPO

10

Kỹ thuật training ưu tiên - DPO

  • Nâng cấp DPO từ RLHF

  • Thực hành lập trình DPO

11

Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT + Chữa bài tập

  • Parameter-Efficient Fine-Tuning - PEFT

  • LORA

  • Lượng tử hóa mô hình

  • Chắt lọc tri thức mô hình

  • Tỉa tham số

  • Thực hành thư viện Unsolth

12

Chữa bài tập + Chuyên lượng tử hóa mô hình + Định dạng cho mô hình ngôn ngữ

  • Chữa bài tập

  • Chuyên lượng tử hóa mô hình

  • Định dạng cho mô hình ngôn ngữ

13

Họ model LLAMA

  • Nâng cấp của LLAMA 3.1 trên Transformer Decoder cơ bản

  • Rotary Positional Embedding

  • Hướng dẫn đào tạo song song model

14

Mô hình hóa đào tạo chuỗi tới chuỗi (Text - to - text models)

Mô hình hóa đầu vào là văn bản đầu ra là văn bản

15

Họ mô hình DeepSeek

  • Giải thích chi tiết tất cả các phiên bản của DeepSeek

  • Mixture of Experts của DeepSeek

  • Multi-Head Latent Attention

16

Multimodal

  • Chi tiết các mô hình Multimodal hiện tại và cách thiết kế chúng

    • Mô hình CLIP

    • Mô hình VIT

    • LLAMA3.2 Vision Model

17

Dự án cuối khóa - 3 buổi

Dự án cuối khóa 3 tuần của lớp học chuyên mô hình ngôn ngữ - mỗi học viên sẽ lựa chọn một paper Multimodals vừa sức, nghiên cứu và thuyết trình cũng như thử nghiệm trên các bộ dataset và so sánh với các mô hình khác tương tự.

18

Agents và các bài toán liên quan

  • Agents là gì?

  • LLM Agents

  • Đọc nghiên cứu ReAct

  • Kỹ thuật Prompt Engineering

  • Đào tạo LLMs để trở thành Agents

19

Các kỹ thuật Deployment mô hình ngôn ngữ

  • Deploy trên nhiều GPUs

  • Deploy phân tán mô hình