• Giới thiệu mô hình ngôn ngữ

• Các cấp ứng dụng mô hình ngôn ngữ

• Thực hành xây dựng mô hình ngôn ngữ trên Truyện Kiều

• Thực hành xây dựng mô hình ngôn ngữ sinh code

• Chi tiết tách token

• Thư viện HuggingFace

• Ôn tập khái niệm học máy

• Mô hình ngôn ngữ

• Lý do cần Transformer

• Cơ chế Attention

• Transformer Encoder

• Transformer Decoder

• Chi tiết mô hình Bert

• Ứng dụng mô hình Bert vào các bài toán khác nhau

• Giới thiệu chi tiết họ GPT model

• Các bài toán

  • Bài toán hỏi đáp (Question Answering - QA)

  • Bài toán sinh code (Code Generation)

  • Bài toán tóm tắt (Summarization)

  • Bài toán truy xuất thông tin (Information Retrieval)

  • Bài toán máy dịch (Translation)

• Các học viên đăng ký thuyết trình về cách pretrained và finetune mô hình của mình

• Giảng viên nhận xét từng bạn

• Giảng viên tổng kết cách làm tốt nhất

• Kỹ thuật RLHF

• Kỹ thuật DPO

• Nâng cấp DPO từ RLHF

• Thực hành lập trình DPO

• Cách bố trí dữ liệu hiểu quả

• Các công cụ tối ưu bố trí dữ liệu

Mixture of Experts (MoE)

• Parameter-Efficient Fine-Tuning - PEFT

• LORA

• Lượng tử hóa mô hình

• Chắt lọc tri thức mô hình

• Tỉa tham số

• Thực hành thư viện Unsolth

• Nâng cấp của LLAMA 3.1 trên Transformer Decoder cơ bản

• Rotary Positional Embedding

• Hướng dẫn đào tạo song song model

• Giải thích chi tiết tất cả các phiên bản của DeepSeek

• Mixture of Experts của DeepSeek

• Multi-Head Latent Attention

• Qwen 2.5

• Qwen 3

• Chi tiết các mô hình Multimodal hiện tại và cách thiết kế chúng

  • Mô hình CLIP

  • Mô hình VIT

  • LLAMA3.2 Vision Model

Dự án cuối khóa