List of topics

Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên

Ôn tập Tokenizer + Thực hành HuggingFace

Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ

Ôn tập Transformer

[Xem thêm] Mô hình Bert

Demo Day Pretrained + Finetune LLMs

Họ model GPT - Fintune LLMs cho đa nhiệm bài toán

Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ

Kỹ thuật training ưu tiên - RLHF

Kỹ thuật training ưu tiên - DPO

Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT + Chữa bài tập

Chữa bài tập + Chuyên lượng tử hóa mô hình + Định dạng cho mô hình ngôn ngữ

Họ model LLAMA

Mô hình hóa đào tạo chuỗi tới chuỗi (Text - to - text models)

Họ mô hình DeepSeek

Multimodal

Dự án cuối khóa - 3 buổi

Agents và các bài toán liên quan

Các kỹ thuật Deployment mô hình ngôn ngữ

Họ mô hình DeepSeek

1. Nội dung

Deep Seek và tất cả các kỹ thuật quan trọng

Đọc thêm các công thức của DeepSeek: https://aman.ai/primers/ai/deepseek-R1/

DeepSeekMoE mixture of experts

Multi-Head Latent Attention

Group Relative Policy Optimization (GRPO)

1. Nội dung

1.1. Slide Deep Seek

1.2. Đọc thêm

1.3. Thực hành

2. Video

2.1. [LLMs 01] Zoom 11-04-2025

2.2. [LLMs 01] Zoom 18-04-2025