Lớp học chuyên mô hình ngôn ngữ

<ul><li>Các phương pháp tối ưu LLMs để chạy trên GPUs VRAM nhỏ và Edge Device.</li></ul>

Hướng dẫn triển khai LLMs trên phần cứng thấp

<ul><li>Giới thiệu mô hình ngôn ngữ</li><li>Các cấp ứng dụng mô hình ngôn ngữ</li><li>Thực hành xây dựng mô hình ngôn ngữ trên Truyện Kiều</li><li>Thực hành xây dựng mô hình ngôn ngữ sinh code</li></ul>

Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên

<ul><li>Chi tiết tách token</li><li>Thư viện HuggingFace</li></ul>

Ôn tập Tokenizer + Thực hành HuggingFace

Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ

<ul><li>Lý do cần Transformer</li><li>Cơ chế Attention</li><li>Transformer Encoder</li><li>Transformer Decoder</li></ul>

Ôn tập Transformer

[Xem thêm] Mô hình Bert

<ul><li>Giới thiệu chi tiết họ GPT model</li><li>Các bài toán<ul><li>Bài toán hỏi đáp (Question Answering - QA)</li><li>Bài toán sinh code (Code Generation)</li><li>Bài toán tóm tắt (Summarization)</li><li>Bài toán truy xuất thông tin (Information Retrieval)</li><li>Bài toán máy dịch (Translation)</li></ul></li></ul>

Họ model GPT - Fintune LLMs cho đa nhiệm bài toán

<ul><li>Các học viên đăng ký thuyết trình về cách pretrained và finetune mô hình của mình</li><li>Giảng viên nhận xét từng bạn</li><li>Giảng viên tổng kết cách làm tốt nhất</li></ul>

Demo Day Pretrained + Finetune LLMs

<ul><li>Kỹ thuật RLHF</li><li>Kỹ thuật DPO</li></ul>

Kỹ thuật training ưu tiên - RLHF

<ul><li>Nâng cấp DPO từ RLHF</li><li>Thực hành lập trình DPO</li></ul>

Kỹ thuật training ưu tiên - DPO

<ul><li>Cách bố trí dữ liệu hiểu quả</li><li>Các công cụ tối ưu bố trí dữ liệu</li><li>Sử dụng AI để Synthetic Data</li></ul>

Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ

Mixture of Experts (MoE)

Tìm hiểu tổng quan về kiến trúc Mixture of Experts (MoE) thông qua các họ mô hình tiêu biểu như DeepSeek, GLM, Mistral, Gemma và Nemotron. Khám phá cách MoE tổ chức các Expert, cơ chế định tuyến và kích hoạt tham số, cùng những điểm khác biệt trong thiết kế kiến trúc và tối ưu hiệu năng của từng dòng model.

Tổng quan họ Model sử dụng MOE - DeepSeek, GLM, Mistral, Gemma, và Nemotron

<ul><li>Nâng cấp của LLAMA 3.1 trên Transformer Decoder cơ bản</li><li>Rotary Positional Embedding</li><li>Hướng dẫn đào tạo song song model</li></ul>

Họ model LLAMA

<ul><li>Giải thích chi tiết tất cả các phiên bản của DeepSeek</li><li>Mixture of Experts của DeepSeek</li><li>Multi-Head Latent Attention</li></ul>

Họ mô hình DeepSeek

Chi tiết họ mô hình Qwen + Kimi + GLM

<ul><li>Parameter-Efficient Fine-Tuning - PEFT</li><li>LORA</li><li>Lượng tử hóa mô hình</li><li>Chắt lọc tri thức mô hình</li><li>Tỉa tham số</li><li>Thực hành thư viện Unsolth</li></ul>

Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT

<ul><li>Chi tiết các mô hình Multimodal hiện tại và cách thiết kế chúng<ul><li>Mô hình CLIP</li><li>Mô hình VIT</li><li>LLAMA3.2 Vision Model</li></ul></li></ul>

Danh sách chủ đề

Hướng dẫn triển khai LLMs trên phần cứng thấp

Bài học