Cứ mỗi dịp cuối năm, team lại tổ chức một lớp học chuyên sâu về mô hình ngôn ngữ lớn (LLM), nhằm giúp các thành viên cập nhật những công nghệ mới nhất trong huấn luyện, tối ưu và triển khai mô hình vào các sản phẩm thực tế.

Năm nay, lớp học có hai điểm nâng cấp đáng chú ý so với năm trước:

1. **Cập nhật các dòng model mới nhất:** Từ Qwen, DeepSeek đến Gemma, cùng những kiến trúc và kỹ thuật mới trong hệ sinh thái LLM.

2. **Bổ sung nội dung MLOps:** Học cách triển khai, vận hành và tối ưu nhiều mô hình khác nhau trên các cấu hình phần cứng đa dạng. Đây cũng là phần mình thấy thú vị nhất, bởi không chỉ dừng lại ở việc hiểu mô hình mà còn có thể đưa chúng vào vận hành thực tế.

Mục tiêu là giúp mọi người không chỉ theo kịp tốc độ phát triển của LLM mà còn có đủ kiến thức và kỹ năng để tự xây dựng, triển khai các giải pháp AI của riêng mình.

Lớp học chuyên mô hình ngôn ngữ

ProtonX

<ul><li>Giới thiệu mô hình ngôn ngữ</li><li>Các cấp ứng dụng mô hình ngôn ngữ</li><li>Thực hành xây dựng mô hình ngôn ngữ trên Truyện Kiều</li><li>Thực hành xây dựng mô hình ngôn ngữ sinh code</li></ul>

Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên

<ul><li>Chi tiết tách token</li><li>Thư viện HuggingFace</li></ul>

Ôn tập Tokenizer + Thực hành HuggingFace

Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ

<ul><li>Lý do cần Transformer</li><li>Cơ chế Attention</li><li>Transformer Encoder</li><li>Transformer Decoder</li></ul>

Ôn tập Transformer

[Xem thêm] Mô hình Bert

<ul><li>Giới thiệu chi tiết họ GPT model</li><li>Các bài toán<ul><li>Bài toán hỏi đáp (Question Answering - QA)</li><li>Bài toán sinh code (Code Generation)</li><li>Bài toán tóm tắt (Summarization)</li><li>Bài toán truy xuất thông tin (Information Retrieval)</li><li>Bài toán máy dịch (Translation)</li></ul></li></ul>

Họ model GPT - Fintune LLMs cho đa nhiệm bài toán

<ul><li>Các học viên đăng ký thuyết trình về cách pretrained và finetune mô hình của mình</li><li>Giảng viên nhận xét từng bạn</li><li>Giảng viên tổng kết cách làm tốt nhất</li></ul>

Demo Day Pretrained + Finetune LLMs

<ul><li>Kỹ thuật RLHF</li><li>Kỹ thuật DPO</li></ul>

Kỹ thuật training ưu tiên - RLHF

<ul><li>Nâng cấp DPO từ RLHF</li><li>Thực hành lập trình DPO</li></ul>

Kỹ thuật training ưu tiên - DPO

Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ

Mixture of Experts (MoE)

Họ Model GPT OSS

<ul><li>Parameter-Efficient Fine-Tuning - PEFT</li><li>LORA</li><li>Lượng tử hóa mô hình</li><li>Chắt lọc tri thức mô hình</li><li>Tỉa tham số</li><li>Thực hành thư viện Unsolth</li></ul>

Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT

<ul><li>Nâng cấp của LLAMA 3.1 trên Transformer Decoder cơ bản</li><li>Rotary Positional Embedding</li><li>Hướng dẫn đào tạo song song model</li></ul>

Họ model LLAMA

<ul><li>Giải thích chi tiết tất cả các phiên bản của DeepSeek</li><li>Mixture of Experts của DeepSeek</li><li>Multi-Head Latent Attention</li></ul>

Họ mô hình DeepSeek

Họ mô hình Qwen + Kimi

<ul><li>Chi tiết các mô hình Multimodal hiện tại và cách thiết kế chúng<ul><li>Mô hình CLIP</li><li>Mô hình VIT</li><li>LLAMA3.2 Vision Model</li></ul></li></ul>

Share