Lớp học mang đến một hành trình từ căn bản đến chuyên sâu trong việc xây dựng và ứng dụng các mô hình ngôn ngữ lớn (LLMs). Bắt đầu với nền tảng học máy và học sâu, khóa học sẽ giúp bạn khám phá các thư viện và công cụ tiên tiến như Pytorch và HuggingFace. Bạn sẽ hiểu rõ hơn về mô hình hóa dữ liệu chuỗi, từ phân loại văn bản, đánh nhãn token đến nhận diện thực thể có tên. Học viên sẽ được đào tạo về kỹ thuật Transformer, từ cơ chế Attention cho đến kiến trúc của Encoder và Decoder. Ngoài ra, khóa học còn cung cấp kiến thức về việc tinh chỉnh đa nhiệm cho các bài toán từ hỏi đáp, sinh mã, tóm tắt cho đến dịch máy. Bạn sẽ được tìm hiểu về kỹ thuật debug, tối ưu hóa, và các phương pháp hiện đại trong quá trình đào tạo và triển khai mô hình trên nhiều GPUs. Kết thúc lớp học, học viên sẽ được định hướng về xu hướng phát triển của LLMs và cách các mô hình này trở thành nền tảng trong việc giải quyết các bài toán phức tạp đa ngôn ngữ và reasoning.

Danh sách các chủ đề trong lớp học:

1. Tổng quan xây dựng mô hình ngôn ngữ lớn

2. Ôn tập học máy + học sâu

3. Các thư viện đào tạo mô hình AI

4. Mô hình hóa đào tạo chuỗi (Sequence Modeling)

5. Ôn tập Transformer

6. Finetune LLMs cho đa nhiệm bài toán - LLMs Multitasks FineTuning

7. Debug mô hình ngôn ngữ

8. Chuẩn bị dữ liệu cho mô hình ngôn ngữ

9. Họ model GPT

10. Các kỹ thuật training hiện đại: DPO/RLHF

11. Họ model LLAMA

12. Họ model Qwen

13. Họ model GPT-OSS

14. Họ model Deep Seek

15. Ứng dụng mô hình ngôn ngữ trong các model Vision Language Model

16. Multimodal và các model nổi tiếng

17. Agents và các bài toán liên quan

Hình thức học:

• Qua Zoom chiều thứ bảy mỗi tuần

Câu chuyện truyền cảm hứng về xây dựng sản phẩm NLP:

Từ tháng 7/2025 Team ProtonX phát triển thư viện ProtonX với mong muốn đem lại những mô hình AI cũng như các kỹ thuật xây dựng Chatbot tốt nhất trên Tiếng Việt.

Thông tin giảng viên. Xem chi tiết