Lớp học mang đến một hành trình từ căn bản đến chuyên sâu trong việc xây dựng và ứng dụng các mô hình ngôn ngữ lớn (LLMs). Bắt đầu với nền tảng học máy và học sâu, khóa học sẽ giúp bạn khám phá các thư viện và công cụ tiên tiến như Pytorch và HuggingFace. Bạn sẽ hiểu rõ hơn về mô hình hóa dữ liệu chuỗi, từ phân loại văn bản, đánh nhãn token đến nhận diện thực thể có tên. Học viên sẽ được đào tạo về kỹ thuật Transformer, từ cơ chế Attention cho đến kiến trúc của Encoder và Decoder. Ngoài ra, khóa học còn cung cấp kiến thức về việc tinh chỉnh đa nhiệm cho các bài toán từ hỏi đáp, sinh mã, tóm tắt cho đến dịch máy. Bạn sẽ được tìm hiểu về kỹ thuật debug, tối ưu hóa, và các phương pháp hiện đại trong quá trình đào tạo và triển khai mô hình trên nhiều GPUs. Kết thúc lớp học, học viên sẽ được định hướng về xu hướng phát triển của LLMs và cách các mô hình này trở thành nền tảng trong việc giải quyết các bài toán phức tạp đa ngôn ngữ và reasoning.

Danh sách các chủ đề trong lớp học:

1. Tổng quan xây dựng mô hình ngôn ngữ lớn

2. Ôn tập học máy + học sâu

3. Các thư viện đào tạo mô hình AI

4. Mô hình hóa đào tạo chuỗi (Sequence Modeling)

5. Ôn tập Transformer

6. Finetune LLMs cho đa nhiệm bài toán - LLMs Multitasks FineTuning

7. Debug mô hình ngôn ngữ

8. Chuẩn bị dữ liệu cho mô hình ngôn ngữ

9. Đào tạo GPT - 2

10. Các kỹ thuật training hiện đại: DPO/RLHF

11. Đào tạo LLAMA 3

12. Multimodal

13. Đọc nghiên cứu mô hình Mistral

14. Các kỹ thuật tối ưu hiện đại

15. Các kỹ thuật Deployment mô hình ngôn ngữ

16. Agents và các bài toán liên quan

17. Trending - Tương lai của LLMs

Hình thức học:

• Qua Video