Avatar

Xử lý ngôn ngữ tự nhiên nâng cao - Mô hình ngôn ngữ lớn

Share

Lớp học mang đến một hành trình từ căn bản đến chuyên sâu trong việc xây dựng và ứng dụng các mô hình ngôn ngữ lớn (LLMs). Bắt đầu với nền tảng học máy và học sâu, khóa học sẽ giúp bạn khám phá các thư viện và công cụ tiên tiến như Pytorch và HuggingFace. Bạn sẽ hiểu rõ hơn về mô hình hóa dữ liệu chuỗi, từ phân loại văn bản, đánh nhãn token đến nhận diện thực thể có tên. Học viên sẽ được đào tạo về kỹ thuật Transformer, từ cơ chế Attention cho đến kiến trúc của Encoder và Decoder. Ngoài ra, khóa học còn cung cấp kiến thức về việc tinh chỉnh đa nhiệm cho các bài toán từ hỏi đáp, sinh mã, tóm tắt cho đến dịch máy. Bạn sẽ được tìm hiểu về kỹ thuật debug, tối ưu hóa, và các phương pháp hiện đại trong quá trình đào tạo và triển khai mô hình trên nhiều GPUs. Kết thúc lớp học, học viên sẽ được định hướng về xu hướng phát triển của LLMs và cách các mô hình này trở thành nền tảng trong việc giải quyết các bài toán phức tạp đa ngôn ngữ và reasoning.

Danh sách các chủ đề trong lớp học:

1. Tổng quan xây dựng mô hình ngôn ngữ lớn

2. Ôn tập học máy + học sâu

3. Các thư viện đào tạo mô hình AI

4. Mô hình hóa đào tạo chuỗi (Sequence Modeling)

5. Ôn tập Transformer

6. Finetune LLMs cho đa nhiệm bài toán - LLMs Multitasks FineTuning

7. Debug mô hình ngôn ngữ

8. Chuẩn bị dữ liệu cho mô hình ngôn ngữ

9. Đào tạo GPT - 2

10. Các kỹ thuật training hiện đại: DPO/RLHF

11. Đào tạo LLAMA 3

12. Multimodal

13. Đọc nghiên cứu mô hình Mistral

14. Các kỹ thuật tối ưu hiện đại

15. Các kỹ thuật Deployment mô hình ngôn ngữ

16. Agents và các bài toán liên quan

17. Trending - Tương lai của LLMs

Hình thức học:

  • Qua Zoom

Chi tiết về giảng viên

  • Bá Ngọc là Founder/CEO của ProtonX và là founder của VietAI Hà Nội. Anh ấy yêu thích lập trình và học máy và tin rằng “Máy móc có thể vượt qua giới hạn của con người trong tương lai”.

  • Năm 2019, Anh Ngọc được Google công nhận là chuyên gia học máy đầu tiên tại Việt Nam và thứ 66 trên toàn thế giới.

  • Trong năm 2020 và 2021, anh Ngọc đã đào tạo hơn 120 lập trình viên thi đỗ chứng chỉ Tensorflow - chứng chỉ AI nổi tiếng của Google và đưa Việt Nam vào top 4 quốc gia có số lượng người thi đỗ nhiều nhất cùng với Mỹ, Ấn Độ và Hàn Quốc.

  • Năm 2022, Ngọc thành lập ProtonX - công ty trí tuệ nhân tạo của mình, với sứ mệnh ứng dụng AI để giải quyết các vấn đề quan trọng của xã hội. Vào tháng 8 năm 2022, ProtonX đã tiên phong ra mắt bộ gõ thông minh - Studio., giúp người dùng soạn một tài liệu chỉ với một câu ý tưởng. Studio đã tạo ra nửa tỷ từ tiếng Việt trong hai ngày đầu tiên ra mắt và “lên top thịnh hành” trong cộng đồng marketing và nhân sự.

  • ProtonX đồng thời phát triển một nền tảng học AI - coursemind.io, cung cấp các khóa học AI cho người mới bắt đầu. Cũng trong năm đó, ProtonX được Amazon vinh danh là một trong những Edtech sáng tạo nhất khu vực Châu Á - Thái Bình Dương.

  • Đầu năm 2023, ProtonX dành chiến thắng cuộc thi Sharktank - Pitch Contest của Amazon Web Service Edtech Accelerator. Đây là bệ phóng rất uy tín đã hỗ trợ rất nhiều các công ty thành công như Elsa, Royelles, CloudLabs.

  • Vào năm 2025, Ngọc cùng đội ngũ nghiên cứu tại ProtonX đã phát triển thư viện ProtonX AI — tập hợp các mô hình trí tuệ nhân tạo tiên tiến và các kỹ thuật chuyên biệt được thiết kế dành riêng cho việc xây dựng các chatbot Tiếng Việt có độ chính xác và hiệu năng cao, tiếp tục thúc đẩy sứ mệnh của ProtonX trong việc đưa công nghệ AI tiên tiến vào các ứng dụng thực tiễn trong đời sống.

Câu chuyện truyền cảm hứng về xây dựng sản phẩm NLP:

Từ tháng 7/2025 Team ProtonX phát triển thư viện ProtonX với mong muốn đem lại những mô hình AI cũng như các kỹ thuật xây dựng Chatbot tốt nhất trên Tiếng Việt.

Mô hình biểu diễn văn bản

Mô hình sửa Tiếng Việt

Hệ thống đánh giá Chatbot