Xử lý ngôn ngữ tự nhiên nâng cao - Mô hình ngôn ngữ lớn 02

1 - Ôn tập đại số tuyến tính

2 - Ôn tập học máy + mô hình Logistic

3 - Mô hình softmax

4 - Quá trình training

Video ôn tập

Slide

<ul><li>Diễn giải các khái niệm cơ bản: <a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1r3StMl6aSxohJJp1HCwfVmMkvY03yRN2">https://colab.research.google.com/drive/1r3StMl6aSxohJJp1HCwfVmMkvY03yRN2</a></li><li>Chữa bài tập</li></ul>

Thực hành

Chi tiết mô hình ngôn ngữ

[LLMs-01] Zoom 10-1-2025

Video

Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ

<ul><li>Giới thiệu mô hình ngôn ngữ</li><li>Các cấp ứng dụng mô hình ngôn ngữ</li><li>Thực hành xây dựng mô hình ngôn ngữ trên Truyện Kiều</li><li>Thực hành xây dựng mô hình ngôn ngữ sinh code</li></ul>

Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên

<ul><li>Chi tiết tách token</li><li>Thư viện HuggingFace</li></ul>

Ôn tập Tokenizer + Thực hành HuggingFace

<ul><li>Lý do cần Transformer</li><li>Cơ chế Attention</li><li>Transformer Encoder</li><li>Transformer Decoder</li></ul>

Ôn tập Transformer

[Xem thêm] Mô hình Bert

<ul><li>Các học viên đăng ký thuyết trình về cách pretrained và finetune mô hình của mình</li><li>Giảng viên nhận xét từng bạn</li><li>Giảng viên tổng kết cách làm tốt nhất</li></ul>

Demo Day Pretrained + Finetune LLMs

<ul><li>Giới thiệu chi tiết họ GPT model</li><li>Các bài toán<ul><li>Bài toán hỏi đáp (Question Answering - QA)</li><li>Bài toán sinh code (Code Generation)</li><li>Bài toán tóm tắt (Summarization)</li><li>Bài toán truy xuất thông tin (Information Retrieval)</li><li>Bài toán máy dịch (Translation)</li></ul></li></ul>

Họ model GPT - Fintune LLMs cho đa nhiệm bài toán

Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ

<ul><li>Kỹ thuật RLHF</li><li>Kỹ thuật DPO</li></ul>

Kỹ thuật training ưu tiên - RLHF

<ul><li>Nâng cấp DPO từ RLHF</li><li>Thực hành lập trình DPO</li></ul>

Kỹ thuật training ưu tiên - DPO

<ul><li>Parameter-Efficient Fine-Tuning - PEFT</li><li>LORA</li><li>Lượng tử hóa mô hình</li><li>Chắt lọc tri thức mô hình</li><li>Tỉa tham số</li><li>Thực hành thư viện Unsolth</li></ul>

Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT +  Chữa bài tập

<ul><li>Nâng cấp của LLAMA 3.1 trên Transformer Decoder cơ bản</li><li>Rotary Positional Embedding</li><li>Hướng dẫn đào tạo song song model</li></ul>

Họ model LLAMA

Họ mô hình Qwen

Họ Model GPT OSS

Họ model Kimi

<ul><li>Giải thích chi tiết tất cả các phiên bản của DeepSeek</li><li>Mixture of Experts của DeepSeek</li><li>Multi-Head Latent Attention</li></ul>

Họ mô hình DeepSeek

<ul><li>Chi tiết các mô hình Multimodal hiện tại và cách thiết kế chúng<ul><li>Mô hình CLIP</li><li>Mô hình VIT</li><li>LLAMA3.2 Vision Model</li></ul></li></ul>

Multimodal

Ứng dụng mô hình ngôn ngữ trong mô hìn Vision Language Model

Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ

1. Video ôn tập

1.1. 1 - Ôn tập đại số tuyến tính

1.2. 2 - Ôn tập học máy + mô hình Logistic

1.3. 3 - Mô hình softmax

1.4. 4 - Quá trình training

2. Chi tiết mô hình ngôn ngữ

2.1. Slide

2.2. Thực hành

3. Video

3.1. [LLMs-01] Zoom 10-1-2025