Xử lý ngôn ngữ tự nhiên nâng cao - Mô hình ngôn ngữ lớn

Đường dẫn: <a target="_blank" rel="noopener noreferrer nofollow" href="https://arxiv.org/pdf/2210.03629">https://arxiv.org/pdf/2210.03629</a>

Nghiên cứu ReAct

Slide

Xây dựng Agent:<a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1s1o9bQxbX4h0UA6AA-p71wSNpvPATr-t?usp=sharing">https://colab.research.google.com/drive/1s1o9bQxbX4h0UA6AA-p71wSNpvPATr-t?usp=sharing</a>

Thực hành

Nội dung

<ul><li>Agents là gì?</li><li>LLM Agents</li><li>Đọc nghiên cứu ReAct</li><li>Kỹ thuật Prompt Engineering</li><li>Đào tạo LLMs để trở thành Agents</li></ul>

Agents và các bài toán liên quan

<ul><li>Giới thiệu mô hình ngôn ngữ</li><li>Các cấp ứng dụng mô hình ngôn ngữ</li><li>Thực hành xây dựng mô hình ngôn ngữ trên Truyện Kiều</li><li>Thực hành xây dựng mô hình ngôn ngữ sinh code</li></ul>

Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên

<ul><li>Chi tiết tách token</li><li>Thư viện HuggingFace</li></ul>

Ôn tập Tokenizer + Thực hành HuggingFace

Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ

<ul><li>Lý do cần Transformer</li><li>Cơ chế Attention</li><li>Transformer Encoder</li><li>Transformer Decoder</li></ul>

Ôn tập Transformer

[Xem thêm] Mô hình Bert

<ul><li>Các học viên đăng ký thuyết trình về cách pretrained và finetune mô hình của mình</li><li>Giảng viên nhận xét từng bạn</li><li>Giảng viên tổng kết cách làm tốt nhất</li></ul>

Demo Day Pretrained + Finetune LLMs

Tổng quan: <a target="_blank" rel="noopener noreferrer nofollow" href="https://docs.google.com/presentation/d/1-GWdRpnk-m31f8KG7rzdRIEmGn5fAR2FHnnl42-4FF4/edit?usp=sharing">https://docs.google.com/presentation/d/1-GWdRpnk-m31f8KG7rzdRIEmGn5fAR2FHnnl42-4FF4/edit?usp=sharing</a>

Bài tập 3 -  Finetune GPT-2 để giải trắc nghiệm

<ul><li>Giới thiệu chi tiết họ GPT model</li><li>Các bài toán<ul><li>Bài toán hỏi đáp (Question Answering - QA)</li><li>Bài toán sinh code (Code Generation)</li><li>Bài toán tóm tắt (Summarization)</li><li>Bài toán truy xuất thông tin (Information Retrieval)</li><li>Bài toán máy dịch (Translation)</li></ul></li></ul>

Họ model GPT - Fintune LLMs cho đa nhiệm bài toán

Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ

Bài tập 4 - Lập trình Reward model cho RLHF

<ul><li>Kỹ thuật RLHF</li><li>Kỹ thuật DPO</li></ul>

Kỹ thuật training ưu tiên - RLHF

<ul><li>Nâng cấp DPO từ RLHF</li><li>Thực hành lập trình DPO</li></ul>

Kỹ thuật training ưu tiên - DPO

<ul><li>Parameter-Efficient Fine-Tuning - PEFT</li><li>LORA</li><li>Lượng tử hóa mô hình</li><li>Chắt lọc tri thức mô hình</li><li>Tỉa tham số</li><li>Thực hành thư viện Unsolth</li></ul>

Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT +  Chữa bài tập

<ul><li>Chữa bài tập</li></ul><ul><li>Chuyên lượng tử hóa mô hình</li><li>Định dạng cho mô hình ngôn ngữ</li></ul>

Chữa bài tập + Chuyên lượng tử hóa mô hình + Định dạng cho mô hình ngôn ngữ

<ul><li>Nâng cấp của LLAMA 3.1 trên Transformer Decoder cơ bản</li><li>Rotary Positional Embedding</li><li>Hướng dẫn đào tạo song song model</li></ul>

Họ model LLAMA

Mô hình hóa đầu vào là văn bản đầu ra là văn bản

Mô hình hóa đào tạo chuỗi tới chuỗi (Text - to - text models)

<ul><li>Giải thích chi tiết tất cả các phiên bản của DeepSeek</li><li>Mixture of Experts của DeepSeek</li><li>Multi-Head Latent Attention</li></ul>

Họ mô hình DeepSeek

<ul><li>Chi tiết các mô hình Multimodal hiện tại và cách thiết kế chúng<ul><li>Mô hình CLIP</li><li>Mô hình VIT</li><li>LLAMA3.2 Vision Model</li></ul></li></ul>

Multimodal

Dự án cuối khóa 3 tuần của lớp học chuyên mô hình ngôn ngữ - mỗi học viên sẽ lựa chọn một paper Multimodals vừa sức, nghiên cứu và thuyết trình cũng như thử nghiệm trên các bộ dataset và so sánh với các mô hình khác tương tự.

Dự án cuối khóa - 3 buổi

<ul><li>Deploy trên nhiều GPUs</li><li>Deploy phân tán mô hình</li></ul>

Agents và các bài toán liên quan

1. Nội dung

1.1. Nghiên cứu ReAct

1.2. Slide

1.3. Thực hành