Xử lý ngôn ngữ tự nhiên nâng cao - Mô hình ngôn ngữ lớn 02

[Zoom NLP 03] 29-10-2024 - Buổi 1 - Cơ chế Attention

[Zoom NLP 03] 2-11-2024 - Buổi 2 - Multiheaded Attention

[Zoom NLP 03] 5-11-2024 - Buổi 3 - Thực hành Transformer Encoder

[Zoom NLP 03] 09-11-2024 - Buổi 4 - Transformer Decoder và thực hành

Video Transformer nền tảng

Lập trình Transformer Decoder cho mô hình ngôn ngữ:<a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1XIrpX4dDX_osMK3hya-26BSZyf6_Fkkc">https://colab.research.google.com/drive/1XIrpX4dDX_osMK3hya-26BSZyf6_Fkkc</a>

Thực hành

Slide Transformer Decoder

Beam Search

[Zoom LLMs 01] 17-1-2025 - Ôn tập Transformer Decoder

Nội dung

<ul><li>Lý do cần Transformer</li><li>Cơ chế Attention</li><li>Transformer Encoder</li><li>Transformer Decoder</li></ul>

Ôn tập Transformer

<ul><li>Giới thiệu mô hình ngôn ngữ</li><li>Các cấp ứng dụng mô hình ngôn ngữ</li><li>Thực hành xây dựng mô hình ngôn ngữ trên Truyện Kiều</li><li>Thực hành xây dựng mô hình ngôn ngữ sinh code</li></ul>

Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên

<ul><li>Chi tiết tách token</li><li>Thư viện HuggingFace</li></ul>

Ôn tập Tokenizer + Thực hành HuggingFace

Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ

[Xem thêm] Mô hình Bert

<ul><li>Các học viên đăng ký thuyết trình về cách pretrained và finetune mô hình của mình</li><li>Giảng viên nhận xét từng bạn</li><li>Giảng viên tổng kết cách làm tốt nhất</li></ul>

Demo Day Pretrained + Finetune LLMs

<ul><li>Giới thiệu chi tiết họ GPT model</li><li>Các bài toán<ul><li>Bài toán hỏi đáp (Question Answering - QA)</li><li>Bài toán sinh code (Code Generation)</li><li>Bài toán tóm tắt (Summarization)</li><li>Bài toán truy xuất thông tin (Information Retrieval)</li><li>Bài toán máy dịch (Translation)</li></ul></li></ul>

Họ model GPT - Fintune LLMs cho đa nhiệm bài toán

Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ

<ul><li>Kỹ thuật RLHF</li><li>Kỹ thuật DPO</li></ul>

Kỹ thuật training ưu tiên - RLHF

<ul><li>Nâng cấp DPO từ RLHF</li><li>Thực hành lập trình DPO</li></ul>

Kỹ thuật training ưu tiên - DPO

<ul><li>Parameter-Efficient Fine-Tuning - PEFT</li><li>LORA</li><li>Lượng tử hóa mô hình</li><li>Chắt lọc tri thức mô hình</li><li>Tỉa tham số</li><li>Thực hành thư viện Unsolth</li></ul>

Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT +  Chữa bài tập

<ul><li>Nâng cấp của LLAMA 3.1 trên Transformer Decoder cơ bản</li><li>Rotary Positional Embedding</li><li>Hướng dẫn đào tạo song song model</li></ul>

Họ model LLAMA

Họ mô hình Qwen

Họ Model GPT OSS

Họ model Kimi

<ul><li>Giải thích chi tiết tất cả các phiên bản của DeepSeek</li><li>Mixture of Experts của DeepSeek</li><li>Multi-Head Latent Attention</li></ul>

Họ mô hình DeepSeek

<ul><li>Chi tiết các mô hình Multimodal hiện tại và cách thiết kế chúng<ul><li>Mô hình CLIP</li><li>Mô hình VIT</li><li>LLAMA3.2 Vision Model</li></ul></li></ul>

Multimodal

Ứng dụng mô hình ngôn ngữ trong mô hìn Vision Language Model

Ôn tập Transformer

1. Video Transformer nền tảng

1.1. [Zoom NLP 03] 29-10-2024 - Buổi 1 - Cơ chế Attention

1.2. [Zoom NLP 03] 2-11-2024 - Buổi 2 - Multiheaded Attention

1.3. [Zoom NLP 03] 5-11-2024 - Buổi 3 - Thực hành Transformer Encoder

1.4. [Zoom NLP 03] 09-11-2024 - Buổi 4 - Transformer Decoder và thực hành

2. Nội dung

2.1. Thực hành

2.2. Slide Transformer Decoder

2.3. Beam Search

2.4. [Zoom LLMs 01] 17-1-2025 - Ôn tập Transformer Decoder