List of topics
Tổng quan xây dựng mô hình ngôn ngữ lớn + Xây dựng LLMs đầu tiên
Ôn tập Tokenizer + Thực hành HuggingFace
Ôn tập học máy + học sâu và chi tiết mô hình ngôn ngữ
Ôn tập Transformer
[Xem thêm] Mô hình Bert
Họ model GPT - Fintune LLMs cho đa nhiệm bài toán
Demo Day Pretrained + Finetune LLMs
Kỹ thuật training ưu tiên - RLHF
Kỹ thuật training ưu tiên - DPO
Chuẩn bị dữ liệu pre-trained cho mô hình ngôn ngữ
Mixture of Experts (MoE)
Họ Model GPT OSS
Đánh giá chất lượng mô hình + Các kỹ thuật finetune tham số tối ưu - PEFT
Họ model LLAMA
Họ mô hình DeepSeek
Họ mô hình Qwen + Kimi
Multimodal
Ứng dụng mô hình ngôn ngữ trong mô hìn Vision Language Model

Họ model LLAMA

  • Nâng cấp của LLAMA 3.1 trên Transformer Decoder cơ bản

  • Rotary Positional Embedding

  • Hướng dẫn đào tạo song song model

1. Nội dung

1.1. LLAMA

1.2. Thực hành

1.3. ROPE

1.4. ZeRO stage 3

2. Video

2.1. [LLMs-01] Zoom 21-03-2025 - Phần 1 - LLAMA 1

2.2. [LLMs-01] Zoom 28-03-2025 - Phần 2 - LLAMA 2 + 3

2.3. [LLMs-02] LLAMA- ROPE

1. Nội dung
1.1. LLAMA
1.2. Thực hành
1.3. ROPE
1.4. ZeRO stage 3
2. Video
2.1. [LLMs-01] Zoom 21-03-2025 - Phần 1 - LLAMA 1
2.2. [LLMs-01] Zoom 28-03-2025 - Phần 2 - LLAMA 2 + 3
2.3. [LLMs-02] LLAMA- ROPE