Danh sách chủ đề

Các thông tin quan trọng của lớp
Biểu thức chính quy - Regular Expressions
Chi tiết các thuật toán tách token
Chuẩn hóa văn bản
Ôn tập đại số tuyến tính
Ôn tập học máy, học sâu và các khái niệm liên quan
Ôn tập quá trình training
Ôn tập softmax + mạng nơ ron
[Bổ trợ] Các thuật toán Training
Vector Semantics và Embeddings
SkipGram, Glove và FastText
Mô hình ngôn ngữ
RNN và LSTM
Bài toán dịch máy
Mô hình Transfomer (4 buổi)
Mô hình Bert và ứng dụng
Thực hành Bert và ứng dụng với bài toán NER và POS Tag
GPT + Đào tạo phân tán
Bài toán truy xuất thông tin - Information Retrieval
Vector Database and RAG
Transformer Nâng cao

GPT + Đào tạo phân tán

  • Đọc các nghiên cứu của GPT-1, GPT-2, GPT-3 và GPT 3.5

  • Đào tạo mô hình phân tán song song dữ liệu và song song mô hình

1. Nội dung

1.1. Slide về GPT

1.2. Slide đào tạo phân tán

1.3. Code thực hành

Code load dữ liệu:

https://drive.google.com/file/d/1t4glTDgRBd08SeChSOXlplGpnIJvUh0S/view?usp=drive_link

Code đào tạo:

https://drive.google.com/file/d/1p2AsCWHA9HWKjAmzE0kQtp8z8Gr5E4fZ/view?usp=drive_link

Script training:

python -m torch.distributed.launch --nproc_per_node 1 train.py

Data:

https://drive.google.com/file/d/1o4HqEvhuSdEB-Lflp2ycWeop9EVs2vjM/view?usp=drive_link

https://drive.google.com/file/d/18T1yhn-QTV916gkhT6RZOSVakalGAksy/view?usp=drive_link

1.4. Xem thêm các thuật toán training LLMs

2. Video

2.1. [NLP 01] Video

2.2. [NLP 02] Zoom

2.3. [NLP 03] Zoom Buổi 1 - Đọc paper GPT 1, 2, 3

2.4. [NLP 04 Zoom 10-2-2025] Đọc nghiên cứu GPT và đào tạo phân tán

2.5. [NLP 06 Zoom 09-07-2025] Đào tạo GPT phân tán

Bài học