List of topics
[Zoom 24-02-2025] Khai giảng lớp học NLP 05
[Zoom 26-02-2025] Biểu thức chính quy - Regular Expressions
[Zoom 03-03-2025] Chi tiết các thuật toán tách token
[Zoom 05-03-2025] Chuẩn hóa văn bản
[Zoom 10-03-2025] Ôn tập đại số tuyến tính
[Zoom 12-03-2025] Ôn tập học máy, học sâu và các khái niệm liên quan
[Zoom 24-03-2025] Ôn tập quá trình training
[Bổ trợ] Các thuật toán Training
[Zoom 26-03-2025] Vector Semantics và Embeddings
[Zoom 31-03-2025] SkipGram, Glove và FastText
[Zoom 02-04-2025] Mô hình ngôn ngữ
[Zoom 07-04-2025] RNN và LSTM
[Zoom 14-04-2025] Bài toán dịch máy
[Zoom 09-04-2025] Mô hình Transfomer (4 buổi)
[Zoom 28-04-2025] Mô hình Bert và ứng dụng
[Zoom 28-4-2025] Thực hành Bert và ứng dụng với bài toán NER và POS Tag
[Zoom 29-4-2025] Bài toán truy xuất thông tin - Information Retrieval
[Zoom 05-05-2025] Vector Database and RAG
[Zoom 20-05-2025] Transformer Nâng cao
Dự án cuối khóa - 2 tuần
GPT + Đào tạo phân tán

GPT + Đào tạo phân tán

  • Đọc các nghiên cứu của GPT-1, GPT-2, GPT-3 và GPT 3.5

  • Đào tạo mô hình phân tán song song dữ liệu và song song mô hình

1. Nội dung

1.1. Slide về GPT

1.2. Slide đào tạo phân tán

1.3. Code thực hành

Code load dữ liệu:

https://drive.google.com/file/d/1t4glTDgRBd08SeChSOXlplGpnIJvUh0S/view?usp=drive_link

Code đào tạo:

https://drive.google.com/file/d/1p2AsCWHA9HWKjAmzE0kQtp8z8Gr5E4fZ/view?usp=drive_link

Script training:

python -m torch.distributed.launch --nproc_per_node 1 train.py

2. Video

2.1. [NLP 01] Video

2.2. [NLP 02] Zoom

2.3. [NLP 03] Zoom Buổi 1 - Đọc paper GPT 1, 2, 3

2.4. [NLP 04 Zoom 10-2-2025] Đọc nghiên cứu GPT và đào tạo phân tán

1. Nội dung
1.1. Slide về GPT
1.2. Slide đào tạo phân tán
1.3. Code thực hành
2. Video
2.1. [NLP 01] Video
2.2. [NLP 02] Zoom
2.3. [NLP 03] Zoom Buổi 1 - Đọc paper GPT 1, 2, 3
2.4. [NLP 04 Zoom 10-2-2025] Đọc nghiên cứu GPT và đào tạo phân tán