Mô hình Transfomer (4 buổi)
Transformer Encoder
Positional encoding
Cơ chế Attention
Multiheaded Attention
Transformer Decoder
Lập trình mô hình Transformer từ đầu
1. Transformer Encoder
1.1. Transformer-Encoder.pdf
1.2. Code Thực hành
1.3. Transformer Encoder
1.4. Video trên lớp
1.5. Tài liệu đọc thêm
Tài liệu đọc thêm: https://jalammar.github.io/illustrated-transformer/
1.6. Batch Norm + Dropout
2. Transformer Decoder
2.1. Transformer-Decoder.pdf
2.2. Transformer Decoder
2.3. [NLP 01] Zoom - Video trên lớp
Video Transformer Decoder trên lớp và cách sử dụng HuggingFace.
2.4. Code thực hành
Thực hành Decoder
https://github.com/bangoc123/transformer/blob/master/transformer/layers/decoder.py
- Hướng dẫn thực hành lập trình HuggingFace.
- Hướng dẫn Build Dataset
Xây dựng GPT-2 trên tiếng Việt:
https://colab.research.google.com/drive/1HL2xPfzAhmANZLPDeTeL1jpQVUOGucPv?usp=sharing
3. Thực hành HuggingFace
3.1. Cách load dữ liệu
Các cách load dữ liệu văn bản với HuggingFace
Load từ HuggingFace Hub
Load từ CSV
Load từ Txt file
Load từ SQL Database
Load dữ liệu từ Arrow File
Chi tiết notebook được đăng tải tại đây: https://colab.research.google.com/drive/1-SnvvwPjyjQlJ0Ua-Qx3QXluIXDZJ52r?usp=sharing