Mô hình Transfomer (3 buổi)
Transformer Encoder
Positional encoding
Cơ chế Attention
Multiheaded Attention
Transformer Decoder
Lập trình mô hình Transformer từ đầu
1. Transformer Encoder
1.1. Transformer-Encoder.pdf
1.2. Code Thực hành Encoder
1.3. Đọc thêm về Broadcasting
Đường dẫn: https://drive.google.com/file/d/10lb2F4RMcEg0RFSQcDKVWnRGLQHFz9pv/view?usp=sharing
Luật:
Hai tensor có thể broadcast được nếu đuôi của 2 tensor (tính từ đuôi đến đầu) khớp nhau (Hoặc thiếu chiều hoặc chiều bằng 1).
Ví dụ tensor chiều (3, 4, 2) có thể cộng được tensor chiều (2,)
Ví dụ tensor chiều (3, 4, 2) có thể cộng được tensor chiều (1, 1, 2)
Ví dụ tensor chiều (3, 4, 2) có thể cộng được tensor chiều (1, 2)
Ví dụ tensor chiều (3, 4, 2) không thể cộng được tensor chiều (2, 2)
Ví dụ tensor chiều (3, 4, 2) có thể cộng được tensor chiều (3, 1, 2)
Ví dụ tensor chiều (3, 4, 2) không thể cộng được tensor chiều (3, 2, 2)
Ví dụ tensor chiều (3, 4, 2) không thể cộng được tensor chiều (2, 1, 2)
Chú ý, trong trường hợp khác chiều ví dụ (3, 4, 2) và (2,)
Tensor có shape ít hơn (2, ) sẽ cố gắng thêm chiều bên trái để khớp với đầu vào
Từ (2, ) thành (4, 2)
Từ (4, 2) thành (3, 4, 2)
Sau đó mới tiến hành cộng
Trường hợp tensor chiều (3, 4, 2) không cộng được tensor chiều (2, 2)
Tensor chiều (2, 2) cố gắng thêm chiều vào đầu để khớp (3, 4, 2) nhưng không có cách nào.
Sách chi tiết: Python for Data Analysis - Wes McKinney.
Cách boardcast:
1.4. Transformer Encoder
1.5. Video trên lớp
1.6. Tài liệu đọc thêm
Tài liệu đọc thêm: https://jalammar.github.io/illustrated-transformer/
2. Transformer Decoder
2.1. Transformer-Decoder.pdf
2.2. Transformer Decoder
2.3. Beam Search
2.4. Code thực hành Transformer Decoder
Xây dựng GPT-2 trên tiếng Việt:
https://colab.research.google.com/drive/1HL2xPfzAhmANZLPDeTeL1jpQVUOGucPv?usp=sharing
3. Thực hành HuggingFace
3.1. Cách load dữ liệu
Các cách load dữ liệu văn bản với HuggingFace
Load từ HuggingFace Hub
Load từ CSV
Load từ Txt file
Load từ SQL Database
Load dữ liệu từ Arrow File
Chi tiết notebook được đăng tải tại đây: https://colab.research.google.com/drive/1-SnvvwPjyjQlJ0Ua-Qx3QXluIXDZJ52r?usp=sharing
3.2. Cách xử lý dữ liệu
4. Video NLP 01
4.1. [NLP 01] Zoom - Video trên lớp
Video Transformer Decoder trên lớp và cách sử dụng HuggingFace.