Transformer Nâng cao

Đưa Rope vào Transformer:

Team nâng cấp mô hình Transformer thay vì sử dụng Embedding vị trí thường thì sử dụng Phép nhúng vị trí xoay (Rotary Position Embedding) giúp cải thiện hiệu năng phân loại từ 1-2%.

RoFormer thêm thông tin vị trí vào vector q và k thay vì phải tạo một lớp chỉ positional Embedding.

RoFormer áp dụng việc xoay vector q và k với một góc không đổi để tăng mối quan hệ vị trí tương đối.

Ví dụ ở vị trí trong câu từ m=1 đến m=2 và vị trí m=2 đến m=3, ở cùng một vị trí embedding ví dụ i = 0 vector q sẽ quay một góc giống nhau. Tương tự vector k cũng quay một góc giống nhau.

Notebook: https://colab.research.google.com/drive/1QBkP6ve4f2-KapKaWDeodkR8_2JEYWjw?usp=sharing.

Bài báo: https://arxiv.org/pdf/2104.09864v5.

Biểu diễn ROPE: https://colab.research.google.com/drive/1SMsORT8958HOs2c99bC9FYV4sfKrs0el?usp=sharing

Code: https://colab.research.google.com/drive/1OyXD3ZQJuWfCzxIaxjBIOAvOPbq2Fw8I?usp=drive_link

Code hiển thị: https://drive.google.com/file/d/1Y3eOWClXk8dxpKw9FxGEeyiS6p3FsNys/view?usp=drive_link

Paper: https://arxiv.org/pdf/1904.10509

Cơ chế

Lập trình

Team thực hiện Benchmark Multiheaded Attention thường của Transformer và FlashAttention để tối ưu truy cập memory của GPU.

Kết quả sau 1000 lần thực hiện thì FlashAttention nhanh hơn khoảng gấp rưỡi so với Attention thông thường.

BenchMark này được thực hiện trên GPU T4 Google Colab.

P/S: trong Pytorch hàm scaled_dot_product_attention đã sử dụng Attention.

Notebook và kết quả: https://colab.research.google.com/drive/1-HjN3McMS_boMyBZFAt1TP7NLoRUd346?usp=sharing

Chi tiết code: https://colab.research.google.com/drive/1RRLM1PPekAcqz6f2a_cmbLf6kvkVVHMI?usp=sharing.

Ảnh minh họa: https://docs.google.com/presentation/d/16way0j4UZwznkEgXAKL24RkLH4gaizk7yWfcrmMLnzs/edit?usp=sharing

Giải thích chi tiết: https://huggingface.co/blog/moe

Open Source MOE: https://huggingface.co/allenai/OLMoE-1B-7B-0924

Paper: https://drive.google.com/file/d/1llCvhH3byOzg4LwlBtn5TZnWzBlL2FBd/view

Slide: https://docs.google.com/presentation/d/1M5wAvXWpb0Eq793P7JDRPMST3H3NVT_C/edit?usp=sharing&ouid=100974175953554169152&rtpof=true&sd=true

Slide: https://docs.google.com/presentation/d/1Qe49-oFh1R8_KLP0P1pYmT_giTKrqlwe/edit?usp=sharing&ouid=100974175953554169152&rtpof=true&sd=true

Notebook: https://colab.research.google.com/drive/1JDsQ9QLqS5t4dnjnxAY4JqSUpKOXfttV?usp=sharing

Bài báo: https://arxiv.org/pdf/2409.04431

Code: https://colab.research.google.com/drive/1f1Z4MUcVzyb7tDTNe2_zn-heaxBvDERP?usp=sharing