Họ model LLAMA
Nâng cấp của LLAMA 3.1 trên Transformer Decoder cơ bản
Rotary Positional Embedding
Hướng dẫn đào tạo song song model
1. Nội dung
1.1. LLAMA
1.2. Thực hành
Fine tune LLAMA 3.2 Tiếng Anh: https://colab.research.google.com/drive/1mNiTH0vrkzkO1MZx29nrFCBHnQ29DZfR?usp=sharing
Fine tune LLAMA 3.2 Tiếng Việt:
https://colab.research.google.com/drive/11PRX_0HYishpjdq50hrDVvqucSYX7vkR?usp=sharing
Fine tune tiết kiệm: https://unsloth.ai/blog/llama3-3
Code ROPE: https://colab.research.google.com/drive/1QBkP6ve4f2-KapKaWDeodkR8_2JEYWjw#scrollTo=g1rriEeAAcKm
Train song song mô hình: https://drive.google.com/file/d/1oqzS7US4avLKBOHaMjsBZJrp8NdMqGlS/view?usp=drive_link