Danh sách chủ đề

Hướng dẫn đọc AI paper bất kỳ
MLP-Mixer
Transformer
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
Đọc nghiên cứu GPT-1, GPT-2 và GPT-3
InstructionGPT và ChatGPT
Đào tạo mô hình ngôn ngữ trên Tiếng Việt

InstructionGPT và ChatGPT

  • InstructionGPT
  • ChatGPT
  • Học tăng cường khi đào tạo InstructionGPT
  • Các khái niệm liên quan tới mô hình trao thưởng (Reward Model) và cách fine-tuning mô hình ngôn ngữ dựa trên mô hình trao thưởng này.

1. Đọc paper InstructionGPT

1.1. Tại sao InstructionGPT ra đời?

1.2. Các bước để xây dựng InstructionGPT?

2. Chi tiết các bước xây dựng mô hình

2.1. Bước 1 - Supervised fine-tuning (SFT)

2.2. Bước 2 - Reward Model (RM)

2.3. Toàn bộ quá trình training

Bài học