List of topics
Biểu thức chính quy - Regular Expressions
[31-1-2024] Chi tiết các thuật toán tách từ
Chuẩn hóa văn bản
Vector Semantics và Embeddings
SkipGram, Glove và FastText
Mô hình ngôn ngữ
RNN và LSTM
Bài toán dịch máy
Mô hình Transfomer
Mô hình Bert và ứng dụng
Thực hành Bert và ứng dụng với bài toán NER và POS Tag
GPT và ứng dụng
Bài toán tìm kiếm và hỏi đáp - Question Answering
Vector Database and RAG
Prompt Engineering
Semantic Cache
Nâng cao - Mô hình Wave2Vec cho bài toán nhận diện giọng nói
Dự án cuối khóa

Mô hình Transfomer

  • Transformer Encoder

    • Positional encoding

    • Cơ chế Attention

    • Multiheaded Attention

  • Transformer Decoder

  • Lập trình mô hình Transformer từ đầu

1. Transformer Encoder

1.1. Transformer-Encoder.pdf

1.2. Code Thực hành

Click to view more

1.3. Transformer Encoder

1.4. Video trên lớp

1.5. Tài liệu đọc thêm

Tài liệu đọc thêm: https://jalammar.github.io/illustrated-transformer/

2. Transformer Decoder

2.1. Transformer-Decoder.pdf

2.2. Code

Click to view more

2.3. Transformer Decoder

2.4. Video trên lớp

Video Transformer Decoder trên lớp và cách sử dụng HuggingFace.

3. Thực hành HuggingFace

3.1. Cách load dữ liệu

Các cách load dữ liệu văn bản với HuggingFace

  • Load từ HuggingFace Hub

  • Load từ CSV

  • Load từ Txt file

  • Load từ SQL Database

  • Load dữ liệu từ Arrow File

Chi tiết notebook được đăng tải tại đây: https://colab.research.google.com/drive/1-SnvvwPjyjQlJ0Ua-Qx3QXluIXDZJ52r?usp=sharing

3.2. Cách xử lý dữ liệu

Click to view more
1. Transformer Encoder
1.1. Transformer-Encoder.pdf
1.2. Code Thực hành
1.3. Transformer Encoder
1.4. Video trên lớp
1.5. Tài liệu đọc thêm
2. Transformer Decoder
2.1. Transformer-Decoder.pdf
2.2. Code
2.3. Transformer Decoder
2.4. Video trên lớp
3. Thực hành HuggingFace
3.1. Cách load dữ liệu
3.2. Cách xử lý dữ liệu