Danh sách chủ đề

Các thông tin quan trọng của lớp

Biểu thức chính quy - Regular Expressions

Chi tiết các thuật toán tách token

Chuẩn hóa văn bản

Ôn tập đại số tuyến tính

Ôn tập học máy, học sâu và các khái niệm liên quan

Ôn tập quá trình training

Ôn tập softmax + mạng nơ ron

[Bổ trợ] Các thuật toán Training

Vector Semantics và Embeddings

SkipGram, Glove và FastText

Mô hình ngôn ngữ

RNN và LSTM

Bài toán dịch máy

Mô hình Transfomer (4 buổi)

Mô hình Bert và ứng dụng

Thực hành Bert và ứng dụng với bài toán NER và POS Tag

GPT + Đào tạo phân tán

Bài toán truy xuất thông tin - Information Retrieval

Vector Database and RAG

Transformer Nâng cao

Chi tiết các thuật toán tách token

Các thuật toán tách token sử dụng Subwords
Thuật toán BPE
Thuật toán WordPiece

1. Giới thiệu Tách token

1.1. Slide

1.2. Thực hành tách từ với các thư viện khác nhau

Python thuần: https://colab.research.google.com/drive/1l3_wOM7cA5KLnJcv3jcgcb1g03SVAN05?usp=sharing
Thư viện Pytorch: https://drive.google.com/file/d/1jwJQ0iYBMHAce0FQBApEwu75il5Ugi2A/view?usp=sharing
Thư viện Tensorflow: https://drive.google.com/file/d/1MTBQwgqd1jBwK_yNGNNIQ4lkKrkaG36z/view?usp=sharing
Thư viện tiktoken: https://github.com/openai/tiktoken

High Speed with HuggingFace Dataset:

https://colab.research.google.com/drive/1HNLSiDVbgzPzk0Wu1xiPZvgvxcgs_ax8?usp=sharing

1.3. [Thú vị] Tool hiển thị các thuật toán tách tokens

https://platform.openai.com/tokenizer

2. Thuật toán tách token BPE + WordPiece

2.1. Thực hành dùng WordPiece với HuggingFace

BPE: https://colab.research.google.com/drive/1Tg1ZzIDOAH-jbVfJWjaJi-me0yda1njn

WordPiece: https://colab.research.google.com/drive/1-hSYkP_HLx0vdzmLlSL3Ks7wIhtwR4y9?usp=sharing

2.2. BPE Demo

BPE Demo: https://colab.research.google.com/drive/1Tb8bY4CMcvuIYSx7-MuZyAv-Pw6gij0Z

Danh sách chủ đề

Chi tiết các thuật toán tách token

1. Giới thiệu Tách token

1.1. Slide

1.2. Thực hành tách từ với các thư viện khác nhau

1.3. [Thú vị] Tool hiển thị các thuật toán tách tokens

2. Thuật toán tách token BPE + WordPiece

2.1. Thực hành dùng WordPiece với HuggingFace

2.2. BPE Demo

3. Video Zoom NLP 01

3.1. Video Zoom 01

3.2. Video Zoom 02

3.3. Zoom NLP 03 - 24-09-2024

3.4. Zoom NLP 04 - 27-11-2024 [phần 1]

3.5. Zoom NLP 04 - 27-11-2024 [phần 2]

3.6. [Zoom NLP 06] 14-05-2025 Tách token

Bài học