List of topics

[Zoom 24-02-2025] Khai giảng lớp học NLP 05

[Zoom 26-02-2025] Biểu thức chính quy - Regular Expressions

[Zoom 03-03-2025] Chi tiết các thuật toán tách token

[Zoom 05-03-2025] Chuẩn hóa văn bản

[Zoom 10-03-2025] Ôn tập đại số tuyến tính

[Zoom 12-03-2025] Ôn tập học máy, học sâu và các khái niệm liên quan

[Zoom 24-03-2025] Ôn tập quá trình training

[Bổ trợ] Các thuật toán Training

[Zoom 26-03-2025] Vector Semantics và Embeddings

[Zoom 31-03-2025] SkipGram, Glove và FastText

[Zoom 02-04-2025] Mô hình ngôn ngữ

[Zoom 07-04-2025] RNN và LSTM

[Zoom 14-04-2025] Bài toán dịch máy

[Zoom 09-04-2025] Mô hình Transfomer (4 buổi)

[Zoom 28-04-2025] Mô hình Bert và ứng dụng

[Zoom 28-4-2025] Thực hành Bert và ứng dụng với bài toán NER và POS Tag

[Zoom 29-4-2025] Bài toán truy xuất thông tin - Information Retrieval

[Zoom 05-05-2025] Vector Database and RAG

[Zoom 20-05-2025] Transformer Nâng cao

Dự án cuối khóa - 2 tuần

GPT + Đào tạo phân tán

[Zoom 03-03-2025] Chi tiết các thuật toán tách token

Thuật toán BPE
Thuật toán WordPiece
Sử dụng thư viện SentencePiece
Sử dụng thư viện Spacy
Sử dụng thư viện Underthesea cho Tiếng Việt

1. Giới thiệu Tách token

1.1. Slide

1.2. Thực hành tách từ với các thư viện khác nhau

Python thuần: https://colab.research.google.com/drive/1l3_wOM7cA5KLnJcv3jcgcb1g03SVAN05?usp=sharing
Thư viện Pytorch: https://drive.google.com/file/d/1jwJQ0iYBMHAce0FQBApEwu75il5Ugi2A/view?usp=sharing
Thư viện Tensorflow: https://drive.google.com/file/d/1MTBQwgqd1jBwK_yNGNNIQ4lkKrkaG36z/view?usp=sharing
Thư viện tiktoken: https://github.com/openai/tiktoken

High Speed with HuggingFace Dataset:

https://colab.research.google.com/drive/1HNLSiDVbgzPzk0Wu1xiPZvgvxcgs_ax8?usp=sharing

1.3. Lập trình tách Ngrams

Click to view more

1.4. [Thú vị] Tool hiển thị các thuật toán tách tokens

https://platform.openai.com/tokenizer

2. Thuật toán tách token BPE + WordPiece

2.1. Thực hành dùng WordPiece với HuggingFace

BPE: https://colab.research.google.com/drive/1Tg1ZzIDOAH-jbVfJWjaJi-me0yda1njn

WordPiece: https://colab.research.google.com/drive/1-hSYkP_HLx0vdzmLlSL3Ks7wIhtwR4y9?usp=sharing

2.2. BPE Demo

BPE Demo: https://colab.research.google.com/drive/1Tb8bY4CMcvuIYSx7-MuZyAv-Pw6gij0Z

3. Video Zoom NLP 01

3.1. Video Zoom 01

3.2. Video Zoom 02

3.3. Zoom NLP 03 - 24-09-2024

3.4. Zoom NLP 04 - 27-11-2024 [phần 1]

3.5. Zoom NLP 04 - 27-11-2024 [phần 2]

3.6. [NLP 05] Zoom 3-3-2025