Nền tảng xử lý ngôn ngữ tự nhiên 04

Slide

<ul><li>Python thuần: <a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1l3_wOM7cA5KLnJcv3jcgcb1g03SVAN05?usp=sharing">https://colab.research.google.com/drive/1l3_wOM7cA5KLnJcv3jcgcb1g03SVAN05?usp=sharing</a></li><li>Thư viện Pytorch: <a target="_blank" rel="noopener noreferrer nofollow" href="https://drive.google.com/file/d/1jwJQ0iYBMHAce0FQBApEwu75il5Ugi2A/view?usp=sharing">https://drive.google.com/file/d/1jwJQ0iYBMHAce0FQBApEwu75il5Ugi2A/view?usp=sharing</a></li><li>Thư viện Tensorflow: <a target="_blank" rel="noopener noreferrer nofollow" href="https://drive.google.com/file/d/1MTBQwgqd1jBwK_yNGNNIQ4lkKrkaG36z/view?usp=sharing">https://drive.google.com/file/d/1MTBQwgqd1jBwK_yNGNNIQ4lkKrkaG36z/view?usp=sharing</a></li><li>Thư viện tiktoken: <a target="_blank" rel="noopener noreferrer nofollow" href="https://github.com/openai/tiktoken">https://github.com/openai/tiktoken</a></li></ul>High Speed with HuggingFace Dataset: <a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1HNLSiDVbgzPzk0Wu1xiPZvgvxcgs_ax8?usp=sharing">https://colab.research.google.com/drive/1HNLSiDVbgzPzk0Wu1xiPZvgvxcgs_ax8?usp=sharing</a>

Thực hành tách từ với các thư viện khác nhau

Lập trình tách Ngrams

<a target="_blank" rel="noopener noreferrer nofollow" href="https://platform.openai.com/tokenizer">https://platform.openai.com/tokenizer</a>

[Thú vị] Tool hiển thị các thuật toán tách tokens

Giới thiệu Tách token

Thuật toán tách token BPE + WordPiece

BPE: <a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1Tg1ZzIDOAH-jbVfJWjaJi-me0yda1njn">https://colab.research.google.com/drive/1Tg1ZzIDOAH-jbVfJWjaJi-me0yda1njn</a>WordPiece: <a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1-hSYkP_HLx0vdzmLlSL3Ks7wIhtwR4y9?usp=sharing">https://colab.research.google.com/drive/1-hSYkP_HLx0vdzmLlSL3Ks7wIhtwR4y9?usp=sharing</a>

Thực hành dùng WordPiece với HuggingFace

BPE Demo: <a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1Tb8bY4CMcvuIYSx7-MuZyAv-Pw6gij0Z">https://colab.research.google.com/drive/1Tb8bY4CMcvuIYSx7-MuZyAv-Pw6gij0Z</a>

BPE Demo

Video Zoom 01

Video Zoom 02

Zoom NLP 03 - 24-09-2024

Zoom NLP 04 - 27-11-2024 [phần 1]

Zoom NLP 04 - 27-11-2024 [phần 2]

Video Zoom NLP 01

<ul><li>Thuật toán BPE</li><li>Thuật toán WordPiece</li><li>Sử dụng thư viện SentencePiece</li><li>Sử dụng thư viện Spacy</li><li>Sử dụng thư viện Underthesea cho Tiếng Việt</li></ul>

Chi tiết các thuật toán tách token

Khai giảng lớp học NLP 04

<ul><li>Luyện tập thuần thục viết Regular Expressions<ul><li>Các toán tử thông thường</li><li>Các toán tử nâng cao</li></ul></li><li>Thực hiện tiền xử lý trên văn bản tiếng Việt</li></ul>

Biểu thức chính quy - Regular Expressions

Các quy trình của chuẩn hóa văn bản<ul><li>Tách văn bản thành nhiều câu (Segmenting sentence)</li><li>Tách (phân đoạn) từ - Tokenizing (segmenting) words</li><li>Chuẩn hóa từ</li></ul>

Chuẩn hóa văn bản

[Zoom 4-12-2024] Ôn tập đại số tuyến tính

[Zoom 9-12-2024 và 11-12-204] Ôn tập học máy, học sâu và các khái niệm liên quan

[Zoom 16-12-2024] Ôn tập quá trình training

<ul><li>Tối ưu lồi</li><li>Vấn đề của SGD</li><li>SGD với quán tính</li><li>AdaGrad</li><li>AdaDelta và RMSProp</li></ul>

[Bổ trợ] Các thuật toán Training

<ul><li>Biểu diễn từ dưới dạng vector Semantics</li><li>Cách cách biểu diễn từ khác nhau</li><li>Độ do cosine</li></ul>

[Zoom 18-12-2024] Vector Semantics và Embeddings

<ul><li>Skip Gram và Glove</li><li>Thư viện FastText</li></ul>

[Zoom 23-12-2024] SkipGram, Glove và FastText

<ul><li>Mô hình ngôn ngữ n-grams</li><li>Mô hình ngôn ngữ mạng nơ ron</li><li>Giới thiệu mô hình ngôn ngữ nổi tiếng gần đây: GPT1, GPT2, GPT3, GPT 3.5, LLAMA1, LLAMA 2</li><li>Mô hình ngôn ngữ Mistral</li></ul>

[Zoom 25-12-2024] Mô hình ngôn ngữ

<ul><li>Mạng nơ ron hồi quy RNN</li><li>LSTM</li><li>GRU</li><li>Bidirectional RNN</li><li>Deep RNN</li></ul>

[Zoom 30-12-2024] RNN và LSTM

<ul><li>Bài toán dịch máy</li><li>Mô hình Seq2Seq</li><li>Vấn đề BottleNeck của Seq2Seq</li><li>Mô hình Seq2Seq và cơ chế Attention</li><li>BLEU Score</li><li>Thuật toán Greedy/Beam Search</li></ul>

[Zoom 06-01-2025] Bài toán dịch máy

<ul><li>Transformer Encoder<ul><li>Positional encoding</li><li>Cơ chế Attention</li><li>Multiheaded Attention</li></ul></li><li>Transformer Decoder</li><li>Lập trình mô hình Transformer từ đầu</li></ul>

[Zoom [8-13-16-20]-1-2025] Mô hình Transfomer (3 buổi)

<ul><li>Mô hình Bert và ứng dụng</li><li>Bert nguyên bản</li><li>Các phiên bản Bert nâng cấp: Roberta, PhoBert</li></ul>

[Zoom 05-02-2025] Mô hình Bert và ứng dụng

<ul><li>Bài toán NER + Pos Tagging</li><li>Ứng dụng Bert để xử lý hai bài toán này</li></ul>

[Zoom 05-02-2025] Thực hành Bert và ứng dụng với bài toán NER và POS Tag

<ul><li>Đọc các nghiên cứu của GPT-1, GPT-2, GPT-3 và GPT 3.5</li><li>Đào tạo mô hình phân tán song song dữ liệu và song song mô hình</li></ul>

[Zoom 10-2-2025] GPT + Đào tạo phân tán

<ul><li>Thuật toán tìm kiếm theo từ khóa TF-IDF và BM25</li><li>Thuật toán tìm kiếm theo Vector</li><li>Thư viện FAISS để tìm kiếm vector nhanh chóng<ul><li>Các thuật toán quan trọng của FAISS</li></ul></li></ul>

[Zoom 12-02-2025] Bài toán truy xuất thông tin - Information Retrieval

Vector Database and RAG<ul><li>Điểm qua Vector Database</li><li>Chi tiết về RAG</li><li>Thiết kế một RAG Pipeline</li></ul>

[Zoom 17-2-2025] Vector Database and RAG

Các cách đào tạo mô hình Transformer trên văn bản dài<ul><li>Cách 1: Positional Encoding tốt hơn. Thay vì dùng encoding vị trí như paper gốc Transformer, 2 cái tên có thể thay thế là ALiBi và ROPE. Một cách encode vị trí có thể scale theo context của câu.</li><li>Cách 2: Bạn không cần phải tính toán attention scores giữa tất cả các tokens. Một số tokens quan trọng hơn các tokens khác, vì vậy có thể sử dụng Sparse Attention. Điều này sẽ tăng tốc cả quá trình training và inference.</li><li>Cách 3: Flash Attention triển khai hiệu quả attention layer cho GPU. Nó sử dụng tiling và tránh việc tạo ra các ma trận trung gian lớn (n, n) không phù hợp với GPU SRAM. Điều này sẽ tăng tốc cả quá trình training và inference.</li><li>Multi-Query attention thay vì Multi-Head attention. Bạn chia sẻ weights giữa tất cả các heads khi nhân tuyến tính K và V. Nó sẽ tăng tốc đáng kể quá trình inference.</li><li>Conditional computation tránh việc sử dụng tất cả các model parameters lên tất cả các tokens từ input sequence. CoLT5 chỉ áp dụng các tính toán nặng nề lên những tokens quan trọng nhất và xử lý phần còn lại của các tokens với một phiên bản nhẹ hơn của các layers. Điều này sẽ tăng tốc cả quá trình training và inference.</li></ul>

Chi tiết các thuật toán tách token

1. Giới thiệu Tách token

1.1. Slide

1.2. Thực hành tách từ với các thư viện khác nhau

1.3. Lập trình tách Ngrams

1.4. [Thú vị] Tool hiển thị các thuật toán tách tokens

2. Thuật toán tách token BPE + WordPiece

2.1. Thực hành dùng WordPiece với HuggingFace

2.2. BPE Demo

3. Video Zoom NLP 01

3.1. Video Zoom 01

3.2. Video Zoom 02

3.3. Zoom NLP 03 - 24-09-2024

3.4. Zoom NLP 04 - 27-11-2024 [phần 1]

3.5. Zoom NLP 04 - 27-11-2024 [phần 2]