Nền tảng xử lý ngôn ngữ tự nhiên 02

Transformer-Encoder.pdf

Code Thực hành

Transformer Encoder

Video trên lớp

Tài liệu đọc thêm: <a target="_blank" rel="noopener noreferrer nofollow" href="https://jalammar.github.io/illustrated-transformer/">https://jalammar.github.io/illustrated-transformer/</a>

Tài liệu đọc thêm

[NLP 02] Zoom 22-8-2023 

[NLP 02] Zoom 28-8-2023

Transformer-Decoder.pdf

Transformer Decoder

Video Transformer Decoder trên lớp và cách sử dụng HuggingFace.

Thực hành Decoder<a target="_blank" rel="noopener noreferrer nofollow" href="https://github.com/bangoc123/transformer/blob/master/transformer/layers/decoder.py">https://github.com/bangoc123/transformer/blob/master/transformer/layers/decoder.py</a>- Hướng dẫn thực hành lập trình HuggingFace.- Hướng dẫn Build DatasetXây dựng GPT-2 trên tiếng Việt:<a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1HL2xPfzAhmANZLPDeTeL1jpQVUOGucPv?usp=sharing">https://colab.research.google.com/drive/1HL2xPfzAhmANZLPDeTeL1jpQVUOGucPv?usp=sharing</a>

Code thực hành

[NLP 02] Zoom 4-9-2024

Các cách load dữ liệu văn bản với HuggingFace<ul><li>Load từ HuggingFace Hub</li><li>Load từ CSV</li><li>Load từ Txt file</li><li>Load từ SQL Database</li><li>Load dữ liệu từ Arrow File</li></ul>Chi tiết notebook được đăng tải tại đây: <a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1-SnvvwPjyjQlJ0Ua-Qx3QXluIXDZJ52r?usp=sharing">https://colab.research.google.com/drive/1-SnvvwPjyjQlJ0Ua-Qx3QXluIXDZJ52r?usp=sharing</a>

Cách load dữ liệu

Cách xử lý dữ liệu

Thực hành HuggingFace

<ul><li>Transformer Encoder<ul><li>Positional encoding</li><li>Cơ chế Attention</li><li>Multiheaded Attention</li></ul></li><li>Transformer Decoder</li><li>Lập trình mô hình Transformer từ đầu</li></ul>

Mô hình Transfomer

<ul><li>Luyện tập thuần thục viết Regular Expressions<ul><li>Các toán tử thông thường</li><li>Các toán tử nâng cao</li></ul></li><li>Thực hiện tiền xử lý trên văn bản tiếng Việt</li></ul>

Biểu thức chính quy - Regular Expressions

<ul><li>Thuật toán BPE</li><li>Thuật toán WordPiece</li><li>Sử dụng thư viện SentencePiece</li><li>Sử dụng thư viện Spacy</li><li>Sử dụng thư viện Underthesea cho Tiếng Việt</li></ul>

Chi tiết các thuật toán tách từ

Các quy trình của chuẩn hóa văn bản<ul><li>Tách văn bản thành nhiều câu (Segmenting sentence)</li><li>Tách (phân đoạn) từ - Tokenizing (segmenting) words</li><li>Chuẩn hóa từ</li></ul>

Chuẩn hóa văn bản

<ul><li>Giới thiệu bài toán Grab</li><li>Quá trình xây dựng một mô hình</li><li>Mô hình hồi quy tuyến tính</li><li>Thuật toán Gradient Descent</li><li>Lập trình hồi quy tuyến tính một biến</li></ul>

[Bổ trợ học máy] Mô hình hồi quy tuyến tính

<ul><li>Tối ưu lồi</li><li>Vấn đề của SGD</li><li>SGD với quán tính</li><li>AdaGrad</li><li>AdaDelta và RMSProp</li></ul>

[Bổ trợ học máy] Các thuật toán Training

Mục tiêu của bài tập này: Bài tập này hướng dẫn bạn cách sử dụng Embedding đã được đào tạo từ trước nhằm mục tiêu cải thiện kết quả cho model hiện tại.Một số thông tin:<ul><li>Dữ liệu: IMDB Reviews với đầu vào là câu và nhãn là tích cực hay tiêu cực</li><li>Mô hình phân loại nhị phân</li></ul>

1 - Bài tập thực hành sử dụng Embedding

<ul><li>Biểu diễn từ dưới dạng vector Semantics</li><li>Cách cách biểu diễn từ khác nhau</li><li>Độ do cosine</li></ul>

Vector Semantics và Embeddings

<ul><li>Skip Gram và Glove</li><li>Thư viện FastText</li></ul>

SkipGram, Glove và FastText

<ul><li>Mô hình ngôn ngữ n-grams</li><li>Mô hình ngôn ngữ mạng nơ ron</li><li>Giới thiệu mô hình ngôn ngữ nổi tiếng gần đây: GPT1, GPT2, GPT3, GPT 3.5, LLAMA1, LLAMA 2</li><li>Mô hình ngôn ngữ Mistral</li></ul>

Mô hình ngôn ngữ

<ul><li>Mạng nơ ron hồi quy RNN</li><li>LSTM</li><li>GRU</li><li>Bidirectional RNN</li><li>Deep RNN</li></ul>

RNN và LSTM

<ul><li>Bài toán dịch máy</li><li>Mô hình Seq2Seq</li><li>Vấn đề BottleNeck của Seq2Seq</li><li>Mô hình Seq2Seq và cơ chế Attention</li><li>BLEU Score</li><li>Thuật toán Greedy/Beam Search</li></ul>

Bài toán dịch máy

Bài tập cho các văn bản khác nhau, phát hiện ngôn ngữ văn bản đang sử dụng

5 - Bài tập phân loại ngôn ngữ sử dụng Transformer

<ul><li>Mô hình Bert và ứng dụng</li><li>Bert nguyên bản</li><li>Các phiên bản Bert nâng cấp: Roberta, PhoBert</li></ul>

Mô hình Bert và ứng dụng

<ul><li>Bài toán NER + Pos Tagging</li><li>Ứng dụng Bert để xử lý hai bài toán này</li></ul>

Thực hành Bert và ứng dụng với bài toán NER và POS Tag

GPT + Đào tạo phân tán

Bài toán truy xuất thông tin - Information Retrieval

Vector Database and RAG<ul><li>Điểm qua Vector Database</li><li>Chi tiết về RAG</li><li>Thiết kế một RAG Pipeline</li></ul>

Vector Database and RAG

Các cách đào tạo mô hình Transformer trên văn bản dài<ul><li>Cách 1: Positional Encoding tốt hơn. Thay vì dùng encoding vị trí như paper gốc Transformer, 2 cái tên có thể thay thế là ALiBi và ROPE. Một cách encode vị trí có thể scale theo context của câu.</li><li>Cách 2: Bạn không cần phải tính toán attention scores giữa tất cả các tokens. Một số tokens quan trọng hơn các tokens khác, vì vậy có thể sử dụng Sparse Attention. Điều này sẽ tăng tốc cả quá trình training và inference.</li><li>Cách 3: Flash Attention triển khai hiệu quả attention layer cho GPU. Nó sử dụng tiling và tránh việc tạo ra các ma trận trung gian lớn (n, n) không phù hợp với GPU SRAM. Điều này sẽ tăng tốc cả quá trình training và inference.</li><li>Multi-Query attention thay vì Multi-Head attention. Bạn chia sẻ weights giữa tất cả các heads khi nhân tuyến tính K và V. Nó sẽ tăng tốc đáng kể quá trình inference.</li><li>Conditional computation tránh việc sử dụng tất cả các model parameters lên tất cả các tokens từ input sequence. CoLT5 chỉ áp dụng các tính toán nặng nề lên những tokens quan trọng nhất và xử lý phần còn lại của các tokens với một phiên bản nhẹ hơn của các layers. Điều này sẽ tăng tốc cả quá trình training và inference.</li></ul>

Transformer nâng cao

<ul><li>Instruction Finetuning</li><li>Cách viết prompt hiệu quả</li><li>Chain-of-Thought</li><li>Zero-Shot, One-Shot và Few-shots</li></ul>

Prompt Engineering

<a target="_blank" rel="noopener noreferrer nofollow" href="https://drive.google.com/file/d/1PbPMxBEd7jdxLeL8HiJOBhC37VKpdHQ4/view?usp=drive_link">https://drive.google.com/file/d/1PbPMxBEd7jdxLeL8HiJOBhC37VKpdHQ4/view?usp=drive_link</a>Các link liên quan: <a target="_blank" rel="noopener noreferrer nofollow" href="https://protonx.coursemind.io/courses/66487737f91fdc001a81ce3a/topics/670fb1e8a2fade00125c49da?activeAId=670fb1f876c94100198bcc60">https://protonx.coursemind.io/courses/66487737f91fdc001a81ce3a/topics/670fb1e8a2fade00125c49da?activeAId=670fb1f876c94100198bcc60</a>

Mô hình Transfomer

1. Transformer Encoder

1.1. Transformer-Encoder.pdf

1.2. Code Thực hành

1.3. Transformer Encoder

1.4. Video trên lớp

1.5. Tài liệu đọc thêm

1.6. [NLP 02] Zoom 22-8-2023

1.7. [NLP 02] Zoom 28-8-2023

2. Transformer Decoder

2.1. Transformer-Decoder.pdf

2.2. Transformer Decoder

2.3. Video trên lớp

2.4. Code thực hành

2.5. [NLP 02] Zoom 4-9-2024

3. Thực hành HuggingFace

3.1. Cách load dữ liệu

3.2. Cách xử lý dữ liệu