Nền tảng xử lý ngôn ngữ tự nhiên 05

Language Model + RNN

Nội dung: <a target="_blank" rel="noopener noreferrer nofollow" href="https://stanford.edu/~shervine/l/vi/teaching/cs-230/cheatsheet-recurrent-neural-networks#comparing-words">https://stanford.edu/~shervine/l/vi/teaching/cs-230/cheatsheet-recurrent-neural-networks#comparing-words</a>

Một số ghi chú hay

Code thực hành

Lập trình n-grams từ đầu:<a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1fRBHH3B_8rO52uSEIj6mEmoCxrjOJ3TX#scrollTo=5VosRLklC4ur">https://colab.research.google.com/drive/1fRBHH3B_8rO52uSEIj6mEmoCxrjOJ3TX#scrollTo=5VosRLklC4ur</a>

Lập trình n-grams từ đầu

Khái niệm mô hình ngôn ngữ

Danh sách các mô hình ngôn ngữ Open Source nổi tiếng

Các mô hình ngôn ngữ hiện đại

Video Zoom

Zoom NLP 02 - 31/7/2024

Zoom NLP 03 - 15-10-2024

Zoom NLP 04 - 25-12-2024

Zoom NLP 05 - 02-04-2025

Video

[Zoom 02-04-2025] Mô hình ngôn ngữ

[Zoom 24-02-2025] Khai giảng lớp học NLP 05

<ul><li>Luyện tập thuần thục viết Regular Expressions<ul><li>Các toán tử thông thường</li><li>Các toán tử nâng cao</li></ul></li><li>Thực hiện tiền xử lý trên văn bản tiếng Việt</li></ul>

[Zoom 26-02-2025] Biểu thức chính quy - Regular Expressions

Làm theo hướng dẫn trên TODO.<a target="_blank" rel="noopener noreferrer nofollow" href="https://drive.google.com/file/d/1TOc_PU5voH_TFzRQyqmXXbRfRnpG3heb/view?usp=drive_link">Xem video</a> về BPE để hiểu rõ hơn về thuật toán tách Token.

Bài tập lập trình thuật toán tách Token WordPiece

<ul><li>Thuật toán BPE</li><li>Thuật toán WordPiece</li><li>Sử dụng thư viện SentencePiece</li><li>Sử dụng thư viện Spacy</li><li>Sử dụng thư viện Underthesea cho Tiếng Việt</li></ul>

[Zoom 03-03-2025] Chi tiết các thuật toán tách token

Các quy trình của chuẩn hóa văn bản<ul><li>Tách văn bản thành nhiều câu (Segmenting sentence)</li><li>Tách (phân đoạn) từ - Tokenizing (segmenting) words</li><li>Chuẩn hóa từ</li></ul>

[Zoom 05-03-2025] Chuẩn hóa văn bản

[Zoom 10-03-2025] Ôn tập đại số tuyến tính

<ul><li>Ôn tập học máy,</li><li>Ôn tập học sâu </li><li>Khái niệm Overfitting/Underfitting</li></ul>

[Zoom 12-03-2025] Ôn tập học máy, học sâu và các khái niệm liên quan

[Zoom 24-03-2025] Ôn tập quá trình training

<ul><li>Tối ưu lồi</li><li>Vấn đề của SGD</li><li>SGD với quán tính</li><li>AdaGrad</li><li>AdaDelta và RMSProp</li></ul>

[Bổ trợ] Các thuật toán Training

[Zoom 26-03-2025] Vector Semantics và Embeddings

<ul><li>Chi tiết mô hình SkipGram</li><li>Negative Sampling</li><li>Softmax đa tầng</li></ul>

[Zoom 31-03-2025] SkipGram, Glove và FastText

<a target="_blank" rel="noopener noreferrer nofollow" href="https://docs.google.com/presentation/d/10aNau8X4qaGKuPITQ8iDbCZPiBjygXZSSZtG3bFP6Dg/edit?usp=sharing">Hướng dẫn chi tiết</a><a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1IdB6NL3bccWodZ_YKy8R0tywp9SYy2GN?usp=sharing">Code</a>3 TODO = 60 điểm

Bài tập lập trình mô hình phân loại tiêu đề Blog

[Zoom 07-04-2025]  RNN và LSTM

<ul><li>Bài toán dịch máy</li><li>Mô hình Seq2Seq</li><li>Vấn đề BottleNeck của Seq2Seq</li><li>Mô hình Seq2Seq và cơ chế Attention</li><li>BLEU Score</li><li>Thuật toán Greedy/Beam Search</li></ul>

[Zoom 14-04-2025] Bài toán dịch máy

<ul><li>Transformer Encoder<ul><li>Positional encoding</li><li>Cơ chế Attention</li><li>Multiheaded Attention</li></ul></li><li>Transformer Decoder</li><li>Lập trình mô hình Transformer từ đầu</li></ul>

[Zoom 09-04-2025] Mô hình Transfomer (4 buổi)

<ul><li>Mô hình Bert và ứng dụng</li><li>Bert nguyên bản</li><li>Các phiên bản Bert nâng cấp: Roberta, PhoBert</li></ul>

[Zoom 28-04-2025] Mô hình Bert và ứng dụng

<ul><li>Bài toán NER + Pos Tagging</li><li>Ứng dụng Bert để xử lý hai bài toán này</li></ul>

[Zoom 28-4-2025] Thực hành Bert và ứng dụng với bài toán NER và POS Tag

<ul><li>Thuật toán tìm kiếm theo từ khóa TF-IDF và BM25</li><li>Thuật toán tìm kiếm theo Vector</li><li>Thư viện FAISS để tìm kiếm vector nhanh chóng<ul><li>Các thuật toán quan trọng của FAISS</li></ul></li></ul>

[Zoom 29-4-2025] Bài toán truy xuất thông tin - Information Retrieval

Vector Database and RAG<ul><li>Điểm qua Vector Database</li><li>Chi tiết về RAG</li><li>Thiết kế một RAG Pipeline</li></ul>

[Zoom 05-05-2025] Vector Database and RAG

[Zoom 20-05-2025] Transformer Nâng cao

Dự án cuối khóa - 2 tuần

<ul><li>Đọc các nghiên cứu của GPT-1, GPT-2, GPT-3 và GPT 3.5</li><li>Đào tạo mô hình phân tán song song dữ liệu và song song mô hình</li></ul>

Danh sách chủ đề

[Zoom 02-04-2025] Mô hình ngôn ngữ

1. Khái niệm mô hình ngôn ngữ

1.1. Language Model + RNN

1.2. Một số ghi chú hay

1.3. Code thực hành

1.4. Lập trình n-grams từ đầu

2. Các mô hình ngôn ngữ hiện đại

2.1. Danh sách các mô hình ngôn ngữ Open Source nổi tiếng

3. Video

3.1. Video Zoom

3.2. Zoom NLP 02 - 31/7/2024

3.3. Zoom NLP 03 - 15-10-2024

3.4. Zoom NLP 04 - 25-12-2024

3.5. Zoom NLP 05 - 02-04-2025

Bài học