Nền tảng xử lý ngôn ngữ tự nhiên 05

Slide

Skip Gram Note

Thực hành

SkipGram, Glove và FastText

Đào tạo skip gram với Tensorflow: <a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1xHbWuXa6xd1slVgNHHJvcIKUsdulOJnJ#scrollTo=2MlsXzo-ZlfK">https://colab.research.google.com/drive/1xHbWuXa6xd1slVgNHHJvcIKUsdulOJnJ#scrollTo=2MlsXzo-ZlfK</a>

Đào tạo skip gram với Tensorflow

Cách đào tạo mô hình Skip Gram

Một số chú ý: <a target="_blank" rel="noopener noreferrer nofollow" href="https://nlp.stanford.edu/pubs/glove.pdf">https://nlp.stanford.edu/pubs/glove.pdf</a>

Một số chú ý

Mô hình Glove

Video

Video NLP 02

[NLP 03 - 12-10-2024] Zoom

[NLP 04] Zoom  23-12-2024

[NLP 05] Zoom 31/03/2025

<ul><li>Chi tiết mô hình SkipGram</li><li>Negative Sampling</li><li>Softmax đa tầng</li></ul>

[Zoom 31-03-2025] SkipGram, Glove và FastText

[Zoom 24-02-2025] Khai giảng lớp học NLP 05

<ul><li>Luyện tập thuần thục viết Regular Expressions<ul><li>Các toán tử thông thường</li><li>Các toán tử nâng cao</li></ul></li><li>Thực hiện tiền xử lý trên văn bản tiếng Việt</li></ul>

[Zoom 26-02-2025] Biểu thức chính quy - Regular Expressions

Làm theo hướng dẫn trên TODO.<a target="_blank" rel="noopener noreferrer nofollow" href="https://drive.google.com/file/d/1TOc_PU5voH_TFzRQyqmXXbRfRnpG3heb/view?usp=drive_link">Xem video</a> về BPE để hiểu rõ hơn về thuật toán tách Token.

Bài tập lập trình thuật toán tách Token WordPiece

<ul><li>Thuật toán BPE</li><li>Thuật toán WordPiece</li><li>Sử dụng thư viện SentencePiece</li><li>Sử dụng thư viện Spacy</li><li>Sử dụng thư viện Underthesea cho Tiếng Việt</li></ul>

[Zoom 03-03-2025] Chi tiết các thuật toán tách token

Các quy trình của chuẩn hóa văn bản<ul><li>Tách văn bản thành nhiều câu (Segmenting sentence)</li><li>Tách (phân đoạn) từ - Tokenizing (segmenting) words</li><li>Chuẩn hóa từ</li></ul>

[Zoom 05-03-2025] Chuẩn hóa văn bản

[Zoom 10-03-2025] Ôn tập đại số tuyến tính

<ul><li>Ôn tập học máy,</li><li>Ôn tập học sâu </li><li>Khái niệm Overfitting/Underfitting</li></ul>

[Zoom 12-03-2025] Ôn tập học máy, học sâu và các khái niệm liên quan

[Zoom 24-03-2025] Ôn tập quá trình training

<ul><li>Tối ưu lồi</li><li>Vấn đề của SGD</li><li>SGD với quán tính</li><li>AdaGrad</li><li>AdaDelta và RMSProp</li></ul>

[Bổ trợ] Các thuật toán Training

[Zoom 26-03-2025] Vector Semantics và Embeddings

[Zoom 02-04-2025] Mô hình ngôn ngữ

<a target="_blank" rel="noopener noreferrer nofollow" href="https://docs.google.com/presentation/d/10aNau8X4qaGKuPITQ8iDbCZPiBjygXZSSZtG3bFP6Dg/edit?usp=sharing">Hướng dẫn chi tiết</a><a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1IdB6NL3bccWodZ_YKy8R0tywp9SYy2GN?usp=sharing">Code</a>3 TODO = 60 điểm

Bài tập lập trình mô hình phân loại tiêu đề Blog

[Zoom 07-04-2025]  RNN và LSTM

<ul><li>Bài toán dịch máy</li><li>Mô hình Seq2Seq</li><li>Vấn đề BottleNeck của Seq2Seq</li><li>Mô hình Seq2Seq và cơ chế Attention</li><li>BLEU Score</li><li>Thuật toán Greedy/Beam Search</li></ul>

[Zoom 14-04-2025] Bài toán dịch máy

<ul><li>Transformer Encoder<ul><li>Positional encoding</li><li>Cơ chế Attention</li><li>Multiheaded Attention</li></ul></li><li>Transformer Decoder</li><li>Lập trình mô hình Transformer từ đầu</li></ul>

[Zoom 09-04-2025] Mô hình Transfomer (4 buổi)

<ul><li>Mô hình Bert và ứng dụng</li><li>Bert nguyên bản</li><li>Các phiên bản Bert nâng cấp: Roberta, PhoBert</li></ul>

[Zoom 28-04-2025] Mô hình Bert và ứng dụng

<ul><li>Bài toán NER + Pos Tagging</li><li>Ứng dụng Bert để xử lý hai bài toán này</li></ul>

[Zoom 28-4-2025] Thực hành Bert và ứng dụng với bài toán NER và POS Tag

<ul><li>Thuật toán tìm kiếm theo từ khóa TF-IDF và BM25</li><li>Thuật toán tìm kiếm theo Vector</li><li>Thư viện FAISS để tìm kiếm vector nhanh chóng<ul><li>Các thuật toán quan trọng của FAISS</li></ul></li></ul>

[Zoom 29-4-2025] Bài toán truy xuất thông tin - Information Retrieval

Vector Database and RAG<ul><li>Điểm qua Vector Database</li><li>Chi tiết về RAG</li><li>Thiết kế một RAG Pipeline</li></ul>

[Zoom 05-05-2025] Vector Database and RAG

[Zoom 20-05-2025] Transformer Nâng cao

Dự án cuối khóa - 2 tuần

<ul><li>Đọc các nghiên cứu của GPT-1, GPT-2, GPT-3 và GPT 3.5</li><li>Đào tạo mô hình phân tán song song dữ liệu và song song mô hình</li></ul>

Danh sách chủ đề

[Zoom 31-03-2025] SkipGram, Glove và FastText

1. SkipGram, Glove và FastText

1.1. Slide

1.2. Skip Gram Note

1.3. Thực hành

2. Cách đào tạo mô hình Skip Gram

2.1. Đào tạo skip gram với Tensorflow

3. Mô hình Glove

3.1. Một số chú ý

4. Video

4.1. Video

4.2. Video NLP 02

4.3. [NLP 03 - 12-10-2024] Zoom

4.4. [NLP 04] Zoom 23-12-2024

4.5. [NLP 05] Zoom 31/03/2025

Bài học