Nền tảng xử lý ngôn ngữ tự nhiên 05

Xem về đạo hàm một biến, đạo hàm riêng:<a target="_blank" rel="noopener noreferrer nofollow" href="https://protonx.coursemind.io/courses/67284cbf76c9410019a6f522/info">https://protonx.coursemind.io/courses/67284cbf76c9410019a6f522/info</a>

Yêu cầu trước buổi học

Lập trình Sigmoid + Softmax với Pytorch:<a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1odoEHK4JkGZExwYDkZuXxwVcdhyLpp-5#scrollTo=Zwomw_q6UuWT">https://colab.research.google.com/drive/1odoEHK4JkGZExwYDkZuXxwVcdhyLpp-5#scrollTo=Zwomw_q6UuWT</a>

Thực hành

Nội dung

[NLP 04 - 16-12-2024] Zoom

[NLP-05] Zoom 24-03-2025 - Ôn tập quá trình training

Video

[Zoom 24-03-2025] Ôn tập quá trình training

[Zoom 24-02-2025] Khai giảng lớp học NLP 05

<ul><li>Luyện tập thuần thục viết Regular Expressions<ul><li>Các toán tử thông thường</li><li>Các toán tử nâng cao</li></ul></li><li>Thực hiện tiền xử lý trên văn bản tiếng Việt</li></ul>

[Zoom 26-02-2025] Biểu thức chính quy - Regular Expressions

Làm theo hướng dẫn trên TODO.<a target="_blank" rel="noopener noreferrer nofollow" href="https://drive.google.com/file/d/1TOc_PU5voH_TFzRQyqmXXbRfRnpG3heb/view?usp=drive_link">Xem video</a> về BPE để hiểu rõ hơn về thuật toán tách Token.

Bài tập lập trình thuật toán tách Token WordPiece

<ul><li>Thuật toán BPE</li><li>Thuật toán WordPiece</li><li>Sử dụng thư viện SentencePiece</li><li>Sử dụng thư viện Spacy</li><li>Sử dụng thư viện Underthesea cho Tiếng Việt</li></ul>

[Zoom 03-03-2025] Chi tiết các thuật toán tách token

Các quy trình của chuẩn hóa văn bản<ul><li>Tách văn bản thành nhiều câu (Segmenting sentence)</li><li>Tách (phân đoạn) từ - Tokenizing (segmenting) words</li><li>Chuẩn hóa từ</li></ul>

[Zoom 05-03-2025] Chuẩn hóa văn bản

[Zoom 10-03-2025] Ôn tập đại số tuyến tính

<ul><li>Ôn tập học máy,</li><li>Ôn tập học sâu </li><li>Khái niệm Overfitting/Underfitting</li></ul>

[Zoom 12-03-2025] Ôn tập học máy, học sâu và các khái niệm liên quan

<ul><li>Tối ưu lồi</li><li>Vấn đề của SGD</li><li>SGD với quán tính</li><li>AdaGrad</li><li>AdaDelta và RMSProp</li></ul>

[Bổ trợ] Các thuật toán Training

[Zoom 26-03-2025] Vector Semantics và Embeddings

<ul><li>Chi tiết mô hình SkipGram</li><li>Negative Sampling</li><li>Softmax đa tầng</li></ul>

[Zoom 31-03-2025] SkipGram, Glove và FastText

[Zoom 02-04-2025] Mô hình ngôn ngữ

<a target="_blank" rel="noopener noreferrer nofollow" href="https://docs.google.com/presentation/d/10aNau8X4qaGKuPITQ8iDbCZPiBjygXZSSZtG3bFP6Dg/edit?usp=sharing">Hướng dẫn chi tiết</a><a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1IdB6NL3bccWodZ_YKy8R0tywp9SYy2GN?usp=sharing">Code</a>3 TODO = 60 điểm

Bài tập lập trình mô hình phân loại tiêu đề Blog

[Zoom 07-04-2025]  RNN và LSTM

<ul><li>Bài toán dịch máy</li><li>Mô hình Seq2Seq</li><li>Vấn đề BottleNeck của Seq2Seq</li><li>Mô hình Seq2Seq và cơ chế Attention</li><li>BLEU Score</li><li>Thuật toán Greedy/Beam Search</li></ul>

[Zoom 14-04-2025] Bài toán dịch máy

<ul><li>Transformer Encoder<ul><li>Positional encoding</li><li>Cơ chế Attention</li><li>Multiheaded Attention</li></ul></li><li>Transformer Decoder</li><li>Lập trình mô hình Transformer từ đầu</li></ul>

[Zoom 09-04-2025] Mô hình Transfomer (4 buổi)

<ul><li>Mô hình Bert và ứng dụng</li><li>Bert nguyên bản</li><li>Các phiên bản Bert nâng cấp: Roberta, PhoBert</li></ul>

[Zoom 28-04-2025] Mô hình Bert và ứng dụng

<ul><li>Bài toán NER + Pos Tagging</li><li>Ứng dụng Bert để xử lý hai bài toán này</li></ul>

[Zoom 28-4-2025] Thực hành Bert và ứng dụng với bài toán NER và POS Tag

<ul><li>Thuật toán tìm kiếm theo từ khóa TF-IDF và BM25</li><li>Thuật toán tìm kiếm theo Vector</li><li>Thư viện FAISS để tìm kiếm vector nhanh chóng<ul><li>Các thuật toán quan trọng của FAISS</li></ul></li></ul>

[Zoom 29-4-2025] Bài toán truy xuất thông tin - Information Retrieval

Vector Database and RAG<ul><li>Điểm qua Vector Database</li><li>Chi tiết về RAG</li><li>Thiết kế một RAG Pipeline</li></ul>

[Zoom 05-05-2025] Vector Database and RAG

[Zoom 20-05-2025] Transformer Nâng cao

Dự án cuối khóa - 2 tuần

<ul><li>Đọc các nghiên cứu của GPT-1, GPT-2, GPT-3 và GPT 3.5</li><li>Đào tạo mô hình phân tán song song dữ liệu và song song mô hình</li></ul>

[Zoom 24-03-2025] Ôn tập quá trình training

1. Nội dung

1.1. Yêu cầu trước buổi học

1.2. Thực hành

2. Video

2.1. [NLP 04 - 16-12-2024] Zoom

2.2. [NLP-05] Zoom 24-03-2025 - Ôn tập quá trình training