Nền tảng xử lý ngôn ngữ tự nhiên 06

Slide

Sử dụng Bert

Video Zoom - 1-5-2024

Nền tảng NER + Pos Tag

<ul><li>Bài toán NER + Pos Tagging</li><li>Ứng dụng Bert để xử lý hai bài toán này</li></ul>

Thực hành Bert và ứng dụng với bài toán NER và POS Tag

Đường dẫn Zoom + Discord + Các học trên nền tảng

[Khai giảng] [Zoom 07-05-2025] Các thông tin quan trọng của lớp

<ul><li>Luyện tập thuần thục viết Regular Expressions<ul><li>Các toán tử thông thường</li><li>Các toán tử nâng cao</li></ul></li><li>Thực hiện tiền xử lý trên văn bản tiếng Việt</li></ul>

[Zoom 12-05-2025] Biểu thức chính quy - Regular Expressions

<ul><li>Các thuật toán tách token sử dụng Subwords</li><li>Thuật toán BPE</li><li>Thuật toán WordPiece</li></ul>

[Zoom 14-05-2025] Chi tiết các thuật toán tách token

6 kỹ thuật chuẩn hóa văn bản

[Zoom 19-05-2025] Chuẩn hóa văn bản

<ul><li>Ôn tập Vector</li><li>Ôn tập Ma trận</li><li>Các độ đo quan trọng trong NLP như Cosine Similarity</li></ul>

[Zoom 21-05-2025] Ôn tập đại số tuyến tính

<ul><li>Học máy là gì</li><li>Mô hình học máy cơ bản</li><li>Giới thiệu học sâu</li><li>Mạng nơ ron chi tiết</li></ul>

[Zoom 26-05-2025] Ôn tập học máy, học sâu và các khái niệm liên quan

<ul><li>Đào tạo hiệu quả một mô hình bất kỳ</li><li>Các thuật toán đào tạo mô hình</li></ul>

[Zoom 28-05-2025] Ôn tập quá trình training

<ul><li>Mô hình Softmax</li><li>Mạng nơ ron</li></ul>

[Zoom 02-06-2025] Ôn tập softmax + mạng nơ ron 

<ul><li>Tối ưu lồi</li><li>Vấn đề của SGD</li><li>SGD với quán tính</li><li>AdaGrad</li><li>AdaDelta và RMSProp</li></ul>

[Bổ trợ] Các thuật toán Training

<ul><li>Khái niệm Embeddings</li><li>Word2Vec với phiên bản CBOW</li></ul>

[Zoom 04-06-2025] Vector Semantics và Embeddings

<ul><li>SkipGram</li><li>Glove</li><li>FastText</li></ul>

SkipGram, Glove và FastText

<ul><li>Khái niệm mô hình ngôn ngữ</li><li>Mô hình ngôn ngữ N-grams</li><li>Mô hình ngôn ngữ sử dụng RNN</li></ul>

Mô hình ngôn ngữ

<ul><li>Chi tiết mạng RNN</li><li>Giải thích dễ hiểu LSTM</li><li>Trình bày qua về ý tưởng của GRU</li></ul>

RNN và LSTM

<ul><li>Bài toán dịch máy</li><li>Mô hình Seq2Seq</li><li>Vấn đề BottleNeck của Seq2Seq</li><li>Mô hình Seq2Seq và cơ chế Attention</li><li>BLEU Score</li><li>Thuật toán Greedy/Beam Search</li></ul>

Bài toán dịch máy

<ul><li>Transformer Encoder<ul><li>Positional encoding</li><li>Cơ chế Attention</li><li>Multiheaded Attention</li></ul></li><li>Transformer Decoder</li><li>Lập trình mô hình Transformer từ đầu</li></ul>

Mô hình Transfomer (4 buổi)

<ul><li>Mô hình Bert và ứng dụng</li><li>Bert nguyên bản</li><li>Các phiên bản Bert nâng cấp: Roberta, PhoBert</li></ul>

Mô hình Bert và ứng dụng

<ul><li>Đọc các nghiên cứu của GPT-1, GPT-2, GPT-3 và GPT 3.5</li><li>Đào tạo mô hình phân tán song song dữ liệu và song song mô hình</li></ul>

GPT + Đào tạo phân tán

<ul><li>Thuật toán tìm kiếm theo từ khóa TF-IDF và BM25</li><li>Thuật toán tìm kiếm theo Vector</li><li>Thư viện FAISS để tìm kiếm vector nhanh chóng<ul><li>Các thuật toán quan trọng của FAISS</li></ul></li></ul>

Bài toán truy xuất thông tin - Information Retrieval

Vector Database and RAG<ul><li>Điểm qua Vector Database</li><li>Chi tiết về RAG</li><li>Thiết kế một RAG Pipeline</li></ul>

Thực hành Bert và ứng dụng với bài toán NER và POS Tag

1. Nền tảng NER + Pos Tag

1.1. Slide

1.2. Sử dụng Bert

1.3. Video Zoom - 1-5-2024