Nền tảng xử lý ngôn ngữ tự nhiên 06

Slide

Sử dụng Bert

Video Zoom - 1-5-2024

Nền tảng NER + Pos Tag

<ul><li>Bài toán NER + Pos Tagging</li><li>Ứng dụng Bert để xử lý hai bài toán này</li></ul>

Thực hành Bert và ứng dụng với bài toán NER và POS Tag

Hướng dẫn chi tiết<a target="_blank" rel="noopener noreferrer nofollow" href="https://docs.google.com/presentation/d/12K7MK2ydnD2si4Qlg-102bn2IG3bNiMiHFNs-oD4S54/edit?usp=sharing">https://docs.google.com/presentation/d/12K7MK2ydnD2si4Qlg-102bn2IG3bNiMiHFNs-oD4S54/edit?usp=sharing</a>

Dự án cuối khóa học

Đường dẫn Zoom + Discord + Các học trên nền tảng

Các thông tin quan trọng của lớp

<ul><li>Luyện tập thuần thục viết Regular Expressions<ul><li>Các toán tử thông thường</li><li>Các toán tử nâng cao</li></ul></li><li>Thực hiện tiền xử lý trên văn bản tiếng Việt</li></ul>

Biểu thức chính quy - Regular Expressions

<ul><li>Các thuật toán tách token sử dụng Subwords</li><li>Thuật toán BPE</li><li>Thuật toán WordPiece</li></ul>

Chi tiết các thuật toán tách token

6 kỹ thuật chuẩn hóa văn bản

Chuẩn hóa văn bản

<ul><li>Ôn tập Vector</li><li>Ôn tập Ma trận</li><li>Các độ đo quan trọng trong NLP như Cosine Similarity</li></ul>

Ôn tập đại số tuyến tính

<ul><li>Học máy là gì</li><li>Mô hình học máy cơ bản</li><li>Giới thiệu học sâu</li><li>Mạng nơ ron chi tiết</li></ul>

Ôn tập học máy, học sâu và các khái niệm liên quan

<ul><li>Đào tạo hiệu quả một mô hình bất kỳ</li><li>Các thuật toán đào tạo mô hình</li></ul>

Ôn tập quá trình training

<ul><li>Mô hình Softmax</li><li>Mạng nơ ron</li></ul>

Ôn tập softmax + mạng nơ ron 

<ul><li>Tối ưu lồi</li><li>Vấn đề của SGD</li><li>SGD với quán tính</li><li>AdaGrad</li><li>AdaDelta và RMSProp</li></ul>

[Bổ trợ] Các thuật toán Training

<ul><li>Khái niệm Embeddings</li><li>Word2Vec với phiên bản CBOW</li></ul>

Vector Semantics và Embeddings

[Pytorch] Bài tập kiểm thử việc train và không train Embeddings 

<ul><li>SkipGram</li><li>Glove</li><li>FastText</li></ul>

SkipGram, Glove và FastText

<ul><li>Khái niệm mô hình ngôn ngữ</li><li>Mô hình ngôn ngữ N-grams</li><li>Mô hình ngôn ngữ sử dụng RNN</li></ul>

Mô hình ngôn ngữ 

<ul><li>Chi tiết mạng RNN</li><li>Giải thích dễ hiểu LSTM</li><li>Trình bày qua về ý tưởng của GRU</li></ul>

RNN và LSTM

<ul><li>Bài toán dịch máy</li><li>Mô hình Seq2Seq</li><li>Vấn đề BottleNeck của Seq2Seq</li><li>Mô hình Seq2Seq và cơ chế Attention</li><li>BLEU Score</li><li>Thuật toán Greedy/Beam Search</li></ul>

Bài toán dịch máy

<ul><li>Transformer Encoder<ul><li>Positional encoding</li><li>Cơ chế Attention</li><li>Multiheaded Attention</li></ul></li><li>Transformer Decoder</li><li>Lập trình mô hình Transformer từ đầu</li></ul>

Mô hình Transfomer (4 buổi)

<ul><li>Mô hình Bert và ứng dụng</li><li>Bert nguyên bản</li><li>Các phiên bản Bert nâng cấp: Roberta, PhoBert</li></ul>

Mô hình Bert và ứng dụng

<ul><li>Đọc các nghiên cứu của GPT-1, GPT-2, GPT-3 và GPT 3.5</li><li>Đào tạo mô hình phân tán song song dữ liệu và song song mô hình</li></ul>

GPT + Đào tạo phân tán

<ul><li>Thuật toán tìm kiếm theo từ khóa TF-IDF và BM25</li><li>Thuật toán tìm kiếm theo Vector</li><li>Thư viện FAISS để tìm kiếm vector nhanh chóng<ul><li>Các thuật toán quan trọng của FAISS</li></ul></li></ul>

Bài toán truy xuất thông tin - Information Retrieval

Vector Database and RAG<ul><li>Điểm qua Vector Database</li><li>Chi tiết về RAG</li><li>Thiết kế một RAG Pipeline</li></ul>

Thực hành Bert và ứng dụng với bài toán NER và POS Tag

1. Nền tảng NER + Pos Tag

1.1. Slide

1.2. Sử dụng Bert

1.3. Video Zoom - 1-5-2024