#Topic
1

Các thông tin quan trọng của lớp

Đường dẫn Zoom + Discord + Các học trên nền tảng

2

Biểu thức chính quy - Regular Expressions

  • Luyện tập thuần thục viết Regular Expressions

    • Các toán tử thông thường

    • Các toán tử nâng cao

  • Thực hiện tiền xử lý trên văn bản tiếng Việt

3

Chi tiết các thuật toán tách token

  • Các thuật toán tách token sử dụng Subwords

  • Thuật toán BPE

  • Thuật toán WordPiece

4

Chuẩn hóa văn bản

6 kỹ thuật chuẩn hóa văn bản

5

Ôn tập đại số tuyến tính

  • Ôn tập Vector

  • Ôn tập Ma trận

  • Các độ đo quan trọng trong NLP như Cosine Similarity

6

Ôn tập học máy, học sâu và các khái niệm liên quan

  • Học máy là gì

  • Mô hình học máy cơ bản

  • Giới thiệu học sâu

  • Mạng nơ ron chi tiết

7

Ôn tập quá trình training

  • Đào tạo hiệu quả một mô hình bất kỳ

  • Các thuật toán đào tạo mô hình

8

Ôn tập softmax + mạng nơ ron

  • Mô hình Softmax

  • Mạng nơ ron

9

[Bổ trợ] Các thuật toán Training

  • Tối ưu lồi

  • Vấn đề của SGD

  • SGD với quán tính

  • AdaGrad

  • AdaDelta và RMSProp

10

Vector Semantics và Embeddings

  • Khái niệm Embeddings

  • Word2Vec với phiên bản CBOW

11

SkipGram, Glove và FastText

  • SkipGram

  • Glove

  • FastText

12

Mô hình ngôn ngữ

  • Khái niệm mô hình ngôn ngữ

  • Mô hình ngôn ngữ N-grams

  • Mô hình ngôn ngữ sử dụng RNN

13

RNN và LSTM

  • Chi tiết mạng RNN

  • Giải thích dễ hiểu LSTM

  • Trình bày qua về ý tưởng của GRU

14

Bài toán dịch máy

  • Bài toán dịch máy

  • Mô hình Seq2Seq

  • Vấn đề BottleNeck của Seq2Seq

  • Mô hình Seq2Seq và cơ chế Attention

  • BLEU Score

  • Thuật toán Greedy/Beam Search

15

Mô hình Transfomer (4 buổi)

  • Transformer Encoder

    • Positional encoding

    • Cơ chế Attention

    • Multiheaded Attention

  • Transformer Decoder

  • Lập trình mô hình Transformer từ đầu

16

Mô hình Bert và ứng dụng

  • Mô hình Bert và ứng dụng

  • Bert nguyên bản

  • Các phiên bản Bert nâng cấp: Roberta, PhoBert

17

Thực hành Bert và ứng dụng với bài toán NER và POS Tag

  • Bài toán NER + Pos Tagging

  • Ứng dụng Bert để xử lý hai bài toán này

18

GPT + Đào tạo phân tán

  • Đọc các nghiên cứu của GPT-1, GPT-2, GPT-3 và GPT 3.5

  • Đào tạo mô hình phân tán song song dữ liệu và song song mô hình

19

Bài toán truy xuất thông tin - Information Retrieval

  • Thuật toán tìm kiếm theo từ khóa TF-IDF và BM25

  • Thuật toán tìm kiếm theo Vector

  • Thư viện FAISS để tìm kiếm vector nhanh chóng

    • Các thuật toán quan trọng của FAISS

20

Vector Database and RAG

Vector Database and RAG

  • Điểm qua Vector Database

  • Chi tiết về RAG

  • Thiết kế một RAG Pipeline

21

Transformer Nâng cao

Transformer Nâng cao