• Luyện tập thuần thục viết Regular Expressions

  • Các toán tử thông thường

  • Các toán tử nâng cao

• Thực hiện tiền xử lý trên văn bản tiếng Việt

• Thuật toán BPE

• Thuật toán WordPiece

• Sử dụng thư viện SentencePiece

• Sử dụng thư viện Spacy

• Sử dụng thư viện Underthesea cho Tiếng Việt

Các quy trình của chuẩn hóa văn bản

• Tách văn bản thành nhiều câu (Segmenting sentence)

• Tách (phân đoạn) từ - Tokenizing (segmenting) words

• Chuẩn hóa từ

• Ôn tập học máy,

• Ôn tập học sâu

• Khái niệm Overfitting/Underfitting

• Tối ưu lồi

• Vấn đề của SGD

• SGD với quán tính

• AdaGrad

• AdaDelta và RMSProp

• Chi tiết mô hình SkipGram

• Negative Sampling

• Softmax đa tầng

• Bài toán dịch máy

• Mô hình Seq2Seq

• Vấn đề BottleNeck của Seq2Seq

• Mô hình Seq2Seq và cơ chế Attention

• BLEU Score

• Thuật toán Greedy/Beam Search

• Transformer Encoder

  • Positional encoding

  • Cơ chế Attention

  • Multiheaded Attention

• Transformer Decoder

• Lập trình mô hình Transformer từ đầu

• Mô hình Bert và ứng dụng

• Bert nguyên bản

• Các phiên bản Bert nâng cấp: Roberta, PhoBert

• Bài toán NER + Pos Tagging

• Ứng dụng Bert để xử lý hai bài toán này

• Thuật toán tìm kiếm theo từ khóa TF-IDF và BM25

• Thuật toán tìm kiếm theo Vector

• Thư viện FAISS để tìm kiếm vector nhanh chóng

  • Các thuật toán quan trọng của FAISS

Vector Database and RAG

• Điểm qua Vector Database

• Chi tiết về RAG

• Thiết kế một RAG Pipeline

Transformer Nâng cao

• Đọc các nghiên cứu của GPT-1, GPT-2, GPT-3 và GPT 3.5

• Đào tạo mô hình phân tán song song dữ liệu và song song mô hình