Đường dẫn Zoom + Discord + Các học trên nền tảng

• Luyện tập thuần thục viết Regular Expressions

  • Các toán tử thông thường

  • Các toán tử nâng cao

• Thực hiện tiền xử lý trên văn bản tiếng Việt

• Các thuật toán tách token sử dụng Subwords

• Thuật toán BPE

• Thuật toán WordPiece

6 kỹ thuật chuẩn hóa văn bản

• Ôn tập Vector

• Ôn tập Ma trận

• Các độ đo quan trọng trong NLP như Cosine Similarity

• Học máy là gì

• Mô hình học máy cơ bản

• Giới thiệu học sâu

• Mạng nơ ron chi tiết

• Đào tạo hiệu quả một mô hình bất kỳ

• Các thuật toán đào tạo mô hình

• Mô hình Softmax

• Mạng nơ ron

• Tối ưu lồi

• Vấn đề của SGD

• SGD với quán tính

• AdaGrad

• AdaDelta và RMSProp

• Khái niệm Embeddings

• Word2Vec với phiên bản CBOW

• SkipGram

• Glove

• FastText

• Khái niệm mô hình ngôn ngữ

• Mô hình ngôn ngữ N-grams

• Mô hình ngôn ngữ sử dụng RNN

• Chi tiết mạng RNN

• Giải thích dễ hiểu LSTM

• Trình bày qua về ý tưởng của GRU

• Bài toán dịch máy

• Mô hình Seq2Seq

• Vấn đề BottleNeck của Seq2Seq

• Mô hình Seq2Seq và cơ chế Attention

• BLEU Score

• Thuật toán Greedy/Beam Search

• Transformer Encoder

  • Positional encoding

  • Cơ chế Attention

  • Multiheaded Attention

• Transformer Decoder

• Lập trình mô hình Transformer từ đầu

• Mô hình Bert và ứng dụng

• Bert nguyên bản

• Các phiên bản Bert nâng cấp: Roberta, PhoBert

• Bài toán NER + Pos Tagging

• Ứng dụng Bert để xử lý hai bài toán này

• Đọc các nghiên cứu của GPT-1, GPT-2, GPT-3 và GPT 3.5

• Đào tạo mô hình phân tán song song dữ liệu và song song mô hình

• Thuật toán tìm kiếm theo từ khóa TF-IDF và BM25

• Thuật toán tìm kiếm theo Vector

• Thư viện FAISS để tìm kiếm vector nhanh chóng

  • Các thuật toán quan trọng của FAISS

Vector Database and RAG

• Điểm qua Vector Database

• Chi tiết về RAG

• Thiết kế một RAG Pipeline

Transformer Nâng cao