Nền tảng xử lý ngôn ngữ tự nhiên

Language Model + RNN

Video - 20-3-2024

Mạng LSTM + Deep RNN

Chi tiết LSTM

[TF] 18.1.1 Ôn tập RNN.mp4

[TF] 18.1.2. Thực hành LSTM .mp4

Thực hành mạng RNN

[TF] 18.2.1. Mạng nơ ron hồi quy 2 chiều (Bidirectional RNN).mp4

Bạn nghĩ 2 vector nào sẽ được nối với nhau để đưa vào dự đoán?

[TF] 18.2.3. Thực hành mạng Bidirectional.mp4

Mạng nơ ron hồi quy 2 chiều

[TF] 18.3.1. Mạng nơ ron hồi quy sâu.mp4

[TF] 18.3.2. Mạng nơ ron hồi quy hai chiều sâu.mp4

Mạng nơ ron hồi quy 2 chiều sâu

<ul><li>Mạng nơ ron hồi quy RNN</li><li>LSTM</li><li>GRU</li><li>Bidirectional RNN</li><li>Deep RNN</li></ul>

RNN và LSTM

<ul><li>Luyện tập thuần thục viết Regular Expressions<ul><li>Các toán tử thông thường</li><li>Các toán tử nâng cao</li></ul></li><li>Thực hiện tiền xử lý trên văn bản tiếng Việt</li></ul>

Biểu thức chính quy - Regular Expressions

<ul><li>Thuật toán BPE</li><li>Thuật toán WordPiece</li><li>Sử dụng thư viện SentencePiece</li><li>Sử dụng thư viện Spacy</li><li>Sử dụng thư viện Underthesea cho Tiếng Việt</li></ul>

[31-1-2024] Chi tiết các thuật toán tách từ

Các quy trình của chuẩn hóa văn bản<ul><li>Tách văn bản thành nhiều câu (Segmenting sentence)</li><li>Tách (phân đoạn) từ - Tokenizing (segmenting) words</li><li>Chuẩn hóa từ</li></ul>

Chuẩn hóa văn bản

<ul><li>Biểu diễn từ dưới dạng vector Semantics</li><li>Cách cách biểu diễn từ khác nhau</li><li>Độ do cosine</li></ul>

Vector Semantics và Embeddings

<ul><li>Skip Gram và Glove</li><li>Thư viện FastText</li></ul>

SkipGram, Glove và FastText

<ul><li>Mô hình ngôn ngữ n-grams</li><li>Mô hình ngôn ngữ mạng nơ ron</li><li>Giới thiệu mô hình ngôn ngữ nổi tiếng gần đây: GPT1, GPT2, GPT3, GPT 3.5, LLAMA1, LLAMA 2</li><li>Mô hình ngôn ngữ Mistral</li></ul>

Mô hình ngôn ngữ

<ul><li>Bài toán dịch máy</li><li>Mô hình Seq2Seq</li><li>Vấn đề BottleNeck của Seq2Seq</li><li>Mô hình Seq2Seq và cơ chế Attention</li><li>BLEU Score</li><li>Thuật toán Greedy/Beam Search</li></ul>

Bài toán dịch máy

<ul><li>Transformer Encoder<ul><li>Positional encoding</li><li>Cơ chế Attention</li><li>Multiheaded Attention</li></ul></li><li>Transformer Decoder</li><li>Lập trình mô hình Transformer từ đầu</li></ul>

Mô hình Transfomer

<ul><li>Mô hình Bert và ứng dụng</li><li>Bert nguyên bản</li><li>Các phiên bản Bert nâng cấp: Roberta, PhoBert</li></ul>

Mô hình Bert và ứng dụng

<ul><li>Bài toán NER + Pos Tagging</li><li>Ứng dụng Bert để xử lý hai bài toán này</li></ul>

Thực hành Bert và ứng dụng với bài toán NER và POS Tag

<ul><li>GPT và các biến thể</li><li>Finetune GPT trên tiếng Việt</li><li>Đào tạo mô hình song song trên nhiều máy</li></ul>

GPT và ứng dụng

<ul><li>Truy xuất thông tin - Information Retrieval</li><li>Thuật toán TF-IDF - BM25</li><li>Truy vấn vector nhanh chóng với thư viện Faiss</li><li>Xây dựng mô hình DPR (Dense Passage Retrieval) cho bài toán tìm kiếm</li><li>Kết hợp các thuật toán khác nhau để hoàn thiện máy tìm kiếm</li></ul>

Bài toán tìm kiếm và hỏi đáp - Question Answering

Vector Database and RAG<ul><li>Điểm qua Vector Database</li><li>Chi tiết về RAG</li><li>Thiết kế một RAG Pipeline</li></ul>

Vector Database and RAG

<ul><li>Instruction Finetuning</li><li>Cách viết prompt hiệu quả</li><li>Chain-of-Thought</li><li>Zero-Shot, One-Shot và Few-shots</li></ul>

Prompt Engineering

Sử dụng kỹ thuật cache ngữ nghĩa ( Semantic Cache ) để tối ưu tốc độ truy vấn

Semantic Cache

<ul><li>Mô hình Wave2Vec</li><li>Thuật toán decode CTC</li><li>Cách thu thập dữ liệu và đánh nhãn</li><li>Đào tạo mô hình trên Tiếng Việt</li></ul>

Nâng cao - Mô hình Wave2Vec cho bài toán nhận diện giọng nói

<ul><li>Giới thiệu dự án</li><li>Code</li></ul>

RNN và LSTM

1. Mạng LSTM + Deep RNN

1.1. Language Model + RNN

1.2. Video - 20-3-2024

2. Thực hành mạng RNN

2.1. Chi tiết LSTM

2.2. [TF] 18.1.1 Ôn tập RNN.mp4

2.3. [TF] 18.1.2. Thực hành LSTM .mp4

3. Mạng nơ ron hồi quy 2 chiều

3.1. [TF] 18.2.1. Mạng nơ ron hồi quy 2 chiều (Bidirectional RNN).mp4

3.2. Bạn nghĩ 2 vector nào sẽ được nối với nhau để đưa vào dự đoán?

3.3. [TF] 18.2.3. Thực hành mạng Bidirectional.mp4

4. Mạng nơ ron hồi quy 2 chiều sâu

4.1. [TF] 18.3.1. Mạng nơ ron hồi quy sâu.mp4

4.2. [TF] 18.3.2. Mạng nơ ron hồi quy hai chiều sâu.mp4