Nền tảng xử lý ngôn ngữ tự nhiên

Slide

Skip Gram Note

Thực hành

Video

SkipGram, Glove và FastText

Đào tạo skip gram với Tensorflow: <a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1xHbWuXa6xd1slVgNHHJvcIKUsdulOJnJ#scrollTo=2MlsXzo-ZlfK">https://colab.research.google.com/drive/1xHbWuXa6xd1slVgNHHJvcIKUsdulOJnJ#scrollTo=2MlsXzo-ZlfK</a>

Đào tạo skip gram với Tensorflow

Cách đào tạo mô hình Skip Gram

Một số chú ý: <a target="_blank" rel="noopener noreferrer nofollow" href="https://nlp.stanford.edu/pubs/glove.pdf">https://nlp.stanford.edu/pubs/glove.pdf</a>

Một số chú ý

Mô hình Glove

<ul><li>Skip Gram và Glove</li><li>Thư viện FastText</li></ul>

<ul><li>Luyện tập thuần thục viết Regular Expressions<ul><li>Các toán tử thông thường</li><li>Các toán tử nâng cao</li></ul></li><li>Thực hiện tiền xử lý trên văn bản tiếng Việt</li></ul>

Biểu thức chính quy - Regular Expressions

<ul><li>Thuật toán BPE</li><li>Thuật toán WordPiece</li><li>Sử dụng thư viện SentencePiece</li><li>Sử dụng thư viện Spacy</li><li>Sử dụng thư viện Underthesea cho Tiếng Việt</li></ul>

[31-1-2024] Chi tiết các thuật toán tách từ

Các quy trình của chuẩn hóa văn bản<ul><li>Tách văn bản thành nhiều câu (Segmenting sentence)</li><li>Tách (phân đoạn) từ - Tokenizing (segmenting) words</li><li>Chuẩn hóa từ</li></ul>

Chuẩn hóa văn bản

<ul><li>Biểu diễn từ dưới dạng vector Semantics</li><li>Cách cách biểu diễn từ khác nhau</li><li>Độ do cosine</li></ul>

Vector Semantics và Embeddings

<ul><li>Mô hình ngôn ngữ n-grams</li><li>Mô hình ngôn ngữ mạng nơ ron</li><li>Giới thiệu mô hình ngôn ngữ nổi tiếng gần đây: GPT1, GPT2, GPT3, GPT 3.5, LLAMA1, LLAMA 2</li><li>Mô hình ngôn ngữ Mistral</li></ul>

Mô hình ngôn ngữ

<ul><li>Mạng nơ ron hồi quy RNN</li><li>LSTM</li><li>GRU</li><li>Bidirectional RNN</li><li>Deep RNN</li></ul>

RNN và LSTM

<ul><li>Bài toán dịch máy</li><li>Mô hình Seq2Seq</li><li>Vấn đề BottleNeck của Seq2Seq</li><li>Mô hình Seq2Seq và cơ chế Attention</li><li>BLEU Score</li><li>Thuật toán Greedy/Beam Search</li></ul>

Bài toán dịch máy

<ul><li>Transformer Encoder<ul><li>Positional encoding</li><li>Cơ chế Attention</li><li>Multiheaded Attention</li></ul></li><li>Transformer Decoder</li><li>Lập trình mô hình Transformer từ đầu</li></ul>

Mô hình Transfomer

<ul><li>Mô hình Bert và ứng dụng</li><li>Bert nguyên bản</li><li>Các phiên bản Bert nâng cấp: Roberta, PhoBert</li></ul>

Mô hình Bert và ứng dụng

<ul><li>Bài toán NER + Pos Tagging</li><li>Ứng dụng Bert để xử lý hai bài toán này</li></ul>

Thực hành Bert và ứng dụng với bài toán NER và POS Tag

<ul><li>GPT và các biến thể</li><li>Finetune GPT trên tiếng Việt</li><li>Đào tạo mô hình song song trên nhiều máy</li></ul>

GPT và ứng dụng

<ul><li>Truy xuất thông tin - Information Retrieval</li><li>Thuật toán TF-IDF - BM25</li><li>Truy vấn vector nhanh chóng với thư viện Faiss</li><li>Xây dựng mô hình DPR (Dense Passage Retrieval) cho bài toán tìm kiếm</li><li>Kết hợp các thuật toán khác nhau để hoàn thiện máy tìm kiếm</li></ul>

Bài toán tìm kiếm và hỏi đáp - Question Answering

Vector Database and RAG<ul><li>Điểm qua Vector Database</li><li>Chi tiết về RAG</li><li>Thiết kế một RAG Pipeline</li></ul>

Vector Database and RAG

<ul><li>Instruction Finetuning</li><li>Cách viết prompt hiệu quả</li><li>Chain-of-Thought</li><li>Zero-Shot, One-Shot và Few-shots</li></ul>

Prompt Engineering

Sử dụng kỹ thuật cache ngữ nghĩa ( Semantic Cache ) để tối ưu tốc độ truy vấn

Semantic Cache

<ul><li>Mô hình Wave2Vec</li><li>Thuật toán decode CTC</li><li>Cách thu thập dữ liệu và đánh nhãn</li><li>Đào tạo mô hình trên Tiếng Việt</li></ul>

Nâng cao - Mô hình Wave2Vec cho bài toán nhận diện giọng nói

<ul><li>Giới thiệu dự án</li><li>Code</li></ul>

SkipGram, Glove và FastText

1. SkipGram, Glove và FastText

1.1. Slide

1.2. Skip Gram Note

1.3. Thực hành

1.4. Video

2. Cách đào tạo mô hình Skip Gram

2.1. Đào tạo skip gram với Tensorflow

3. Mô hình Glove

3.1. Một số chú ý