Nền tảng xử lý ngôn ngữ tự nhiên

Chi tiết CTC loss bạn có thể đọc tại đây:<a target="_blank" rel="noopener noreferrer nofollow" href="https://distill.pub/2017/ctc/">https://distill.pub/2017/ctc/</a>

CTC Loss Function

<ul><li>Mô hình Wave2Vec</li><li>Thuật toán decode CTC</li><li>Cách thu thập dữ liệu và đánh nhãn</li><li>Đào tạo mô hình trên Tiếng Việt</li></ul>

Nâng cao - Mô hình Wave2Vec cho bài toán nhận diện giọng nói

<ul><li>Luyện tập thuần thục viết Regular Expressions<ul><li>Các toán tử thông thường</li><li>Các toán tử nâng cao</li></ul></li><li>Thực hiện tiền xử lý trên văn bản tiếng Việt</li></ul>

Biểu thức chính quy - Regular Expressions

<ul><li>Thuật toán BPE</li><li>Thuật toán WordPiece</li><li>Sử dụng thư viện SentencePiece</li><li>Sử dụng thư viện Spacy</li><li>Sử dụng thư viện Underthesea cho Tiếng Việt</li></ul>

[31-1-2024] Chi tiết các thuật toán tách từ

Các quy trình của chuẩn hóa văn bản<ul><li>Tách văn bản thành nhiều câu (Segmenting sentence)</li><li>Tách (phân đoạn) từ - Tokenizing (segmenting) words</li><li>Chuẩn hóa từ</li></ul>

Chuẩn hóa văn bản

<ul><li>Biểu diễn từ dưới dạng vector Semantics</li><li>Cách cách biểu diễn từ khác nhau</li><li>Độ do cosine</li></ul>

Vector Semantics và Embeddings

<ul><li>Skip Gram và Glove</li><li>Thư viện FastText</li></ul>

SkipGram, Glove và FastText

<ul><li>Mô hình ngôn ngữ n-grams</li><li>Mô hình ngôn ngữ mạng nơ ron</li><li>Giới thiệu mô hình ngôn ngữ nổi tiếng gần đây: GPT1, GPT2, GPT3, GPT 3.5, LLAMA1, LLAMA 2</li><li>Mô hình ngôn ngữ Mistral</li></ul>

Mô hình ngôn ngữ

<ul><li>Mạng nơ ron hồi quy RNN</li><li>LSTM</li><li>GRU</li><li>Bidirectional RNN</li><li>Deep RNN</li></ul>

RNN và LSTM

<ul><li>Bài toán dịch máy</li><li>Mô hình Seq2Seq</li><li>Vấn đề BottleNeck của Seq2Seq</li><li>Mô hình Seq2Seq và cơ chế Attention</li><li>BLEU Score</li><li>Thuật toán Greedy/Beam Search</li></ul>

Bài toán dịch máy

<ul><li>Transformer Encoder<ul><li>Positional encoding</li><li>Cơ chế Attention</li><li>Multiheaded Attention</li></ul></li><li>Transformer Decoder</li><li>Lập trình mô hình Transformer từ đầu</li></ul>

Mô hình Transfomer

<ul><li>Mô hình Bert và ứng dụng</li><li>Bert nguyên bản</li><li>Các phiên bản Bert nâng cấp: Roberta, PhoBert</li></ul>

Mô hình Bert và ứng dụng

<ul><li>Bài toán NER + Pos Tagging</li><li>Ứng dụng Bert để xử lý hai bài toán này</li></ul>

Thực hành Bert và ứng dụng với bài toán NER và POS Tag

<ul><li>GPT và các biến thể</li><li>Finetune GPT trên tiếng Việt</li><li>Đào tạo mô hình song song trên nhiều máy</li></ul>

GPT và ứng dụng

<ul><li>Truy xuất thông tin - Information Retrieval</li><li>Thuật toán TF-IDF - BM25</li><li>Truy vấn vector nhanh chóng với thư viện Faiss</li><li>Xây dựng mô hình DPR (Dense Passage Retrieval) cho bài toán tìm kiếm</li><li>Kết hợp các thuật toán khác nhau để hoàn thiện máy tìm kiếm</li></ul>

Bài toán tìm kiếm và hỏi đáp - Question Answering

Vector Database and RAG<ul><li>Điểm qua Vector Database</li><li>Chi tiết về RAG</li><li>Thiết kế một RAG Pipeline</li></ul>

Vector Database and RAG

<ul><li>Instruction Finetuning</li><li>Cách viết prompt hiệu quả</li><li>Chain-of-Thought</li><li>Zero-Shot, One-Shot và Few-shots</li></ul>

Prompt Engineering

Sử dụng kỹ thuật cache ngữ nghĩa ( Semantic Cache ) để tối ưu tốc độ truy vấn

Semantic Cache

<ul><li>Giới thiệu dự án</li><li>Code</li></ul>

Nâng cao - Mô hình Wave2Vec cho bài toán nhận diện giọng nói

1. CTC Loss Function

1.1. CTC Loss Function