List of topics
Biểu thức chính quy - Regular Expressions
[31-1-2024] Chi tiết các thuật toán tách từ
Chuẩn hóa văn bản
Vector Semantics và Embeddings
SkipGram, Glove và FastText
Mô hình ngôn ngữ
RNN và LSTM
Bài toán dịch máy
Mô hình Transfomer
Mô hình Bert và ứng dụng
Thực hành Bert và ứng dụng với bài toán NER và POS Tag
GPT và ứng dụng
Bài toán tìm kiếm và hỏi đáp - Question Answering
Vector Database and RAG
Prompt Engineering
Semantic Cache
Nâng cao - Mô hình Wave2Vec cho bài toán nhận diện giọng nói
Dự án cuối khóa

Vector Semantics và Embeddings

  • Biểu diễn từ dưới dạng vector Semantics

  • Cách cách biểu diễn từ khác nhau

  • Độ do cosine

1. Slide

1.1. Slide

1.2. Sự tương đồng của ngữ nghĩa

1.3. Mô phỏng từ/văn bản thành vector thưa (Sparse vector)

Mô phỏng văn bản thông qua số lượng các từ trong từ điển

  • Bài thơ thứ 1 chứa 2 từ em và 1 từ anh nên vector của bài thơ này sẽ là [2, 1]

  • Bài thơ thứ 2 chứa 1 từ em và 1 từ anh nên vector của bài thơ này sẽ là [1, 1]

  • Bài thơ thứ 3 chứa 2 từ em và 0 từ anh nên vector của bài thơ này sẽ là [2, 0]

Mô phỏng một từ dựa vào vector số lượng từ đó xuất hiện bên trong các văn bản.

  • Từ em xuất hiện bên trong bài thơ 1: 2 lần, bài thớ 2: 1 lần và bài thơ 3: 2 lần nên vector của từ em sẽ là [2, 1, 2]

  • Tương tự vector của từ anh sẽ là [1, 1, 0]

1.4. Mô phỏng từ/văn bản thành vector dày (Dense Vector)

Sử dụng Word Embeddings để mô phỏng từ. Từ sẽ được mô phỏng dưới dạng vector dày.

1.5. Video

2. Code thực hành

2.1. Cbow Training

2.2. Hiển thị Embedding

3. Nâng cao

3.1. Embedding cả ảnh và văn bản

Tài liệu: https://openai.com/research/clip

4. Quiz ôn tập

4.1. What is Word2vec?

Click to view more

4.2. Word2vec Parameter: Window Size

Click to view more

4.3. Word2vec's Applicability to New Words or Corpus

Click to view more
1. Slide
1.1. Slide
1.2. Sự tương đồng của ngữ nghĩa
1.3. Mô phỏng từ/văn bản thành vector thưa (Sparse vector)
1.4. Mô phỏng từ/văn bản thành vector dày (Dense Vector)
1.5. Video
2. Code thực hành
2.1. Cbow Training
2.2. Hiển thị Embedding
3. Nâng cao
3.1. Embedding cả ảnh và văn bản
4. Quiz ôn tập
4.1. What is Word2vec?
4.2. Word2vec Parameter: Window Size
4.3. Word2vec's Applicability to New Words or Corpus