[Zoom 18-12-2024] Vector Semantics và Embeddings
Biểu diễn từ dưới dạng vector Semantics
Cách cách biểu diễn từ khác nhau
Độ do cosine
1. Slide
1.1. Slide
1.2. Sự tương đồng của ngữ nghĩa
1.3. Mô phỏng từ/văn bản thành vector thưa (Sparse vector)
Mô phỏng văn bản thông qua số lượng các từ trong từ điển
Bài thơ thứ 1 chứa 2 từ em và 1 từ anh nên vector của bài thơ này sẽ là [2, 1]
Bài thơ thứ 2 chứa 1 từ em và 1 từ anh nên vector của bài thơ này sẽ là [1, 1]
Bài thơ thứ 3 chứa 2 từ em và 0 từ anh nên vector của bài thơ này sẽ là [2, 0]
Mô phỏng một từ dựa vào vector số lượng từ đó xuất hiện bên trong các văn bản.
Từ em xuất hiện bên trong bài thơ 1: 2 lần, bài thớ 2: 1 lần và bài thơ 3: 2 lần nên vector của từ em sẽ là [2, 1, 2]
Tương tự vector của từ anh sẽ là [1, 1, 0]
1.4. Mô phỏng từ/văn bản thành vector dày (Dense Vector)
Sử dụng Word Embeddings để mô phỏng từ. Từ sẽ được mô phỏng dưới dạng vector dày.
2. Code thực hành
2.1. Cbow Training
2.2. Hiển thị Embedding
3. Nâng cao
3.1. Embedding cả ảnh và văn bản
Tài liệu: https://openai.com/research/clip
4. Quiz ôn tập
4.1. What is Word2vec?
4.2. Word2vec Parameter: Window Size
4.3. Word2vec's Applicability to New Words or Corpus
5. Video
5.1. Video NLP 01
5.2. Video NLP 02
Giới thiệu Semantic
Cách đào tạo Embeddings
CBOW và Skip Gram