[Zoom 26-03-2025] Vector Semantics và Embeddings

Mô phỏng văn bản thông qua số lượng các từ trong từ điển

• Bài thơ thứ 1 chứa 2 từ em và 1 từ anh nên vector của bài thơ này sẽ là [2, 1]

• Bài thơ thứ 2 chứa 1 từ em và 1 từ anh nên vector của bài thơ này sẽ là [1, 1]

• Bài thơ thứ 3 chứa 2 từ em và 0 từ anh nên vector của bài thơ này sẽ là [2, 0]

Mô phỏng một từ dựa vào vector số lượng từ đó xuất hiện bên trong các văn bản.

• Từ em xuất hiện bên trong bài thơ 1: 2 lần, bài thớ 2: 1 lần và bài thơ 3: 2 lần nên vector của từ em sẽ là [2, 1, 2]

• Tương tự vector của từ anh sẽ là [1, 1, 0]

Sử dụng Word Embeddings để mô phỏng từ. Từ sẽ được mô phỏng dưới dạng vector dày.

Tài liệu: https://openai.com/research/clip

• Giới thiệu Semantic

• Cách đào tạo Embeddings

• CBOW và Skip Gram