Semantic Cache
Sử dụng kỹ thuật cache ngữ nghĩa ( Semantic Cache ) để tối ưu tốc độ truy vấn
1. Giới thiệu về Semantic Search
1.1. Tại sao phải dùng kỹ thuật này?
Tại sao phải sử dụng Semantic Cache (Cache ngữ nghĩa)
Việc sử dụng LLMs là một việc rất tốn kém tài nguyên vì vậy trong trường hợp nguồn lực hạn chế, ta có thể lưu trữ lại những truy vấn và kết quả từ đó tạo ra một cơ sở dữ liệu. Với những truy vấn dữ liệu mới, trước khi sử dụng LLMs chúng ta sẽ tìm kiếm ngữ nghĩa (semantic search) giữa truy vấn hiện tại và các truy vấn đã lưu trong quá khứ, nếu truy vấn mới tương đồng với truy vấn trong cơ sở dữ liệu thì ta sẽ trả về kết quả đã lưu thay vì sử dụng LLMs.
Kiến trúc của Semantic Cache
1) Lưu trữ kết quả truy vấn vào Cache
2) Tìm trong cache với truy vấn mới
