Tối ưu hiệu năng chatbot với Semantic Router và Semantic Cache

Trong tuần trước tại sự kiện Google I/O Extended 2024 HCMC, mình đã trình bày về cách xây dựng Chatbot sử dụng kỹ thuật RAGs để tăng cường prompt.

Hệ thống Chatbot này tăng cường prompt với việc bổ sung thông tin từ cơ sở dữ liệu của bạn sau đó đẩy thông tin vào mô hình ngôn ngữ. Mô hình ngôn ngữ sẽ dựa vào những thông tin này để trả lời câu hỏi khách hàng của bạn.

Vấn đề 1) Semantic Cache - Lưu trữ lại kết quả truy vấn

Toàn bộ video về Semantic Cache

Việc sử dụng LLMs là một việc rất tốn kém tài nguyên vì vậy trong trường hợp nguồn lực hạn chế, ta có thể lưu trữ lại những truy vấn và kết quả từ đó tạo ra một cơ sở dữ liệu. Với những truy vấn dữ liệu mới, trước khi sử dụng LLMs chúng ta sẽ tìm kiếm ngữ nghĩa (semantic search) giữa truy vấn hiện tại và các truy vấn đã lưu trong quá khứ, nếu truy vấn mới tương đồng với truy vấn trong cơ sở dữ liệu thì ta sẽ trả về kết quả đã lưu thay vì sử dụng LLMs.

Vấn đề 2) Không phải lúc nào chúng ta cũng sẽ sử dụng RAGs

Không phải lúc nào chúng ta cũng sẽ sử dụng RAGs vì có những câu hỏi của người dùng mang tính chất trao đổi chung chung như những câu hỏi không liên quan tới sản phẩm. Vậy thì làm thế nào để có thể phân loại được các câu hỏi và điều hướng cho hợp lý thay vì liên tục truy xuất thông tin vào cơ sở dữ liệu.

Để giải quyết bài toán này, có một kỹ thuật có tên là Semantic Router. Bản chất bạn sẽ sử dụng mô hình ngôn ngữ LLMs để xây dựng một mô hình phân loại, với những câu hỏi như:

"Thời tiết hôm nay như thế nào?"

"Ngoài trời nóng bao nhiêu?"

Chúng ta sẽ phân loại thành nhãn Chitchat. Với câu hỏi được phân thành Chitchat, ta có thể feed thẳng vào mô hình ngôn ngữ

Với những câu hỏi như:

"Bạn có iPhone 12 Pro Max không?"

"Redmi Note 10 Pro có sẵn không?"

Chúng ta sẽ phân loại thành nhãn Product

Với câu hỏi được phân loại thành Product, ta sẽ đưa vào RAGs system để truy vấn thông tin và cải thiện prompt.

Dưới đây là hệ thống Chatbot được cải thiện. Toàn bộ code được open source tại đây.

Khám phá thêm các nội dung tương tự ở đây.

Hi vọng bài viết này hữu ích với bạn.

Trân trọng,