<h1><strong>KHÓA HỌC CHUYÊN SÂU: VISION LANGUAGE MODEL (VLM)</strong></h1><p>Vision Language Model đang trở thành nền tảng cho thế hệ AI mới, nơi mô hình không chỉ hiểu văn bản mà còn có khả năng nhìn, đọc và suy luận trên hình ảnh, tài liệu, biểu đồ và giao diện người dùng.</p><p>Trong khóa học này, bạn sẽ được tìm hiểu:</p><ul><li><p>Kiến trúc của các VLM hiện đại (GPT-4o, Gemini, Qwen-VL, InternVL, Llama Vision...)</p></li><li><p>Cơ chế kết hợp giữa Vision Encoder và Large Language Model</p></li><li><p>OCR, Document Understanding và Multimodal RAG</p></li><li><p>Fine-tuning và huấn luyện VLM cho bài toán doanh nghiệp</p></li><li><p>Xây dựng AI Agent có khả năng hiểu hình ảnh và tài liệu</p></li><li><p>Triển khai VLM On-Premise và tối ưu chi phí hạ tầng</p></li></ul><p>Khóa học tập trung vào thực hành và các bài toán thực tế như:</p><ul><li><p>OCR &amp; Document AI</p></li><li><p>Phân tích biểu đồ và dashboard</p></li><li><p>Xử lý hồ sơ ngân hàng, bảo hiểm</p></li><li><p>Tự động hóa quy trình doanh nghiệp</p></li><li><p>Multimodal AI Agent</p></li></ul><p>Dành cho:</p><ul><li><p>AI Engineer</p></li><li><p>NLP Engineer</p></li><li><p>Data Scientist</p></li><li><p>Backend Developer muốn chuyển sang AI</p></li><li><p>Sinh viên và người yêu thích AI ứng dụng</p></li></ul><p>Từ nền tảng đến triển khai thực tế, đây là lộ trình giúp bạn hiểu sâu và xây dựng các hệ thống Vision AI hiện đại cho doanh nghiệp.</p><p></p><p>Giảng viên: Bá Ngọc - Founder @ ProtonX</p>

Khóa học CV nâng cao - Vision Language Model

ProtonX

<p>Thời gian học chiều thứ 7 hàng tuần lúc 15:00</p>

<p>Gói học trực tuyến qua Zoom mỗi tuần</p>

Gói học trực tuyến qua Zoom

<h3>Mục tiêu</h3><p>Hiểu VLM là gì và tại sao OCR đang chuyển dịch sang VLM.</p><h3>Nội dung</h3><ul><li><p>Evolution:</p><ul><li><p>Computer Vision</p></li><li><p>OCR</p></li><li><p>Multimodal AI</p></li><li><p>VLM</p></li></ul></li><li><p>Vision Encoder</p></li><li><p>Language Model</p></li><li><p>Multimodal Alignment</p></li><li><p>Contrastive Learning</p></li></ul><h3>Mô hình</h3><ul><li><p>CLIP</p></li><li><p>BLIP-2</p></li></ul><h3>Lab</h3><ul><li><p>Image Retrieval</p></li><li><p>Zero-shot Classification</p></li></ul>

Giới thiệu Vision Language Model

<h3>Nội dung</h3><ul><li><p>Vision Transformer (ViT)</p></li><li><p>Patch Embedding</p></li><li><p>Cross Attention</p></li><li><p>Q-Former</p></li><li><p>Projector</p></li></ul><h3>Mô hình</h3><ul><li><p>LLaVA</p></li><li><p>Qwen2.5-VL</p></li></ul><h3>Lab: Xây dựng mô hình VLM bằng tay</h3>

Kiến trúc của Modern VLM

<p>OCR hoạt động thế nào?</p><ul><li><p>Detection</p></li><li><p>Recognition</p></li><li><p>Post-processing</p></li><li><p>CER</p></li><li><p>WER</p></li></ul><h3>Mô hình</h3><ul><li><p>Tesseract OCR</p></li><li><p>PaddleOCR</p></li><li><p>VietOCR</p></li></ul><h3>Lab</h3><p>OCR tiếng Việt</p>

Nền tảng OCR

<h1>Buổi 4. OCR bằng Transformer</h1><h3>Nội dung</h3><p>OCR hiện đại</p><ul><li><p>CRNN</p></li><li><p>Transformer OCR</p></li><li><p>Seq2Seq OCR</p></li></ul><h3>Mô hình</h3><ul><li><p>TrOCR</p></li><li><p>VietOCR</p></li></ul><h3>Lab</h3><p>Fine-tuning OCR</p>

Mô hình OCR bằng Transformer

<h3>Nội dung</h3><p>OCR không chỉ đọc chữ.</p><p>Phải hiểu:</p><ul><li><p>Layout</p></li><li><p>Reading Order</p></li><li><p>Bounding Box</p></li><li><p>Table</p></li></ul><h3>Mô hình</h3><ul><li><p>Surya OCR</p></li><li><p>DocLayout-YOLO</p></li></ul><h3>Lab</h3><p>Xây dựng model detect layout</p>

Document OCR

<h3>Nội dung</h3><p>Từ OCR sang OCR-Free</p><h3>Mô hình</h3><ul><li><p>Chandra OCR</p></li><li><p>Qwen2.5-VL</p></li></ul><h3>Chủ đề</h3><ul><li><p>OCR-Free Extraction</p></li><li><p>Visual Grounding</p></li><li><p>End-to-End Extraction</p></li></ul><h3>Lab</h3><p>Xây dựng model chuyển Hóa đơn thành JSON</p>

OCR thế hệ mới với VLM

<h3>Nội dung</h3><p>Các mô hình cho tiếng Việt.</p><h3>Mô hình</h3><ul><li><p>Vintern</p></li><li><p>Qwen2.5-VL</p></li></ul><h3>Lab: Xây dựng model nhận diện</h3><ul><li><p>CCCD</p></li><li><p>Hóa đơn</p></li><li><p>Giấy phép kinh doanh</p></li><li><p>Hợp đồng</p></li></ul>

OCR tập trung vào văn bản Tiếng Việt

<h3>Chủ đề</h3><ul><li><p>OCR Pipeline</p></li><li><p>Table RAG</p></li><li><p>Graph RAG</p></li><li><p>Agent đọc tài liệu</p></li><li><p>Multi-document QA</p></li></ul>

OCR trong hệ thống Chatbot

<ul><li><p>Dựa trên các dữ liệu mở + dữ liệu cung cấp của ProtonX </p></li></ul><p>Tiến hành đào tạo mô hình AI open source có chất lượng cao</p>