<h1><strong>KHÓA HỌC CHUYÊN SÂU: VISION LANGUAGE MODEL (VLM)</strong></h1><p>Vision Language Model đang trở thành nền tảng cho thế hệ AI mới, nơi mô hình không chỉ hiểu văn bản mà còn có khả năng nhìn, đọc và suy luận trên hình ảnh, tài liệu, biểu đồ và giao diện người dùng.</p><p>Trong khóa học này, bạn sẽ được tìm hiểu:</p><ul><li><p>Kiến trúc của các VLM hiện đại (GPT-4o, Gemini, Qwen-VL, InternVL, Llama Vision...)</p></li><li><p>Cơ chế kết hợp giữa Vision Encoder và Large Language Model</p></li><li><p>OCR, Document Understanding và Multimodal RAG</p></li><li><p>Fine-tuning và huấn luyện VLM cho bài toán doanh nghiệp</p></li><li><p>Xây dựng AI Agent có khả năng hiểu hình ảnh và tài liệu</p></li><li><p>Triển khai VLM On-Premise và tối ưu chi phí hạ tầng</p></li></ul><p>Khóa học tập trung vào thực hành và các bài toán thực tế như:</p><ul><li><p>OCR &amp; Document AI</p></li><li><p>Phân tích biểu đồ và dashboard</p></li><li><p>Xử lý hồ sơ ngân hàng, bảo hiểm</p></li><li><p>Tự động hóa quy trình doanh nghiệp</p></li><li><p>Multimodal AI Agent</p></li></ul><p>Dành cho:</p><ul><li><p>AI Engineer</p></li><li><p>NLP Engineer</p></li><li><p>Data Scientist</p></li><li><p>Backend Developer muốn chuyển sang AI</p></li><li><p>Sinh viên và người yêu thích AI ứng dụng</p></li></ul><p>Từ nền tảng đến triển khai thực tế, đây là lộ trình giúp bạn hiểu sâu và xây dựng các hệ thống Vision AI hiện đại cho doanh nghiệp.</p><p></p><p>Giảng viên: Bá Ngọc - Founder @ ProtonX</p>

Khóa học CV nâng cao - Vision Language Model

ProtonX

<p>Thời gian học chiều thứ 7 hàng tuần lúc 15:00</p>

<p>Gói học trực tuyến qua Zoom mỗi tuần</p>

Gói học trực tuyến qua Zoom

<h3>Mục tiêu</h3><p>Hiểu VLM là gì và tại sao OCR đang chuyển dịch sang VLM.</p><h3>Nội dung</h3><ul><li><p>Evolution:</p><ul><li><p>Computer Vision</p></li><li><p>OCR</p></li><li><p>Multimodal AI</p></li><li><p>VLM</p></li></ul></li><li><p>Vision Encoder</p></li><li><p>Language Model</p></li><li><p>Multimodal Alignment</p></li><li><p>Contrastive Learning</p></li></ul><h3>Mô hình</h3><ul><li><p>CLIP</p></li><li><p>BLIP-2</p></li></ul><h3>Lab</h3><ul><li><p>Image Retrieval</p></li><li><p>Zero-shot Classification</p></li></ul>

Giới thiệu Vision Language Model

<h3>Nội dung</h3><ul><li><p>Vision Transformer (ViT)</p></li><li><p>Patch Embedding</p></li><li><p>Cross Attention</p></li><li><p>Q-Former</p></li><li><p>Projector</p></li></ul><h3>Mô hình</h3><ul><li><p>LLaVA</p></li><li><p>Qwen2.5-VL</p></li></ul><h3>Lab: Xây dựng mô hình VLM bằng tay</h3>

Kiến trúc của Modern VLM

<p>OCR hoạt động thế nào?</p><ul><li><p>Detection</p></li><li><p>Recognition</p></li><li><p>Post-processing</p></li><li><p>CER</p></li><li><p>WER</p></li></ul><h3>Mô hình</h3><ul><li><p>Tesseract OCR</p></li><li><p>PaddleOCR</p></li><li><p>VietOCR</p></li></ul><h3>Lab</h3><p>OCR tiếng Việt</p>

Nền tảng OCR

<h1>Buổi 4. OCR bằng Transformer</h1><h3>Nội dung</h3><p>OCR hiện đại</p><ul><li><p>CRNN</p></li><li><p>Transformer OCR</p></li><li><p>Seq2Seq OCR</p></li></ul><h3>Mô hình</h3><ul><li><p>TrOCR</p></li><li><p>VietOCR</p></li></ul><h3>Lab</h3><p>Fine-tuning OCR</p>

Mô hình OCR bằng Transformer

<h3>Nội dung</h3><p>OCR không chỉ đọc chữ.</p><p>Phải hiểu:</p><ul><li><p>Layout</p></li><li><p>Reading Order</p></li><li><p>Bounding Box</p></li><li><p>Table</p></li></ul><h3>Mô hình</h3><ul><li><p>Surya OCR</p></li><li><p>DocLayout-YOLO</p></li></ul><h3>Lab</h3><p>Xây dựng model detect layout</p>

Document OCR

<h3>Nội dung</h3><p>Từ OCR sang OCR-Free</p><h3>Mô hình</h3><ul><li><p>Chandra OCR</p></li><li><p>Qwen2.5-VL</p></li></ul><h3>Chủ đề</h3><ul><li><p>OCR-Free Extraction</p></li><li><p>Visual Grounding</p></li><li><p>End-to-End Extraction</p></li></ul><h3>Lab</h3><p>Xây dựng model chuyển Hóa đơn thành JSON</p>

OCR thế hệ mới với VLM

<h3>Nội dung</h3><p>Các mô hình cho tiếng Việt.</p><h3>Mô hình</h3><ul><li><p>Vintern</p></li><li><p>Qwen2.5-VL</p></li></ul><h3>Lab: Xây dựng model nhận diện</h3><ul><li><p>CCCD</p></li><li><p>Hóa đơn</p></li><li><p>Giấy phép kinh doanh</p></li><li><p>Hợp đồng</p></li></ul>

OCR tập trung vào văn bản Tiếng Việt

<h3>Chủ đề</h3><ul><li><p>OCR Pipeline</p></li><li><p>Table RAG</p></li><li><p>Graph RAG</p></li><li><p>Agent đọc tài liệu</p></li><li><p>Multi-document QA</p></li></ul>

OCR trong hệ thống Chatbot

<ul><li><p>Dựa trên các dữ liệu mở + dữ liệu cung cấp của ProtonX </p></li></ul><p>Tiến hành đào tạo mô hình AI open source có chất lượng cao</p>

#	Topic
1	Giới thiệu Vision Language Model Mục tiêu Hiểu VLM là gì và tại sao OCR đang chuyển dịch sang VLM. Nội dung Evolution: Computer Vision OCR Multimodal AI VLM Vision Encoder Language Model Multimodal Alignment Contrastive Learning Mô hình CLIP BLIP-2 Lab Image Retrieval Zero-shot Classification
2	Kiến trúc của Modern VLM Nội dung Vision Transformer (ViT) Patch Embedding Cross Attention Q-Former Projector Mô hình LLaVA Qwen2.5-VL Lab: Xây dựng mô hình VLM bằng tay
3	Nền tảng OCR OCR hoạt động thế nào? Detection Recognition Post-processing CER WER Mô hình Tesseract OCR PaddleOCR VietOCR Lab OCR tiếng Việt
4	Mô hình OCR bằng Transformer Buổi 4. OCR bằng Transformer Nội dung OCR hiện đại CRNN Transformer OCR Seq2Seq OCR Mô hình TrOCR VietOCR Lab Fine-tuning OCR
5	Document OCR Nội dung OCR không chỉ đọc chữ. Phải hiểu: Layout Reading Order Bounding Box Table Mô hình Surya OCR DocLayout-YOLO Lab Xây dựng model detect layout
6	OCR thế hệ mới với VLM Nội dung Từ OCR sang OCR-Free Mô hình Chandra OCR Qwen2.5-VL Chủ đề OCR-Free Extraction Visual Grounding End-to-End Extraction Lab Xây dựng model chuyển Hóa đơn thành JSON
7	OCR tập trung vào văn bản Tiếng Việt Nội dung Các mô hình cho tiếng Việt. Mô hình Vintern Qwen2.5-VL Lab: Xây dựng model nhận diện CCCD Hóa đơn Giấy phép kinh doanh Hợp đồng
8	OCR trong hệ thống Chatbot Chủ đề OCR Pipeline Table RAG Graph RAG Agent đọc tài liệu Multi-document QA
9	Dự án cuối khóa - Xây dựng OCR mã nguồn mở cho Tiếng Việt Dựa trên các dữ liệu mở + dữ liệu cung cấp của ProtonX Tiến hành đào tạo mô hình AI open source có chất lượng cao