Khóa học CV nâng cao - Vision Language Model

<h1>Buổi 4. OCR bằng Transformer</h1><h3>Nội dung</h3><p>OCR hiện đại</p><ul><li><p>CRNN</p></li><li><p>Transformer OCR</p></li><li><p>Seq2Seq OCR</p></li></ul><h3>Mô hình</h3><ul><li><p>TrOCR</p></li><li><p>VietOCR</p></li></ul><h3>Lab</h3><p>Fine-tuning OCR</p>

Mô hình OCR bằng Transformer

<h3>Mục tiêu</h3><p>Hiểu VLM là gì và tại sao OCR đang chuyển dịch sang VLM.</p><h3>Nội dung</h3><ul><li><p>Evolution:</p><ul><li><p>Computer Vision</p></li><li><p>OCR</p></li><li><p>Multimodal AI</p></li><li><p>VLM</p></li></ul></li><li><p>Vision Encoder</p></li><li><p>Language Model</p></li><li><p>Multimodal Alignment</p></li><li><p>Contrastive Learning</p></li></ul><h3>Mô hình</h3><ul><li><p>CLIP</p></li><li><p>BLIP-2</p></li></ul><h3>Lab</h3><ul><li><p>Image Retrieval</p></li><li><p>Zero-shot Classification</p></li></ul>

Giới thiệu Vision Language Model

<h3>Nội dung</h3><ul><li><p>Vision Transformer (ViT)</p></li><li><p>Patch Embedding</p></li><li><p>Cross Attention</p></li><li><p>Q-Former</p></li><li><p>Projector</p></li></ul><h3>Mô hình</h3><ul><li><p>LLaVA</p></li><li><p>Qwen2.5-VL</p></li></ul><h3>Lab: Xây dựng mô hình VLM bằng tay</h3>

Kiến trúc của Modern VLM

<p>OCR hoạt động thế nào?</p><ul><li><p>Detection</p></li><li><p>Recognition</p></li><li><p>Post-processing</p></li><li><p>CER</p></li><li><p>WER</p></li></ul><h3>Mô hình</h3><ul><li><p>Tesseract OCR</p></li><li><p>PaddleOCR</p></li><li><p>VietOCR</p></li></ul><h3>Lab</h3><p>OCR tiếng Việt</p>

Nền tảng OCR

<h3>Nội dung</h3><p>OCR không chỉ đọc chữ.</p><p>Phải hiểu:</p><ul><li><p>Layout</p></li><li><p>Reading Order</p></li><li><p>Bounding Box</p></li><li><p>Table</p></li></ul><h3>Mô hình</h3><ul><li><p>Surya OCR</p></li><li><p>DocLayout-YOLO</p></li></ul><h3>Lab</h3><p>Xây dựng model detect layout</p>

Document OCR

<h3>Nội dung</h3><p>Từ OCR sang OCR-Free</p><h3>Mô hình</h3><ul><li><p>Chandra OCR</p></li><li><p>Qwen2.5-VL</p></li></ul><h3>Chủ đề</h3><ul><li><p>OCR-Free Extraction</p></li><li><p>Visual Grounding</p></li><li><p>End-to-End Extraction</p></li></ul><h3>Lab</h3><p>Xây dựng model chuyển Hóa đơn thành JSON</p>

OCR thế hệ mới với VLM

<h3>Nội dung</h3><p>Các mô hình cho tiếng Việt.</p><h3>Mô hình</h3><ul><li><p>Vintern</p></li><li><p>Qwen2.5-VL</p></li></ul><h3>Lab: Xây dựng model nhận diện</h3><ul><li><p>CCCD</p></li><li><p>Hóa đơn</p></li><li><p>Giấy phép kinh doanh</p></li><li><p>Hợp đồng</p></li></ul>

OCR tập trung vào văn bản Tiếng Việt

<h3>Chủ đề</h3><ul><li><p>OCR Pipeline</p></li><li><p>Table RAG</p></li><li><p>Graph RAG</p></li><li><p>Agent đọc tài liệu</p></li><li><p>Multi-document QA</p></li></ul>