<h1>Lớp học nền tảng xử lý ngôn ngữ tự nhiên (NLP) 05</h1>Lớp học nền tảng xử lý ngôn ngữ tự nhiên (NLP) tập trung vào những công nghệ quan trọng nhất và có tính ứng dụng cao nhất của NLP trong các ứng dụng hiện tại:<ul><li>Ứng dụng chatbot</li><li>Ứng dụng tìm kiếm truy xuất thông tin</li><li>Ứng dụng phân loại cảm xúc văn bản</li></ul>Đầu vào:<ul><li>Đã biết lập trình Python</li></ul>Đầu ra:<ul><li>Hiểu sâu cách vận hành của các kỹ thuật xử lý ngôn ngữ tự nhiên hiện đại. Có thể xây dựng ứng dụng NLP cho riêng mình</li></ul>Giảng Viên: Bá Ngọc<ul><li>Năm 2019, Anh Ngọc được Google công nhận là chuyên gia học máy đầu tiên tại Việt Nam và thứ 66 trên toàn thế giới.</li><li>Kinh nghiệm giảng dạy ngôn ngữ tự nhiên từ cơ bản tới nâng cao tại VietAI</li><li>Trong năm 2020 và 2021, anh Ngọc đã đào tạo hơn 120 lập trình viên thi đỗ chứng chỉ Tensorflow và đưa Việt Nam vào top 4 quốc gia có số lượng người thi đỗ nhiều nhất cùng với Mỹ, Ấn Độ và Hàn Quốc.</li><li>Năm 2022, Ngọc thành lập ProtonX - công ty trí tuệ nhân tạo của mình, với sứ mệnh ứng dụng AI để giải quyết các vấn đề quan trọng của xã hội. Vào tháng 8 năm 2022, ProtonX đã tiên phong ra mắt bộ gõ thông minh - <a target="_blank" rel="noopener noreferrer nofollow" href="https://bluestudio.ai/">Studio.</a>, giúp người dùng soạn một tài liệu chỉ với một câu ý tưởng. Studio đã tạo ra nửa tỷ từ tiếng Việt trong hai ngày đầu tiên ra mắt và “lên top thịnh hành” trong cộng đồng marketing và nhân sự.</li><li>Cũng trong năm đó, ProtonX được Amazon vinh danh là một trong những công ty công nghệ giáo dục (Edtech) sáng tạo nhất khu vực Châu Á - Thái Bình Dương.</li><li>Đầu năm 2023, ProtonX dành chiến thắng cuộc thi Sharktank - Pitch Contest của Amazon Web Service Edtech Accelerator. Đây là bệ phóng rất uy tín đã hỗ trợ rất nhiều các công ty thành công như Elsa, Royelles, CloudLabs.</li><li>Trong năm 2024, Ngọc dẫn dắt đội ngũ kỹ sư của ProtonX xây dựng <a target="_blank" rel="noopener noreferrer nofollow" href="https://coursemind.io/?lang=vi">nền tảng CourseMind</a> cho phép người làm giáo dục xây dựng nội dung. Ứng dụng được sử dụng ở nhiều quốc gia trên thế giới từ Anh, Mỹ, Pháp, Đức, Tây Ban Nha, Bồ Đào Nha, Brasil và Trung Quốc.</li></ul><img style="max-width: 100%; height: auto;" src="https://storage.googleapis.com/mle-courses-prod/users/61b6fa1ba83a7e37c8309756/private-files/b26c5fb0-9fc3-11ee-b5d8-cd986a254bef-Screen_Shot_2023_12_21_at_12.30.37_500x640.png" width="500" height="640" isdraggable="true"><a target="_blank" rel="noopener noreferrer nofollow" href="https://developers.google.com/community/experts/directory?specialization=ml&amp;hl=vi">Đường dẫn</a>Khai giảng: Ngày 24/02/2025Lịch học: Tối thứ 2 và tối thứ 4<ul><li>Giờ học: 19:00 - 21:00</li></ul>Thời lượng: 16 buổi lý thuyết + 2 buổi thực hành = 18 buổiNội dung:<ul><li>Regular Expressions, Edit Distance</li><li>Vector Semantics và Embeddings</li><li>Word2Vec, Glove</li><li>Mô hình ngôn ngữ</li><li>RNN và LSTM</li><li>Bài toán dịch máy</li><li>Mô hình Transfomer</li><li>Đào tạo Transformer sử dụng các kỹ thuật tối ưu trên văn bản dài</li><li>Mô hình Bert và ứng dụng</li><li>NER - Name Entity Recognition</li><li>GPT và ứng dụng</li><li>Bài toán hỏi đáp - Question Answering</li><li>Question Answering với Open Domain - Dense Passage Retrieval</li><li>Vector Database và các công nghệ đằng sau</li><li>Thư viện Vector Search: FAISS</li><li>Kỹ thuật RAG</li><li>Prompt Engineering</li><li>Bổ trợ - Hidden Markov Models</li><li>Nâng cao - Mô hình Wave2Vec cho bài toán nhận diện giọng nói</li></ul>Chi tiết xem thêm <a target="_blank" rel="noopener noreferrer nofollow" href="https://protonx.io/courses/6523788337e7f90012890145?activeTab=curriculum">tại đây</a>.Chứng chỉ của lớp họcHoàn thành tất cả bài tập và nộp dự án cuối khóa, bạn sẽ nhận được chứng chỉ của lớp học.<img style="max-width: 100%; height: auto;" src="https://storage.googleapis.com/mle-courses-prod/users/61b6fa1ba83a7e37c8309756/private-files/cb2bfe90-95a3-11ee-b465-ef75130260ed-ProtonX_Certificate_600x464.png" width="600" height="464" isdraggable="true">Câu chuyện truyền cảm hứng về xây dựng sản phẩm NLP:Tháng 8/2022 team ProtonX ra mắt <a target="_blank" rel="noopener noreferrer nofollow" href="https://bluestudio.ai/">Studio.,</a> công cụ gõ thông minh và đặc biệt hỗ trợ người làm nhân sự viết miêu tả công việc. Mô hình này được đào tạo trên gần 300 000 văn bản Tiếng Việt được tiền xử lý trong vòng 3 tháng và sử dụng mô hình ngôn ngữ GPT-2 Medium.Với sự mới lạ của sản phẩm này ở thời điểm đó - thời điểm ChatGPT chưa ra đời, công cụ gây tiếng vang mạnh mẽ trong cộng đồng tuyển dụng và Marketing của Việt Nam.<img style="max-width: 100%; height: auto;" src="https://storage.googleapis.com/mle-courses-prod/users/61b6fa1ba83a7e37c8309756/private-files/d5b34310-94e9-11ee-be1b-83fe915e605b-user_feedback_800x857.png" width="800" height="857" isdraggable="true">Phản hồi của người dùng về ứng dụngThời điểm này team ProtonX đã phải vận dụng tất cả các kỹ năng để có thể phục vụ một số lượng người dùng lớn và cố gắng giảm thiểu chi phí nhất có thể. Đặc biệt là liên quan tới hạ tầng tính toán.<img style="max-width: 100%; height: auto;" src="https://storage.googleapis.com/mle-courses-prod/users/61b6fa1ba83a7e37c8309756/private-files/f2322f10-94e9-11ee-be1b-83fe915e605b-messages_sent_800x365.png" width="800" height="365" isdraggable="true">Số lượng văn bản khổng lồ được sinh ra trong một ngàyVà cuối cùng team đã tạo ra được những giá trị tuyệt vời cho người dùng và nhận rất nhiều phản hồi yêu thích.Đây chính là lý do team ProtonX rất tâm huyết với lớp học này với mục tiêu sẽ đào tạo được những kỹ sư có khả năng xây dựng ứng dụng có sức hút cao và đem lại nhiều giá trị cho cộng đồng.Học chăm là có việcLớp học xử lý ngôn ngữ tự nhiên của team đón nhận nhiều tin vui từ học viên khi các bạn chăm chỉ trong lớp có công việc đầu tiên trong ngành.<img style="max-width: 100%; height: auto;" src="https://storage.googleapis.com/mle-courses-prod/users/61b6fa1ba83a7e37c8309756/private-files/9460aca0-6a7b-11ef-b0a7-998b84b38d43-No__i_dung__oa_n_va_n_ba_n_cu_a_ba_n__1_.png" width="1000" height="1000" isdraggable="true">Hẹn bạn tại lớp học nhé.

Nền tảng xử lý ngôn ngữ tự nhiên 05

ProtonX

<ul><li>Lớp học trực tuyến qua Zoom</li><li>Xem video chất lượng cao bao gồm video chuẩn bị cho lớp học Zoom và video ghi lại sau khi lớp Zoom kết thúc</li><li>Trao đổi trực tuyến với giảng viên mọi lúc mọi nơi</li></ul>

Gói học cao cấp giảm giá cho người đăng ký sớm<ol><li>Qua Zoom mỗi tuần</li><li>Xem video chất lượng cao bao gồm video chuẩn bị cho lớp học Zoom và video ghi lại sau khi lớp Zoom kết thúc - Trao đổi trực tuyến với giảng viên mọi lúc mọi nơi</li></ol>

Gói học cao cấp

<ul><li>Xem video chất lượng cao bao gồm video chuẩn bị cho lớp học Zoom và video ghi lại sau khi lớp Zoom kết thúc</li></ul><ul><li>Trao đổi trực tuyến với giảng viên mọi lúc mọi nơi</li></ul>

Gói học cho người bận rộn, chỉ xem lại video<ol><li>Xem video chất lượng cao bao gồm video chuẩn bị cho lớp học Zoom và video ghi lại sau khi lớp Zoom kết thúc</li><li>Trao đổi trực tuyến với giảng viên mọi lúc mọi nơi</li></ol>

Gói học cơ bản

[NLP] Giải thích Mạng LSTM dễ hiểu và lập trình với Pytorch và Tensorflow

[NLP] Mô hình Transformer dễ học cho người mới

[NLP] Chi tiết về RAG - Retrieval Augumented Generation.

Xây dựng hệ thống máy tìm kiếm AI với Elastic Search, HuggingFace và Prefect

Tống Trọng Tâm

Phan Minh Huệ

Trần Đình Dũng

Trần Minh Hoài

Duc Anh Le

Anh Le

[Zoom 24-02-2025] Khai giảng lớp học NLP 05

<ul><li>Luyện tập thuần thục viết Regular Expressions<ul><li>Các toán tử thông thường</li><li>Các toán tử nâng cao</li></ul></li><li>Thực hiện tiền xử lý trên văn bản tiếng Việt</li></ul>

[Zoom 26-02-2025] Biểu thức chính quy - Regular Expressions

Làm theo hướng dẫn trên TODO.<a target="_blank" rel="noopener noreferrer nofollow" href="https://drive.google.com/file/d/1TOc_PU5voH_TFzRQyqmXXbRfRnpG3heb/view?usp=drive_link">Xem video</a> về BPE để hiểu rõ hơn về thuật toán tách Token.

Bài tập lập trình thuật toán tách Token WordPiece

<ul><li>Thuật toán BPE</li><li>Thuật toán WordPiece</li><li>Sử dụng thư viện SentencePiece</li><li>Sử dụng thư viện Spacy</li><li>Sử dụng thư viện Underthesea cho Tiếng Việt</li></ul>

[Zoom 03-03-2025] Chi tiết các thuật toán tách token

Các quy trình của chuẩn hóa văn bản<ul><li>Tách văn bản thành nhiều câu (Segmenting sentence)</li><li>Tách (phân đoạn) từ - Tokenizing (segmenting) words</li><li>Chuẩn hóa từ</li></ul>

[Zoom 05-03-2025] Chuẩn hóa văn bản

[Zoom 10-03-2025] Ôn tập đại số tuyến tính

<ul><li>Ôn tập học máy,</li><li>Ôn tập học sâu </li><li>Khái niệm Overfitting/Underfitting</li></ul>

[Zoom 12-03-2025] Ôn tập học máy, học sâu và các khái niệm liên quan

[Zoom 24-03-2025] Ôn tập quá trình training

<ul><li>Tối ưu lồi</li><li>Vấn đề của SGD</li><li>SGD với quán tính</li><li>AdaGrad</li><li>AdaDelta và RMSProp</li></ul>

[Bổ trợ] Các thuật toán Training

[Zoom 26-03-2025] Vector Semantics và Embeddings

<ul><li>Chi tiết mô hình SkipGram</li><li>Negative Sampling</li><li>Softmax đa tầng</li></ul>

[Zoom 31-03-2025] SkipGram, Glove và FastText

[Zoom 02-04-2025] Mô hình ngôn ngữ

<a target="_blank" rel="noopener noreferrer nofollow" href="https://docs.google.com/presentation/d/10aNau8X4qaGKuPITQ8iDbCZPiBjygXZSSZtG3bFP6Dg/edit?usp=sharing">Hướng dẫn chi tiết</a><a target="_blank" rel="noopener noreferrer nofollow" href="https://colab.research.google.com/drive/1IdB6NL3bccWodZ_YKy8R0tywp9SYy2GN?usp=sharing">Code</a>3 TODO = 60 điểm

Bài tập lập trình mô hình phân loại tiêu đề Blog

[Zoom 07-04-2025]  RNN và LSTM

<ul><li>Bài toán dịch máy</li><li>Mô hình Seq2Seq</li><li>Vấn đề BottleNeck của Seq2Seq</li><li>Mô hình Seq2Seq và cơ chế Attention</li><li>BLEU Score</li><li>Thuật toán Greedy/Beam Search</li></ul>

[Zoom 14-04-2025] Bài toán dịch máy

<ul><li>Transformer Encoder<ul><li>Positional encoding</li><li>Cơ chế Attention</li><li>Multiheaded Attention</li></ul></li><li>Transformer Decoder</li><li>Lập trình mô hình Transformer từ đầu</li></ul>

[Zoom 09-04-2025] Mô hình Transfomer (4 buổi)

<ul><li>Mô hình Bert và ứng dụng</li><li>Bert nguyên bản</li><li>Các phiên bản Bert nâng cấp: Roberta, PhoBert</li></ul>

[Zoom 28-04-2025] Mô hình Bert và ứng dụng

<ul><li>Bài toán NER + Pos Tagging</li><li>Ứng dụng Bert để xử lý hai bài toán này</li></ul>

[Zoom 28-4-2025] Thực hành Bert và ứng dụng với bài toán NER và POS Tag

<ul><li>Thuật toán tìm kiếm theo từ khóa TF-IDF và BM25</li><li>Thuật toán tìm kiếm theo Vector</li><li>Thư viện FAISS để tìm kiếm vector nhanh chóng<ul><li>Các thuật toán quan trọng của FAISS</li></ul></li></ul>

[Zoom 29-4-2025] Bài toán truy xuất thông tin - Information Retrieval

Vector Database and RAG<ul><li>Điểm qua Vector Database</li><li>Chi tiết về RAG</li><li>Thiết kế một RAG Pipeline</li></ul>

[Zoom 05-05-2025] Vector Database and RAG

[Zoom 20-05-2025] Transformer Nâng cao

Dự án cuối khóa - 2 tuần

<ul><li>Đọc các nghiên cứu của GPT-1, GPT-2, GPT-3 và GPT 3.5</li><li>Đào tạo mô hình phân tán song song dữ liệu và song song mô hình</li></ul>