Lớp học lập trình Pytorch (Video)

[TF] 16.1.1. Giới thiệu NLP

[TF] 16.1.2. Các bài toán và khó khăn

[TF] 16.1.3. Giao thoa sử dụng các mô hình

Giới thiệu xử lý ngôn ngữ tự nhiên

[TF] 16.2.1. Tách đơn vị ngôn ngữ

Tokenizers.ipynb

Bạn nghĩ điểm yếu của việc tách từ với đơn vị là từ này có điểm yếu là gì?

Tách từ

NLP - Tokenizer - Word2Vec.pdf

CBOW_Training.ipynb

Slide

<ul><li>Giới thiệu xử lý ngôn ngữ tự nhiên</li><li>Word2vec</li></ul>

[Bổ trợ] Xử lý ngôn ngữ tự nhiên 

<ul><li>Tensor</li><li>Các phép toán trên Tensor</li><li>Hồi quy tuyến tính với Pytorch</li></ul>

Pytorch cơ bản

<ul><li>Giới thiệu bài toán Grab</li><li>Quá trình xây dựng một mô hình</li><li>Mô hình hồi quy tuyến tính</li><li>Thuật toán Gradient Descent</li><li>Lập trình hồi quy tuyến tính một biến</li></ul>

[Bổ trợ] Mô hình hồi quy tuyến tính

<ul><li>Cách xây dựng dataset hiệu năng cao với Pytorch</li><li>Dataset</li><li>Dataloader</li></ul>

Dataset và Dataloader

<ul><li>Giới thiệu chung</li><li>Các cách transform với TorchVision</li></ul>

TorchVision

<ul><li>Ôn tập dataset thông qua các demo<ul><li>Lập trình song song</li><li>Nhận diện đối tượng với YOLO</li></ul></li></ul>

Ôn tập Dataset, Dataloader và TorchVision

<ul><li>Preloaded datasets từ torchtext</li><li>Xử lý NLP: stop word, lemmatization …</li><li>Text tokenization và word embedding</li><li>Pretrained mô hình phân loại văn bản</li></ul>

TorchText

<ul><li>Luyện tập Torch Text</li><li>Lập trình Model với Pytorch</li></ul>

Mô hình

[Bổ trợ] Mạng nơ ron

<ul><li>Tối ưu lồi</li><li>Vấn đề của SGD</li><li>SGD với quán tính</li><li>AdaGrad</li><li>AdaDelta và RMSProp</li></ul>

[Bổ trợ] Các thuật toán Training

<ul><li>Các thuật toán tối ưu</li><li>Các hàm mất mát</li><li>Lập trình quá trình training</li></ul>

Đào tạo mô hình

Luyện tập model + training

[Bổ trợ] Mạng tích chập - Convolutional neural network

<ul><li>Nhắc lại mạng tích chập</li><li>Lập trình với Pytorch</li></ul>

Mạng tích chập - CNN

Luyện tập CNN

<ul><li>Model compression</li><li>Export model</li></ul>

Model compression và Export model

<ul><li>Kiến trúc mô hình Transformer</li><li>Mô hình GPT</li></ul>

Transformer

<ul><li>Giới thiệu thư viện Pytorch Lightning</li></ul>

Pytorch Lightning

<ul><li>Hướng dẫn đào tạo mô hình phân tán</li></ul>

Distributed Training

<ul><li>Giới thiệu dự án của lớp học</li></ul>

Danh sách chủ đề

[Bổ trợ] Xử lý ngôn ngữ tự nhiên

1. Giới thiệu xử lý ngôn ngữ tự nhiên

1.1. [TF] 16.1.1. Giới thiệu NLP

1.2. [TF] 16.1.2. Các bài toán và khó khăn

1.3. [TF] 16.1.3. Giao thoa sử dụng các mô hình

2. Tách từ

2.1. [TF] 16.2.1. Tách đơn vị ngôn ngữ

2.2. Tokenizers.ipynb

3. Slide

3.1. NLP - Tokenizer - Word2Vec.pdf

3.2. CBOW_Training.ipynb

Bài học