Lớp học lập trình Pytorch (Video)

<a target="_blank" rel="noopener noreferrer nofollow" href="https://drive.google.com/file/d/1JvhlB9rtfQTjvH_nXZ-TAIUO5xTrqbQw/view?usp=drive_link">https://drive.google.com/file/d/1JvhlB9rtfQTjvH_nXZ-TAIUO5xTrqbQw/view?usp=drive_link</a>

Slide

<ul><li>Kiến trúc mô hình Transformer</li><li>Mô hình GPT</li></ul>

Video

Export model: <a target="_blank" rel="noopener noreferrer nofollow" href="https://drive.google.com/file/d/1_8MuWO9ZPBzmLdQz_MB4yNx9z_7RR6H-/view?usp=drive_link">https://drive.google.com/file/d/1_8MuWO9ZPBzmLdQz_MB4yNx9z_7RR6H-/view?usp=drive_link</a>Quantization model: <a target="_blank" rel="noopener noreferrer nofollow" href="https://drive.google.com/file/d/1Df6_5lVTCvvxu0FTjWUml_jYxMoHMNKp/view?usp=drive_link">https://drive.google.com/file/d/1Df6_5lVTCvvxu0FTjWUml_jYxMoHMNKp/view?usp=drive_link</a>

Thực hành

Transformer

<ul><li>Tensor</li><li>Các phép toán trên Tensor</li><li>Hồi quy tuyến tính với Pytorch</li></ul>

Pytorch cơ bản

<ul><li>Giới thiệu bài toán Grab</li><li>Quá trình xây dựng một mô hình</li><li>Mô hình hồi quy tuyến tính</li><li>Thuật toán Gradient Descent</li><li>Lập trình hồi quy tuyến tính một biến</li></ul>

[Bổ trợ] Mô hình hồi quy tuyến tính

<ul><li>Cách xây dựng dataset hiệu năng cao với Pytorch</li><li>Dataset</li><li>Dataloader</li></ul>

Dataset và Dataloader

<ul><li>Giới thiệu chung</li><li>Các cách transform với TorchVision</li></ul>

TorchVision

<ul><li>Ôn tập dataset thông qua các demo<ul><li>Lập trình song song</li><li>Nhận diện đối tượng với YOLO</li></ul></li></ul>

Ôn tập Dataset, Dataloader và TorchVision

<ul><li>Giới thiệu xử lý ngôn ngữ tự nhiên</li><li>Word2vec</li></ul>

[Bổ trợ] Xử lý ngôn ngữ tự nhiên 

<ul><li>Preloaded datasets từ torchtext</li><li>Xử lý NLP: stop word, lemmatization …</li><li>Text tokenization và word embedding</li><li>Pretrained mô hình phân loại văn bản</li></ul>

TorchText

<ul><li>Luyện tập Torch Text</li><li>Lập trình Model với Pytorch</li></ul>

Mô hình

[Bổ trợ] Mạng nơ ron

<ul><li>Tối ưu lồi</li><li>Vấn đề của SGD</li><li>SGD với quán tính</li><li>AdaGrad</li><li>AdaDelta và RMSProp</li></ul>

[Bổ trợ] Các thuật toán Training

<ul><li>Các thuật toán tối ưu</li><li>Các hàm mất mát</li><li>Lập trình quá trình training</li></ul>

Đào tạo mô hình

Luyện tập model + training

[Bổ trợ] Mạng tích chập - Convolutional neural network

<ul><li>Nhắc lại mạng tích chập</li><li>Lập trình với Pytorch</li></ul>

Mạng tích chập - CNN

Luyện tập CNN

<ul><li>Model compression</li><li>Export model</li></ul>

Model compression và Export model

<ul><li>Giới thiệu thư viện Pytorch Lightning</li></ul>

Pytorch Lightning

<ul><li>Hướng dẫn đào tạo mô hình phân tán</li></ul>

Distributed Training

<ul><li>Giới thiệu dự án của lớp học</li></ul>

Transformer

1. Slide

1.1. Slide

1.2. Video

1.3. Thực hành