Trí tuệ nhân tạo nền tảng

SGD.pdf

Slide bài giảng

Điền vào chỗ trống

Nhắc lại quá trình Training

[TF] 4.1.1. Vấn đề của Gradient Descent .mp4

Tại sao chúng ta không dùng Gradient Descent

[TF] 4.2.1. Ví dụ về quá trình training

[TF] 4.2.2. So sánh Graident Descent và Stochastic Gradient Descent

[TF] 4.2.3. Mini Batch Gradient Descent

Số lượng bước (step) trong một epochs được tính như thế nào?

Stochastic Gradient Descent

[TF] 4.3.1. Lập trình SGD với bài toán Grab

SGD_Grab.ipynb

Lập trình SGD với bài toán Grab

[TF] 4.4.1. Nâng cao - khả năng hội tụ của SGD

Nâng cao - Khả năng hội tụ của SGD

<ul><li>Tại sao chúng ta không dùng Gradient Descent </li><li>Stochastic Gradient Descent</li><li>Lập trình SGD với bài toán Grab</li><li>Nâng cao - Khả năng hội tụ của SGD</li></ul>

Stochastic Gradient Descent - SGD

Khai giảng

Giới thiệu học giám sát, không giám sát và học tăng cường.




Giới thiệu học máy/học sâu

<ul><li>Giới thiệu bài toán Grab</li><li>Quá trình xây dựng một mô hình</li><li>Mô hình hồi quy tuyến tính</li><li>Thuật toán Gradient Descent</li><li>Lập trình hồi quy tuyến tính một biến</li></ul>

Mô hình hồi quy tuyến tính

<ul><li>Chữa bài hồi quy tuyến tính</li><li>Hồi quy tuyến tính với Tensorflow</li></ul>

Chữa bài hồi quy tuyến tính - Hồi quy tuyến tính với Tensorflow

<ul><li>Bộ dữ liệu giá nhà</li><li>Phân tích dữ liệu và các vấn đề sẽ gặp khi xử lý dữ liệu</li><li>Hồi quy tuyến tính trên bộ dữ liệu này</li></ul>

Mô hình hồi quy tuyến tính với dữ liệu nhiều cột

<ul><li>Ôn tập SGD</li><li>Hiện tượng Overfitting</li></ul>

Ôn tập SGD + Hiện tượng Overfitting

<ul><li>Bài toán phân loại nhị phân</li><li>Bài toán phát hiện rủi ro</li><li>Mô hình hồi quy Logistic theo chiều thuận</li></ul>

Bài toán phân loại nhị phân

<ul><li>Chữa bài phân loại nhị phân</li><li>Thực hành với Tensorflow</li><li>Các chỉ số TP, TN, FP, FN</li><li>Chỉ số Precision, Recall</li><li>Chỉ số F1</li></ul>

Chữa bài mô hình phân loại + Đánh giá chất lượng mô hình 

<ul><li>Softmax Regression</li><li>Chứng minh công thức Categorical cross entropy</li></ul>

Bài toán phân loại nhiều lớp

<ul><li>Ôn tập Softmax</li><li>Trao đổi việc training hiệu quả</li></ul>

Ôn tập bài toán phân loại nhiều lớp

<ul><li>Giới thiệu mạng nơ ron</li><li>Diễn giải lớp ẩn, nơ ron</li><li>Hàm tuyến tính, phi tuyến</li><li>Các vấn đề hay gặp khi đào tạo mạng nơ ron</li></ul>

Mạng nơ ron (Neural Network)

<ul><li>Mô phỏng mạng nơ ron</li><li>Ý tưởng thuật toán lan truyền ngược</li><li>Chứng minh lan truyền ngược trên một tham số</li></ul>

Thuật toán lan truyền ngược

<ul><li>Ôn tập mạng nơ ron</li><li>Các kỹ thuật training hiệu quả</li></ul>

Ôn tập Mạng nơ ron - Các kỹ thuật training hiệu quả

<ul><li>Tối ưu lồi</li><li>Vấn đề của SGD</li><li>SGD với quán tính</li><li>AdaGrad</li><li>AdaDelta và RMSProp</li></ul>

Các thuật toán Training

Ôn tập các thuật toán đào tạo mô hình

<ul><li>Giới thiệu về hình ảnh, cấu trúc của hình ảnh</li><li>Giới thiệu về Filter, một số filter cơ bản để xử lý ảnh</li><li>Cấu trúc mô hình CNN, các đặc điểm vượt trội so với mạng Neural Network.</li></ul>

Mạng tích chập - Convolutional neural network

<ul><li>Transfer learning</li><li>Cấu trúc ResNet và InceptionNet</li></ul>

Transfer Learning và ResNet và InceptionNet

Ôn tập mạng CNN - Hướng dẫn đọc Paper

<ul><li>Giới thiệu xử lý ngôn ngữ tự nhiên</li><li>Word2vec</li></ul>

Xử lý ngôn ngữ tự nhiên - Word2Vec

<ul><li>Mô hình ngôn ngữ</li><li>SimpleRNN</li><li>LSTM</li></ul>

Mô hình ngôn ngữ + RNN 

Ôn tập NLP

Deep RNN

<ul><li>Giới thiệu Timeseries </li><li>Xây dựng bộ dữ liệu đơn giản</li><li>Xây dựng mô hình dự đoán với mạng nơ ron</li></ul>

Timeseries cơ bản

<ul><li>Xử lý timeseries trong thực tế</li><li>Bí kíp thi bài 5 trong đề thi Tensorflow</li></ul>

Stochastic Gradient Descent - SGD

1. Slide bài giảng

1.1. SGD.pdf

2. Nhắc lại quá trình Training

2.1. Điền vào chỗ trống

3. Tại sao chúng ta không dùng Gradient Descent

3.1. [TF] 4.1.1. Vấn đề của Gradient Descent .mp4

4. Stochastic Gradient Descent

4.1. [TF] 4.2.1. Ví dụ về quá trình training

4.2. [TF] 4.2.2. So sánh Graident Descent và Stochastic Gradient Descent

4.3. [TF] 4.2.3. Mini Batch Gradient Descent

4.4. Số lượng bước (step) trong một epochs được tính như thế nào?

5. Lập trình SGD với bài toán Grab

5.1. [TF] 4.3.1. Lập trình SGD với bài toán Grab

5.2. SGD_Grab.ipynb

6. Nâng cao - Khả năng hội tụ của SGD

6.1. [TF] 4.4.1. Nâng cao - khả năng hội tụ của SGD