Trí tuệ nhân tạo nền tảng

SGD.pdf

Slide bài giảng

Điền vào chỗ trống

Nhắc lại quá trình Training

Vấn đề của Gradient Descent .mp4

Tại sao chúng ta không dùng Gradient Descent

Ví dụ về quá trình training

So sánh Graident Descent và Stochastic Gradient Descent

Mini Batch Gradient Descent

Số lượng bước (step) trong một epochs được tính như thế nào?

Stochastic Gradient Descent

Lập trình SGD với bài toán Grab

SGD_Grab.ipynb

Nâng cao - khả năng hội tụ của SGD

Nâng cao - Khả năng hội tụ của SGD

<ul><li>Tại sao chúng ta không dùng Gradient Descent </li><li>Stochastic Gradient Descent</li><li>Lập trình SGD với bài toán Grab</li><li>Nâng cao - Khả năng hội tụ của SGD</li></ul>

Stochastic Gradient Descent - SGD

<ul><li>Kiến thức nền cần chuẩn bị trước khi tham gia khóa học</li><li>Khai giảng lớp, định hướng AI sắp tới</li></ul>

Khai giảng

<ul><li>Giới thiệu học giám sát, không giám sát và học tăng cường</li><li>Kinh nghiệm làm model AI trong công nghiệp<ul><li>Làm gì khi ít dữ liệu</li></ul></li></ul>

Giới thiệu học máy/học sâu

<ul><li>Giới thiệu bài toán Grab</li><li>Quá trình xây dựng một mô hình</li><li>Mô hình hồi quy tuyến tính</li><li>Thuật toán Gradient Descent</li><li>Lập trình hồi quy tuyến tính một biến</li></ul>

Mô hình hồi quy tuyến tính

<ul><li>Chữa bài hồi quy tuyến tính</li><li>Hồi quy tuyến tính với Tensorflow</li></ul>

Chữa bài hồi quy tuyến tính - Hồi quy tuyến tính với Tensorflow

<ul><li>Bộ dữ liệu giá nhà</li><li>Phân tích dữ liệu và các vấn đề sẽ gặp khi xử lý dữ liệu</li><li>Hồi quy tuyến tính trên bộ dữ liệu này</li></ul>

Mô hình hồi quy tuyến tính với dữ liệu nhiều cột

<ul><li>Ôn tập SGD</li><li>Hiện tượng Overfitting</li></ul>

Ôn tập SGD + Hiện tượng Overfitting

<ul><li>Bài toán phân loại nhị phân</li><li>Bài toán phát hiện rủi ro</li><li>Mô hình hồi quy Logistic theo chiều thuận</li></ul>

Bài toán phân loại nhị phân

<ul><li>Chữa bài phân loại nhị phân</li><li>Thực hành với Tensorflow</li><li>Các chỉ số TP, TN, FP, FN</li><li>Chỉ số Precision, Recall</li><li>Chỉ số F1</li></ul>

Chữa bài mô hình phân loại + Đánh giá chất lượng mô hình 

<ul><li>Softmax Regression</li><li>Chứng minh công thức Categorical cross entropy</li></ul>

Bài toán phân loại nhiều lớp

<ul><li>Ôn tập Softmax</li><li>Trao đổi việc training hiệu quả</li></ul>

Ôn tập bài toán phân loại nhiều lớp

<ul><li>Giới thiệu mạng nơ ron</li><li>Diễn giải lớp ẩn, nơ ron</li><li>Hàm tuyến tính, phi tuyến</li><li>Các vấn đề hay gặp khi đào tạo mạng nơ ron</li></ul>

Mạng nơ ron (Neural Network)

<ul><li>Mô phỏng mạng nơ ron</li><li>Ý tưởng thuật toán lan truyền ngược</li><li>Chứng minh lan truyền ngược trên một tham số</li></ul>

Thuật toán lan truyền ngược

<ul><li>Ôn tập mạng nơ ron</li><li>Các kỹ thuật training hiệu quả</li></ul>

Ôn tập Mạng nơ ron - Các kỹ thuật training hiệu quả

<ul><li>Tối ưu lồi</li><li>Vấn đề của SGD</li><li>SGD với quán tính</li><li>AdaGrad</li><li>AdaDelta và RMSProp</li></ul>

Các thuật toán Training

Các thuật toán đào tạo nâng cao hơn so với SGD đó là<ul><li>SGD với Momentum</li><li>AdaGrad</li><li>AdaDelta</li><li>Adam</li></ul>

Ôn tập các thuật toán đào tạo mô hình

<ul><li>Giới thiệu về hình ảnh, cấu trúc của hình ảnh</li><li>Giới thiệu về Filter, một số filter cơ bản để xử lý ảnh</li><li>Cấu trúc mô hình CNN, các đặc điểm vượt trội so với mạng Neural Network.</li></ul>

Mạng tích chập - Convolutional neural network

<ul><li>Transfer learning</li><li>Cấu trúc ResNet và InceptionNet</li></ul>

Transfer Learning và ResNet và InceptionNet

Ôn tập mạng CNN - Hướng dẫn đọc Paper

<ul><li>Giới thiệu xử lý ngôn ngữ tự nhiên</li><li>Word2vec</li></ul>

Xử lý ngôn ngữ tự nhiên - Word2Vec

Chữa bài tập mạng nơ ron

<ul><li>Giới thiệu xử lý ngôn ngữ tự nhiên</li><li>Mạng nơ ron hồi quy (RNN)</li><li>Chi tiết mô hình ngôn ngữ</li></ul>

Mô hình ngôn ngữ + RNN

<ul><li>Lập trình LSTM từ đầu</li></ul>

Lập trình LSTM từ đầu

Mạng RNN sâu

<ul><li>Dữ liệu Timeserise</li><li>Cách lựa chọn và xây dựng mô hình đúng</li></ul>

Dữ liệu Time series và cách xây dựng mô hình

Dự án cuối khóa

<ul><li>Giới thiệu Timeseries </li><li>Xây dựng bộ dữ liệu đơn giản</li><li>Xây dựng mô hình dự đoán với mạng nơ ron</li></ul>

Danh sách chủ đề

Stochastic Gradient Descent - SGD

1. Slide bài giảng

1.1. SGD.pdf

3. Tại sao chúng ta không dùng Gradient Descent

3.1. Vấn đề của Gradient Descent .mp4

4. Stochastic Gradient Descent

4.1. Ví dụ về quá trình training

4.2. So sánh Graident Descent và Stochastic Gradient Descent

4.3. Mini Batch Gradient Descent

5. Lập trình SGD với bài toán Grab

5.1. Lập trình SGD với bài toán Grab

5.2. SGD_Grab.ipynb

6. Nâng cao - Khả năng hội tụ của SGD

6.1. Nâng cao - khả năng hội tụ của SGD

Bài học