Lớp học TF 06

Code thực hành softmax

Notebook

MLE: https://drive.google.com/file/d/1_w11YrKJ7Y6a9P00rTCinNtxudJJzu-r/view

Slide

Ôn tập Softmax

Maximizing Likelihood Estimation

Video

Ôn tập Softmax - Maximum Likelihood Estimation

- Lời chào từ giảng viên + trợ giảng
- Giới thiệu nội dung chi tiết lớp học + thi chứng chỉ Tensorflow
- Giới thiệu về Project cuối khóa + điều kiện tham gia.

Khai giảng lớp học TF 06

Sách bổ trợ cho lớp học

Giới thiệu học giám sát, không giám sát và học tăng cường.

Giới thiệu về Học máy/Học sâu

  * Giới thiệu bài toán Grab
  * Quá trình xây dựng một mô hình
  * Mô hình hồi quy tuyến tính
  * Thuật toán Gradient Descent
  * Lập trình hồi quy tuyến tính một biến
 



Mô hình hồi quy tuyến tính

- Ôn tập hồi quy tuyến tính
- Thực hành hồi quy tuyến với Tensorflow

Hồi quy tuyến tính với Tensorflow

- Bộ dữ liệu giá nhà
- Phân tích dữ liệu và các vấn đề sẽ gặp khi xử lý dữ liệu
- Hồi quy tuyến tính trên bộ dữ liệu này

Mô hình hồi quy tuyến tính với dữ liệu nhiều cột

Ôn tập hồi quy tuyến tính với nhiều cột, thực hành với Tensorflow

Ôn tập hồi quy tuyến tính với nhiều cột

**Chú ý:**

- Tải bài tập file notebook và dưới máy của mình
- Lập trình trên file đó và upload file đó lên hệ thống
- Sau đó nhấn **Nộp bài**

**Hạn nộp bài:**
- Điểm tối đa: **100 điểm**
- Bạn sẽ bị trừ 10% số điểm nếu nộp bài muộn.

**Bộ dữ liệu**
- [Train](https://storage.googleapis.com/protonx-cloud-storage/datasets/cali-house/california_housing_train.csv)
- [Test](https://storage.googleapis.com/protonx-cloud-storage/datasets/cali-house/california_housing_test.csv) 

Bạn vui lòng tải bộ dữ liệu xuống và cài đặt đúng đường dẫn.

Bài tập thực hành SGD

  * Tại sao chúng ta không dùng Gradient Descent
  * Stochastic Gradient Descent
  * Lập trình SGD với bài toán Grab
  * Nâng cao - Khả năng hội tụ của SGD


Stochastic Gradient Descent - SGD

- Bài toán phân loại nhị phân
- Bài toán phát hiện rủi ro
- Mô hình hồi quy Logistic theo chiều thuận


Bài toán phân loại nhị phân

- Ôn luyện mô hình
- Lập trình với Tensorflow

Ôn tập hồi quy Logistic

- Softmax Regression
- Chứng minh công thức Categorical cross entropy

Bài toán phân loại nhiều lớp

**Chú ý:**

- Tải bài tập file notebook và dưới máy của mình
- Lập trình trên file đó và upload file đó lên hệ thống
- Sau đó nhấn **Nộp bài**

**Hạn nộp bài:**
- Điểm tối đa: **100 điểm**
- Bạn sẽ bị trừ 10% số điểm nếu nộp bài muộn.

Bạn vui lòng tải bộ dữ liệu xuống và cài đặt đúng đường dẫn.

[TF] Bài tập Softmax

- Giới thiệu hiện tượng Underfitting và Overfitting
- Ví dụ Overfitting với bài toán phân loại
- Cách khắc phục hiện tượng Overfitting

Hiệu chỉnh mô hình L1/L2

Các chỉ số đánh giá mô hình cơ bản

- Precision
- Recall
- F1

Các chỉ số đánh giá mô hình

- Giới thiệu mạng nơ ron
- Diễn giải lớp ẩn, nơ ron
- Hàm tuyến tính, phi tuyến
- Các vấn đề hay gặp khi đào tạo mạng nơ ron

Mạng nơ ron (Neural Network)

- Ôn tập Mạng nơ ron lan truyền thuận
- Thực hành với Tensorflow

Ôn tập Mạng nơ ron lan truyền thuận + Thực hành với Tensorflow

**Chú ý:**

- Tải bài tập file notebook và dưới máy của mình
- Lập trình trên file đó và upload file đó lên hệ thống
- Sau đó nhấn **Nộp bài**

**Hạn nộp bài:**
- Điểm tối đa: **90 điểm**
- Bạn sẽ bị trừ 10% số điểm nếu nộp bài muộn.


Bài tập xây dựng Mạng nơ ron từ đầu

- Mô phỏng mạng nơ ron
- Ý tưởng thuật toán lan truyền ngược
- Chứng minh lan truyền ngược trên một tham số

Thuật toán lan truyền ngược

- Giới thiệu về hình ảnh, cấu trúc của hình ảnh
- Giới thiệu về Filter, một số filter cơ bản để xử lý ảnh
- Cấu trúc mô hình CNN, các đặc điểm vượt trội so với mạng Neural Network.

Mạng tích chập - Convolutional neural network

- Học cấu trúc phổ biến của một bài báo nghiên cứu, cách đọc hiệu quả. 

- Cùng đọc một số nghiên cứu nổi tiếng trong thị giác máy tính

- Sử dụng các mô hình đã được xây dựng và đào tạo trên những bộ dữ liệu lớn để cho bài toán với số lượng nhãn nhỏ hơn.

- Đây là một trong những kỹ thuật quan trọng và được sử dụng rộng rãi trong hầu hết các bài toán AI hiện tại.


Đọc nghiên cứu và trả lời câu hỏi

ResNet và InceptionNet

- Ôn tập đọc nghiên cứu
- Đề thi Tensorflow 03

Ôn tập đọc nghiên cứu + đề thi Tensorflow 03

[TF] Lập trình VGG 11

Xử lý ngôn ngữ tự nhiên - Word2Vec

- Tối ưu lồi
- Vấn đề của SGD
- SGD với quán tính
- AdaGrad
- AdaDelta và RMSProp

Các thuật toán Training

- Mô hình ngôn ngữ
- SimpleRNN
- LSTM

Mô hình ngôn ngữ + RNN

Deep RNN

- Ôn tập LSTM
- Kỹ thuật training
   - Dropout
   - Batch Norm
   - Early Stopping (Dừng sớm)
   - Multi Task Learning
  

Ôn tập LSTM + Kỹ thuật training

- Giới thiệu Timeseries
- Xây dựng bộ dữ liệu đơn giản
- Xây dựng mô hình dự đoán với mạng nơ ron

Timeseries cơ bản

- Xử lý timeseries trong thực tế
- Bí kíp thi bài 5 trong đề thi Tensorflow

Timeseries trong thực tế

Bài tập thi thử TF

- Cấu trúc đề thi
- Đề thi mẫu
- Một số chú ý quan trọng khi thi

Danh sách chủ đề

Ôn tập Softmax - Maximum Likelihood Estimation

1. Notebook

1.1. Code thực hành softmax

2. Slide

2.1. Slide

3. Video

3.1. Ôn tập Softmax

3.2. Maximizing Likelihood Estimation

Bài học