Lớp học AI nền tảng TF 07

RNN.pdf

Slide

Lời giải bài tập mạng nơ ron

RNN_Generate_Text.ipynb

Code LSTM từ đầu

Notebook

14.RNN-part1.mp4

14.RNN-part2.mp4

Chữa bài mạng nơ ron

Mô hình ngôn ngữ

Video từ TF 06

Video

Video 07

- Mô hình ngôn ngữ - SimpleRNN - LSTM

Mô hình ngôn ngữ + RNN

Khai giảng

- Hướng dẫn làm quen với hệ thống.
- Học máy là gì. 



Học máy là gì

  * Giới thiệu bài toán Grab
  * Quá trình xây dựng một mô hình
  * Mô hình hồi quy tuyến tính
  * Thuật toán Gradient Descent
  * Lập trình hồi quy tuyến tính một biến
 



Mô hình hồi quy tuyến tính

- Bộ dữ liệu giá nhà
- Phân tích dữ liệu và các vấn đề sẽ gặp khi xử lý dữ liệu
- Hồi quy tuyến tính trên bộ dữ liệu này

Mô hình hồi quy tuyến tính với dữ liệu nhiều cột

- Chữa bài hồi quy tuyến tính 
- Hồi quy tuyến tính với Tensorflow

Chữa bài hồi quy tuyến tính - Hồi quy tuyến tính với Tensorflow

**Chú ý:**

- Tải bài tập file notebook và dưới máy của mình
- Lập trình trên file đó và upload file đó lên hệ thống
- Sau đó nhấn **Nộp bài**

**Hạn nộp bài:**
- Điểm tối đa: **100 điểm**
- Bạn sẽ bị trừ 10% số điểm nếu nộp bài muộn.

**Bộ dữ liệu**
- [Train](https://storage.googleapis.com/protonx-cloud-storage/datasets/cali-house/california_housing_train.csv)
- [Test](https://storage.googleapis.com/protonx-cloud-storage/datasets/cali-house/california_housing_test.csv) 

Bạn vui lòng tải bộ dữ liệu xuống và cài đặt đúng đường dẫn.

Bài tập 1 - Thực hành SGD

  * Tại sao chúng ta không dùng Gradient Descent
  * Stochastic Gradient Descent
  * Lập trình SGD với bài toán Grab
  * Nâng cao - Khả năng hội tụ của SGD


Stochastic Gradient Descent - SGD

Ôn tập SGD + Hiện tượng Overfitting

Sách bổ trợ cho lớp học

- Bài toán phân loại nhị phân
- Bài toán phát hiện rủi ro
- Mô hình hồi quy Logistic theo chiều thuận


Bài toán phân loại nhị phân

# Bài tập lập trình: Tiền xử lý dữ liệu

```
ProtonX - TensorFlow Class 
```

### Hướng dẫn làm bài 
- Trong bài tập này bạn sẽ sử dụng Python 3.
- Sau khi bạn viết Code của mình xong, hãy chạy dòng Code đó để xem kết quả bên dưới. 

### [Quan trọng] Chú ý
- **Không sử dụng hàm `input()` tại bất kỳ dòng lệnh nào**
- **Không thay đổi dòng code return của hàm**

Các bạn sẽ thực hiện `code` trong các phần hiển thị `#TODO: Lập trình tại đây` và thay thế các vị trí `None`. Có những câu hỏi chỉ cần trả về đáp án.

Sau khi viết xong Code của bạn, bạn hãy ấn "SHIFT"+"ENTER" để thực hiện chạy lệnh của Cell đó. 

---
Điểm số:
* 10 điểm / Câu

Tiêu chí chấm điểm:
* Các bài tập sẽ được chấm dựa trên các Test-case.
* Các bạn không khởi tạo lại giá trị đầu vào bên trong hàm. Có thể khởi tạo các giá trị này ngoài hàm nhằm mục đích kiểm thử.

Bài tập 2 - Tiền xử lý dữ liệu

Chữa bài mô hình phân loại + Đánh giá chất lượng mô hình 

- Softmax Regression
- Chứng minh công thức Categorical cross entropy

Bài toán phân loại nhiều lớp

**Chú ý:**

- Tải bài tập file notebook và dưới máy của mình
- Lập trình trên file đó và upload file đó lên hệ thống
- Sau đó nhấn **Nộp bài**

**Hạn nộp bài:**
- Điểm tối đa: **100 điểm**
- Bạn sẽ bị trừ 10% số điểm nếu nộp bài muộn.

Bạn vui lòng tải bộ dữ liệu xuống và cài đặt đúng đường dẫn.

Bài tập 3 - Bài tập Softmax

Ôn tập Softmax

- Giới thiệu mạng nơ ron
- Diễn giải lớp ẩn, nơ ron
- Hàm tuyến tính, phi tuyến
- Các vấn đề hay gặp khi đào tạo mạng nơ ron

Mạng nơ ron (Neural Network)

[Zoom 25-8-2023] Ôn tập Mạng nơ ron - Maximum Likelihood Estimation 

- Mô phỏng mạng nơ ron
- Ý tưởng thuật toán lan truyền ngược
- Chứng minh lan truyền ngược trên một tham số

Thuật toán lan truyền ngược

<ul><li>Giới thiệu về hình ảnh, cấu trúc của hình ảnh</li><li>Giới thiệu về Filter, một số filter cơ bản để xử lý ảnh</li><li>Cấu trúc mô hình CNN, các đặc điểm vượt trội so với mạng Neural Network.</li></ul>

Mạng tích chập - Convolutional neural network

<ul><li>Transfer learning</li><li>Cấu trúc ResNet và InceptionNet</li></ul>

Transfer Learning và ResNet và InceptionNet

Xử lý ngôn ngữ tự nhiên - Word2Vec

<ul><li>Học cấu trúc phổ biến của một bài báo nghiên cứu, cách đọc hiệu quả.</li><li>Cùng đọc một số nghiên cứu nổi tiếng trong thị giác máy tính</li><li>Sử dụng các mô hình đã được xây dựng và đào tạo trên những bộ dữ liệu lớn để cho bài toán với số lượng nhãn nhỏ hơn.</li><li>Đây là một trong những kỹ thuật quan trọng và được sử dụng rộng rãi trong hầu hết các bài toán AI hiện tại.</li></ul>

Đọc nghiên cứu và trả lời câu hỏi

Deep RNN

<ul><li>Giới thiệu Timeseries </li><li>Xây dựng bộ dữ liệu đơn giản</li><li>Xây dựng mô hình dự đoán với mạng nơ ron</li></ul>

Timeseries cơ bản

<ul><li>Xử lý timeseries trong thực tế</li><li>Bí kíp thi bài 5 trong đề thi Tensorflow</li></ul>

Timeseries trong thực tế

<ul><li>Tối ưu lồi</li><li>Vấn đề của SGD</li><li>SGD với quán tính</li><li>AdaGrad</li><li>AdaDelta và RMSProp</li></ul>

Các thuật toán Training

<ul><li>Cấu trúc đề thi </li><li>Đề thi mẫu </li><li>Một số chú ý quan trọng khi thi</li></ul>

Mô hình ngôn ngữ + RNN

1. Slide

1.1. RNN.pdf

2. Notebook

2.1. Lời giải bài tập mạng nơ ron

2.2. RNN_Generate_Text.ipynb

2.3. Code LSTM từ đầu

3. Slide

3.1. 14.RNN-part1.mp4

3.2. 14.RNN-part2.mp4

4. Video từ TF 06

4.1. Chữa bài mạng nơ ron

4.2. Mô hình ngôn ngữ

5. Video 07

5.1. Video