Kỹ sư dữ liệu (Video)

Airflow với học máy

Code

Demo Airflow + Chữa bài tập

Giới thiệu bài tập 2

<ul><li>Demo Airflow với Học máy</li><li>Giới thiệu bài tập 02</li></ul>

Demo Airflow với Học máy + Giới thiệu bài tập 02

Khai giảng lớp học

Cài đặt các thư viện cần thiết cho lớp học

- Relational Database. Vs Non-Relational Database
- Giới thiệu sơ về các dạng DB khác.
- Modeling cơ bản cho relational Database.
- Các câu lệnh cơ bản SQL. CREATE, INSERT, UPDATE, TRANSACTION


Buổi 1 - Giới thiệu về Database + SQL

Buổi 2 - Giới thiệu về Data Warehouse + SQL ( cont. )

Các bạn download và giải nén bài tập ở đây:
- https://drive.google.com/file/d/1jkj_r5dZyHMJt9M_FEQtEyndZh7YSC3k/view?usp=drive_link 


Đọc và làm theo hướng dẫn trong file README.MD

Khi nộp bài các bạn bỏ folder data ra và zip toàn bộ assignment lại thành 1 file.

Assignment 1

Buổi 3 - Data Lake

<ul><li>Crawl dữ liệu </li><li>Tiền xử lý dữ liệu văn bản</li></ul>

Day 4 - Crawl + Tiền xử lý dữ liệu văn bản

<ul><li>Map Reduce</li><li>Apache Spark</li></ul>

Day 5 - MapReduce + Apache Spark

Day 6 - Message Queue - Apache Kafka

Day 7 - Streaming

Chữa bài tập 1

Day 8 - Workflow Orchestration + Apache Airflow

<ul><li>Data Modeling</li><li>ELT</li><li>Star Schema</li></ul>

Day 9 - Data Modeling

Day 10 - dbt

<ul><li>Luyện lập trình thuật toán trên Leetcode</li><li>Tips ứng tuyển vị trí Data Engineer</li></ul>

Demo Airflow với Học máy + Giới thiệu bài tập 02

1. Code

1.1. Airflow với học máy

2. Giới thiệu bài tập 2

2.1. Demo Airflow + Chữa bài tập