Kỹ sư dữ liệu (Video)

Video

Notebook 1: <a target="_blank" rel="noopener noreferrer nofollow" href="https://drive.google.com/file/d/1B5RlYygRlZ-31vllZ2-8_Wyn14i-wOh4/view?usp=drive_link">https://drive.google.com/file/d/1B5RlYygRlZ-31vllZ2-8_Wyn14i-wOh4/view?usp=drive_link</a>Notebook 2: <a target="_blank" rel="noopener noreferrer nofollow" href="https://drive.google.com/file/d/1QOo4-t1bCo0YoCxatZCH167MzJGD6bxN/view?usp=drive_link">https://drive.google.com/file/d/1QOo4-t1bCo0YoCxatZCH167MzJGD6bxN/view?usp=drive_link</a>

Thực hành

Slide

Spark Cheatsheet

Nội dung

DE 5.1

DE 5.2

DE 5.3

Quizz

<ul><li>Map Reduce</li><li>Apache Spark</li></ul>

Day 5 - MapReduce + Apache Spark

Khai giảng lớp học

Cài đặt các thư viện cần thiết cho lớp học

- Relational Database. Vs Non-Relational Database
- Giới thiệu sơ về các dạng DB khác.
- Modeling cơ bản cho relational Database.
- Các câu lệnh cơ bản SQL. CREATE, INSERT, UPDATE, TRANSACTION


Buổi 1 - Giới thiệu về Database + SQL

Buổi 2 - Giới thiệu về Data Warehouse + SQL ( cont. )

Các bạn download và giải nén bài tập ở đây:
- https://drive.google.com/file/d/1jkj_r5dZyHMJt9M_FEQtEyndZh7YSC3k/view?usp=drive_link 


Đọc và làm theo hướng dẫn trong file README.MD

Khi nộp bài các bạn bỏ folder data ra và zip toàn bộ assignment lại thành 1 file.

Assignment 1

Buổi 3 - Data Lake

<ul><li>Crawl dữ liệu </li><li>Tiền xử lý dữ liệu văn bản</li></ul>

Day 4 - Crawl + Tiền xử lý dữ liệu văn bản

Day 6 - Message Queue - Apache Kafka

Day 7 - Streaming

Chữa bài tập 1

Day 8 - Workflow Orchestration + Apache Airflow

<ul><li>Demo Airflow với Học máy</li><li>Giới thiệu bài tập 02</li></ul>

Demo Airflow với Học máy + Giới thiệu bài tập 02

<ul><li>Data Modeling</li><li>ELT</li><li>Star Schema</li></ul>

Day 9 - Data Modeling

Day 10 - dbt

<ul><li>Luyện lập trình thuật toán trên Leetcode</li><li>Tips ứng tuyển vị trí Data Engineer</li></ul>

Danh sách chủ đề

Day 5 - MapReduce + Apache Spark

1. Nội dung

1.1. Video

1.2. Thực hành

1.3. Slide

1.4. Spark Cheatsheet

Bài học