Kỹ sư dữ liệu (Video)

Web Crawler - Scrapy

Code

Bản code cập nhật

Slide + Code

Giới thiệu về MongoDB.mp4

MongoDB atlas.mp4

MongoShell

Một số cú pháp MongoDB.mp4

Tài liệu học về cú pháp MongoDB

Giới thiệu MongoDB + Syntax

Tài liệu học tiền xử lý dữ liệu NLP

Regrex này sẽ lấy tất cả nôi dung các chuỗi nào?

Tiền xử lý dữ liệu

Video

<ul><li>Crawl dữ liệu </li><li>Tiền xử lý dữ liệu văn bản</li></ul>

Day 4 - Crawl + Tiền xử lý dữ liệu văn bản

Khai giảng lớp học

Cài đặt các thư viện cần thiết cho lớp học

- Relational Database. Vs Non-Relational Database
- Giới thiệu sơ về các dạng DB khác.
- Modeling cơ bản cho relational Database.
- Các câu lệnh cơ bản SQL. CREATE, INSERT, UPDATE, TRANSACTION


Buổi 1 - Giới thiệu về Database + SQL

Buổi 2 - Giới thiệu về Data Warehouse + SQL ( cont. )

Các bạn download và giải nén bài tập ở đây:
- https://drive.google.com/file/d/1jkj_r5dZyHMJt9M_FEQtEyndZh7YSC3k/view?usp=drive_link 


Đọc và làm theo hướng dẫn trong file README.MD

Khi nộp bài các bạn bỏ folder data ra và zip toàn bộ assignment lại thành 1 file.

Assignment 1

Buổi 3 - Data Lake

<ul><li>Map Reduce</li><li>Apache Spark</li></ul>

Day 5 - MapReduce + Apache Spark

Day 6 - Message Queue - Apache Kafka

Day 7 - Streaming

Chữa bài tập 1

Day 8 - Workflow Orchestration + Apache Airflow

<ul><li>Demo Airflow với Học máy</li><li>Giới thiệu bài tập 02</li></ul>

Demo Airflow với Học máy + Giới thiệu bài tập 02

<ul><li>Data Modeling</li><li>ELT</li><li>Star Schema</li></ul>

Day 9 - Data Modeling

Day 10 - dbt

<ul><li>Luyện lập trình thuật toán trên Leetcode</li><li>Tips ứng tuyển vị trí Data Engineer</li></ul>

Danh sách chủ đề

Day 4 - Crawl + Tiền xử lý dữ liệu văn bản

1. Slide + Code

1.1. Web Crawler - Scrapy

1.2. Code

1.3. Bản code cập nhật

2. Giới thiệu MongoDB + Syntax

2.1. Giới thiệu về MongoDB.mp4

2.2. MongoDB atlas.mp4

2.3. MongoShell

2.4. Một số cú pháp MongoDB.mp4

2.5. Tài liệu học về cú pháp MongoDB

3. Tiền xử lý dữ liệu

3.1. Tài liệu học tiền xử lý dữ liệu NLP

4. Video

4.1. Video

Bài học