Streaming_Dataset.ipynb

### Dataset Streaming - Làm việc với 1.2 Terabytes dữ liệu mà không cần tải toàn bộ.
---

#### **1) Giới thiệu về Streaming Dataset**

Bộ dữ liệu [OSCAR](https://huggingface.co/datasets/oscar) nặng 1.2 Terabytes, mình tin là rất ít người trong chúng ta có ổ cứng đủ để lưu và làm việc với bộ dữ liệu này. Vậy cách giải quyết như thế nào nhỉ?

**Câu trả lời:** Ta sẽ sử dụng/xây dựng một **Streaming Dataset** 

Cơ chế tương tự [Cursor](https://www.mongodb.com/docs/manual/tutorial/iterate-a-cursor/) trong MongoDB. Thay vì phải tải $10^6$ dòng một lúc thì khi bạn lặp Cursor đến vị trí dòng nào MongoDB mới tải dòng đó để ta xử lý.

Điều này cực kỳ hữu ích:
- Bạn không phải tải toàn bộ tập dữ liệu về máy
- Bạn muốn thử nghiệm vài samples nhanh

#### **2) Trải nghiệm Streaming Dataset với HuggingFace**

Cài đặt HuggingFace Dataset:

```python
!pip install datasets
```

Sử dụng Dataset dưới dạng Streaming thay vì tải về toàn bộ:

Chú ý tham số **```streaming=True ```**

```python
from datasets import load_dataset
dataset = load_dataset('oscar', "unshuffled_deduplicated_en", split='train', streaming=True)
print(next(iter(dataset)))
```

Kết quả:


<style>img{max-width: 100%;height: auto;}</style>

<img src='https://storage.googleapis.com/mle-courses-prod/users/61b6fa1ba83a7e37c8309756/private-files/73050ff0-948b-11ed-b82e-3b111c65105c-Screen%20Shot%202023-01-15%20at%2011.16.47.png' width=1000>

<br >

<br >


Biến dataaset thuộc lớp [IterableDataset](https://huggingface.co/docs/datasets/v2.8.0/en/package_reference/main_classes#datasets.IterableDataset) cho phép lặp tuần từ qua tất cả các phần tử.

Bạn chỉ thực sự tải dữ liệu khi viết:

```python
for item in iter(dataset):
    print(item['id'])
```

<style>img{max-width: 100%;height: auto;}</style>

<img src='https://storage.googleapis.com/mle-courses-prod/users/61b6fa1ba83a7e37c8309756/private-files/861c0930-948c-11ed-b586-7932d0e2864e-Screen%20Shot%202023-01-15%20at%2011.24.26.png' width=400>

#### **3) Lấy một phần của dữ liệu thế nào**

Mình đã làm rất nhiều [video](https://protonx.io/courses/626fea1fc872f1001258a452/topics/6270e108457235001a36f4cd?activeAId=6270e091457235001a36f4b8) về Tensorflow Dataset và cách thức lấy một phần data của HuggingFace Dataset cũng tương tự. Đó chính là hàm `take`

Bạn lấy 3 phần tử khỏi dataset và chuyển thành mảng.

```python
dataset_head = dataset.take(3)
list(dataset_head)
```

#### **4) Xáo bộ dữ liệu thế nào?**

Khi làm AI chắc chắn chúng ta cần phải quan tâm tới việc xáo dữ liệu đúng không? Vậy thì hàm `shuffle` sẽ giúp bạn làm điều này.

```python
shuffled_dataset = dataset.shuffle(seed=42, buffer_size=1000)
```

Đây là tính năng tương tự ở bất kỳ một thư viện build dataset nào.


Chúng ta có đầy đủ công cụ hỗ trợ cho bạn tiền xử lý:
- Chia tập [train/tập validation](https://huggingface.co/docs/datasets/stream#split-dataset)
- Hàm [map](https://huggingface.co/docs/datasets/stream#map)

#### **5) Nguồn tham khảo**

- Treaming Dataset: [https://huggingface.co/docs/datasets/stream](https://huggingface.co/docs/datasets/stream)