Trước khi tìm hiểu Kho dữ liệu (Data Warehouse) là gì thì chúng ta đều thấy rằng những người làm về ngành công nghệ thông tin thường xuyên phải làm việc tiếp xúc với dữ liệu dù nhiều hay ít, kể cả việc bạn lập trình ra một trang web, một ứng dụng hay hệ thống to nhỏ gì thì chúng ta vẫn phải thao tác đến dữ liệu VD: lưu dữ liệu, thêm sửa , xóa thông tin trong bảng của cơ sở dữ liệu…
Việc lưu trữ truy xuất dữ liệu luôn đóng vai trò đặc biệt quan trọng đến giá trị, hiệu suất trong sản phẩm công nghệ, những vấn đề về dữ liệu (đặc biệt là bảo mật dữ liệu) luôn là vấn đề được quan tâm hàng trong một dự án
Vì vậy việc chọn một nơi để lưu trữ cũng như để thao tác dữ liệu một cách an toàn và hiệu quả sẽ là bước khởi đầu để phát triển dự án đi đến thành công
Ở trong hầu hết các lĩnh vực đời sống sản xuất kinh doanh thì khối lượng dữ liệu cần phải lưu trữ vô cùng lớn buộc cho các doanh nghiệp thường sẽ lựa chọn các data warehouse (kho dữ liệu) để có thể quản lý một lượng dữ liệu khổng lồ như vậy
Hiện nay có rất nhiều dịch vụ cung cấp các kho dữ liệu (data warehouse) như: Amazon Redshift, IBM V2, Treasure Data, BigQuery, SnowFlake…
Mục lục
Kho dữ liệu (Data warehouse) là gì?
- Kho dữ liệu (Data warehouse) là một kho kỹ thuật số chứa dữ liệu,dữ liệu được tập hợp lưu trữ một cách có tổ chức
- Dữ liệu đầu vào có thể là tệp csv, bảng tính, cơ sở dữ liệu quan hệ hoặc không quan hệ, ngoài ra chúng ta cũng có thể lấy dữ liệu bằng API
Nên tự xây dựng 1 kho dữ liệu (Data warehouse) hay thuê từ bên ngoài?
Trong doanh nghiệp khi chúng ta có 1 lượng dữ liệu lớn cần lưu trữ chúng ta cần 1 kho dữ liệu (data warehouse) (nơi lưu trữ dữ liệu) chúng ta có hai lựa chọn phổ biến: xây dựng data warehouse hoặc thuê
Nhưng việc xây dựng data warehouse rất tốn kém chúng ta cần nhiều nỗ lực và công sức
→ Nhìn chung để xây dựng 1 data warehouse chúng ta phải trải qua các bước sau:
Phân tích yêu cầu → Thiết kế mô hình dữ liệu → Thiết kế tầng vật lý → Thiết kế trích xuất chuyển đổi và nạp số liệu (Extract → Transform → Loading) → Xây dựng hệ thống báo cáo, quản trị hệ thống → Cài đặt,triển khai và quản trị dữ liệu
→ Có thể mất hàng tháng để xây dựng một warehouse, chắc chắn là rất nhiều thời gian trước khi có warehouse để có thể sử dụng được
Và chúng ta vẫn có rủi ro: điều gì sẽ xảy ra nếu chúng ta gặp sự cố giữa chừng ?
VD: Có thể phiên bản linux không tương thích,hay chúng ta cần phần cứng cụ thể để bật data warehouse?
Để triển khai các giai đoạn trên chúng ta cần không gian vật lý, máy móc và các cơ sở hạ tầng khác trong trung tâm dữ liệu, tất nhiên chúng ta cần thuê các chuyên gia để xây dựng một data warehouse phù hợp
Vì vậy, đến lựa chọn thứ hai, chúng ta sẽ thuê data warehouse ở bên ngoài và việc sử dụng data warehouse bên ngoài rẻ hơn so với xây dựng nó
Những đặc điểm của kho dữ liệu (data warehouse)
Có ba đặc điểm nổi bật của kho dữ liệu:
- Tích hợp: Cách dữ liệu được trích xuất và chuyển đổi là thống nhất, bất kể nguồn gốc
- Biến thể theo thời gian: Dữ liệu được sắp xếp theo các khoảng thời gian (hàng tuần, hàng tháng, hàng năm, v.v.)
- Không biến động: Kho dữ liệu không được cập nhật theo thời gian thực. Nó được cập nhật định kỳ thông qua việc tải lên dữ liệu, bảo vệ dữ liệu khỏi ảnh hưởng của sự thay đổi nhất thời
→Việc sử dụng kho dữ liệu giúp việc tạo báo cáo, chạy các truy vấn đột xuất và trích xuất các luồng dữ liệu trở nên đơn giản
→Sức mạnh lớn nhất của data warehouse là đưa thông tin và cái nhìn sâu sắc có liên quan đến tay những người ra quyết định một cách kịp thời. Điều này cho phép các doanh nghiệp bắt kịp với tốc độ thay đổi, cạnh tranh cao và chuyển đổi kỹ thuật số
Quy trình xử lý luồng dữ liệu trong kho dữ liệu (data warehouse)
Trước khi tiến hành lưu trữ dữ liệu vào data warehouse ta cần hiểu cách thức hoạt động cơ bản của luồng dữ liệu
Có 6 bước phổ biến trong xử lý luồng dữ liệu trong data warehouse:
Bước đầu tiên là nhập dữ liệu hoặc lấy dữ liệu từ nguồn.
Thứ 2, chuẩn bị dữ liệu, loại bỏ dữ liệu xấu và chuyển đổi dữ liệu
Thứ 3, lưu dữ liệu vào bộ nhớ
Thứ 4, trình bày thông tin chi tiết về dữ liệu đó vào biểu diễn trực quan
Thứ 5, phân tích dữ liệu được lưu trữ để rút ra thông tin chi tiết
Và cuối cùng,cung cấp chia sẻ thông tin, kết quả cuối cùng thu được sau quá trình phân tích dữ liệu
Lời kết
Qua những phần trên , chúng ta có một cái nhìn cụ thể về data ware house . Phần tiếp theo sẽ là phần giới thiệu về BigQuery nằm top 3 data warehouse được sử dụng phổ biến hiện nay và sắp tới tập đoàn Septeni có cuộc chuyển giao từ Treasure Data → BigQuery hoặc có thể là SnowFlake.
Vậy tại sao Google BigQuery nó lại được ưa chuộng như vậy có những đặc điểm lợi thế nào so với các data warehouse khác mời các bạn đón đọc phần 2 “Giới thiệu các thành phần của BigQuery”
>> Đọc thêm:
KHÓA HỌC DATA WAREHOUSE : TỔNG HỢP, CHUẨN HÓA VÀ XÂY DỰNG KHO DỮ LIỆU TRONG DOANH NGHIỆP
KHÓA HỌC DATA MODEL – THIẾT KẾ MÔ HÌNH DỮ LIỆU TRONG DOANH NGHIỆP
LỘ TRÌNH TRỞ THÀNH DATA ENGINEER CHO NGƯỜI MỚI BẮT ĐẦU
DATA ENGINEER LÀ GÌ? CÔNG VIỆC CHÍNH CỦA DATA ENGINEER? CÁC KỸ NĂNG CẦN THIẾT
KHOÁ HỌC BIGQUERY FOR DATA ANALYTICS / MACHINE LEARNING
Chúng tôi có 12 năm kinh nghiệm về cung cấp dịch vụ Tư vấn, triển khai kho dữ liệu và các Khóa học Data Warehouse/ETL: Xây dựng kho dữ liệu từ cơ bản đến nâng cao.
Hãy liên hệ với chúng tôi để được biết thêm chi tiết.
