Mục lục
Data Warehouse là gì?
Data Warehouse có nghĩa là kho dữ liệu là một loại quản lý dữ liệu hệ thống được thiết kế để cho phép và hỗ trợ kinh doanh thông minh hoạt động BI, đặc biệt là phân tích. Data Warehhttps://inda.vn/dwh/gioi-thieu-tong-quan-ve-data-warehouse/ouse chỉ nhằm mục đích thực hiện các truy vấn và phân tích và thường chứa một lượng lớn dữ liệu. Dữ liệu trong Data Warehouse thường được lấy từ nhiều nguồn như tệp nhật ký ứng dụng và ứng dụng giao dịch.
Data Warehouse tập trung và tổng hợp một lượng lớn dữ liệu từ nhiều nguồn. Khả năng phân tích Data Warehouse cho phép các tổ chức thu được những hiểu biết kinh doanh có giá trị từ dữ liệu của họ để cải thiện việc ra quyết định. Theo thời gian, nó xây dựng một hồ sơ lịch sử có thể là vô giá đối với các nhà Data Science và nhà phân tích kinh doanh.
Một Data Warehouse điển hình thường bao gồm các yếu tố sau:
- Một cơ sở dữ liệu quan hệ để lưu trữ và quản lý dữ liệu.
- Giải pháp trích xuất, tải và biến đổi ELT để chuẩn bị dữ liệu cho phân tích.
- Khả năng phân tích thống kê, báo cáo và khai thác dữ liệu.
- Các công cụ phân tích khách hàng để trực quan hóa và trình bày dữ liệu cho người dùng doanh nghiệp.
- Các ứng dụng phân tích khác, phức tạp hơn tạo ra thông tin có thể hành động bằng cách áp dụng khoa học dữ liệu và thuật toán trí tuệ nhân tạo AI hoặc các tính năng đồ thị và không gian cho phép nhiều loại phân tích dữ liệu hơn trên quy mô lớn.
| Giá bán | Miễn phí |
| Chủ đề | Đa phương tiện |
| Bảo mật | ★★★★ ☆ |
| Quyền riêng tư | ★★★★ ☆ |
| Phổ biến | ★★★★ ★ |
| Hệ điều hành | iOS, Android, Windows |
Cơ sở dữ liệu hỗ trợ quyết định Data Warehouse được duy trì tách biệt với cơ sở dữ liệu hoạt động của tổ chức. Tuy nhiên, Data Warehouse không phải là một sản phẩm mà là một môi trường. Đây là một cấu trúc của một hệ thống thông tin cung cấp cho người dùng thông tin hỗ trợ quyết định hiện tại và quá khứ, cái mà khó truy cập hoặc hiện diện trong kho dữ liệu vận hành truyền thống.
Data Warehouse là cốt lõi của hệ thống BI được xây dựng để phân tích và báo cáo dữ liệu. Bạn có biết rằng một cơ sở dữ liệu được thiết kế 3NF cho một hệ thống kiểm kê, nhiều cơ sở có các bảng liên quan với nhau.
Ví dụ: Một báo cáo về thông tin hàng tồn kho hiện tại có thể bao gồm hơn 12 điều kiện tham gia. Điều này có thể nhanh chóng làm chậm thời gian phản hồi của truy vấn và báo cáo. Nhiệm vụ Data Warehouse cung cấp một thiết kế mới có thể giúp giảm thời gian phản hồi và giúp tăng cường hiệu suất của các truy vấn cho báo cáo và phân tích.
Hệ thống Data Warehouse còn được gọi bằng tên sau:
- Hệ thống hỗ trợ quyết định (DSS)
- Hệ thống điều hành thông tin
- Hệ thống thông tin quản lý
- Giải pháp kinh doanh thông minh
- Ứng dụng phân tích
- Kho dữ liệu
- Theo định hướng chủ đề: Họ có thể phân tích dữ liệu về một chủ đề hoặc lĩnh vực chức năng cụ thể chẳng hạn như bán hàng.
- Tích hợp: Kho dữ liệu tạo ra sự nhất quán giữa các kiểu dữ liệu khác nhau từ các nguồn khác nhau.
- Cố định dữ liệu: Khi dữ liệu nằm trong kho dữ liệu, nó ổn định và không thay đổi.
- Biến thể thời gian: Phân tích kho dữ liệu xem xét sự thay đổi theo thời gian.
Một Data Warehouse được thiết kế tốt sẽ thực hiện các truy vấn rất nhanh chóng, cung cấp thông tin lượng dữ liệu cao và cung cấp đủ tính linh hoạt cho người dùng cuối hoặc giảm khối lượng dữ liệu để kiểm tra kỹ hơn nhằm đáp ứng nhiều nhu cầu khác nhau cho dù ở mức độ rất tốt, chi tiết. Kho dữ liệu đóng vai trò là nền tảng chức năng cho môi trường phần mềm BI trung gian cung cấp cho người dùng cuối các báo cáo, trang tổng quan và các giao diện khác.
Data Warehouse hoạt động như thế nào?
Data Warehouse hoạt động như một kho lưu trữ trung tâm nơi thông tin đến từ một hoặc nhiều nguồn dữ liệu. Dữ liệu chảy vào kho dữ liệu từ hệ thống giao dịch và các cơ sở dữ liệu liên quan khác.
Dữ liệu có thể là/được:
- Cấu trúc
- Bán cấu trúc
- Dữ liệu phi cấu trúc
Dữ liệu được xử lý, chuyển đổi và nhập để người dùng có thể truy cập dữ liệu đã xử lý trong Data Warehouse thông qua các công cụ Business Intelligence, SQL client và bảng tính. Data Warehouse hợp nhất thông tin đến từ các nguồn khác nhau vào một cơ sở dữ liệu toàn diện.
Bằng cách hợp nhất tất cả các thông tin này ở một nơi, một tổ chức có thể phân tích khách hàng của mình một cách toàn diện hơn. Điều này giúp đảm bảo rằng nó đã xem xét tất cả các thông tin có sẵn. Data Warehouse làm cho khai thác dữ liệu là có thể làm được. Khai thác dữ liệu đang tìm kiếm các mẫu trong dữ liệu để có được doanh thu và lợi nhuận cao hơn.
Các loại Data Warehouse
Ba loại Data Warehouse chính là:
1. Enterprise Data Warehouse (Data Warehouse doanh nghiệp)
Data Warehouse doanh nghiệp hay còn gọi kho dữ liệu doanh nghiệp là một kho tập trung. Chức năng cung cấp dịch vụ hỗ trợ quyết định trên toàn doanh nghiệp. Ngoài ra cung cấp một cách tiếp cận thống nhất để tổ chức và đại diện dữ liệu. Và thêm nữa là cung cấp khả năng phân loại dữ liệu theo chủ đề và cấp quyền truy cập theo các bộ phận đó.
2. Operational Data Store ( Kho lưu trữ dữ liệu hoạt động)
Kho lưu trữ dữ liệu hoạt động, còn được gọi là ODS, không có gì ngoài kho lưu trữ dữ liệu cần thiết khi cả Data Warehouse và hệ thống OLTP không hỗ trợ các tổ chức báo cáo nhu cầu. Trong ODS, kho dữ liệu được làm mới theo thời gian. Do đó, nó được ưa thích rộng rãi cho các hoạt động thường ngày như lưu trữ hồ sơ của nhân viên.
3. Data Mart
Một data mart là một tập hợp con của Data Warehouse, được thiết kế đặc biệt cho một ngành kinh doanh cụ thể, chẳng hạn như bán hàng, tài chính, bán hàng hoặc tài chính. Trong một data mart độc lập, dữ liệu có thể thu thập trực tiếp từ các nguồn.
Các thành phần Data Warehouse
Bốn thành phần của Data Warehouse là:
Quản lý phụ tải: Quản lý phụ tải còn được gọi là quản lý phía cầu. Nó thực hiện với tất cả các hoạt động liên quan đến việc trích xuất và tải dữ liệu vào kho. Các hoạt động này bao gồm các phép biến đổi để chuẩn bị dữ liệu để nhập vào kho dữ liệu.
Quản lý warehouse: Quản lý warehouse thực hiện các hoạt động liên quan đến việc quản lý dữ liệu trong kho, được thực hiện các hoạt động như phân tích dữ liệu để đảm bảo tính nhất quán, tạo các chỉ mục và khung nhìn, tạo ra sự không chuẩn hóa và tổng hợp, chuyển đổi và hợp nhất dữ liệu nguồn và lưu trữ và dữ liệu.
Trình quản lý truy vấn: Trình quản lý truy vấn còn được gọi là thành phần phụ trợ. Nó thực hiện tất cả các hoạt động liên quan đến việc quản lý các truy vấn của người dùng. Các hoạt động của các thành phần Data Warehouse này là các truy vấn trực tiếp đến các bảng thích hợp để lên lịch thực hiện các truy vấn.
Công cụ truy cập của người dùng cuối:
Công cụ này được phân loại thành năm nhóm khác nhau như:
- Báo cáo dữ liệu;
- Công cụ truy vấn;
- Công cụ phát triển ứng dụng;
- Công cụ EIS;
- Công cụ OLAP và công cụ khai thác dữ liệu.
Ai nên sử dụng Data Warehouse?
Data Warehouse là cần thiết cho tất cả các loại người dùng như:
- Những người ra quyết định dựa vào khối lượng dữ liệu.
- Người dùng sử dụng các quy trình phức tạp, tùy chỉnh để lấy thông tin từ nhiều nguồn dữ liệu.
- Nó cũng được sử dụng bởi những người muốn công nghệ đơn giản để truy cập dữ liệu
- Nó cũng cần thiết cho những người muốn có một cách tiếp cận có hệ thống để đưa ra quyết định.
- Nếu người dùng muốn hiệu suất nhanh trên một lượng dữ liệu khổng lồ cần thiết cho các báo cáo, lưới hoặc biểu đồ, thì Data Warehouse sẽ trở nên hữu ích.
- Data Warehouse là bước đầu tiên nếu bạn muốn khám phá ‘các mẫu ẩn’ của luồng dữ liệu và nhóm.
Kiến trúc Data Warehouse
Kiến trúc của một Data Warehouse được xác định bởi các nhu cầu cụ thể của tổ chức. Các kiến trúc phổ biến bao gồm:
Simple: Tất cả các Data Warehouse đều có chung một thiết kế cơ bản, trong đó siêu dữ liệu, dữ liệu tóm tắt và dữ liệu thô được lưu trữ trong kho lưu trữ trung tâm của kho. Kho lưu trữ được cung cấp bởi các nguồn dữ liệu ở một đầu và được người dùng cuối truy cập để phân tích, báo cáo và khai thác ở đầu kia.
Simple with a staging area: Dữ liệu hoạt động phải được làm sạch và xử lý trước khi đưa vào kho. Mặc dù điều này có thể được thực hiện theo chương trình, nhiều kho dữ liệu bổ sung thêm một vùng phân bố cho dữ liệu trước khi dữ liệu vào kho, để đơn giản hóa việc chuẩn bị dữ liệu.
Hub and spoke: Việc thêm các kho dữ liệu giữa kho lưu trữ trung tâm và người dùng cuối cho phép một tổ chức tùy chỉnh kho dữ liệu của mình để phục vụ các ngành kinh doanh khác nhau. Khi dữ liệu đã sẵn sàng để sử dụng, nó sẽ được chuyển đến data mart thích hợp.
Sandboxes: Sandboxes là các khu vực riêng tư, bảo mật, an toàn cho phép các công ty khám phá nhanh chóng và không chính thức các bộ dữ liệu mới hoặc các cách phân tích dữ liệu mà không cần phải tuân thủ hoặc tuân thủ các quy tắc và giao thức chính thức của kho dữ liệu.
Sự phát triển của Data Warehouse
Khi các kho dữ liệu lần đầu tiên xuất hiện vào cuối những năm 1980, mục đích của chúng là giúp dữ liệu chuyển từ các hệ thống vận hành sang các hệ thống hỗ trợ quyết định DSS. Những kho dữ liệu ban đầu này đòi hỏi một lượng lớn dự phòng. Hầu hết các tổ chức có nhiều môi trường DSS phục vụ những người dùng khác nhau. Mặc dù các môi trường DSS sử dụng nhiều dữ liệu giống nhau, việc thu thập, làm sạch và tích hợp dữ liệu thường được sao chép cho từng môi trường.
Khi các kho dữ liệu trở nên hiệu quả hơn, chúng đã phát triển từ các kho thông tin hỗ trợ nền tảng BI truyền thống thành các cơ sở hạ tầng phân tích rộng rãi hỗ trợ nhiều loại ứng dụng, chẳng hạn như phân tích hoạt động và quản lý hiệu suất. Việc lặp lại kho dữ liệu đã tiến triển theo thời gian để mang lại giá trị gia tăng gia tăng cho doanh nghiệp.
Ngày nay, AI và máy học đang biến đổi hầu hết mọi ngành, dịch vụ và tài sản doanh nghiệp và Data Warehouse cũng không ngoại lệ. Việc mở rộng dữ liệu lớn và ứng dụng các công nghệ kỹ thuật số mới đang thúc đẩy sự thay đổi về các yêu cầu và khả năng của kho dữ liệu
Các kho dữ liệu độc lập là bước đi mới nhất trong quá trình nâng cấp này, cung cấp các doanh nghiệp khả năng trích xuất giá trị lớn hơn từ dữ liệu trong khi giảm chi phí và cải thiện độ tin cậy và hiệu suất kho dữ liệu.
Cloud Data Warehouse là gì?
Cloud Data Warehouse sử dụng đám mây để nhập và lưu trữ dữ liệu từ các nguồn dữ liệu khác nhau.
Các kho dữ liệu ban đầu được xây dựng với các máy chủ tại chỗ. Các kho dữ liệu tại chỗ này tiếp tục có nhiều lợi thế ngày nay. Trong nhiều trường hợp, chúng có thể cải thiện khả năng quản trị, bảo mật, chủ quyền dữ liệu và độ trễ tốt hơn. Tuy nhiên, kho dữ liệu tại chỗ không co giãn bằng và chúng yêu cầu dự báo phức tạp để xác định cách mở rộng kho dữ liệu cho các nhu cầu trong tương lai. Việc quản lý các kho dữ liệu này cũng có thể rất phức tạp.
Mặt khác, một số ưu điểm của Cloud Data Warehouse bao gồm:
- Hỗ trợ co giãn, mở rộng quy mô cho các yêu cầu lưu trữ hoặc tính toán lớn hoặc thay đổ.
- Dễ sử dụng.
- Dễ quản lý.
- Tiết kiệm chi phí.
Các kho dữ liệu đám mây tốt nhất được quản lý hoàn toàn, đảm bảo rằng ngay cả những người mới bắt đầu cũng có thể tạo và sử dụng kho dữ liệu chỉ với một vài cú nhấp chuột. Một cách dễ dàng để bắt đầu di chuyển sang Cloud Data Warehouse là chạy kho dữ liệu đám mây của bạn tại chỗ, đằng sau tường lửa trung tâm dữ liệu tuân thủ các yêu cầu về chủ quyền và bảo mật dữ liệu.
Ngoài ra, hầu hết các kho dữ liệu đám mây đều tuân theo mô hình và trả tiền khi sử dụng, giúp tiết kiệm thêm chi phí cho khách hàng.
Modern Data Warehouse là gì?
Cho dù họ là thành viên của nhóm CNTT, kỹ thuật dữ liệu, phân tích kinh doanh hay khoa học dữ liệu, những người dùng khác nhau trong tổ chức có nhu cầu khác nhau về kho dữ liệu.
Một kiến trúc dữ liệu hiện đại giải quyết những nhu cầu khác nhau bằng cách cung cấp một cách để quản lý tất cả các loại dữ liệu, khối lượng công việc, và phân tích. Bao gồm các mẫu kiến trúc với các thành phần cần thiết được tích hợp để làm việc cùng nhau theo các phương pháp hay nhất trong ngành. Modern Data Warehouse bao gồm:
- Cơ sở dữ liệu hội tụ giúp đơn giản hóa việc quản lý tất cả các loại dữ liệu và cung cấp các cách khác nhau để sử dụng dữ liệu.
- Dịch vụ nhập và chuyển đổi dữ liệu tự phục vụ.
- Hỗ trợ xử lý SQL, máy học, đồ thị và không gian.
- Nhiều tùy chọn phân tích giúp bạn dễ dàng sử dụng dữ liệu mà không cần di chuyển dữ liệu.
- Quản lý tự động để cung cấp, mở rộng quy mô và quản trị đơn giản.
Một kho dữ liệu hiện đại có thể hợp lý hóa quy trình công việc dữ liệu một cách hiệu quả theo cách mà các kho khác không làm được. Điều này có nghĩa là tất cả mọi người, từ các nhà phân tích và kỹ sư dữ liệu đến các nhà khoa học dữ liệu và nhóm CNTT, có thể thực hiện công việc hiệu quả hơn và theo đuổi công việc đổi mới đưa tổ chức tiến lên mà không có sự chậm trễ và phức tạp.