TRỞ THÀNH CHUYÊN GIA DATA VAULT 2.0, BẠN ĐÃ SẴN SÀNG?
- Data Vault là một kỹ thuật mô hình hóa dữ liệu sáng tạo do Dan Linstedt phát minh để đơn giản hóa việc tích hợp dữ liệu từ nhiều nguồn, cung cấp khả năng lưu trữ lịch sử và tính linh hoạt trong thiết kế để đối phó với dữ liệu từ các hệ thống thông tin không đồng nhất và hỗ trợ hầu hết các nhu cầu kinh doanh thay đổi nhanh chóng ngày nay.
Là một kỹ thuật toàn diện được thiết kế để triển khai Kho dữ liệu doanh nghiệp một cách nhanh chóng, giải quyết nhiều nhược điểm của mô hình 3NF (Inmon) và Mô hình Dimensional (Kimball).
Data Vault không chỉ giải quyết mô hình hóa dữ liệu (data modelling) mà còn cung cấp phương pháp luận toàn diện để triển khai dự án dwh một cách tối ưu hiệu quả, nhanh chóng, là sự cô đọng, đúc kết giữa các mô hình, kỹ thuật từ SDLC, PMBOK/PMP, CMMI Level 5, SigSigma, TQM.
Mô hình kiến trúc theo lô, theo thời gian thực, áp dụng cho cả bài toán dữ liệu lớn, phi cấu trúc cùng với Kỹ thuật triển khai áp dụng thực tế cũng là một phần nội dung trong Data Vault 2.0
Đối tượng
>1 năm kinh nghiệm làm về Data
Thời gian học
2 buổi/tuần; học vào thứ 7, chủ nhật
Số buổi
4 buổi/khoá
Số học viên
8 – 10 học viên/lớp
KHOÁ HỌC DATA VAULT
Buổi 1
i. DWH introduction
1) The enterprise data warehouse environment
– Have a look on DWH aspects and challenges
– Fully DWH ecosystem & Data domains based on well-known international organization’ recommendation
2) Introduction to data vault
– History of data vault
– Overview components of Data Vault
3) Data warehouse architecture
– Kimbal’s DWH Architecture
– Inmon’s DWH Architecture
ii. Scalable data warehouse architecture
1) Data vault 2.0 architecture
– Staging layer and attributes
– DWH Data vault layer and attributes
– Information Mart layer and attributes
– Soft and Hard business rules
2) Extension of data vault 2.0 architecture
– Metrics Vault
– Business Vault
– Operational Vault
– their attribute
iii. The data vault 2.0 methodology
1) Project planning
– Methodologies: SDLC, Agile/Scrum, Waterfall, CMMI, PMP, TQM, SigSixma
– Role & Duties involver
– Communication
– Project Estimation
2) Project execution
– Parallel Teams
– Agile Delivery
3) Review and improvement
Buổi 2:
iv. The data vault modelling
1) Data vault model
– Definition
– Appropriated selection amongst 3NF, Star Schema, Data Vault
DV 1.0 Concepts of:
– Hub
– Link
– Satellite
2) data vault 1.0
– Modelling and attributes
– Hub: Loading pattern
– Link: Loading pattern
– Satellite: Loading pattern
– ETL Job loading Data Vault 1.0 flow
3) Case study of Data vault 1.0, Hand-on Lab with MSSQL 2012 & above
– Implement Staging
– Implement Hub, Link, Satellite
– Implement Information Mar
4) data vault 2.0 modelling
– Modelling and attributes
DV2.0 Concepts of:
– Hub
– Link
– Satellite
5) Data vault 2.0 application
– Hub applications: Business key application
– Link applications: Link on link, same as link, hierachical link, computed aggregate link, exploration link, …, point in time & brigde table,…
6) Data vault 2.0 flexibility
Buổi 3:
v. The data vault implementation
1) Data vault 2.0 modelling case study
2) Data vault 2.0 load patterns
– Hub: Loading pattern
– Link: Loading pattern
– Satellite: Loading pattern
– ETL Job loading Data Vault 2.0 flow
3) Data vault 2.0 hash key
4) Data vault 2.0 parallel loading
5) Hand-on Lab with MSSQL 2012 & above
– Implement Staging
– Implement Hub, Link, Satellite
– Implement Information Mart
6) Case study and Hand on Lab with dbtVault Tool and Amazon Redshift intruduction and to be lab at the end day 2
vi. Dimensional modeling
1) Star schemas
2) Multi star schemas
3) Dimension design
Buổi 4:
vii. Master data management
1) Master data management architecture
2) Master data management development steps
– Profiling
– Standardization
– Matching
– Survivorship
viii. Meta data management
1) Meta data definition and types
2) Meta data capturing
3) Meta data management Show-up with IBM Information Glossary Catalog/ Business Definition, Information Assets
ix. Multi-dimensional database
1) Introduction Multi-dimensional DB
2) Implement multi-dimensional OLAP on SSAS for Case Study 1
x. Data warehouse platform
1) Data vault 2.0™ technology landscape
2) Ibm data & analytics product overview
3) Aws data & analytics product overview
4) Case study and Hand on Lab with dbt Vault Tool and Amazon Redshift introduction and DEMO/ LAB
Kết quả đạt được:
- Nhận biết được các vấn đề đang tồn đọng, các khó khăn, thách thức khi triển khi DWH
- Hiểu các nguyên tắc nền tảng trong phương pháp tiếp cận mô hình Data Vault
- Hiểu cách Data Vault có thể giải quyết những thách thức khi triển khai DWH và cung cấp một cách tiếp cận đầy sáng tạo, linh hoạt
- Hiểu các nguyên tắc của Quản lý dự án Agile trong Data Vault 2.0, Tìm hiểu lý do tại sao Phương pháp Agile lại quan trọng đối với Kho dữ liệu có thể mở rộng
- Tìm hiểu cách tích hợp nền tảng dữ liệu với Data Vault 2.0
- Hiểu mô hình kiến trúc triển khai Data Vault
- Tìm hiểu Operational Vault, Metadata Vault, business vault và information vault
- Hiểu cách thiết kế mô hình dữ liệu trong Data Vault với các thực thể: Hub, Link, Satellite
- Hiểu các kỹ thuật lập mô hình dữ liệu nâng cao
- Thiết kế một kịch bản thực tế của Data Vault từ đầu
- Hiểu và áp dụng các tình huống khi sử dụng mô hình 3NF, Dimensional và Data Vault.
- Chuyển đổi 3NF & Mô hình Dimensional sang Kho dữ liệu
- Hiểu các nguyên tắc của mô hình Dimensional trong Data Vault
- Thực hành triển khai Data Vault với một tình huống cụ thể.
- Hiểu hơn mô hình kiến trúc dữ liệu thực tế các tổ chức lớn đang áp dụng
ĐÀO TẠO DOANH NGHIỆP
HỌC PHÍ
GIẢNG VIÊN TẠI INDA
Giảng viên Data Governance
PHẠM CÔNG DIỄN
- 14 năm kinh nghiệm về công nghệ thông tin, phân tích dữ liệu trong lĩnh vực tài chính ngân hàng.
- Đảm nhiệm nhiều vị trí quan trọng như: Phó giám đốc dữ liệu, Tư vấn cao cấp về giải pháp & quản trị dữ liệu, Kiến trúc sư trưởng, giám đốc các dự án về dữ liệu
- Triển khai các dự án AI/ML cho ngân hàng quốc tế tại Indonesia và Singapore.
PHẢN HỒI HỌC VIÊN VÀ ẢNH THỰC TẾ
MỘT SỐ CÂU HỎI THƯỜNG GẶP
Request:
2 year of SQL experience
1 year experience of Star Schema or 3NF
1 year of data warehousing or BI experience
Basic understanding of Dev/Test/Production environments
Understanding data preparation concepts
Knowledge of data modeling concepts
Used to join in a full cycle specific project
- Data Architect, Information Architect, Data Modeler
- Business Subject Matter Expert
- BI Team Lead, BI Team Implementer
- Data Miner, Data Scientist
- Big Data Specialists
- Sprint, Scrum Master , Project Lead, Agile Lead
Chúng tôi có hai hình thức học: Offline (tại nơi doanh nghiệp yêu cầu) và Online( Livestream trực tiếp với giảng viên qua Team/ Zoom/ Google Meet)
Theo yêu cầu của doanh nghiệp
Đội ngũ giảng viên của INDA là các chuyên gia giàu kinh nghiệm thực chiến, làm việc và giảng dạy trong lĩnh vực phân tích dữ liệu, hiện đang giữ các vị trí quan trọng tại những tổ chức lớn, giúp mang lại cho học viên cái nhìn sâu sắc và đa chiều về ngành phân tích dữ liệu.
Tùy theo mỗi khóa học, INDA sẽ sắp xếp số lượng trợ giảng khác nhau, tuy nhiên INDA vẫn sẻ đảm bảo cho học viên về mặt truyền tải kiến thức cũng như tương tác chi tiết tới từng học viên.