Lộ trình đào tạo Data Engineer

Bài 1: Tổng quan về CSDL,SQL, Cài đặt tools thao tác với CSDL

Bài 2: Câu lệnh truy vấn (Query): Truy vấn dữ liệu đơn giản, truy vấn dữ liệu nâng cao: Where, Order By, Distinct, Alias

Bài 3: Cấu trúc và thao tác dữ liệu: Nhóm lệnh định nghĩa cấu trúc dữ liệu, nhóm lệnh thao tác với dữ liệu

Bài 4: Các hàm cơ bản: Hàm xử lý số, chuỗi, ngày/tháng, chuyển đổi, hàm tổng hợp

Bài 5: SQL Join: Giới thiệu về SQL Join: inner join, left join, right join, full join, cross join

Bài 6: SQL Join (Nâng cao): Join nhiều bảng (>5-7 bảng) kết hợp với các mệnh đề

Bài 7: Các chuyển đề khác: Subquery, sử dụng With, tạo View,..

Bài 8: Kết nối Power BI & Tổng kết: Dự án cuối khóa & chia sẻ kinh nghiệm tổng kết

Kết quả đạt được:

• Hiểu cách tổ chức dữ liệu, phân tích và lợi ích của các bài toán phân tích dữ liệu;
• Nắm được những KPI, chỉ tiêu, công thức tính toán, thống kê dữ liệu trong thực tế tại các doanh nghiệp
• Thành thạo truy vấn, trích xuất, lọc dữ liệu từ CSDL, chèn các điều kiện vào để trích xuất dữ liệu đáp ứng 1 hoặc nhiều yêu cầu nào đó
• Sử dụng các mệnh đề joins để ghép nối các bảng 
• Tính sum, average, min, max, các loại hàm đếm, groupby theo các tiêu chí
• Sử dụng các tables trung gian để tăng tốc độ đọc dữ liệu

Bài 2: Biểu thức trong lập trình Python

Bài 3: Đối tượng String trong lập trình Python

Bài 1: Tổng quan PL/SQL, cài đặt SQL Developer để thao tác với CSDL

Bài 2: Các lệnh cơ bản trong PL/SQL: rẽ nhánh If then else, Vòng lặp: For loop / Loop / while loop, Con trỏ Cursor

Bài 3: Các hàm nâng cao: Merge, Ranking Function, Analytic Function…

Bài 4: Sequence, Xử lý tiến trình trong SQL(Transaction)

Bài 5: Lập trình thủ tục (Procedure), Hàm (Function)

Bài 6: Lập trình Package, Trigger

Bài 7: Tối ưu hiệu nặng CSDL với Index,Partition

Bài 8: Tổng kết: Dự án cuối khóa & chia sẻ kinh nghiệm tổng kết

Kết quả đạt được:

• Sử dụng thành thạo ngôn ngữ PL/SQL
• Tạo và sử dụng Store Procedure, Function, Package và Trigger
• Xây dựng các kiểu dữ liệu cấu trúc phức tạp và kiểu dữ liệu con trỏ
• Sử dụng thành thạo các Package có sẵn trong môi trường phát triển ứng dụng Oracle
• Tối ưu thiết kế của CSDL để tăng hiệu năng hệ thống
• Tăng tốc và tối ưu các câu lệnh giúp chạy nhanh gấp nhiều lần.
• Phát triển các báo cáo bằng SQL 

Yêu cầu: đã biết về SQL cơ bản (Level 1)

1. Giới thiệu về Data Warehouse – Kho dữ liệu
   Kiến trúc tổng thể, vai trò các thành phần, thuật ngữ chuyên ngành
   Giới thiệu về Data Model sử dụng trong Kho dữ liệu
2. Thiết lập hệ thống và cấu hình môi trường
3. Giai đoạn 1: ETL dữ liệu từ Nguồn vào vùng tạm (Staging)
4. Giai đoạn 2: ETL từ vùng Tạm (Staging) vào DataWarehouse
5. Giai đoạn 3: ETL từ DataWarehouse vào DataMart
6. Giai đoạn 3 (tiếp): Xây dựng luồng ETL cho cả doanh nghiệp
7. Giai đoạn 4: Phát triển báo cáo BI (sử dụng Microsoft Power BI)
8. Mô hình dữ liệu trong DWH: Giới thiệu về các loại Dim và Fact. Cơ chế SCD Type 2
   
9. Tích hợp dữ liệu thông qua API đưa vào Data Lake, Datawarehouse
   
10. Tổng kết, dự án cuối khóa và chia sẻ kinh nghiệm

Kết quả đạt được:

• Hiểu rõ quy trình thiết kế kho dữ liệu Data Warehouse từ đầu đến cuối.
• Nắm bắt được mô hình dữ liệu Star Schema phổ biến trong DWH
• Hiểu rõ kiến trúc của ETL (Oracle Data Integrator 12c)
• Phát triển các job ETL, các thủ tục để đồng bộ dữ liệu từ nhiều nguồn về kho dữ liệu
• Xây dựng đa luồng, chạy song song các job ETL để tối ưu hiệu quả
• Xây các Datamart phục vụ báo cáo phân tích BI
• Phát triển báo cáo thông minh BI (sử dụng PowerBI) hỗ trợ ra quyết định

Yêu cầu: đã biết về SQL cơ bản (Level 1)

Bài 1: Tổng quan về cơ sở dữ liệu;

Bài 2: Thiết kế mô hình thực thể liên kết (ERD) & mô hình mô tả tiến trình

Bài 3: Chuyển mô hình thực thể liên kết ERD thành thiết kế mức logic

Bài 4: Chuyển thiết kế mức logic thành thiết kế mức vật lý (mức bảng, cột trong CSDL)

Bài 5: Thực hành thêm các dự án thực tế

Bài 6: Chuẩn hóa CSDL

Bài 7: Tổng kết, dự án cuối khóa và chia sẻ kinh nghiêm

Kết quả đạt được:

• Hiểu rõ quy trình thiết kế Data Model
• Thành thạo cách chuyển đổi giữa các chuẩn thiết kế
• Hiểu được cách thức tổ chức, lưu trữ thông tin, tối ưu thiết kế.
• Thiết kế được các hệ thống database cho nhiều ứng dụng khác nhau(Application)
• Nắm được thiết kế Data model, tiền đề cho xây dựng kho dữ liệu (data warehouse) 

Bài 2: Giới thiệu và làm việc với Hadoop

Bài 3: Quản lý và xử lý dữ liệu trong Big Data

Bài 2: Giới thiệu về IAM, EC2 trong AWS

Bài 3: Làm việc với Serverless,S3 trong AWS