Lộ trình đào tạo Data Engineer

Banner khóa học Data Engineer INDAACADEMY

GIỚI THIỆU CHUNG

Tất cả các học viên tại INDA  đều tìm được việc làm tại các các doanh nghiệp trong nước và quốc tế ngay sau khi tốt nghiệp lộ trình học như: FIS Bank, SV Tech, iERP, VP bank, Techcombank, Seabank, MB Bank, VC corp,….. với mức lương khởi điểm từ 500 – 1200$
Dù bạn đang hướng tới các doanh nghiệp hàng đầu hay đơn giản là mong muốn có những chuyển biến vững chắc đầu tiên sau khi chuyển ngành, INDA sẽ đem tới cho bạn chương trình bám sát thực tế, định hướng công việc rõ ràng trong quá trình học và cam kết giới thiệu việc làm.

TỔNG QUAN KHÓA HỌC

Hình thức học

Mentor hướng dẫn 1 : 1 (Theo sát sao từng học viên)

Số buổi

3 -6 tháng (50 buổi)

Thời gian học

Lịch học linh hoạt (Học viên sắp xếp thời gian học với Mentor)

Lộ trình trở thành Data Engineer

KIẾN THỨC NHẬN ĐƯỢC

✅ Sử dụng thành thạo SQL và PL SQL để truy vấn và xử lý dữ liệu trong các cơ sở dữ liệu.

✅Thành thạo các hàm trong python và các thư viện liên quan như: pandas, numpy.

✅ Nắm bắt quy trình xây dựng DWH và sử dụng thành thạo các công cụ ETL.

✅ Hiểu được quy trình thiết kế Data Model phù hợp với từng hệ thống và nghiệp vụ.

✅ Sử dụng thành thạo dịch vụ AWS để ứng dụng vào công việc.

ĐỐI TƯỢNG THAM GIA

👉  Sinh viên các chuyên ngành IT muốn tìm đơn vị để học và thực chiến.

👉 Các lập trình viên muốn chuyền sang làm Data Engineer.

TẠI SAO LỰA CHỌN KHÓA HỌC TẠI INDAACADEMY

Cam kết giới thiệu
việc làm

Hỗ trợ giới thiệu việc làm với gần 100% học viên tốt nghiệp đều tìm được việc full-time.

Đội ngũ giảng viên

Đội ngũ giảng viên chuyên gia có kinh nghiệm 5-10 năm trong lĩnh vực.

Giáo trình
chuyên nghiệp

Lộ trình bài bản, kiến thức cô đọng, trọng tâm trong thời gian ngắn.

Học thật làm thật

Đào tạo lý thuyết và thực chiến các dự án của công ty, tập đoàn.

LỘ TRÌNH TỰ TIN APPLY JOB DATA ENGINEER

Bài 1: Tổng quan về CSDL,SQL, Cài đặt tools thao tác với CSDL

Bài 2: Câu lệnh truy vấn (Query): Truy vấn dữ liệu đơn giản, truy vấn dữ liệu nâng cao: Where, Order By, Distinct, Alias

Bài 3: Cấu trúc và thao tác dữ liệu: Nhóm lệnh định nghĩa cấu trúc dữ liệu, nhóm lệnh thao tác với dữ liệu

Bài 4: Các hàm cơ bản: Hàm xử lý số, chuỗi, ngày/tháng, chuyển đổi, hàm tổng hợp

Bài 5: SQL Join: Giới thiệu về SQL Join: inner join, left join, right join, full join, cross join

Bài 6: SQL Join (Nâng cao): Join nhiều bảng (>5-7 bảng) kết hợp với các mệnh đề

Bài 7: Các chuyển đề khác: Subquery, sử dụng With, tạo View,..

Bài 8: Kết nối Power BI & Tổng kết: Dự án cuối khóa & chia sẻ kinh nghiệm tổng kết

Kết quả đạt được:

  • Hiểu cách tổ chức dữ liệu, phân tích và lợi ích của các bài toán phân tích dữ liệu;
  • Nắm được những KPI, chỉ tiêu, công thức tính toán, thống kê dữ liệu trong thực tế tại các doanh nghiệp
  • Thành thạo truy vấn, trích xuất, lọc dữ liệu từ CSDL, chèn các điều kiện vào để trích xuất dữ liệu đáp ứng 1 hoặc nhiều yêu cầu nào đó
  • Sử dụng các mệnh đề joins để ghép nối các bảng 
  • Tính sum, average, min, max, các loại hàm đếm, groupby theo các tiêu chí
  • Sử dụng các tables trung gian để tăng tốc độ đọc dữ liệu

Bài 1: Các khái niệm cơ bản trong lập trình Python

Bài 2: Biểu thức trong lập trình Python

Bài 3: Đối tượng String trong lập trình Python

Bài 4: Đối tượng List, Tuples, Sets và Dictionary

Bài 5: Thao tác với hàm tự định nghĩa trong lập trình Python

Bài 6: Hướng đối tượng và thao tác với File trong Python

Bài 7: Tìm hiểu về module và quản lý lỗi trong Python

Bài 8: Tháo tác làm việc với cơ sở dữ liệu

Bài 9: Tìm hiểu thao tác làm việc với mảng qua thư viện Numpy

Bài 10: Thao tác quản lý dữ liệu với Pandas

Bài 11: Tổng kết khóa học

Kết quả đạt được:

  • Tiếp cận làm việc và thực hành với Python từ con số 0
  • Kiến thức nền tảng nhất về ngôn ngữ lập trình Python cho đến ứng dụng Python nâng cao vào các tình huống thực tế
  • Nắm được các kiến thức có trong khóa học lập trình Python: biểu thức trong Python, đối tượng String, List, Tuples, Sets và Dictionary, hàm tự định nghĩa, module trong Python…

Bài 1: Tổng quan PL/SQL, cài đặt SQL Developer để thao tác với CSDL

Bài 2: Các lệnh cơ bản trong PL/SQL: rẽ nhánh If then else, Vòng lặp: For loop / Loop / while loop, Con trỏ Cursor

Bài 3: Các hàm nâng cao: Merge, Ranking Function, Analytic Function…

Bài 4: Sequence, Xử lý tiến trình trong SQL(Transaction)

Bài 5: Lập trình thủ tục (Procedure), Hàm (Function)

Bài 6: Lập trình Package, Trigger

Bài 7: Tối ưu hiệu nặng CSDL với Index,Partition

Bài 8: Tổng kết: Dự án cuối khóa & chia sẻ kinh nghiệm tổng kết

Kết quả đạt được:

  • Sử dụng thành thạo ngôn ngữ PL/SQL
  • Tạo và sử dụng Store Procedure, Function, Package và Trigger
  • Xây dựng các kiểu dữ liệu cấu trúc phức tạp và kiểu dữ liệu con trỏ
  • Sử dụng thành thạo các Package có sẵn trong môi trường phát triển ứng dụng Oracle
  • Tối ưu thiết kế của CSDL để tăng hiệu năng hệ thống
  • Tăng tốc và tối ưu các câu lệnh giúp chạy nhanh gấp nhiều lần.
  • Phát triển các báo cáo bằng SQL 

Yêu cầu: đã biết về SQL cơ bản (Level 1)

  1. Giới thiệu về Data Warehouse – Kho dữ liệu
    Kiến trúc tổng thể, vai trò các thành phần, thuật ngữ chuyên ngành
    Giới thiệu về Data Model sử dụng trong Kho dữ liệu
  2. Thiết lập hệ thống và cấu hình môi trường
  3. Giai đoạn 1: ETL dữ liệu từ Nguồn vào vùng tạm (Staging)
  4. Giai đoạn 2: ETL từ vùng Tạm (Staging) vào DataWarehouse
  5. Giai đoạn 3: ETL từ DataWarehouse vào DataMart
  6. Giai đoạn 3 (tiếp): Xây dựng luồng ETL cho cả doanh nghiệp
  7. Giai đoạn 4: Phát triển báo cáo BI (sử dụng Microsoft Power BI)
  8. Mô hình dữ liệu trong DWH: Giới thiệu về các loại Dim và Fact. Cơ chế SCD Type 2
  9. Tích hợp dữ liệu thông qua API đưa vào Data Lake, Datawarehouse
  10. Tổng kết, dự án cuối khóa và chia sẻ kinh nghiệm

Kết quả đạt được:

  • Hiểu rõ quy trình thiết kế kho dữ liệu Data Warehouse từ đầu đến cuối.
  • Nắm bắt được mô hình dữ liệu Star Schema phổ biến trong DWH
  • Hiểu rõ kiến trúc của ETL (Oracle Data Integrator 12c)
  • Phát triển các job ETL, các thủ tục để đồng bộ dữ liệu từ nhiều nguồn về kho dữ liệu
  • Xây dựng đa luồng, chạy song song các job ETL để tối ưu hiệu quả
  • Xây các Datamart phục vụ báo cáo phân tích BI
  • Phát triển báo cáo thông minh BI (sử dụng PowerBI) hỗ trợ ra quyết định

Yêu cầu: đã biết về SQL cơ bản (Level 1)

Bài 1: Tổng quan về cơ sở dữ liệu;

Bài 2: Thiết kế mô hình thực thể liên kết (ERD) & mô hình mô tả tiến trình

Bài 3: Chuyển mô hình thực thể liên kết ERD thành thiết kế mức logic

Bài 4: Chuyển thiết kế mức logic thành thiết kế mức vật lý (mức bảng, cột trong CSDL)

Bài 5: Thực hành thêm các dự án thực tế

Bài 6: Chuẩn hóa CSDL

Bài 7: Tổng kết, dự án cuối khóa và chia sẻ kinh nghiêm

Kết quả đạt được:

  • Hiểu rõ quy trình thiết kế Data Model
  • Thành thạo cách chuyển đổi giữa các chuẩn thiết kế
  • Hiểu được cách thức tổ chức, lưu trữ thông tin, tối ưu thiết kế.
  • Thiết kế được các hệ thống database cho nhiều ứng dụng khác nhau(Application)
  • Nắm được thiết kế Data model, tiền đề cho xây dựng kho dữ liệu (data warehouse) 

Bài 1: Giới thiệu về Big data – Dữ liệu lớn

  • Giới thiệu về Big Data – Dữ liệu lớn 
  • Khái niệm, tiếp cận, xử lý và quản lý dữ liệu lớn 
  • Giới thiệu nền tảng công nghệ xử lý big data

Bài 2: Giới thiệu và làm việc với Hadoop

  • Kiến trúc tổng thể, vai trò các thành phần trong Hadoop 
  • Nắm được các thành phần cơ bản của Hadoop như: HDFS, YARN, Map Reduce,…

Bài 3: Quản lý và xử lý dữ liệu trong Big Data

  • Hiểu rõ về các vấn đề quan trọng cần phải chú ý khi quản lý một môi trường Big Data. 
  • BIết về khái niệm Big Data Pipeline. 
  • Biết các phép chuyển đổi dữ liệu thường dùng.

Bài 4: Giới thiệu về Spark

  • Nắm được khái niệm và các thành phần quan trọng về Spark. 
  • Cài đặt và chạy một ứng dụng Spark cơ bản.

Bài 5: Bigdata với Spark

Bài 6: Làm việc với Hive trong Bigdata

  • Hiểu được kiến trúc tổng thể, vai trò và cách sử dụng hiệu quả Hive

Bài 7: Giới thiệu về Airflow

  • Kiến trúc tổng thể, vai trò của airflow trong triển khai dữ liệu 
  • Hướng dẫn cài đặt và triển khai jobs trên airflow

Bài 8: Tổng kết

  • Tổng kết, dự án cuối khóa và chia sẻ kinh nghiêm

Kết quả đạt được:

  • Nắm vững đặc điểm và các thành phần của Bigdata
  • Nắm vững các kỹ thuật xử lý và phân tích dữ liệu lớn
  • Làm việc với Hadoop, Spark, Hive, Airflow, Big Data Technology mới nhất
  • Áp dụng ML với Big Data
  • Vận dụng các kỹ thuật phân tích dữ liệu lớn để mang lại các số liệu thống kê theo yêu cầu của doanh nghiệp.
  • Cơ hội việc làm ổn định tại các công ty xử lý và phân tích dữ liệu lớn trong ngoài nước

Bài 1: Giới thiệu tổng quan về AWS

  • Giới thiệu về các dịch vụ cơ bản của Amazon Web Service (AWS) 
  • Hạ tầng toàn cầu của AWS 
  • Hướng dẫn tạo tài khoản, tính phí trên AWS

Bài 2: Giới thiệu về IAM, EC2 trong AWS

  • Nắm vững các kiến thức cơ bản về 2 core services : IAM, EC2 trên AWS 
  • Tạo và phân quyền trên IAM Khởi tạo, connect và xử lý trên EC2

Bài 3: Làm việc với Serverless,S3 trong AWS

  • Nắm được khái niệm và thực hành về 1 số dịch vụ Serverless: Lambda,… 
  • Hiểu được cách lưu trữ,xử lý dữ liệu trên S3

Bài 4: Giới thiệu một số Databases và RDS trong AWS

  • Giới thiệu về 1 số Databases trên AWS 
  • Khái niêm, khởi tạo Database 
  • Thực hành kết nối Database trên RDS

Bài 5: Quản trị hệ thống Redshift, DynamoDB, DocumentDB

  • Năm được khái niệm và kiến trúc trong Redshift
  • Nắm được cách đưa dữ liệu vào Redshift
  • Thực hành với DynamoDB, DocumentDB, Redshift

Bài 6: AWS DMS (Đồng bộ dữ liệu từ nhiều hệ thống với AWS)

  • Hiểu và nắm vững kiến thức, kiến trúc về DMS 
  • Thực hành kéo dữ liệu  giữa các Databases

Bài 7: ETL, Orchestration services: EMR, Glue, Stepfunction

  • Hiểu được khái niệm và cách sử dụng AWS Glue,EMR, Stepfunction 
  • Nắm được các các thành phần trong AWS Glue: Glue crawler, Glue Data Catalog, Glue ETL,… 
  • Thực hành Stepfunction với Glue

Bài 8: Tổng kết

  • Tổng kết, dự án cuối khóa và chia sẻ kinh nghiêm

Kết quả đạt được:

  • Thao tác và làm việc tốt với các tác vụ về kỹ thuật dữ liệu trên nền tảng điện toán đám mây AWS
  • Nắm được kiến thức về các services quan trọng trên AWS: IAM, S3, EC2,RDS,Glue, Stepfunction…
  • Hiểu biết về cơ sở hạ tầng toàn cầu AWS
  • Hiểu biết về các nguyên tắc kiến trúc cơ bản của việc xây dựng trên AWS
  • Khả năng xác định dịch vụ AWS đáp ứng yêu cầu kỹ thuật nhất định
  • Kiến thức về các phương pháp hay được đề xuất để xây dựng các ứng dụng an toàn và đáng tin cậy trên nền tảng AWS

GIẢNG VIÊN TẠI INDAACADEMY

PHẢN HỒI HỌC VIÊN VÀ ẢNH THỰC TẾ

DOANH NGHIỆP CHÚNG TÔI ĐÃ ĐÀO TẠO