Khóa học Big Data Engineer

Banner khóa học BigData indaacademy

GIỚI THIỆU CHUNG

Dữ liệu lớn (Big Data) là một thuật ngữ đề cập đến việc xử lý một tập hợp dữ liệu rất lớn và phức tạp mà các ứng dụng xử lý dữ liệu truyền thống không xử lý được. Dữ liệu lớn bao gồm việc phân tích, thu thập, giám sát dữ liệu, tìm kiếm, chia sẻ, lưu trữ, truyền nhận, trực quan, truy vấn và tính riêng tư.

ĐĂNG KÍ NGAY

TỔNG QUAN KHÓA HỌC

Hình thức học

Mentor hướng dẫn 1 : 1 (Theo sát sao từng học viên)

Số buổi

8 buổi/khoá

Thời gian học

Lịch học linh hoạt (Học viên sắp xếp thời gian học với Mentor)

KIẾN THỨC NHẬN ĐƯỢC

✅ Nắm vững được các kiến thức về Big Data Engineer.

✅ Sử dụng và thực hành các công cụ ETL: Oracle ODI, Apache Airflow, Pentaho,…

✅ Trực quan hóa dữ liệu của bạn trong Google Data Studio, Power BI, Oracle OAS, Super Set.

✅ Data Lakehouse: HDFS/MinIO, Apache Spark/Flink, Trino/Presto.

ĐỐI TƯỢNG THAM GIA

👉  Sinh viên đã hoặc sắp ra trường muốn nâng cao kiến thức về SQL và CSDL để tăng lợi thế cạnh tranh.

👉 Lập trình viên muốn cải thiện kiến thức và kĩ năng về ETL và trực quan hóa dữ liệu.

TẠI SAO LỰA CHỌN KHÓA HỌC TẠI INDAACADEMY

Cam kết giới thiệu
việc làm

Hỗ trợ giới thiệu việc làm với gần 100% học viên tốt nghiệp đều tìm được việc full-time.

Đội ngũ giảng viên

Đội ngũ giảng viên chuyên gia có kinh nghiệm 5-10 năm trong lĩnh vực.

Giáo trình
chuyên nghiệp

Lộ trình bài bản, kiến thức cô đọng, trọng tâm trong thời gian ngắn.

Học thật làm thật

Đào tạo lý thuyết và thực chiến các dự án của công ty, tập đoàn.

KHOÁ HỌC BIG DATA ENGINEER/ MACHINE LEARNING

Bài 1: Oracle Database

  • Cài đặt Oracle 19C, tạo Schema THUC_TAP
  • Giả lập 1 file dữ liệu khách hàng (Mã khách hàng, tên KH, SDT, ngày tháng năm sinh) bằng Excel hoặc CSV. 
  • Import dữ liệu vào schema “”THUC_TAP”” vừa tạo ở trên”
  • Tìm kiếm trên Internet và import Data Sample của Oracle
  • Export 1 hoặc nhiều Schema
  • Import 1 hoặc nhiều Schema vừa Export bên trên
  • Lập trình 1 function / procedure / package. Sau đó đặt lịch của database chạy các Function / procedure / package
  • Nâng cao: Cài đặt, tắt bật EM để Giám sát cơ sở dữ liệu
  • Nâng cao: Thêm sửa xóa listener nhiều lần, tắt bật lại Oracle DB
  • Nâng cao: Thống kê và tối ưu bằng AWR
  • Nâng cao: Thiết lập phân quyền (Administering User Security)
  • Nâng cao: Backup toàn bộ Database

Bài 2: ETL Data

  • Cài đặt ODI 12c
  • Cài đặt Agent bằng weblogic
  • Cài đặt Apache Airflow, Talend,  Mulesoft, Pentaho, AirByte, Apache Nifi, Apache Spark (Cài bản miễn phí)
  • Job 1: ETL dữ liệu từ file to DB
  • Job 2: ETL dữ liệu từ DB to DB
  • Job 3: ETL dữ liệu từ API to DB (API tự tìm kiếm trên mạng)
  • Tạo luồng Flow chạy Job theo 2 điều kiện: Tuần tự + song song
  • Lập lịch chạy cho ETL dữ liệu
  • Cấu hình mail để khi lỗi bắn mail về người vận hành

Bài 3: Data Lakehouse: HDFS/MinIO, Apache Spark/Flink, Trino/Presto

  • Cài đặt hệ thống và Cấu hình giữa các dịch vụ
  • Tạo 1 file PARQUET / AVRO từ internet rồi đưa vào MinIO
  • Truy vấn dữ liệu từ file trong MinIO
  • Crawling Data dùng python / Airflow để lấy dữ liệu phản hồi của khách hàng trên 1 sản phẩm của 1 Shop trên Shopee và lưu lên MinIO
  • Bóc tách: tên KH, sao, ngày comment dùng Python/ Trino / Spark / Airflow rồi ghi vào Oracle Database (tạo các table lưu kết quả)
  • Tạo báo cáo phân tích bằng Supperset / PowerBI
  • Nâng cao: Nếu quét tất cả sản phẩm của 1 Shop là điểm cộng

Bài 4: DBT

  • Dựng model bằng DBT chỏ vào: Database Oracle Sample Data
  • Dựng model bằng DBT chỏ vào: 1 file Json trên MinIO và Oracle Sample Data

Bài 5: Apache Iceberg

  • Đẩy dữ liệu từ MinIO vào Iceberg
  • Truy vấn Iceberg Data Lakehouse bằng PyIceberg / Hoặc dùng Trino

Bài 6: DevOps Tools

  • Kubernetes (K8s)
  • Apache Ambari

Bài 7: BI (Power BI)

  • Cài đặt Gateway, đồng bộ dữ liệu với Oracle Database
  • Demo toàn bộ tính năng AI của PowerBI

Bài 8: BI (Oracle OAS)

  • Cài đặt Oracle OAS
  • Tạo 1 báo cáo bằng BI Publisher. Tham khảo: https://indaacademy.vn/oracle/cach-tao-bao-cao-trong-bi-publisher/
  • Nâng cao: Phân quyền báo cáo trên OAS (BI Publisher)
  • Tạo 1 báo cáo bằng Oracle BIEE
  • Tạo 1 báo cáo bằng Data visualization của OAS
  • Demo tính năng sau:
  • https://www.youtube.com/watch?v=bsn9Keh61IY&list=PL6gBNP-Fr8KVzWmtFyWfDekHw5LVvTb6n
  • https://www.youtube.com/watch?v=uYIo4XURymI&list=PL6gBNP-Fr8KWGutKSRknReSrxC6x_LjmT”
  • Nâng cao: Backup OAS
  • Nâng cao: Xóa trắng server rồi cài lại từ đầu. Sau đó bung bản Backup

 Bài 9: BI (Super Set)

  • Dựng Superset
  • Kết nối nguồn dữ liệu Excel để kéo báo cáo
  • Kết nối nguồn dữ liệu Oracle database để kéo báo cáo

Kết quả đạt được:

  • Nắm vững được các kiến thức về Big Data Engineer
  • Các kỹ thuật và công cụ khác nhau cả ở Onpreams và Cloud
  • Sử dụng và thực hành các công cụ ETL: Oracle ODI, Apache Airflow, Pentaho,…
  • Data Lakehouse: HDFS/MinIO, Apache Spark/Flink, Trino/Presto
  • Sử dụng các mệnh đề joins để ghép nối các bảng
  • Tính sum, average, min, max, các loại hàm đếm, groupby theo các tiêu chí
  • Trực quan hóa dữ liệu của bạn trong Google Data Studio, Power BI, Oracle OAS, Super Set

GIẢNG VIÊN TẠI INDAACADEMY

Anh Hưng có 7 năm kinh nghiệm BI, chuyên xây dựng báo cáo phân tích đa ngành và báo cáo tài chính. Anh cũng đào tạo Power BI, Excel, Power Pivot cho nhiều đơn vị lớn ở miền Bắc.
ĐỖ VIỆT HƯNGGiảng viên Power BI
ĐỖ VIỆT HƯNG
Anh Lực có 5 năm kinh nghiệm triển khai kho dữ liệu đa lĩnh vực, từ ngân hàng (VPBank, BIDV, Bản Việt) đến bán lẻ (Gốm sứ Bát Tràng, VinCommerce) và sản xuất (May Thành Công), sử dụng các nền tảng như Power BI, Oracle Cloud, Google BigQuery. Anh cũng có 2 năm kinh nghiệm triển khai ERP cho nhà máy sản xuất phụ tùng.
ĐÀO KIM LỰCGiảng viên SQL
ĐÀO KIM LỰC
Anh Hưng, Data Engineer tại Gimasys, có hơn 5 năm kinh nghiệm về kho dữ liệu lớn, chuyên sâu về ETL (Microsoft SSIS) và xây dựng Database (RDBMS, NoSQL, Data Warehouse). Anh sẽ chia sẻ kinh nghiệm thực tế tại INDA.
TẠ VĂN HƯNGGiảng viên SQL
TẠ VĂN HƯNG
Anh Hà Vũ Phượng có 12 năm kinh nghiệm triển khai Data Warehouse/BI cho các ngân hàng và tập đoàn lớn. Anh đảm nhiệm nhiều vai trò quan trọng và là chuyên gia tư vấn, đào tạo công nghệ kho dữ liệu của Oracle, Microsoft và Google tại Việt Nam.
HÀ VŨ PHƯỢNGGiảng viên Data Model
HÀ VŨ PHƯỢNG
Previous
Next

PHẢN HỒI HỌC VIÊN VÀ ẢNH THỰC TẾ

Khóa học Data Engineer tại IndaAcademy cung cấp kiến thức thực tế về SQL, ETL, Data Warehouse và Big Data. Lộ trình rõ ràng, bám sát nhu cầu doanh nghiệp, giúp mình ứng dụng ngay vào công việc. Giảng viên giàu kinh nghiệm, hỗ trợ tận tình. Rất đáng để học nếu bạn muốn theo đuổi ngành Data Engineering!
Nguyễn Đức CườngHọc viên khóa DE
Nguyễn Đức Cường
Mình học khóa Data Analyst tại IndaAcademy và thấy rất hữu ích. Khóa học cung cấp kiến thức thực tế về SQL, Power BI, Python và Excel, bám sát nhu cầu doanh nghiệp. Giảng viên dạy dễ hiểu, hỗ trợ nhiệt tình. Học xong mình tự tin hơn khi làm việc với dữ liệu!
Trần Thu TrangHọc viên khóa DA
Trần Thu Trang
Mình học khóa Tester tại IndaAcademy và thấy rất thực tế. Khóa học cung cấp kiến thức từ Manual Testing đến Automation Testing, giúp hiểu rõ quy trình kiểm thử phần mềm. Giảng viên hướng dẫn chi tiết, bài tập bám sát thực tế. Phù hợp cho ai muốn theo đuổi nghề kiểm thử phần mềm!
Lê Trọng QuýHọc viên khóa Tester
Lê Trọng Quý
Previous
Next

DOANH NGHIỆP CHÚNG TÔI ĐÃ ĐÀO TẠO

BÀI VIẾT LIÊN QUAN

ĐĂNG KÝ NGAY