Google BigQuery
December 27, 2021
No Comments
GIỚI THIỆU CHUNG
Dữ liệu lớn (Big Data) là một thuật ngữ đề cập đến việc xử lý một tập hợp dữ liệu rất lớn và phức tạp mà các ứng dụng xử lý dữ liệu truyền thống không xử lý được. Dữ liệu lớn bao gồm việc phân tích, thu thập, giám sát dữ liệu, tìm kiếm, chia sẻ, lưu trữ, truyền nhận, trực quan, truy vấn và tính riêng tư.
TỔNG QUAN KHÓA HỌC
Hình thức học
Mentor hướng dẫn 1 : 1 (Theo sát sao từng học viên)
Số buổi
8 buổi/khoá
Thời gian học
Lịch học linh hoạt (Học viên sắp xếp thời gian học với Mentor)
KIẾN THỨC NHẬN ĐƯỢC
Nắm vững được các kiến thức về Big Data Engineer.
Sử dụng và thực hành các công cụ ETL: Oracle ODI, Apache Airflow, Pentaho,…
Trực quan hóa dữ liệu của bạn trong Google Data Studio, Power BI, Oracle OAS, Super Set.
Data Lakehouse: HDFS/MinIO, Apache Spark/Flink, Trino/Presto.
ĐỐI TƯỢNG THAM GIA
Sinh viên đã hoặc sắp ra trường muốn nâng cao kiến thức về SQL và CSDL để tăng lợi thế cạnh tranh.
Lập trình viên muốn cải thiện kiến thức và kĩ năng về ETL và trực quan hóa dữ liệu.
TẠI SAO LỰA CHỌN KHÓA HỌC TẠI INDAACADEMY
Cam kết
giới thiệu
việc làm
Hỗ trợ giới thiệu việc làm với gần 100% học viên tốt nghiệp đều tìm được việc full-time.
Đội ngũ giảng viên
Đội ngũ giảng viên chuyên gia có kinh nghiệm 5-10 năm trong lĩnh vực.
Giáo trình
chuyên nghiệp
Lộ trình bài bản, kiến thức cô đọng, trọng tâm trong thời gian ngắn.
Học thật làm thật
Đào tạo lý thuyết và thực chiến các dự án của công ty, tập đoàn.
KHOÁ HỌC BIG DATA ENGINEER/ MACHINE LEARNING
Bài 1: Oracle Database
- Cài đặt Oracle 19C, tạo Schema THUC_TAP
- Giả lập 1 file dữ liệu khách hàng (Mã khách hàng, tên KH, SDT, ngày tháng năm sinh) bằng Excel hoặc CSV.
- Import dữ liệu vào schema “”THUC_TAP”” vừa tạo ở trên”
- Tìm kiếm trên Internet và import Data Sample của Oracle
- Export 1 hoặc nhiều Schema
- Import 1 hoặc nhiều Schema vừa Export bên trên
- Lập trình 1 function / procedure / package. Sau đó đặt lịch của database chạy các Function / procedure / package
- Nâng cao: Cài đặt, tắt bật EM để Giám sát cơ sở dữ liệu
- Nâng cao: Thêm sửa xóa listener nhiều lần, tắt bật lại Oracle DB
- Nâng cao: Thống kê và tối ưu bằng AWR
- Nâng cao: Thiết lập phân quyền (Administering User Security)
- Nâng cao: Backup toàn bộ Database
Bài 2: ETL Data
- Cài đặt ODI 12c
- Cài đặt Agent bằng weblogic
- Cài đặt Apache Airflow, Talend, Mulesoft, Pentaho, AirByte, Apache Nifi, Apache Spark (Cài bản miễn phí)
- Job 1: ETL dữ liệu từ file to DB
- Job 2: ETL dữ liệu từ DB to DB
- Job 3: ETL dữ liệu từ API to DB (API tự tìm kiếm trên mạng)
- Tạo luồng Flow chạy Job theo 2 điều kiện: Tuần tự + song song
- Lập lịch chạy cho ETL dữ liệu
- Cấu hình mail để khi lỗi bắn mail về người vận hành
Bài 3: Data Lakehouse: HDFS/MinIO, Apache Spark/Flink, Trino/Presto
- Cài đặt hệ thống và Cấu hình giữa các dịch vụ
- Tạo 1 file PARQUET / AVRO từ internet rồi đưa vào MinIO
- Truy vấn dữ liệu từ file trong MinIO
- Crawling Data dùng python / Airflow để lấy dữ liệu phản hồi của khách hàng trên 1 sản phẩm của 1 Shop trên Shopee và lưu lên MinIO
- Bóc tách: tên KH, sao, ngày comment dùng Python/ Trino / Spark / Airflow rồi ghi vào Oracle Database (tạo các table lưu kết quả)
- Tạo báo cáo phân tích bằng Supperset / PowerBI
- Nâng cao: Nếu quét tất cả sản phẩm của 1 Shop là điểm cộng
Bài 4: DBT
- Dựng model bằng DBT chỏ vào: Database Oracle Sample Data
- Dựng model bằng DBT chỏ vào: 1 file Json trên MinIO và Oracle Sample Data
Bài 5: Apache Iceberg
- Đẩy dữ liệu từ MinIO vào Iceberg
- Truy vấn Iceberg Data Lakehouse bằng PyIceberg / Hoặc dùng Trino
Bài 6: DevOps Tools
- Kubernetes (K8s)
- Apache Ambari
Bài 7: BI (Power BI)
- Cài đặt Gateway, đồng bộ dữ liệu với Oracle Database
- Demo toàn bộ tính năng AI của PowerBI
Bài 8: BI (Oracle OAS)
- Cài đặt Oracle OAS
- Tạo 1 báo cáo bằng BI Publisher. Tham khảo: https://indaacademy.vn/oracle/cach-tao-bao-cao-trong-bi-publisher/
- Nâng cao: Phân quyền báo cáo trên OAS (BI Publisher)
- Tạo 1 báo cáo bằng Oracle BIEE
- Tạo 1 báo cáo bằng Data visualization của OAS
- Demo tính năng sau:
- https://www.youtube.com/watch?v=bsn9Keh61IY&list=PL6gBNP-Fr8KVzWmtFyWfDekHw5LVvTb6n
- https://www.youtube.com/watch?v=uYIo4XURymI&list=PL6gBNP-Fr8KWGutKSRknReSrxC6x_LjmT”
- Nâng cao: Backup OAS
- Nâng cao: Xóa trắng server rồi cài lại từ đầu. Sau đó bung bản Backup
Bài 9: BI (Super Set)
- Dựng Superset
- Kết nối nguồn dữ liệu Excel để kéo báo cáo
- Kết nối nguồn dữ liệu Oracle database để kéo báo cáo
Kết quả đạt được:
- Nắm vững được các kiến thức về Big Data Engineer
- Các kỹ thuật và công cụ khác nhau cả ở Onpreams và Cloud
- Sử dụng và thực hành các công cụ ETL: Oracle ODI, Apache Airflow, Pentaho,…
- Data Lakehouse: HDFS/MinIO, Apache Spark/Flink, Trino/Presto
- Sử dụng các mệnh đề joins để ghép nối các bảng
- Tính sum, average, min, max, các loại hàm đếm, groupby theo các tiêu chí
- Trực quan hóa dữ liệu của bạn trong Google Data Studio, Power BI, Oracle OAS, Super Set
GIẢNG VIÊN TẠI INDAACADEMY
Anh Hưng - Chuyên viên dữ liệu tại ngân hàng BIDV. Anh đã có 10 năm kinh nghiệm BI, chuyên xây dựng báo cáo phân tích đa ngành và báo cáo tài chính. Anh cũng đào tạo Power BI, Excel, Power Pivot, Taleau cho nhiều đơn vị lớn trên toàn quốc
ĐỖ VIỆT HƯNGGiảng viên tại INDA ACADEMY 
Anh Tân - Chuyên gia dữ liệu tại Bosch. Hiện tại anh đã có 8 năm kinh nghiệm triển khai DWH/ BI Reporting cho các doanh nghiệp tại Mỹ, Singapore,.... Anh đã là chuyên gia trong mảng về Oracle Database, Oracle OBIEE, MS SQL, Microsoft SSIS, IBM Netezza, IBM Data Stage, Oracle ODI, Azure, AWS, Data Bricks.. Ngoài ra anh đã có 5 năm kinh nghiệm tối ưu hiệu năng hệ thống kho dữ liệu cho các ngân hàng tại Việt Nam
NGUYỄN THIÊN TÂNGiảng viên tại INDA ACADEMY 
Anh Hưng - Chuyên viên mảng dữ liệu tại Ngân hàng MBBank, có hơn 5 năm kinh nghiệm về kho dữ liệu lớn, chuyên sâu về ETL (Microsoft SSIS) và xây dựng Database (RDBMS, NoSQL, Data Warehouse). Anh sẽ chia sẻ kinh nghiệm thực tế tại INDA.
TẠ VĂN HƯNGGiảng viên SQL 
Anh Hà Vũ Phượng có 15 năm kinh nghiệm triển khai Data Warehouse/BI cho các ngân hàng và tập đoàn lớn. Anh đảm nhiệm nhiều vai trò quan trọng và là chuyên gia tư vấn, đào tạo công nghệ kho dữ liệu của Oracle, Microsoft và Google tại Việt Nam.
HÀ VŨ PHƯỢNGGiảng viên Data Model 
Previous
Next
PHẢN HỒI HỌC VIÊN VÀ ẢNH THỰC TẾ
Khóa học Data Engineer tại IndaAcademy cung cấp kiến thức thực tế về SQL, ETL, Data Warehouse và Big Data. Lộ trình rõ ràng, bám sát nhu cầu doanh nghiệp, giúp mình ứng dụng ngay vào công việc. Giảng viên giàu kinh nghiệm, hỗ trợ tận tình. Rất đáng để học nếu bạn muốn theo đuổi ngành Data Engineering!
Nguyễn Đức CườngHọc viên khóa DE 
Mình học khóa Data Analyst tại IndaAcademy và thấy rất hữu ích. Khóa học cung cấp kiến thức thực tế về SQL, Power BI, Python và Excel, bám sát nhu cầu doanh nghiệp. Giảng viên dạy dễ hiểu, hỗ trợ nhiệt tình. Học xong mình tự tin hơn khi làm việc với dữ liệu!
Trần Thu TrangHọc viên khóa DA 
Mình học khóa Tester tại IndaAcademy và thấy rất thực tế. Khóa học cung cấp kiến thức từ Manual Testing đến Automation Testing, giúp hiểu rõ quy trình kiểm thử phần mềm. Giảng viên hướng dẫn chi tiết, bài tập bám sát thực tế. Phù hợp cho ai muốn theo đuổi nghề kiểm thử phần mềm!
Lê Trọng QuýHọc viên khóa Tester 
Previous
Next
DOANH NGHIỆP CHÚNG TÔI ĐÃ ĐÀO TẠO
BÀI VIẾT LIÊN QUAN
Google BigQuery
August 6, 2021
No Comments
Google BigQuery
August 6, 2021
No Comments