Big data with Spark – Dữ liệu lớn với Spark

Bài 1: Giới thiệu về Big Data – Dữ liệu lớn; Khái niệm, tiếp cận, xử lý và quản lý dữ liệu lớn;

Bài 2: Kiến trúc tổng thể, vai trò các thành phần trong Hadoop như: HDFS, YARN, Map Reduce,…

Bài 3: Quản lý và xử lý dữ liệu trong Big Data; Hiểu rõ về các vấn đề quan trọng cần phải chú ý khi quản lý một môi trường Big Data;

Bài 4: Giới thiệu về Spark; Nắm được khái niệm và các thành phần quan trọng về Spark;

Bài 5: Big Data với Spark

Bài 6: Giới thiệu Hive; Hiểu được kiến trúc tổng thể, vai trò và cách sử dụng hiệu quả Hive.

Bài 7: Giới thiệu về Airflow; Kiến trúc tổng thể, vai trò của airflow trong triển khai dữ liệu; Hướng dẫn cài đặt và triển khai jobs trên airflow.

Bài 8: Tổng kết, dự án cuối khóa và chia sẻ kinh nghiêm

Kết quả đạt được:

Khóa học Công nghệ Big Data trình bày những kiến thức cơ bản về Big Data, đặc trưng của Big Data, cũng như những thách thức của Big Data trong thời đại ngày nay.

Khóa học sẽ trình bày các phương pháp và công nghệ phổ biến để xử lý Big Data như công nghệ Airflow,MapReduce, Spark,…

Sau khi kết thúc khóa học, người học sẽ nắm vững toàn bộ các kiến thức cơ bản về Big Data, đặc điểm kỹ thuật của các công nghệ MapReduce và Spark để xử lý Big Data, đồng thời có đủ sự am hiểu để đưa công nghệ Big Data vào ứng dụng trong các dự án liên quan tại doanh nghiệp