Data pipelines typically fall under one of the Extra-Load, Extract-Load-Transform or Extract-Transform-Load paradigms. This course describes which paradigm should be used and when for batch data. Furthermore, this course covers several technologies on Google Cloud Platform for data transformation including BigQuery, executing Spark on Cloud Dataproc, pipeline graphs in Cloud Data Fusion and serverless data processing with Cloud Dataflow. Learners will get hands-on experience building data pipeline components on Google Cloud Platform using QwikLabs.
제공자:
Google 클라우드
About this Course
최근 조회 94,557회
공유 가능한 수료증
완료 시 수료증 획득
100% 온라인
지금 바로 시작해 나만의 일정에 따라 학습을 진행하세요.
유동적 마감일
일정에 따라 마감일을 재설정합니다.
중급 단계
완료하는 데 약 13시간 필요
영어
자막: 영어
공유 가능한 수료증
완료 시 수료증 획득
100% 온라인
지금 바로 시작해 나만의 일정에 따라 학습을 진행하세요.
유동적 마감일
일정에 따라 마감일을 재설정합니다.
중급 단계
완료하는 데 약 13시간 필요
영어
자막: 영어
제공자:
Google 클라우드
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
강의 계획 - 이 강좌에서 배울 내용
완료하는 데 6분 필요
Introduction
In this module, we introduce the course and agenda
완료하는 데 6분 필요
2개 동영상 (총 6분)
완료하는 데 1시간 필요
Introduction to Batch Data Pipelines
This module reviews different methods of data loading: EL, ELT and ETL and when to use what
완료하는 데 1시간 필요
5개 동영상 (총 18분)
5개의 동영상
Quality considerations1m
How to carry out operations in BigQuery3m
Shortcomings3m
ETL to solve data quality issues4m
1개 연습문제
EL, ELT, ETL30m
완료하는 데 2시간 필요
Executing Spark on Cloud Dataproc
This module shows how to run Hadoop on Cloud Dataproc, how to leverage GCS, and how to optimize your Dataproc jobs.
완료하는 데 2시간 필요
9개 동영상 (총 49분)
9개의 동영상
Running Hadoop on Cloud Dataproc10m
GCS instead of HDFS6m
Optimizing Dataproc5m
Optimizing Dataproc Storage9m
Optimizing Dataproc Templates and Autoscaling4m
Optimizing Dataproc Monitoring3m
Lab Intro: Running Apache Spark jobs on Cloud Dataproc27
Summary31
1개 연습문제
Executing Spark on Cloud Dataproc4m
완료하는 데 3시간 필요
Manage Data Pipelines with Cloud Data Fusion and Cloud Composer
This module shows how to manage data pipelines with Cloud Data Fusion and Cloud Composer.
완료하는 데 3시간 필요
11개 동영상 (총 45분)
11개의 동영상
Components of Data Fusion2m
Building a Pipeline6m
Exploring Data using Wrangler1m
Lab: Building and executing a pipeline graph in Cloud Data Fusion17
Orchestrating work between GCP services with Cloud Composer1m
Apache Airflow Environment1m
DAGs and Operators12m
Workflow scheduling6m
Monitoring and Logging4m
Lab: An Introduction to Cloud Composer12
1개 연습문제
Cloud Data Fusion and Cloud Composer30m
완료하는 데 7시간 필요
Serverless Data Processing with Cloud Dataflow
This module covers using Cloud Dataflow to build your data processing pipelines
완료하는 데 7시간 필요
12개 동영상 (총 40분)
12개의 동영상
Why customers value Dataflow3m
Building Cloud Dataflow Pipelines in code3m
Key considerations with designing pipelines2m
Transforming data with PTransforms3m
Lab: Building a Simple Dataflow Pipeline17
Aggregating with GroupByKey and Combine7m
Lab: MapReduce in Cloud Dataflow18
Side Inputs and Windows of data4m
Lab: Practicing Pipeline Side Inputs11
Creating and re-using Pipeline Templates3m
Cloud Dataflow SQL pipelines3m
1개 연습문제
Data Processing with Cloud Dataflow30m
완료하는 데 4분 필요
Summary
This module reviews the topics covered in this course
완료하는 데 4분 필요
1개 동영상 (총 4분)
1개의 동영상
검토
4.5
BUILDING BATCH DATA PIPELINES ON GCP의 최상위 리뷰
SP 제공Feb 6, 2020
There were too many labs with services that take 30-40 minutes just to spin up. I wouldn't have a problem with all the labs if the services took 2-5 minutes to spin up.
RR 제공Feb 11, 2020
More teaching should be focused on how to build the python file of each task, rather than ready for us to run.
NN 제공Mar 23, 2020
A lot of useful knowledge being acquired in a short time
자주 묻는 질문
등록 전에 강좌를 미리 볼 수 있나요?
예. 등록하기 전에 첫 번째 비디오를 미리 보고 강의 계획을 검토할 수 있습니다. 미리 보기에 포함되지 않은 콘텐츠를 이용하려면 강좌를 구매해야 합니다.
강의 및 과제를 언제 이용할 수 있게 되나요?
세션 시작일 전에 강좌에 등록하면 해당 강좌의 모든 강의 비디오 및 읽기 자료에 접근할 수 있습니다. 수업이 시작되면 과제를 제출할 수 있습니다.
등록하면 무엇을 이용할 수 있나요?
등록 후 세션이 시작되면 읽기 자료 항목 및 강좌 토론 포럼을 포함하여 모든 비디오와 기타 리소스를 이용할 수 있습니다. 연습 평가를 보고 제출하며 필요한 성적 평가 과제를 완료하여 성적을 받고 강좌 수료증을 취득할 수 있습니다.
강좌 수료증을 언제 받게 되나요?
강좌를 성공적으로 수료하면 전자 강좌 수료증이 성취도 페이지에 추가됩니다. 해당 페이지에서 강좌 수료증을 인쇄하거나 LinkedIn 프로필에 수료증을 추가할 수 있습니다.
이 강좌를 청강할 수 없는 이유는 무엇인가요?
이 강좌는 현재 Coursera에서 수업료를 결제했거나 재정 지원(해당하는 경우)을 받은 학습자만 이용할 수 있는 강좌입니다.
환불 규정은 어떻게 되나요?
궁금한 점이 더 있으신가요? 학습자 도움말 센터를 방문해 보세요.
