Data pipelines typically fall under one of the Extra-Load, Extract-Load-Transform or Extract-Transform-Load paradigms. This course describes which paradigm should be used and when for batch data. Furthermore, this course covers several technologies on Google Cloud for data transformation including BigQuery, executing Spark on Dataproc, pipeline graphs in Cloud Data Fusion and serverless data processing with Dataflow. Learners will get hands-on experience building data pipeline components on Google Cloud using Qwiklabs.
제공자:
Google 클라우드이 강좌에 대하여
최근 조회 64,571회
유연한 마감일
일정에 따라 마감일을 재설정합니다.
공유 가능한 수료증
완료 시 수료증 획득
100% 온라인
지금 바로 시작해 나만의 일정에 따라 학습을 진행하세요.
중급 단계
완료하는 데 약 17시간 필요
영어
자막: 영어
배울 내용
Review different methods of data loading: EL, ELT and ETL and when to use what
Run Hadoop on Dataproc, leverage Cloud Storage, and optimize Dataproc jobs
Use Dataflow to build your data processing pipelines
Manage data pipelines with Data Fusion and Cloud Composer
유연한 마감일
일정에 따라 마감일을 재설정합니다.
공유 가능한 수료증
완료 시 수료증 획득
100% 온라인
지금 바로 시작해 나만의 일정에 따라 학습을 진행하세요.
중급 단계
완료하는 데 약 17시간 필요
영어
자막: 영어
제공자:
Google 클라우드
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
강의 계획표 - 이 강좌에서 배울 내용
완료하는 데 1분 필요
Introduction
In this module, we introduce the course and agenda
완료하는 데 1분 필요
1개 동영상 (총 1분)
완료하는 데 23분 필요
Introduction to Building Batch Data Pipelines
This module reviews different methods of data loading: EL, ELT and ETL and when to use what
완료하는 데 23분 필요
6개 동영상 (총 21분)
완료하는 데 2시간 필요
Executing Spark on Dataproc
This module shows how to run Hadoop on Dataproc, how to leverage Cloud Storage, and how to optimize your Dataproc jobs.
완료하는 데 2시간 필요
11개 동영상 (총 48분)
완료하는 데 10시간 필요
Serverless Data Processing with Dataflow
This module covers using Dataflow to build your data processing pipelines
완료하는 데 10시간 필요
14개 동영상 (총 36분), 1 개의 읽기 자료, 7 개의 테스트
검토
- 5 stars64.67%
- 4 stars26.57%
- 3 stars6.29%
- 2 stars1.59%
- 1 star0.86%
BUILDING BATCH DATA PIPELINES ON GCP의 최상위 리뷰
YC 제공2020년 12월 1일
It would be great if there can be a walkthrough for the lab session to check if the answers for interpreting the code are correct.
EJ 제공2020년 5월 22일
Some parts of the course where not explained in full detail, especially some qwuick labs where questions were not tested or even provided with answers
HM 제공2020년 5월 4일
Thank you very much the team. Course content and materials are at the higher appreciation level. really enjoyed and satisfied.
NG 제공2020년 6월 13일
Good course covering Dataproc, Dataflow, Dataprep and the labs ofcourse.. great way to get introduced to batch data pipelines in GCP.
자주 묻는 질문
등록 전에 강좌를 미리 볼 수 있나요?
강의 및 과제를 언제 이용할 수 있게 되나요?
등록하면 무엇을 이용할 수 있나요?
강좌 수료증을 언제 받게 되나요?
궁금한 점이 더 있으신가요? 학습자 도움말 센터를 방문해 보세요.
