De forma geral, os pipelines de dados se enquadram em um dos seguintes modelos: extrair-carregar, extrair-carregar-transformar ou extrair-transformar-carregar. Neste curso, descrevemos qual modelo deve ser usado e quando usá-lo para os dados em lote. Também tratamos de diversas tecnologias de transformação de dados disponíveis no Google Cloud Platform, como o BigQuery, a execução do Spark no Cloud Dataproc, os gráficos de pipeline no Cloud Data Fusion e o processamento de dados sem servidor com o Cloud Dataflow. Na atividade prática do Qwiklabs, os participantes criarão componentes de pipeline de dados no Google Cloud Platform.
이 강좌에 대하여
공유 가능한 수료증
완료 시 수료증 획득
100% 온라인
지금 바로 시작해 나만의 일정에 따라 학습을 진행하세요.
다음 특화 과정의 5개 강좌 중 3번째 강좌:
유동적 마감일
일정에 따라 마감일을 재설정합니다.
중급 단계
완료하는 데 약 13시간 필요
포르투갈어 (브라질)
자막: 포르투갈어 (브라질), 영어
공유 가능한 수료증
완료 시 수료증 획득
100% 온라인
지금 바로 시작해 나만의 일정에 따라 학습을 진행하세요.
다음 특화 과정의 5개 강좌 중 3번째 강좌:
유동적 마감일
일정에 따라 마감일을 재설정합니다.
중급 단계
완료하는 데 약 13시간 필요
포르투갈어 (브라질)
자막: 포르투갈어 (브라질), 영어
제공자:
Google 클라우드
We help millions of organizations empower their employees, serve their customers, and build what’s next for their businesses with innovative technology created in—and for—the cloud. Our products are engineered for security, reliability, and scalability, running the full stack from infrastructure to applications to devices and hardware. Our teams are dedicated to helping customers apply our technologies to create success.
강의 계획 - 이 강좌에서 배울 내용
완료하는 데 6분 필요
Introdução
Neste módulo, apresentaremos o curso e a programação
완료하는 데 6분 필요
2개 동영상 (총 6분)
완료하는 데 1시간 필요
Introdução aos pipelines de dados em lote
Neste módulo, falaremos sobre os diferentes métodos de carregamento de dados: EL, ELT e ETL, e quando usar cada um deles
완료하는 데 1시간 필요
5개 동영상 (총 18분)
5개의 동영상
Considerações sobre qualidade1m
Como fazer operações no BigQuery3m
Limitações3m
ETL para solucionar problemas de qualidade de dados4m
1개 연습문제
EL, ELT, ETL30m
완료하는 데 2시간 필요
Como executar o Spark no Cloud Dataproc
Neste módulo, mostraremos como executar o Hadoop no Cloud Dataproc, como usar o GCS e como otimizar seus jobs do Dataproc
완료하는 데 2시간 필요
9개 동영상 (총 49분)
9개의 동영상
Como executar o Hadoop no Cloud Dataproc10m
GCS em vez do HDFS6m
Como otimizar o Dataproc5m
Como otimizar o armazenamento do Dataproc9m
Como otimizar os modelos e o escalonamento automático do Dataproc4m
Como otimizar o monitoramento do Dataproc3m
Introdução ao laboratório: Como executar jobs do Apache Spark no Cloud Dataproc27
Resumo31
1개 연습문제
Como executar o Spark no Cloud Dataproc4m
완료하는 데 3시간 필요
Gerencie pipelines de dados com o Cloud Data Fusion e o Cloud Composer
Neste módulo, mostraremos como gerenciar pipelines de dados com o Cloud Data Fusion e o Cloud Composer.
완료하는 데 3시간 필요
11개 동영상 (총 45분)
11개의 동영상
Componentes do Data Fusion2m
Como criar pipelines6m
Como analisar dados usando o Wrangler1m
Laboratório: Como criar e executar um gráfico de pipeline no Cloud Data Fusion17
Como orquestrar o trabalho entre os serviços do GCP com o Cloud Composer1m
Ambiente do Apache Airflow1m
DAGs e operadores12m
Como programar o fluxo de trabalho6m
Monitoramento e registro4m
Laboratório: Introdução ao Cloud Composer12
1개 연습문제
Cloud Data Fusion e Cloud Composer30m
완료하는 데 7시간 필요
Processamento de dados sem servidor com o Cloud Dataflow
Neste módulo, explicaremos como usar o Cloud Dataflow para criar pipelines de processamento de dados
완료하는 데 7시간 필요
12개 동영상 (총 40분)
12개의 동영상
Por que os clientes valorizam o Dataflow3m
Como criar pipelines do Cloud Dataflow em código3m
Principais considerações no design de pipelines2m
Como transformar dados com PTransforms3m
Laboratório: Como criar um pipeline simples do Dataflow17
Como agregar com GroupByKey e Combine7m
Laboratório: MapReduce no Cloud Dataflow18
Entradas secundárias e janelas de dados4m
Laboratório: Prática de entradas secundárias de pipelines11
Como criar e reutilizar modelos de pipeline3m
Pipelines de SQL do Cloud Dataflow3m
1개 연습문제
Processamento de dados com o Cloud Dataflow30m
완료하는 데 4분 필요
Resumo
Neste módulo, revisaremos os temas abordados no curso
완료하는 데 4분 필요
1개 동영상 (총 4분)
1개의 동영상
Data Engineer, Big Data and ML on Google Cloud em Português 특화 과정 정보
Nesta especialização on-line intensiva de cinco semanas, os participantes terão uma introdução prática sobre como projetar e criar sistemas de processamento de dados no Google Cloud Platform. Por meio de uma combinação de apresentações, demonstrações e laboratórios práticos, os participantes aprenderão a projetar sistemas de processamento de dados, criar canais completos e análises de dados e desenvolver soluções de aprendizado de máquina. Neste curso, abordamos dados estruturados, não estruturados e de streaming.
Neste curso, os participantes irão adquirir as seguintes habilidades:
• projetar e criar sistemas de processamento de dados no Google Cloud Platform
• usar dados não estruturados com as APIs do Spark e de aprendizado de máquina no Cloud Dataproc
• processar dados em lote e streaming com a implementação de canais de dados de escalonamento automático no Cloud Dataflow
• derivar insights de negócios a partir de conjuntos de dados extremamente grandes usando o Google BigQuery
• treinar, avaliar e prever com modelos de aprendizado de máquina usando o TensorFlow e o Cloud ML
• ativar insights instantâneos dos dados de streaming
Esta aula destina-se a desenvolvedores experientes responsáveis pelo gerenciamento de transformações de Big Data.
>>> Ao se inscrever nesta especialização, você concorda com os Termos de Serviço do Qwiklabs conforme estabelecido na seção de perguntas frequentes. Veja os Termos de Serviço aqui: https://qwiklabs.com/terms_of_service <<<
자주 묻는 질문
등록 전에 강좌를 미리 볼 수 있나요?
예. 등록하기 전에 첫 번째 비디오를 미리 보고 강의 계획을 검토할 수 있습니다. 미리 보기에 포함되지 않은 콘텐츠를 이용하려면 강좌를 구매해야 합니다.
강의 및 과제를 언제 이용할 수 있게 되나요?
세션 시작일 전에 강좌에 등록하면 해당 강좌의 모든 강의 비디오 및 읽기 자료에 접근할 수 있습니다. 수업이 시작되면 과제를 제출할 수 있습니다.
등록하면 무엇을 이용할 수 있나요?
등록 후 세션이 시작되면 읽기 자료 항목 및 강좌 토론 포럼을 포함하여 모든 비디오와 기타 리소스를 이용할 수 있습니다. 연습 평가를 보고 제출하며 필요한 성적 평가 과제를 완료하여 성적을 받고 강좌 수료증을 취득할 수 있습니다.
강좌 수료증을 언제 받게 되나요?
강좌를 성공적으로 수료하면 전자 강좌 수료증이 성취도 페이지에 추가됩니다. 해당 페이지에서 강좌 수료증을 인쇄하거나 LinkedIn 프로필에 수료증을 추가할 수 있습니다.
이 강좌를 청강할 수 없는 이유는 무엇인가요?
이 강좌는 현재 Coursera에서 수업료를 결제했거나 재정 지원(해당하는 경우)을 받은 학습자만 이용할 수 있는 강좌입니다.
What is the refund policy?
구독하는 경우, 취소해도 요금이 청구되지 않는 7일간의 무료 평가판을 이용할 수 있습니다. 해당 기간이 지난 후에는 환불이 되지 않지만, 언제든 구독을 취소할 수 있습니다. 전체 환불 정책 보기.
Is financial aid available?
예, Coursera에서는 수업료를 낼 수 없는 학습자를 위해 재정 지원을 제공합니다. 왼쪽에 있는 등록 버튼 아래 재정 지원 링크를 클릭하면 지원할 수 있습니다. 신청서를 작성하라는 메시지가 표시되며 승인되면 알림을 받습니다. 성취 프로젝트를 포함하여 전문 분야의 각 강좌에서 이 단계를 완료해야 합니다. 자세히 알아보기.
강좌를 수료하면 대학 학점을 받을 수 있나요?
이 강좌는 대학 학점을 제공하지 않지만, 일부 대학에서 선택적으로 강좌 수료증을 학점으로 인정할 수도 있습니다. 자세한 내용은 해당 기관에 문의하세요. Coursera의 온라인 학위 및 Mastertrack™ 수료증은 대학 학점을 취득할 기회를 제공합니다.
궁금한 점이 더 있으신가요? 학습자 도움말 센터를 방문해 보세요.
