When will I receive my Course Certificate?

If you complete the course successfully, your electronic Course Certificate will be added to your Accomplishments page - from there, you can print your Course Certificate or add it to your LinkedIn profile.

Why can’t I audit this course?

This course is currently available only to learners who have paid or received financial aid, when available.

Is financial aid available?

Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.

Créer des pipelines de données en batch sur Google Cloud

This course is part of Data Engineer, Big Data and ML on Google Cloud en Français Specialization

Instructor: Google Cloud Training

Included with

Learn more

4 modules

Gain insight into a topic and learn the fundamentals.

Intermediate level

Some related experience required

9 hours to complete

Flexible schedule

Learn at your own pace

4 modules

Gain insight into a topic and learn the fundamentals.

Intermediate level

Some related experience required

9 hours to complete

Flexible schedule

Learn at your own pace

What you'll learn

Déterminer si les pipelines de données en batch constituent le choix approprié pour votre cas d'utilisation
Concevoir et créer des pipelines de données en batch évolutifs pour l'ingestion et la transformation de volumes importants de données
Implémenter des contrôles de qualité des données dans les pipelines en batch pour assurer l'intégrité des données
Orchestrer, gérer et surveiller les workflows de pipeline de données en batch, en implémentant la gestion des exceptions et l'observabilité

Skills you'll gain

Tools you'll learn

Apache Spark

Details to know

Shareable certificate

Add to your LinkedIn profile

Assessments

5 assignments

Taught in French

See how employees at top companies are mastering in-demand skills

Learn more about Coursera for Business

logos of Petrobras, TATA, Danone, Capgemini, P&G and L'Oreal

Build your subject-matter expertise

This course is part of the Data Engineer, Big Data and ML on Google Cloud en Français Specialization

When you enroll in this course, you'll also be enrolled in this Specialization.

Learn new concepts from industry experts
Gain a foundational understanding of a subject or tool
Develop job-relevant skills with hands-on projects
Earn a shareable career certificate

There are 4 modules in this course

Dans ce cours de niveau intermédiaire, vous apprendrez à concevoir, créer et optimiser des pipelines de données en batch robustes sur Google Cloud. Au-delà des bases de la gestion des données, vous explorerez les transformations de données à grande échelle et l'orchestration efficace des workflows, essentielles pour l'informatique décisionnelle et les rapports critiques.

Vous vous entraînerez à utiliser Dataflow pour Apache Beam et Serverless pour Apache Spark (Dataproc Serverless) pour l'implémentation, et vous aborderez des considérations importantes concernant la qualité des données, la surveillance et les alertes pour assurer la fiabilité des pipelines et l'excellence opérationnelle. Il est recommandé d'avoir des connaissances de base sur l'entreposage de données, les processus ETL/ELT, SQL, Python et les concepts de Google Cloud.

Vous découvrirez le rôle essentiel de l'ingénieur de données dans le développement et la maintenance de pipelines de données en batch, comprendrez leurs composants de base et leur cycle de vie, et analyserez les difficultés courantes liées au traitement des données par lot. Vous identifierez également les principaux services Google Cloud qui permettent de relever ces défis.

What's included

1 assignment2 plugins

Vous allez concevoir des pipelines de données en batch évolutifs pour l'ingestion et la transformation de grands volumes de données. Vous apprendrez également à optimiser les jobs par lot pour obtenir un débit élevé et une meilleure rentabilité à l'aide de diverses techniques de gestion des ressources et d'optimisation des performances.

What's included

1 assignment2 app items6 plugins

1 assignment Total 8 minutes

Quiz du module 2 : Conception et transformations 8 minutes

2 app items Total 105 minutes

Atelier : Créer un pipeline de données en batch simple avec Serverless pour Apache Spark 45 minutes
Atelier : Créer un pipeline de données en batch simple avec l'UI du générateur de jobs Dataflow 60 minutes

6 plugins Total 90 minutes

Concevoir des pipelines en batch 15 minutes
Transformations de données à grande échelle 15 minutes
Dataflow et Serverless pour Apache Spark 15 minutes
Connexions des données et orchestration 15 minutes
Exécuter un pipeline Apache Spark 15 minutes
Optimiser les performances du pipeline en batch 15 minutes

Vous allez développer des règles de validation des données et une logique de nettoyage pour assurer la qualité des données dans les pipelines en batch. Vous implémenterez également des stratégies pour gérer l'évolution des schémas et dédupliquer les données dans de grands ensembles de données.

What's included

1 assignment1 app item6 plugins

1 assignment Total 8 minutes

Quiz du module 3 : Validation des données et évolution des schémas 8 minutes

1 app item Total 90 minutes

Atelier : Valider la qualité des données dans un pipeline en batch avec Serverless pour Apache Spark 90 minutes

6 plugins Total 90 minutes

Validation et nettoyage des données par lot 15 minutes
Enregistrer et analyser les exceptions 15 minutes
Évolution des schémas pour les pipelines en batch 15 minutes
Intégrité et duplication des données 15 minutes
Déduplication avec Serverless pour Apache Spark 15 minutes
Déduplication avec Dataflow 15 minutes

Vous orchestrerez des workflows de pipeline de données en batch complexes pour planifier de manière efficace et suivre la traçabilité. Vous implémenterez également une gestion des exceptions, une surveillance et une observabilité robustes pour les pipelines de données en batch.

What's included

2 assignments1 app item6 plugins

2 assignments Total 16 minutes

Quiz du module 4 : Orchestrations et DAG 8 minutes
Quiz du module 4 : Observabilité 8 minutes

1 app item Total 9 minutes

Atelier : Créer des pipelines en batch dans Cloud Data Fusion 9 minutes

6 plugins Total 90 minutes

Orchestration pour le traitement par lot 15 minutes
Cloud Composer 15 minutes
Observabilité unifiée 15 minutes
Alertes et dépannage 15 minutes
Gestion visuelle des pipelines 15 minutes
Félicitations : résumé du cours 15 minutes

Earn a career certificate

Add this credential to your LinkedIn profile, resume, or CV. Share it on social media and in your performance review.

Instructor

Google Cloud Training

Google Cloud

2,106 Courses 3,991,944 learners

Offered by

Google Cloud

Explore more from Cloud Computing

Google Cloud
Build Batch Data Pipelines on Google Cloud
Course
Google Cloud
Serverless Data Processing with Dataflow
Specialization
Google Cloud
Google Kubernetes Engine Pipeline using Cloud Build
Project

Why people choose Coursera for their career

Felipe M.

Learner since 2018

"To be able to take courses at my own pace and rhythm has been an amazing experience. I can learn whenever it fits my schedule and mood."

Jennifer J.

Learner since 2020

"I directly applied the concepts and skills I learned from my courses to an exciting new project at work."

Larry W.

Learner since 2021

"When I need courses on topics that my university doesn't offer, Coursera is one of the best places to go."

Chaitanya A.

"Learning isn't just about being better at your job: it's so much more than that. Coursera allows me to learn without limits."

Open new doors with Coursera Plus

Unlimited access to 10,000+ world-class courses, hands-on projects, and job-ready certificate programs - all included in your subscription

Learn more

Advance your career with an online degree

Earn a degree from world-class universities - 100% online

Explore degrees

Join over 3,400 global companies that choose Coursera for Business

Upskill your employees to excel in the digital economy

Learn more

Frequently asked questions

Yes, you can preview the first video and view the syllabus before you enroll. You must purchase the course to access content not included in the preview.

If you decide to enroll in the course before the session start date, you will have access to all of the lecture videos and readings for the course. You’ll be able to submit assignments once the session starts.

Once you enroll and your session begins, you will have access to all videos and other resources, including reading items and the course discussion forum. You’ll be able to view and submit practice assessments, and complete required graded assignments to earn a grade and a Course Certificate.