Public : Développeurs, DevOps, Administrateurs système ou toute personne souhaitant automatiser des workflows
Durée : 2 jour(s)
Pré-requis : Notions de base en Python - Maitrise des concepts de workflows et pipelines de données
Objectifs : Comprendre et configurer les workflows avec Apache Airflow - Créer, optimiser et superviser des DAGs complexes - Intégrer Airflow dans un environnement de production sécurisé - Utiliser les meilleures pratiques pour garantir des workflows robustes et maintenables
Sanction : Attestation de fin de formation mentionnant le résultat des acquis
Taux de retour à l’emploi : Aucune donnée disponible
Référence : OUT102361-F
Accessibilité : Si vous êtes en situation de handicap, nous sommes en mesure de vous accueillir, n'hésitez pas à nous contacter à referenthandicap@dawan.fr, nous étudierons ensemble vos besoins
Contact : commercial@dawan.fr
1 775,00 € HT
Historique et rôle d'Apache Airflow dans l'orchestration de workflows
Comparaison avec d’autres orchestrateurs : Apache NiFi, Luigi, etc.
Cas d’utilisation courants (ETL, automatisation des processus, etc.)
Composants principaux : Scheduler, Webserver, Metadata Database, Worker
Flux de travail interne (DAGs et Tasks)
Installation et configuration de base (Airflow CLI et configuration initiale)
Structure d’un DAG : définition et configuration
Comprendre les opérateurs : BashOperator, PythonOperator, DummyOperator
Programmation d’un premier DAG simple
Gestion des dépendances entre tâches
Définition de schémas d’exécution (sequential, parallel, etc.)
Gestion du scheduling avec cron et intervalles de temps (TimeDelta, catchup, etc.)
Exploration des fonctionnalités clés : Gantt chart, log des tâches, exécution manuelle
Résolution des erreurs et gestion des retards
Atelier Pratique : Création d’un DAG avec des opérateurs multiples
Développement d’opérateurs personnalisés (PythonOperator avancé)
Utilisation d’opérateurs préconstruits : BranchPythonOperator, SubDagOperator
Introduction aux Sensors pour surveiller des événements (FileSensor, ExternalTaskSensor)
Transfert de données entre tâches via XComs
Meilleures pratiques pour limiter les erreurs
Connexions avec des bases de données (Postgres, MySQL, etc.)
Intégration avec des outils cloud (AWS, GCP, Azure)
Configuration avancée : pools, SLA et gestion des priorités
Mise en place de la haute disponibilité
Stratégies de monitoring et alertes
Structuration des DAGs pour la maintenabilité
Debugging et optimisation des workflows
Gestion des versions et migration
Ateliers pratiques :
Pour suivre une session à distance depuis l'un de nos centres, contactez-nous.
Aucune date de programmée actuellement. Pour plus d'information sur les prochaines sessions, nous vous invitons à joindre le service commercial par téléphone au 02/318.50.01 (prix d'un appel local) ou depuis notre formulaire de contact.