AnalytiqueService régional
Kinesis
Permet d’ingérer, traiter et analyser des données en temps réel
Data streams
- Service bas niveau
- Contrôle complet sur l’ingestion et la consommation des flux
- Latence temps réel (millisecondes)
- Données stockées jusqu’à 365 jours
- Lecture parallèle possible par plusieurs consommateurs
- Scaling manuel ou automatisé via le nombre de shards
- Transformations personnalisées (Lambda, app custom)
- Cas d’utilisations : analyses en direct, détection d’anomalies, ingestion massive
Data Firehose
- Service managé (gestion automatique des consommateurs et du scaling)
- Latence quasi temps réel (~60 secondes)
- Pas de stockage persistant (stream éphémère)
- Envoi automatique vers certaines destinations : S3, Redshift, OpenSearch, Splunk, Datadog…
- Scaling et maintenance gérés par AWS
- Transformation des données possible via Lambda
- Monitoring intégré dans CloudWatch
- Cas d’utilisations : Centralisation de logs, pipelines de données analytiques, ingestion vers un Data Lake
Data analytics
- Analyse des données de streaming en SQL ou avec Apache Flink
- Transformations et agrégations en temps réel
- Intégration directe avec Kinesis Data Streams ou Firehose
- Auto scaling et haute disponibilité
- Pay-as-you-go : facturation selon le nombre de unités de traitement (KPU)
- Cas d’utilisations : Détection de fraudes, dashboards en temps réel, suivi de performance en continu
Comparatif
| Streams | Firehose | Analytics | |
|---|---|---|---|
| Latence | millisecondes | ~60 secondes | temps réel |
| Stockage | oui (1j 1 an) | non | non |
| Scaling | manuel (shards) | automatique | automatique |
| Transformation | custom / lambda | lambda | sql / flink |
| Destination | consommateurs customs | S3, redshift… | S3, firehose… |
| Complexité | élevée | faible | moyenne |
Sécurité