AWS re:Invent Jour 5 : tout sur l’édition 2023

GenAI omniprésente et annonce d’une solution d’IA responsable

La cinquième et dernière journée de l’AWS Re:Invent 2023 s’est conclue par des sessions d’approfondissement de certaines des nouveautés annoncées cette semaine. Deep Dive sur trois d’entre elles…

1. Amazon Q, le nouveau compagnon de productivité d’AWS

L’ère numérique actuelle est marquée par une quête incessante de gains de productivité, et les technologies d’intelligence artificielle générative (AI Gen) se placent au cœur de cette transformation. Selon une étude de McKinsey, jusqu’à 25 % de nos activités quotidiennes pourraient être automatisées, libérant ainsi jusqu’à deux heures par jour pour chaque employé. Cela concerne une multitude de domaines, y compris le marketing, la R&D, l’analyse financière et le support technique.

Cependant, l’adoption de l’AI Gen n’est pas sans défis. La précision des réponses, la confiance dans les sources et les citations, la sécurité des données et le contrôle d’accès sont des préoccupations majeures. De plus, il est essentiel de démontrer rapidement la valeur ajoutée de ces technologies.

C’est dans ce contexte qu’Amazon a développé Q, un assistant AI Gen qui s’adapte spécifiquement aux besoins des entreprises en matière de données, de code et d’opérations. Amazon Q est applicable dans une vaste gamme de scénarios, agissant à la fois comme un compagnon polyvalent pour les entreprises (façon GPT), ou encore comme aide à la mise en œuvre des services AWS (Q est par exemple intégré dans des outils comme Glue ou QuickSight).

Mais ce qui est très fort avec Q c’est la simplicité d’enrichissement avec les données d’entreprises pour les interroger au travers de l’outil (grâce à la technique du RAG).

Ainsi, Q se connecte à plus de 40 sources de données avec ingestion intégrée et indexation vectorielle. Les cas d’utilisation typiques comprennent la recherche d’informations stockées dans SharePoint, Confluence, Salesforce et des wikis internes, l’accélération de la création de contenu, la synthèse de documents et l’extraction d’insights pour comparaison. Quant aux caractéristiques clés d’Amazon Q, elles incluent des interfaces conversationnelles, l’exécution d’actions via des plugins et des mesures de sécurité et de sûreté robustes, telles que la prévention de la toxicité et l’application de la sécurité d’entreprise sur des données propres, indexées au travers de la technique du RAG.

Un exemple concret est l’intégration d’Amazon Q dans Slack, où il suffit de mentionner @AmazonQ pour démarrer une conversation avec l’assistant. Des démos pratiques montrent également comment créer une application et ajouter des données depuis S3, soulignant la facilité d’utilisation et l’efficacité de Q dans la gestion des données d’entreprise.

En résumé, Amazon Q représente un pas de géant vers l’automatisation intelligente et sûre dans l’entreprise, promettant non seulement des gains de productivité substantiels mais aussi une meilleure gestion des données d’entreprise.

2. L’intégration de données simplifiée et augmentée avec la GenAI

AWS propose depuis de nombreuses années Amazon Glue, un service Serverless d’intégration de données de type ETL permettant de développer et d’exécuter des jobs en PySpark ou Scala, essentiellement destiné donc à des populations de Big Data Engineers. Depuis quelques années, un outil graphique nommé Glue Studio avait fait sont apparition, avec pour vocation d’offrir une expérience plus intuitive de type drag & drop aux développeurs (inspirée des outils de self-ETL du marché) afin de leur permettre de créer des jobs d’extraction et de transformation de données plus rapidement.

Toutefois, la gestion des connecteurs à des données sources externes demeuraient complexe avec Glue, et ralentissait significativement le Time to Data pour de nouvelles sources de données. AWS vient donc d’annoncer la disponibilité de connecteurs Glue natifs pour les principales sources de données Cloud ou on premises du marché (parmi lesquelles Snowflake, Azures CosmosDB et SQL DB, GCP BigQuery, SAP Hana, Teradata, Oracle, SQL Server…) afin de simplifier significativement la connexion des jobs Glue à ces sources. Les connexions à ces sources de données se configurent à présent simplement au travers de quelques écrans en fournissant les paramètres requis.

Pour compléter sa suite d’intégration des données, AWS avait par ailleurs introduit en août dernier Glue Data Quality, une solution Serverless conçue pour définir et exécuter des règles de qualité sur les données en s’appuyant sur une centaine de fonctions intégrées (test d’unicité, de non-nullité, d’intégrité référentielle, de décompte de lignes, calcul d’entropie, etc.) et du langage structuré DQDL (Data Quality Definition Language) qui permet de combiner ce règles de manière intuitive pour en élaborer de plus complexes.

Là aussi, AWS enrichit sont outil en introduisant des règles dynamiques, c’est à dire dont les seuils / valeurs de comparaison ne sont plus statiques mais calculés, et généralement indexés sur la valeur historique des données elles-mêmes. Cela contribue à réduire voire supprimer le temps nécessaire aux développeurs pour ajuster pour ajuster ces valeurs seuils au fur et à mesure de l’évolution des données. AWS a également annoncé la disponibilité d’une fonctionnalité de détection d’anomalies parmi les données, qui s’appuie sur des algorithmes de Machine Learning pour calculer et analyser des statistiques sur les données, générer des observations sur de potentiels problèmes de qualité de données ou des patterns de données difficiles à détecter ou anticiper, et générer les règles correspondantes pour superviser de manière continue leur évolution dans le temps.

Enfin, l’IA générative fait également son apparition dans Glue avec l’intégration d’Amazon CodeWhisperer dans les Notebooks de Glue Studio, capable de générer le code Spark correspondant à un traitement décrit en langage naturel (ex. Write Spark DataFrame into Redshift »), et d’Amazon Q capable de générer des jobs complets d’intégration à partir d’une phrase descriptive, mais également de corriger certaines erreurs ou encore de répondre instantanément aux questions du développeurs via un chat intégré comme le ferait un SME (Subject Matter Expert).