Exploitez la puissance de l’IA générative d’entreprise avec le LLMOps et d’autres facteurs clés

Par : Naveen Kamat et Dennis Perpetua

Cet article a été rédigé par un être humain. Il y a un an, une telle déclaration aurait été inutile, voire pédante, mais avec l’avènement de l’IA, est-elle devenue nécessaire ?

Les attentes concernant l’utilisation de l’IA générative en entreprise sont optimistes. Les dépenses des entreprises en solutions d'IA générative devraient atteindre 143 milliards de dollars d'ici 2027^{.1 L} 'étude McKinsey prévoit que l'IA générative ajoutera chaque année l'équivalent de 2,6 à 4,4 billions de dollars à l'économie mondiale^.2 Les entreprises désireuses de se lancer sont confrontées à la même question : quelle valeur réelle cela va-t-il représenter pour les clients, les employés et les actionnaires ?

Pour libérer toute la puissance de l’IA générative, nous suggérons aux entreprises de se concentrer sur ces quatre piliers :

1. Créer un socle de données solide
2. Tirer parti du LLMOps (Large Language Model Operations)
3. Gérer le risque du Shadow AI
4. Choisissez les bons cas d'utilisation

Créer un socle de données solide

Que vous envisagiez de peaufiner un grand modèle de langage (LLM) existant, comme le GPT-3.5 Turbo d’OpenAI ou le LaMDA de Google, ou que vous souhaitiez créer votre propre modèle de fondation, une bonne stratégie en matière de données est essentielle. Une bonne architecture de données est essentielle pour accélérer les résultats et pour mettre l’ère de l’IA sur les rails. La solution d’IA générative d’entreprise que vous choisirez devra pouvoir accéder aux données en temps réel, aux magasins de documents organisés ou aux bases de données vectorielles, et fonctionner dans le cadre de contrôles d’accès et de protocoles établis pour garantir le respect des réglementations.

Premières étapes : la mise en place d’une data fabric dans l’ensemble de votre environnement numérique et l’établissement d’une bonne gouvernance des données. La qualité des IA génératives dépend des données sur lesquelles elles s’appuient : une étiquette erronée ou un cas de dérive du modèle peuvent provoquer des hallucinations, des erreurs ou simplement de mauvais résultats. À partir de là, vous devrez effectuer des ajustements architecturaux propres à l’IA générative pour les entreprises : conception de modèles ou de séquences de prompts, génération augmentée de récupération ou réglage des paramètres du modèle pour obtenir les résultats les plus pertinents et optimaux.

La désidentification ou l’anonymisation des données pour protéger les données à caractère personnel ou les informations personnelles sensibles consommées par les LLM peuvent être un facteur clé en termes de gouvernance des données.

Les obstacles liés à l’établissement du socle de données ne sont pas insurmontables, mais ils nécessiteront la mise en place d’une stratégie. Agrémenter votre infrastructure technologique de solutions d’IA génératives sans modifier votre stratégie en matière de données vous mènera assurément à des dépassements de coûts, des problèmes de conformité, etc.

Cas d’utilisation : socle de données et recherches SQL

Dans le cas d’un service client, les demandes ad hoc de rapports de bases de données SQL (Structured Query Language) peuvent prendre beaucoup de temps pour les équipes de ce département. En effet, des centaines de rapports mensuels doivent être remplis, et nombre de rapports individuels demandent des heures de traitement. De plus, beaucoup de demandes au service client obligent les agents à parcourir des tonnes de guides d’utilisation et de documentation pour trouver une solution.

Un assistant de service client basé sur l’IA générative entraîné à partir de la base de données SQL et des guides d’utilisation d’une entreprise peut convertir les questions posées en langage naturel en requêtes SQL, exécuter les requêtes, puis retraduire les résultats en langage naturel pour une meilleure compréhension. Ce processus peut également être appliqué à toute une bibliothèque de guides utilisateur, pour des recherches accélérées et des réponses rapides aux questions des clients.

Tirer parti du LLMOps (Large Language Model Operations)

Une fois votre socle de données établi, vous devrez ensuite :

• Définir quels modèles de fondation seront adaptés à vos besoins
• Configurer des modèles ou des séquences de prompts pour vos LLM
• Configurer des magasins de vecteurs
• Introduire des garde-fous pour une IA responsable

L’architecture, les politiques et les procédures régissant cet ensemble de travaux sont regroupées sous l’appellation LLMOps. Le LLMOps couvre l’ensemble du cycle de vie de l’IA générative : conformité, sécurité, dérive, biais, ingénierie de prompt et bien plus encore.

L’entraînement des LLM requiert de grands pools de données. L’un des défis est que si la plupart des données de formation sont en anglais, les modèles peuvent par inadvertance adopter des points de vue occidentaux. Les biais dans les données utilisées pour l’IA générative peuvent également prendre d’autres formes : imaginez que vous utilisez un bot de service client entraîné uniquement à partir des voix de personnes provenant du nord-est des États-Unis pour répondre aux appels des clients du sud de l’Angleterre. Il pourrait avoir des difficultés à interpréter les dialectes régionaux.

Le contexte peut lui aussi poser des problèmes d’interprétation. La phrase « L’accès à mon bureau est verrouillé » peut avoir une signification différente pour l’agent de sécurité d’un immeuble et pour un agent du service clientèle de Microsoft. Une solution d’IA générative d’entreprise pourrait ne pas être en mesure d’interpréter l’intention des utilisateurs.

Un framework LLMOps permet d’utiliser l’IA de manière efficace, optimale et responsable, à la fois pour améliorer les résultats et pour protéger l’organisation et ses utilisateurs contre ses dangers potentiels.

Cas d’utilisation : LLMops, contexte et feedback des clients

Une solide stratégie LLMops, soutenue par des techniques telles que la génération augmentée de récupération, peut donner à l’IA générative le contexte spécifique, culturel et situationnel dont elle a besoin pour améliorer l’expérience client.

Prenons l’exemple d’un aéroport international en Inde, qui reçoit chaque mois des milliers d’avis et de commentaires sur les réseaux sociaux. Auparavant, les membres du personnel géraient et répondaient manuellement aux commentaires, un processus extrêmement chronophage. L’aéroport décide de créer une IA chargée de parcourir tous les réseaux sociaux à la recherche de commentaires clients et de les classer en fonction des sentiments exprimés (par exemple, satisfaction ou insatisfaction) et de leur intention (recherche d’informations ou recommandation). L’IA génère ensuite des réponses adaptées à chacun de ces commentaires, passées en revue par les responsables avant leur déploiement. Grâce à cette solution, l’aéroport dispose d’une nouvelle méthode efficace pour répondre aux interrogations des clients.

Gérer le risque du Shadow AI  

Aux débuts du cloud, il n’était pas rare que les équipes utilisent différentes plateformes pour stocker leurs documents et fichiers. Cette pratique, appliquée à tous les services, a créé un enchevêtrement de plates-formes virtuelles et des vulnérabilités en matière de sécurité.

Alors que les entreprises s'efforçaient de rationaliser le stockage dans le nuage, les pratiques de sécurité et les coûts, les employés continuaient à s'accrocher à leurs outils et plateformes préférés pour effectuer leur travail, créant ainsi une informatique en parallèle.

Les entreprises peuvent se prémunir contre une situation similaire d'IA "fantôme" en mettant en œuvre des politiques d'IA responsables qui évitent l'IA superflue et atténuent les risques de sécurité qui pourraient découler d'une utilisation non autorisée. Ces politiques doivent être suffisamment souples pour encourager l’innovation au sein des équipes tout en établissant des garde-fous clairs en matière de conformité et de normes éthiques.

La gestion des coûts s’applique également à une évaluation simple et directe des options. L’architecture d’une solution d’IA générative d’entreprise peut permettre d’obtenir des résultats similaires à ceux d’une autre, mais à un coût différent. Différentes techniques d’optimisation peuvent également être utilisées pour obtenir de meilleurs résultats avec une empreinte informatique bien moindre.

Choisissez les bons cas d'utilisation

Lors de l’identification des cas d’utilisation potentiels de l’IA générative dans votre entreprise, concentrez-vous sur les situations dans lesquelles ses capacités d’ingestion, d’analyse et de synthèse rapides apporteraient le plus de valeur aux clients, aux employés ou aux autres utilisateurs.

Évitez les cas d’utilisation susceptibles d’introduire de l’injustice et de la partialité, d’entraîner une non-conformité réglementaire ou de nuire à votre réputation. Choisissez les applications pouvant être mises en œuvre de manière rapide, fiable et économique. Commencez par des prototypes qui pourront être redimensionnés après la validation de principe. Déterminez comment vous mesurerez le retour sur investissement.

Voici quelques domaines à examiner pour exploiter tout le potentiel de l’IA générative en entreprise :

• Analyse des coûts pour l’optimisation
• Automatisation des tâches répétitives
• Examen des cas de support client pour identifier les tendances
• Personnalisation des expériences client

Cas d’utilisation : transcription et résumé

Les centres d’appel présentent un cas d’utilisation se prêtant particulièrement au recours à l’IA générative : créer avec l'IA des résumés sur des événements ayant lieu avec le support client. Une interaction type se produit avec le support client, et le contenu et le contexte de l’interaction sont capturés et analysés par l’IA.

L’IA génère ensuite un résumé de l’événement, que l’agent de support examine et vérifie. Ainsi, l’agent de support suivant peut consulter le dossier et aider l’utilisateur rapidement, et l’agent précédent passe moins de temps à récapituler l’appel.

Les chiffres le confirment et montrent qu’il existe une marge de croissance considérable. Selon une étude du Stanford Digital Economy Laboratory et de la MIT Sloan School of Management, les centres d’appel ont enregistré une augmentation de 13,8 % de leur productivité avec la mise en œuvre d’un assistant basé sur l’IA générative.³ En outre, la taille du marché de l’IA générative dans le service client devrait atteindre plus de 2,1 milliards de dollars en 2032.⁴

L’avenir de l’IA générative dans les entreprises commence à peine à s’écrire. Comme pour toute nouvelle technologie, les inquiétudes et les réserves sont nombreuses, mais avec une base solide, une stratégie proactive, une optimisation des coûts et des cas d’utilisation adaptés, elle est promise à un brillant avenir.

Naveen Kamat est vice-président et directeur technique des services Data and AI pour Kyndryl. Dennis Perpetua est vice-président et directeur technique des services Digital Workplace.

1 IDC prévoit que les dépenses consacrées aux solutions GenAI atteindront 143 milliards de dollars en 2027, soit un taux de croissance annuel composé de 73,3 % sur cinq ans. IDC. Octobre 2023 

2 Potentiel économique de l'IA générative, McKinsey, juin 2023 - IDC prévoit que les dépenses consacrées aux solutions GenAI atteindront 143 milliards de dollars en 2027, soit un taux de croissance annuel composé sur cinq ans de 73,3 %. IDC, octobre 2023

3 Mesurer l'impact de l'IA générative sur la productivité, National Bureau of Economic Research, juin 2023

4 L'IA générative sur le marché du service client vaudra environ 2 103 millions de dollars (USD) d'ici 2032, Enterprise Apps Today, mai 2023