Débloquer le pouvoir de l'IA générative pour les entreprises avec LLMOps et d'autres clés

Par : Naveen Kamat et Dennis Perpetua

Cet article a été rédigé par un être humain. Il y a un an, une telle affirmation aurait été inutile, voire pédante, mais avec l'avènement de l'IA, est-elle devenue nécessaire ?

Les attentes quant à l'utilisation de l'IA générative dans les affaires sont optimistes. Les dépenses des entreprises en solutions d’IA génératives devraient atteindre 143 milliards $ d’ici 2027.^{1 Les} recherches de McKinsey prédisent que l’IA générative ajoutera l’équivalent de 2,6 à 4,4 billions $ à l’économie mondiale chaque année.² Les entreprises désireuses de se lancer sont confrontées à une question classique : comment cela générera-t-il une valeur réelle pour les clients, les employés et les actionnaires ?

Pour libérer toute la puissance de l'IA générative, nous suggérons aux entreprises de prendre en compte quatre piliers :

1. Construire une base de données solide
2. Tirer parti des opérations de modèle de langage étendu (LLMOps)
3. Gérer l'IA potentielle de l'ombre
4. Choisissez les bons cas d'utilisation

Construire une base de données solide

Que vous ayez l'intention de peaufiner un grand modèle de langage (LLM) existant, comme GPT-3.5 Turbo d'OpenAI ou LamDA de Google, ou que vous souhaitiez créer votre propre modèle de base, une bonne stratégie de données est essentielle. Une bonne architecture de données est essentielle pour accélérer les résultats et pour que l'ère de l'IA commence. Votre éventuelle solution commerciale d'IA générative devra pouvoir accéder aux données en temps réel, aux documents sélectionnés ou aux bases de données vectorielles, et fonctionner dans le cadre des contrôles d'accès et des protocoles établis pour garantir le respect des réglementations.

La mise en place d'une structure de données sur l'ensemble de votre environnement numérique et l'établissement d'une bonne gouvernance des données sont les premières étapes. Les IA génératives sont seulement aussi bonnes que leurs données ; une étiquette erronée ou un exemple de dérive de modèle peut créer des hallucinations, des erreurs ou simplement de mauvaises sorties. À partir de là, vous devrez effectuer des ajustements architecturaux particuliers à l'IA générative pour les entreprises, tels que la conception de modèles d'invites ou le séquençage d'invites, la génération augmentée de récupération ou le réglage des paramètres du modèle pour obtenir les résultats les plus pertinents et optimaux.

La dé-identification ou l'anonymisation des données pour protéger les données personnelles identifiantes ou les données personnelles sensibles consommées par les LLM peut être une considération clé du point de vue de la gouvernance des données.

Les obstacles liés à la fondation des données ne sont pas insurmontables, mais ils nécessiteront une stratégie de données fondamentale pour les surmonter. L'ajout de l'IA générative à votre pile technologique sans changement de stratégie de données est une recette pour les dépassements de coûts, les problèmes de conformité et plus encore.

Cas d'utilisation : Fondation de données et recherches SQL

Dans le cas d’un service client, les demandes ad hoc de rapports à partir de bases de données SQL (Structured Query Language) peuvent prendre beaucoup de temps pour les équipes de service client. En effet, des centaines de rapports par mois doivent être remplis, avec de nombreux rapports individuels prenant des heures. De plus, de nombreuses demandes de service client nécessitent que les agents révisent de nombreux guides d'utilisation et documentations pour trouver une solution.

Un assistant de service client à IA générative formé sur la base de données SQL d'une entreprise et sur les guides d'utilisation peut traduire des questions en langage naturel en requêtes SQL, exécuter les requêtes, puis retraduire les résultats en un langage naturel pour une compréhension facile. Ce processus peut également être appliqué à toute une bibliothèque de guides d'utilisation, ce qui permet des recherches et des réponses rapides aux questions des clients.

Tirer parti des opérations de modèles de langage étendus (LLMOps)

Une fois votre base de données établie, vous souhaiterez ensuite :

• Définir les modèles de fondations qui seront adaptés à l'usage prévu
• Configurer des séquences d'invites ou des modèles pour vos LLM
• Configurer des magasins de vecteurs
• Introduire des garde-fous en matière d'IA responsable

L’architecture, les politiques et les procédures régissant cet ensemble de travaux sont appelées LLMOps. Il couvre l'ensemble du cycle de vie de l'IA générative, de la conformité et de la sécurité à la dérive et aux biais en passant par l'ingénierie rapide et plus encore.

Les LLM ont besoin de vastes pools de données pour la formation. L'un des défis est que si la plupart des données de formation sont en anglais, les modèles peuvent par inadvertance adopter des points de vue occidentaux. Les biais de données dans l'IA générative peuvent également apparaître d'autres manières : imaginez utiliser un robot de service client formé uniquement sur les voix du nord-est des États-Unis pour répondre aux appels des clients du sud de l'Angleterre. Il peut avoir des difficultés à interpréter les dialectes régionaux.

Un autre défi d'interprétation peut être le contexte. « Je suis bloqué hors de mon bureau » peut signifier une chose pour un agent de sécurité d’immeuble et une autre pour un agent de service à la clientèle de Microsoft. Une solution commerciale d'IA générative peut ne pas être en mesure d'interpréter l'intention.

Tirer parti d’un Framework LLMOps aide l’IA à être efficace, optimale et responsable, à la fois en délivrant des résultats nets et en protégeant une organisation et ses utilisateurs contre des dangers potentiels.

Cas d'utilisation : LLMOps, contexte et commentaires des clients

Une solide stratégie LLMops, soutenue par des techniques telles que la récupération, la génération augmentée, peut donner à l'IA générative le domaine spécifique, le contexte culturel et situationnel dont elle a besoin pour améliorer l'expérience client.

Prenez l'exemple d'un aéroport international en Inde, qui reçoit chaque mois des milliers d'avis et de commentaires sur les médias sociaux. Les membres du personnel géraient manuellement les réactions et y répondaient, ce qui s’est avéré un processus extrêmement long. L'aéroport a créé une IA pour analyser tous les canaux de médias sociaux à la recherche de commentaires des clients et les classer par sentiment (par ex., satisfait ou insatisfait) et intention (comme la recherche d'informations par rapport à la recommandation). L'IA a ensuite généré des réponses adaptées à chacun, qui ont été révisées par les supérieur avant déploiement. Cette solution offre à l'aéroport un moyen nouvel et efficace de répondre aux problèmes des clients.

Gérer l'IA potentielle de l'ombre  

Au début de l'infonuagique, il n’était pas rare que les équipes utilisent différentes plates-formes pour stocker leurs documents et fichiers. Cette pratique, appliquée à tous les services, a créé un enchevêtrement de plateformes virtuelles et des vulnérabilités en matière de sécurité.

Alors que les entreprises s'efforçaient de rationaliser le stockage dans le nuage, les pratiques de sécurité et les coûts, les employés continuaient à s'accrocher à leurs outils et à leurs plateformes préférés pour effectuer leur travail, créant ainsi l'informatique parallèle.

Les entreprises peuvent se prémunir contre une situation similaire d'IA fantôme en mettant en œuvre des politiques d'IA responsables qui évitent l'IA superflue et atténuent les risques de sécurité qui pourraient découler d'une utilisation non autorisée. Ces politiques doivent être suffisamment souples pour encourager l'innovation au sein des équipes tout en établissant des garde-fous clairs en matière de conformité et de normes éthiques.

La gestion des coûts s'applique également à l'évaluation directe des options. L'architecture d'une solution commerciale d'IA générative peut obtenir des résultats similaires à ceux d'une autre, mais à une fraction du coût. Différentes techniques d'optimisation peuvent également être utilisées pour obtenir le meilleur résultat avec une empreinte informatique beaucoup plus faible.

Choisissez les bons cas d'utilisation

Lorsque vous envisagez des cas d'utilisation de l'IA générative en entreprise, recherchez les situations dans lesquelles ses capacités rapides d'ingestion, d'analyse et de synthèse apporteront le plus de valeur aux clients, aux employés ou aux autres utilisateurs.

Évitez les cas d'utilisation qui pourraient introduire des injustices et des préjugés, risquer de non-conformité réglementaire ou nuire à votre réputation. Choisissez celles qui peuvent être mises en œuvre de manière rapide, fiable et peu coûteuse. Commencez par des prototypes qui peuvent être mis à l’échelle sur validation de principe. Sachez comment vous mesurerez le retour sur investissement.

Voici quelques domaines à examiner pour libérer le pouvoir de l'IA générative dans les affaires :

• Analyser les coûts pour l'optimisation
• Automatisation des tâches répétitives
• Étudier les problèmes de service après vente pour détecter des tendances
• Personnalisation de l'expérience client

Cas d'utilisation : transcription et synthèse

Les centres de contact présentent un cas d'utilisation particulièrement pertinent pour l'IA générative avec des résumés générés par l'IA des événements d'aide apportées aux clients. Une interaction de support client typique se produit, avec le contenu et le contexte de l’interaction capturés et analysés par l’IA.

L'IA génère ensuite un résumé de l'événement, que l'agent de soutien révise et vérifie. Cela permet au prochain agent de support de se mettre au courant et d'assister l'utilisateur rapidement, tout en réduisant le temps que l'agent de support précédent passe à résumer l'appel.

Les chiffres le corrobent et montrent qu'il y a suffisamment de place pour grandir. Dans une étude du Stanford Digital Economy Laboratory et de la MIT Sloan School of Management, les centres d'appels ont constaté une augmentation de la productivité de 13,8 % lorsqu'ils ont mis en œuvre un assistant d'IA générative.³ Et la taille du marché de l'IA générative dans le service client devrait atteindre plus de 2,1 milliards $ en 2032⁴.

L'avenir de l'IA générative dans les affaires commence à peine à s'écrire. Comme pour toute nouvelle technologie, les inquiétudes et les réserves sont nombreuses, mais avec une base solide, une stratégie proactive, une optimisation des coûts et les bons cas d'utilisation, l'avenir peut être prometteur.

Naveen Kamat est vice-président et directeur technique des services de données et d'IA pour Kyndryl .Dennis Perpetua est vice-président et directeur technique de Numérique Workplace Services.

1 IDC prévoit que les dépenses pour les solutions en IA générative atteindront 143 milliards $ en 2027 avec un taux de croissance annuel composé sur cinq ans de 73,3 %. IDC. octobre 2023 

2 Potentiel économique de l'IA générative, McKinsey, juin 2023IDC prévoit que les dépenses pour les solutions en IAG atteindront 143 milliards $ en 2027 avec un taux de croissance annuel composé sur cinq ans de 73,3 %. IDC, octobre 2023.

3 Mesurer l'impact sur la productivité de l'IA générative, Bureau national de recherche économique, juin 2023

4 Generative AI in Customer Service Market worth around USD 2,103.0 Mn by 2032, Enterprise Apps Today, May 2023.