Grand modèle de langage LLM

Un grand modèle de langage, ou LLM, est le logiciel derrière les assistants qui rédigent et résument des textes. Il a appris en lisant une quantité énorme d'écrits et en repérant quels mots suivent habituellement quels autres. Quand vous lui posez une question, il ne cherche donc la réponse nulle part. Il l'écrit petit morceau par petit morceau, en choisissant chaque fois celui qui lui paraît le plus probable.

Cette seule habitude explique presque tout ce qui étonne chez ces modèles. Comme il prédit au lieu de vérifier, une réponse fluide et fausse lui demande le même effort qu'une réponse juste. Il ne distingue pas les deux, et son ton n'est pas moins assuré quand il se trompe. Il est donc excellent pour rédiger, reformuler et traduire, mais seul, il n'est pas une source de faits fiable.

La solution pratique est d'arrêter de lui demander ce qu'il sait et de lui donner ce que vous savez. Au lieu de lui demander votre politique de remboursement, le système va la chercher dans vos propres documents et lui remet le texte avec la question. Le modèle rédige alors la réponse à partir de la page qu'il a sous les yeux. C'est ainsi que fonctionne presque tout usage sérieux d'un système d'intelligence artificielle.

Vient ensuite la surprise du coût, puisque vous payez le texte qui entre autant que le texte qui sort. Une conversation renvoie tout l'historique à chaque réponse, si bien qu'un long échange devient plus cher à mesure qu'il avance. C'est pour cela que Linkysoft coupe les vieux messages des conversations longues, et cela vaut la peine de demander à un prestataire comment il gère ce point.

L'autre question à régler avant toute construction est de savoir où partent vos textes. Demandez quelle société fait tourner le modèle, si vos textes sont conservés et s'ils servent à entraîner quoi que ce soit. Un hôpital ou une école a besoin de cette réponse par écrit, et c'est pourquoi nous en faisons une question de cybersécurité plutôt qu'un détail technique.

En pratique, le modèle n'est qu'une pièce dans une application web ordinaire qui contient déjà vos commandes, vos patients ou vos élèves. Comme la valeur se trouve dans ces données, Linkysoft construit d'abord le système et n'ajoute le modèle que là où il fait gagner du temps. Cela peut être rédiger un brouillon de réponse, ou résumer une longue conversation de chatbot pour la personne qui la reprend.