Fenêtre de contexte

Pourquoi c'est important en entreprise

Elle détermine la quantité de documents qu'on peut soumettre directement au modèle. Mais un contexte plus long coûte plus cher, augmente le temps de réponse, et la qualité d'exploitation n'est pas toujours uniforme sur de très longs textes : mieux vaut fournir les bons passages que tout fournir.

Exemple concret

Pour analyser un contrat long, on peut le fournir en entier si la fenêtre le permet. Pour interroger plusieurs milliers de contrats, on passe par une recherche préalable (RAG) qui ne transmet au modèle que les clauses pertinentes.

À ne pas confondre avec

Mémoire

La « mémoire » d'un assistant est une fonction produit qui conserve des informations d'une conversation à l'autre ; la fenêtre de contexte ne concerne qu'un échange donné.

Données d'entraînement

Ce que le modèle a appris pendant son entraînement n'occupe pas la fenêtre de contexte.

Termes liés

• Token
• RAG (génération augmentée par la recherche)
• LLM (grand modèle de langage)