KV cache

Q: Quelle est la différence entre le KV cache et la mémoire vive standard ?

Alors que la mémoire vive stocke des données générales, le KV cache conserve spécifiquement les activations intermédiaires du mécanisme d'attention. Sans lui, votre modèle recalculerait chaque vecteur pour chaque nouveau token généré, rendant l'utilisation en production extrêmement lente et coûteuse en ressources de calcul.

Q: Quand devriez-vous optimiser la gestion de votre KV cache ?

Vous devez prioriser cette optimisation dès que vous traitez des contextes longs ou des volumes de requêtes élevés. Des techniques comme le PagedAttention permettent de réduire la fragmentation mémoire, augmentant ainsi le nombre de requêtes traitées simultanément par votre infrastructure sans sacrifier la précision.

Q: Quelles sont les limites actuelles du KV cache ?

La limite principale réside dans l'occupation mémoire GPU qui croît linéairement avec la longueur du contexte. Pour limiter cette empreinte, vous pouvez utiliser la quantification ou le Grouped-Query Attention (GQA), des approches qui réduisent la taille des données stockées tout en maintenant les performances du modèle.

Abstract

Le KV cache est une optimisation technique stockant les vecteurs Key et Value des tokens précédents pour accélérer l'inférence des modèles de langage en évitant des recalculs redondants.