Limite de débit et quota
Une limite de débit (rate limit) plafonne la vitesse à laquelle vous pouvez appeler un modèle d'IA, par exemple en requêtes ou en tokens par minute. Un quota plafonne ce que vous pouvez utiliser ou réserver au total, comme un plafond de dépenses mensuel ou la capacité attribuée à votre compte dans une région.
Pourquoi c'est important pour les entreprises
Quand des agents échouent avec des erreurs HTTP 429, la solution dépend de la limite atteinte. Une enveloppe mensuelle plus grande ne change rien à un plafond par minute, et l'inverse est vrai aussi.
Les fournisseurs nomment ces limites différemment. Anthropic décrit deux types de limites pour l'API Claude : les plafonds de dépenses (spend limits), un coût mensuel maximal, et les limites de débit, mesurées en requêtes, en tokens d'entrée et en tokens de sortie par minute pour chaque classe de modèle. Microsoft qualifie le quota PTU d'Azure de limite de politique par abonnement et par région, et précise qu'un quota ne garantit pas la capacité.
Exemple
Les agents d'une équipe échouent chaque matin à 10 h avec des erreurs 429. Les journaux montrent que les tokens d'entrée par minute atteignent la limite de débit, alors que l'enveloppe mensuelle est loin d'être consommée. Répartir la charge sur davantage de fournisseurs règle le problème, un quota mensuel plus élevé ne le réglerait pas.
Ce que cela change pour une entreprise qui utilise des API d'IA
Avant de déployer un agent pour toute une équipe, additionnez le pic de tokens par minute qu'il enverra et comparez-le à la limite de débit de chaque modèle utilisé, pas seulement au budget mensuel. Les limites peuvent aussi s'appliquer sur des intervalles plus courts : Anthropic indique que 60 requêtes par minute peuvent être appliquées comme 1 requête par seconde, donc de brefs pics peuvent échouer sous le chiffre par minute. Par exemple, 20 développeurs qui lancent leurs agents à 9 h peuvent atteindre une limite de tokens d'entrée par minute en quelques secondes, alors que les dépenses du mois restent faibles.
Où le terme est défini : Chaque fournisseur définit ses propres limites. La page Rate limits de l'API Claude d'Anthropic (en anglais) définit plafonds de dépenses et limites de débit, et la documentation sur le débit provisionné de Microsoft définit le quota de PTU par abonnement et par région.
Ce que fait Standard Compute
Faites passer Claude Code et Claude Desktop par Standard Compute, et votre équipe ne bute plus sur les plafonds de 5 heures et hebdomadaires : les agents tournent jusqu'à épuisement du budget mensuel. Claude est servi sur plusieurs clouds, donc le quota ou la panne d'un fournisseur n'arrête pas votre travail.
Questions fréquentes des entreprises
- Comment distinguer une erreur 429 de limite de débit d'une erreur 429 de plafond de dépenses ?
- Sur l'API Claude, les deux renvoient HTTP 429 avec le type d'erreur rate_limit_error. Une réponse de limite de débit peut contenir un en-tête retry-after ; celle du plafond de dépenses n'en a jamais et porte le code d'erreur enforced_spend_limit_reached. Les nouvelles tentatives échouent alors jusqu'au rétablissement de l'accès.
- La mise en cache des prompts aide-t-elle face aux limites de débit ?
- Sur l'API Claude, oui. Les limites par défaut de tokens d'entrée par minute ne comptent que les tokens d'entrée non mis en cache ; le contenu lu depuis le cache ne compte donc pas dans la limite.
- Peut-on donner une limite plus basse à une équipe ?
- Anthropic permet de fixer des plafonds de dépenses et des limites de débit par espace de travail, sous les limites de l'organisation, pour qu'un espace n'épuise pas la capacité des autres. Les limites de l'organisation continuent de s'appliquer.
Termes associés
Pages associées
- Limites de Claude pour les équipes
- Quotas de Claude sur Amazon Bedrock
- Quotas Azure OpenAI
- Glossaire de l'IA en entreprise