18 minAvancéPublié
Décider plutôt que générer
La plupart des appels de modèle en entreprise sont des décisions, et une décision mérite de meilleurs outils qu'une génération
Une grande part du trafic de modèles en production est du routage, du triage, de la classification et de la validation — de petites décisions payées au prix et à la latence d'un modèle de chat généraliste. Les modèles de décision rendent la sortie typée et la probabilité calibrée. Cet article examine quand cet arbitrage vaut la peine, ce que les benchmarks des fournisseurs montrent vraiment, et ce qui doit être vrai architecturalement pour qu'une couche de décision soit plus sûre qu'un prompt.