Dejá de shippear features con LLM a puro feeling: un loop de evals práctico
Un loop de evaluación liviano que armás en una tarde, para que la calidad de tu LLM sea algo que medís y no algo que sentís.
La mayoría de los equipos shippea features con LLM prompteando hasta que la salida “se ve bien”, y después reza. Funciona hasta que deja de funcionar —normalmente frente a un cliente. Acá va el loop de evals más chico que convierte la calidad de una sensación en un número.
Empezá con 20 ejemplos, no con 2.000
No necesitás un benchmark. Necesitás un golden set: 20 a 50 entradas reales con el resultado que aceptarías. Sacalas del uso real o escribilas a mano. Es la hora más rentable que vas a invertir.
Puntuá con una rúbrica, después automatizá
Para cada ejemplo, definí qué significa “bueno” como rúbrica. Puntuá a mano primero. Cuando confíes en la rúbrica, pasásela a un LLM juez y controlá que coincida con tus puntajes.
Si tu juez automático no coincide con vos en el golden set, arreglá el juez antes de confiar en él para cualquier otra cosa.
Corré las evals en cada cambio de prompt
Conectá las evals a CI o a un script que corras antes de cada cambio de prompt o de modelo. Ahora un cambio que mejora un caso pero rompe otros tres aparece como un número en rojo, no como un ticket de soporte la semana que viene.