Migrar desde OpenAI Evals
Verica es un reemplazo drop-in de la plataforma de Evals de OpenAI (deprecada), con los mismos cuatro graders de base más cuatro propios.
La plataforma de Evals de OpenAI fue deprecada y su camino oficial de migración (Promptfoo) es code-first. Verica conserva el enfoque no-code: los mismos conceptos y la misma cobertura de graders, desde la interfaz.
Equivalencias
| En OpenAI Evals | En Verica |
|---|---|
| Data source | Dataset (golden set) |
| Testing criteria | Criterios dentro del eval |
string_check | text_check — Evaluar Texto |
text_similarity | text_similarity — Evaluar Semántica |
label_model | label_model — Evaluar con Juez (etiqueta) |
score_model | score_model — Evaluar con Juez (puntaje) |
| Run | Ejecución, con el dataset y el prompt congelados |
text_check es un superconjunto de string_check: además de igual, distinto y contiene, agrega expresiones regulares, conteo de palabras, una sola línea, y la posibilidad de aplicar cualquiera de esas comprobaciones a un campo del JSON en lugar de a la respuesta completa. Verica sigue calificando los criterios string_check que ya existan, pero la interfaz no crea nuevos.Verica suma cuatro tipos de grader sin equivalente en OpenAI Evals:
| Grader | Para qué |
|---|---|
tool_check | Qué herramienta llamó el modelo y con qué argumentos. |
json_check | La forma de una salida estructurada: JSON válido, claves requeridas, longitud de array. |
number_check | Números como números, con agregaciones y fórmulas estilo Excel. |
span_check | El árbol de spans de una traza de producción. |
Importar tus datos
Verica lee el formato JSONL de OpenAI Evals directamente: un objeto por línea, y desenvuelve solo la forma {"item": {…}}.
Al crear un dataset, elige Importar un CSV o JSONL y sube el archivo. La primera fila del CSV, o las claves del JSONL, se convierten en columnas.
Si exportas una corrida, no solo las filas
Aquí está el atajo que conviene aprovechar. Si en lugar del data source exportas una corrida completa de OpenAI Evals, Verica reconstruye además el resto de la mesa de trabajo:
- El prompt del playground — el mensaje de usuario y el de sistema.
- Un criterio juez por cada grader que logre reconstruir.
Es un intento de mejor esfuerzo: lo que no valide se saltea sin bloquear la importación de los datos, y nunca sobreescribe algo que ya hayas escrito. Si haces esa importación desde el paso Datos del wizard de eval, los pasos de criterios y de prompt te esperan ya precargados, con un aviso que dice qué se importó.
Los pasos
Conecta tu API key de OpenAI
Verica evalúa contra tu propia cuenta: no revende tokens. La clave se guarda cifrada y solo se descifra en el momento de usarla. Ver Seguridad y BYOK.
Importa tus filas
Como CSV o como JSONL de OpenAI Evals. Recuerda que output es una columna reservada — la llena cada ejecución — así que si tu archivo trae una columna con ese nombre, Verica la renombra a output_2.
Recrea o revisa tus criterios
Si importaste una corrida, ya están ahí y solo hay que revisarlos. Si importaste solo las filas, créalos: la configuración de cada grader es equivalente, y el campo Valor esperado decide qué columna hace de referencia.
Promueve a eval y ejecuta
Cuando la mesa de trabajo te convenza, Promover la convierte en un eval: una prueba estable que ejecutas las veces que quieras y cuyos resultados se comparan entre sí.
Qué ganas en el camino
- Todo se congela. Cada ejecución guarda su copia del golden set, la versión exacta del prompt y la configuración de cada criterio. Comparar dos ejecuciones es comparar dos experimentos, no dos recuerdos.
- El costo de calificar es visible. Los totales separan lo que costó generar de lo que costaron los jueces.
- Puedes medir a tus jueces. La calibración compara los veredictos del juez contra los tuyos y te da la tasa real, corregida por su sesgo.
- Sale del navegador. El mismo eval se dispara desde CI y bloquea un merge, y los mismos criterios se aplican a las trazas de producción.
Exportar
Por si acaso: el botón Exportar dataset ofrece JSONL en formato OpenAI Evals, con el output y las evaluaciones por línea, además de CSV. Tus datos siguen siendo tuyos y siguen siendo portables.