Comprueba si el asistente de IA de tu web da respuestas útiles
"Tiene buena pinta" no es una prueba de aceptación repetible. Una respuesta útil debe responder a la pregunta, ceñirse a la fuente aprobada, conservar las condiciones importantes y ayudar al visitante a verificarla o a seguir adelante.
Crea la hoja de pruebas antes del lanzamiento y consérvala para las comprobaciones de regresión.
Crea cinco grupos de preguntas
- Datos directos: una única página actual contiene la respuesta.
- Tareas entre páginas: se necesitan dos fuentes compatibles.
- Diferencias de vocabulario: los visitantes usan un término que no aparece en el título de la página.
- Preguntas ambiguas: hace falta una aclaración.
- Peticiones sin respaldo: ninguna fuente aprobada contiene la respuesta.
Usa formulaciones reales de soporte, ventas, el buscador del sitio u onboarding siempre que puedas.
Anota un resultado esperado
| Campo | Ejemplo |
|---|---|
| Pregunta | "¿Dónde autorizo mi dominio de producción?" |
| Fuente esperada | Documentación de seguridad del asistente |
| Datos obligatorios | Abrir Security; añadir el dominio exacto en los orígenes permitidos |
| Condición importante | El comodín debe restringirse antes del lanzamiento |
| Afirmación prohibida | No describir un origen como autenticación de usuarios |
| Siguiente paso esperado | Guardar y probar la integración |
| Resultado | Correcto, parcial o fallido, con una nota |
Así la revisión se basa en evidencias y no en preferencias de redacción.
Puntúa la respuesta
Usa una rúbrica sencilla de 0 a 2:
| Criterio | 0 | 1 | 2 |
|---|---|---|---|
| Responde a la pregunta | No la responde | Responde en parte | Responde directamente |
| Respaldo de la fuente | Sin respaldo | La fuente está relacionada | Cada afirmación relevante está respaldada |
| Completitud | Omite una condición crítica | Omisión menor | Conserva las condiciones necesarias |
| Alternativa | Inventa una respuesta | Limitación vaga | Limitación clara y siguiente paso |
| Cita | Ausente o incorrecta | Útil pero incompleta | Abre la fuente que la respalda |
| Claridad | Difícil de seguir | Comprensible | Concisa y accionable |
Fija el umbral para aprobar según el riesgo. Una respuesta sobre un límite técnico o una política puede requerir respaldo total de la fuente y completitud aunque la puntuación total parezca aceptable.
Diagnostica los fallos por fases
- Busca el dato esperado en el dataset.
- Comprueba si la recuperación seleccionó la fuente correcta.
- Compara cada afirmación con esa fuente.
- Revisa las instrucciones de respuesta y el comportamiento alternativo.
- Busca páginas contradictorias.
- Confirma que la fuente está actualizada.
Cambia una fase cada vez y vuelve a lanzar la pregunta fallida. De lo contrario, puedes mejorar un ejemplo y ocultar la causa original.
Mantén los resultados comparables
Anota la fecha, la versión del dataset o la captura, la configuración del asistente y la nota del revisor. Vuelve a lanzar las mismas preguntas críticas tras los cambios de contenido y de configuración.
Un conjunto de pruebas no garantiza que todas las preguntas futuras vayan a pasar. Da al equipo una forma estable de detectar regresiones y de hablar de la calidad de las respuestas con evidencias.