Lee el alcance real de las pruebas de una función de compañía con IA

Primer nivel: identifica con precisión el sistema probado

El nombre del modelo no basta. Busca la versión de la aplicación, modelo o servicio, el idioma, la plataforma, el plan, la memoria configurada, las herramientas activas y la fecha de evaluación. El operador puede cambiar modelo, instrucciones, fuente de recuperación, control de contenido, cadena de voz o permisos sin modificar el nombre comercial. Un resultado que omite esas condiciones no se conecta de forma fiable con la pantalla actual. Compara notas de versión, ayuda, etiqueta dentro de la aplicación y fecha del informe. Si no puedes unirlos, anota “versión no establecida” en lugar de transferir un resultado antiguo a la nueva configuración. Esa identidad permite atribuir los porcentajes, límites y medidas posteriores a un producto concreto.

Segundo nivel: alinea la promesa con el uso previsto

Convierte la promoción en tareas observables: intercambio de texto, propuesta de actividad, respuesta a imagen, entrada de voz, búsqueda web, recordatorio o acción en un servicio conectado. Comprueba si la evaluación cubre la misma tarea. Una prueba solo de texto no respalda directamente voz, imágenes, memoria larga, herramientas externas o interacción pública. La queja de la FTC sobre un detector de IA describe una afirmación amplia de precisión que no se había probado en distintas condiciones reales. No permite juzgar otro producto, pero ilustra una regla útil: la evidencia debe alcanzar lo mismo que la promesa. Si los ámbitos difieren, limita la confianza a la tarea efectivamente estudiada y conserva el resto como preguntas sin resolver.

Tercer nivel: examina escenarios y ejemplos de fallo

Un porcentaje sin definición de casos tiene poca utilidad. La evidencia práctica describe entradas normales, límite y deliberadamente difíciles, además del estado de cuenta, idioma, modalidad, grupos pertinentes y reglas de puntuación. También muestra qué se consideró fallo, desacuerdo, rechazo o resultado sin resolver. Según la función, busca conexión interrumpida, historial obsoleto, dispositivo compartido, petición ambigua, conversación larga, permiso denegado y error de herramienta. Las demostraciones elegidas y los promedios pueden ocultar sucesos raros. Los recursos del NIST sitúan prueba, evaluación, verificación y validación en el contexto de uso: pregunta si se ensayó la recuperación cuando se rompió el recorrido ideal, no solo si la mejor respuesta obtuvo buena nota.

Cuarto y quinto niveles: límites e independencia

La documentación creíble coloca los límites cerca del resultado, separa una carencia conocida de una parte nunca probada y describe medidas sin afirmar que desapareció toda incertidumbre. Después comprueba si personas ajenas al equipo creador inmediato hicieron la revisión, si hubo participación externa o, al menos, si un conjunto reservado quedó fuera de los ajustes. La independencia no certifica perfección; reduce la posibilidad de que un único grupo elija las preguntas y su interpretación favorable. La system card de OpenAI ejemplifica una huella pública: alcance del modelo, etapas de evaluación, red team, límites observados y medidas de producto. Un servicio menor puede publicar menos, pero debería contestar con precisión preguntas sobre método, configuración y fronteras.

Sexto nivel: verifica seguimiento y control de cambios

El lanzamiento no termina las pruebas. Versiones, políticas, idiomas, herramientas y formas de uso pueden alterar el comportamiento. Busca notas fechadas, un canal oficial para problemas reproducibles, una página de estado o incidentes, cambios claramente nombrados y repetición de escenarios importantes. Las actualizaciones que afectan permisos, memoria, uso compartido, cobro o eliminación necesitan una explicación propia. Mucha evidencia inicial pierde valor sin mantenimiento. En cambio, un registro breve que nombre la superficie modificada, el límite pendiente y el ámbito vuelto a probar informa más que una insignia permanente de “probado”. Guarda tres fechas por separado: versión actual, evaluación pertinente más reciente y tu última prueba con poca divulgación.

Convierte los seis niveles en un uso reversible

Marca cada nivel como visible, parcial o ausente y elige un alcance para esa configuración. Si versión y propósito tienen pruebas débiles, ensaya solo texto neutro y deja apagadas las herramientas opcionales. Con escenarios y recuperación creíbles, prueba la tarea cubierta manteniendo desactivados los permisos ajenos. Pago, publicación, acción externa o memoria persistente requieren documentación más fuerte antes de activarlos. La escalera no es una clasificación pública ni una etiqueta definitiva; sostiene una decisión personal, acotada y fechada. Guarda enlaces y fechas, no material de otras personas, y repite la comprobación tras una actualización. Anota sobre todo qué usos siguen fuera de las pruebas actuales.

Sigue explorando este tema