Blog de Metlivi

¿Qué puede malinterpretar una IA en el resumen de un diario? Guía práctica para verificar las fuentes

Cuando le pidas a una IA que resuma una entrada de tu diario, comprueba si cada afirmación conserva los detalles y el nivel de certeza del texto original. Presta especial atención a quién hizo qué, cuándo sucedió, si se llegó a completar un plan y si el resumen convierte un pensamiento pasajero en una decisión firme. Una comprobación muy útil es sencilla: ¿puedes señalar palabras en la entrada original que respalden cada afirmación?

30 de septiembre de 20265 min de lecturaLectura, arte y culturaPor Metlivi Editorial Team
Sección 1

Por qué un resumen fluido puede alterar lo que realmente ocurrió

Un resumen puede sonar claro y verosímil mientras se aleja de su fuente original. Las investigaciones sobre la generación de resúmenes tratan la coherencia factual como una cuestión independiente de si el texto se lee bien o no: el método de un estudio compara las oraciones del resumen con fragmentos justificativos en la fuente, e informa que dichos fragmentos ayudaron a las personas a verificar las afirmaciones. Kryscinski et al., “Evaluating the Factual Consistency of Abstractive Text Summarization”

Esa distinción es importante en un diario porque la fuente puede ser breve, informal y estar llena de contexto implícito. Un sistema podría transformar notas rápidas en prosa pulida, pero ese pulido también puede introducir una relación, una causa o una conclusión que la entrada nunca mencionó. El NIST describe la confabulación como contenido generado que puede discrepar de su entrada, y señala que una redacción con tono seguro puede hacer convincente un contenido falso. NIST, “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile”

Sección 2

Verifica las personas, las acciones y la autoría de los planes

Primero, comprueba el hecho básico: quién actuó, qué hizo y a quién pertenece un plan o preferencia. Los pronombres, las referencias grupales y los sujetos omitidos son fáciles de malinterpretar cuando se comprime una nota. «Sam dijo que podíamos vernos el viernes; miraré mi agenda» no establece que quien escribe haya aceptado verse. Un resumen que diga «Planeé encontrarme con Sam el viernes» ha convertido una sugerencia en una decisión.

Presta atención también a los roles intercambiados. Si una entrada dice «Le envié la receta a Jo después de que me la pidiera», el resumen no debe dar a entender que Jo la envió. Vuelve a leer cada nombre y cada «yo», «nosotros», «ellos» o «alguien» en el resumen comparándolo con el original. Cuando el diario no deje claro quién realiza la acción, un resumen fiel debe mantener esa incertidumbre o prescindir del detalle.

Sección 3

Conserva el tiempo, la secuencia y si un plan llegó a realizarse

Distingue un hecho pasado de una intención actual, una posibilidad y una acción completada. «Podría tomar el autobús», «decidí tomar el autobús» y «tomé el autobús» son registros distintos. Del mismo modo, «reservé mesa para el sábado» no es lo mismo que «fui a cenar el sábado». Comprueba los tiempos verbales y verbos como *consideré*, *planeé*, *cancelé* y *terminé*.

El orden cronológico puede importar incluso cuando todos los hechos aparecen en el resumen. Si la entrada dice que una tienda estaba cerrada y por eso quien escribe preparó té en casa, invertir esos acontecimientos cambia el relato. En el caso de entradas más largas, revisa los principios, las partes intermedias y los finales en lugar de confiar en un resumen que parezca captar el tema general. Los estudios sobre la síntesis de documentos extensos han señalado que los modelos pueden priorizar la información situada cerca del principio y del final de una fuente; el método propuesto en dicha investigación utiliza secciones superpuestas para solucionar este problema. Este hallazgo atañe a los sistemas de generación de resúmenes evaluados, no es una garantía sobre ninguna herramienta de diario en particular. Li et al., “Improving Faithfulness of Large Language Models in Summarization via Sliding Generation and Self-Consistency”

Sección 4

Presta atención a la certeza, el tono y las explicaciones inventadas

Un diario puede registrar una suposición, una pregunta o un pensamiento inacabado. Un resumen puede transformar por error un «quizás la tienda cambió su horario» en «la tienda cambió su horario». También puede añadir un motivo que quien escribe no proporcionó: «No fui al mercado porque llovía» introduce un vínculo causal si el texto original solo menciona la lluvia y el haberse saltado el mercado.

Compara las palabras que indican grado de certeza, no solo los sustantivos. «Creo», «tal vez», «se me olvidó» y «no estoy seguro» limitan, cada una a su modo, lo que la entrada da por sentado. Un resumen breve no necesita conservar cada matiz o duda, pero no debe presentar una interpretación incierta como un hecho zanjado. Trata las explicaciones pulidas y las conclusiones tajantes como afirmaciones que requieren un respaldo directo en la fuente.

Sección 5

Un método rápido de verificación frase por frase

Utiliza esta comprobación en tres pasos antes de conservar o reutilizar un resumen:

Marca cada afirmación de hechos. Subraya nombres, fechas, acciones, cantidades, lugares, decisiones y motivos. Divide una frase en afirmaciones separadas si contiene varios detalles.

Busca la formulación original. Para cada afirmación, localiza la frase u oración que la respalde. Si no hay palabras que la justifiquen, etiquétala como «no mencionado» en lugar de rellenar el vacío con lo que parezca probable.

Compara la firmeza y la secuencia. Comprueba que el resumen no haya convertido una posibilidad en una certeza, trasladado un acontecimiento a otro día, invertido el orden o transformado una intención en una acción completada.

Corrige de forma puntual. Rectifica el detalle sin respaldo, conserva la ambigüedad o elimina cualquier afirmación que no se pueda verificar. A continuación, lee el resumen revisado junto a la entrada una vez más.

Por ejemplo, supongamos que una entrada dice: «Le pregunté a Lee si en la floristería tenían albahaca. Se les había agotado. Miraré en el mercado del fin de semana si tengo tiempo». Decir «Compré albahaca en el mercado» carece de respaldo: la entrada no registra ni una visita ni una compra. «Puede que busque albahaca en el mercado este fin de semana» mantiene el plan como algo tentativo. Estos son ejemplos ilustrativos, no resultados de investigaciones.

Sección 6

Cuándo pedir un resumen más corto o más literal

Si la versión generada no deja de añadir motivos o conclusiones, define límites más estrictos para la tarea: solicita únicamente acontecimientos y planes explícitos, preserva la incertidumbre y omite las razones a menos que la entrada las mencione expresamente. También puedes pedir una lista breve de afirmaciones que incluya, al lado de cada una, la frase de la entrada que la sustenta. Luego comprueba que la frase citada realmente respalde la afirmación: ver el texto de origen junto a una oración facilita la verificación, pero la coincidencia con la fuente debe seguir siendo real.

En el caso de una nota breve, comparar el resumen directamente con la entrada puede ser más rápido que generar otra versión. Para una entrada larga, revísala sección por sección y presta especial atención a los detalles de la parte intermedia. Conserva el resumen solo cuando sus afirmaciones se correspondan con lo escrito; si un detalle no se puede confirmar, corrígelo o elimínalo en lugar de tomar una redacción fluida como prueba de veracidad.

Lecturas relacionadas

Sigue explorando este tema