Los modelos de IA se equivocan en las radiografías y muestran una confianza indebida

Los modelos de inteligencia artificial utilizados para interpretar estudios de imagen aún enfrentan un problema central de seguridad: pueden producir una conclusión errónea sin señalar adecuadamente su propia incertidumbre. Según la información recopilada por The Decoder sobre el benchmark RadLE 2.0, varios sistemas presentaron hallazgos incorrectos con un alto grado de confianza, mientras que los radiólogos humanos tuvieron un mejor desempeño al identificar los casos en los que era preferible no concluir por sí solos.

La cuestión va más allá de medir si un algoritmo acierta más o menos diagnósticos. En un entorno clínico, también es fundamental saber cuándo una imagen es ambigua, cuándo falta información relevante o cuándo el caso requiere una segunda evaluación. Un modelo que reconoce sus limitaciones puede ser más útil y seguro que otro que produce respuestas aparentemente precisas para todos los estudios.

Qué busca medir RadLE 2.0

El benchmark fue diseñado precisamente para evaluar esa capacidad de derivación. En lugar de tratar la radiología como una tarea en la que siempre existe una respuesta automática, la evaluación comprueba si el sistema puede diferenciar las situaciones adecuadas para la asistencia algorítmica de aquellas que deberían seguir bajo la responsabilidad de un especialista humano.

Esta distinción es especialmente importante porque los estudios radiológicos no se interpretan de forma aislada. El diagnóstico normalmente depende de los síntomas, los antecedentes del paciente, los estudios previos, la calidad de la imagen y el contexto clínico. Incluso cuando un modelo identifica patrones visuales relevantes, eso no significa necesariamente que haya comprendido el cuadro completo o que pueda determinar la conducta médica.

Una alta confianza no significa precisión

La principal advertencia asociada a los resultados es la diferencia entre confianza estadística y confiabilidad clínica. Un sistema puede asignar una alta probabilidad a una hipótesis y aun así estar equivocado. Cuando esa seguridad aparente no va acompañada de un mecanismo consistente de abstención o derivación, el error se vuelve más difícil de detectar y corregir.

En la práctica, una respuesta equivocada puede influir en la clasificación de los pacientes, retrasar estudios complementarios o dirigir la atención del profesional hacia una hipótesis incorrecta. El riesgo no consiste únicamente en no detectar una alteración, sino también en sugerir un hallazgo que no existe. En ambos casos, la automatización puede crear una falsa sensación de objetividad.

• Reconocer estudios de baja calidad o con información insuficiente.
• Señalar conflictos entre posibles interpretaciones.
• Derivar los casos inusuales o ambiguos para una revisión humana.
• Presentar evidencias y limitaciones en lugar de ofrecer solo una conclusión final.

La comparación con los radiólogos es relevante porque los especialistas tampoco son infalibles, pero pueden combinar la imagen con el contexto del paciente y evaluar cuándo la evidencia no es suficiente. Esta capacidad de juicio —incluida la decisión de pedir ayuda o posponer una conclusión— sigue siendo una ventaja importante frente a sistemas que tienden a responder incluso ante la incertidumbre.

Implicaciones para hospitales y desarrolladores

Los hallazgos refuerzan que la adopción de IA en radiología debe priorizar los flujos de trabajo supervisados. Una herramienta puede ayudar a priorizar estudios, destacar regiones sospechosas u ofrecer una segunda lectura, pero su implementación debe incluir revisión profesional, registro de errores, monitoreo del desempeño y procedimientos claros para impugnar la recomendación automática.

Para los desarrolladores, el desafío consiste en crear modelos entrenados y evaluados no solo según su tasa de aciertos. También será necesario medir la calibración, la capacidad de abstención, el desempeño en poblaciones diferentes y el comportamiento ante imágenes que se alejen de los patrones observados durante el entrenamiento. Un sistema aparentemente sólido en un conjunto de datos puede fallar cuando se aplica a equipos, protocolos o perfiles de pacientes distintos.

Los resultados también tienen implicaciones regulatorias. Las autoridades y las instituciones de salud deberán definir qué tipo de evidencia es suficiente para autorizar una herramienta, cómo supervisar los cambios de desempeño después de las actualizaciones y quién responde por las decisiones influenciadas por el modelo. La existencia de un benchmark es útil, pero no sustituye la validación clínica prospectiva ni la supervisión continua.

Con base en el material proporcionado, todavía no están confirmados todos los modelos evaluados, el tamaño exacto de la muestra, los tipos de radiografías incluidos, los criterios estadísticos utilizados ni la diferencia numérica de desempeño entre humanos y máquinas. Tampoco es posible concluir, únicamente a partir de este informe, que toda la IA radiológica tenga el mismo comportamiento o que ninguna herramienta pueda ser útil en escenarios específicos.

El siguiente paso es convertir la capacidad de decir «no lo sé» en un requisito de seguridad medible. Antes de que los sistemas de IA asuman funciones diagnósticas más autónomas, deben demostrar no solo que encuentran patrones, sino también que reconocen las situaciones en las que una conclusión automática sería imprudente. En el estado actual descrito por RadLE 2.0, la supervisión humana sigue siendo una parte indispensable del proceso.

Fuente: The Decoder