Las sugerencias incorrectas de la IA podrían afectar la precisión de las interpretaciones de las mamografías
Si un sistema de asistencia para la toma de decisiones mediante inteligencia artificial (IA) ofrece sugerencias incorrectas a un radiólogo para la interpretación de mamografías, esto podría afectar gravemente la precisión de su veredicto, según se indica en un estudio reducido. El nivel de experiencia del radiólogo no marcó ninguna diferencia.
La investigación se publicó el 2 de mayo de 2023 en la revista Radiology. Lee el resumen (en inglés) de “Automation Bias in Mammography: The Impact of Artificial Intelligence BI-RADS Suggestions on Reader Performance” (Sesgo de automatización en mamografías: impacto de las sugerencias de la inteligencia artificial sobre BI-RADS para el desempeño del profesional).
IA y mamografías
Probablemente hayas escuchado hablar de la IA y su uso en ámbitos tan variados como las redes sociales o la tecnología de reconocimiento facial para desbloquear tu teléfono.
Para interpretar las mamografías, los técnicos ingresan información de millones de casos. La tecnología de IA crea una representación matemática (un algoritmo) de cómo debería verse una mamografía normal y una mamografía de un seno con cáncer. El sistema de IA analiza cada mamografía en más detalle que el ojo humano, y luego compara cada imagen con los estándares a fin de identificar anomalías.
Los sistemas de asistencia basados en IA suelen considerarse un complemento para los radiólogos al momento de interpretar una mamografía, y este podría ser uno de los usos más prometedores de la IA en radiología.
Sin embargo, existe la preocupación de que los radiólogos se vean influidos por un sesgo de automatización, es decir, una tendencia a darle más relevancia a las sugerencias de los sistemas automatizados. En varios estudios, se observó que incorporar la detección asistida por computadora al flujo de trabajo en mamografía podría afectar el desempeño de los radiólogos. No obstante, en ningún estudio (hasta este) se observó qué efecto tenían los sistemas de IA sobre la precisión de las interpretaciones de las mamografías por parte de los radiólogos.
Acerca del estudio
Los investigadores querían analizar de qué manera afectaba el sesgo de automatización a los radiólogos con distintos niveles de experiencia que usaban un sistema de IA como ayuda para interpretar las mamografías.
Los investigadores le pidieron a 27 radiólogos que interpretaran 50 mamografías. Cada radiólogo luego debía asignarle una categoría de BI-RADS a la mamografía, con ayuda de un sistema de IA.
BI-RADS significa “sistema de base de datos e informes de imágenes mamarias”. Los radiólogos de los Estados Unidos y de algunos otros países utilizan el sistema BI-RADS para informar los resultados de las mamografías y asegurarse de que se registren de manera estandarizada.
Hay seis categorías de BI-RADS:
Categoría 0: se necesita un diagnóstico por imágenes adicional antes de que se pueda asignar una categoría.
Categoría 1: sin anomalías observables.
Categoría 2: hallazgo benigno (no canceroso), como calcificaciones benignas.
Categoría 3: hallazgo probablemente benigno, pero debe hacerse un nuevo estudio antes de la próxima mamografía anual.
Categoría 4: anomalía sospechosa que podría ser cáncer.
Categoría 5: hallazgos con aspecto de cáncer y que probablemente sean cáncer.
Categoría 6: una biopsia ha demostrado que los hallazgos de la mamografía son cáncer.
Los investigadores les dieron a los radiólogos varias mamografías para interpretar, organizadas en dos grupos:
El primer grupo de 10 mamografías era un conjunto de imágenes de entrenamiento, y el sistema de IA sugería la categoría de BI-RADS correcta para todas ellas.
En el segundo conjunto de 40 mamografías, se supone que el sistema de IA sugirió categorías de BI-RADS incorrectas para 12 de las mamografías.
Los investigadores también registraron la experiencia de los radiólogos:
11 eran radiólogos inexpertos, con entre cero y dos meses de experiencia en interpretación de mamografías.
11 eran radiólogos moderadamente experimentados, con aproximadamente 13 meses de experiencia en interpretación de mamografías.
cinco eran radiólogos muy experimentados, con aproximadamente 11 años de experiencia en interpretación de mamografías.
Los resultados permitían ver que los radiólogos (independientemente de su nivel de experiencia) tenían más probabilidad de asignar una categoría de BI-RADS incorrecta a una mamografía cuando el sistema de IA parecía sugerir una categoría incorrecta:
Los radiólogos inexpertos asignaron la categoría de BI-RADS correcta al 79,7 % de las mamografías cuando la IA sugería la categoría correcta, pero solo al 19,8 % de las mamografías cuando la IA sugería una categoría incorrecta.
Los radiólogos con experiencia intermedia asignaron la categoría de BI-RADS correcta al 81,3 % de las mamografías cuando la IA sugería la categoría correcta, pero solo al 24,8 % de las mamografías cuando la IA sugería una categoría incorrecta.
Los radiólogos experimentados asignaron la categoría de BI-RADS correcta al 82,3 % de las mamografías cuando la IA sugería la categoría correcta, pero solo al 45,5 % de las mamografías cuando la IA sugería una categoría incorrecta.
“Anticipamos que las predicciones imprecisas de la IA influirían en las decisiones de los radiólogos del estudio, en especial de aquellos con menos experiencia”, afirmó el autor principal del estudio Dr. Thomas Dratsch, PhD, del Instituto de Diagnóstico y Radiología Intervencionista del Hospital Universitario de Colonia, Alemania. “Sin embargo, fue sorprendente observar que incluso el desempeño de los radiólogos con mucha experiencia se veía afectado negativamente por las sugerencias del sistema de IA, aunque en menor medida que sus colegas menos experimentados.
Puesto que el proceso de detección mediante mamografías es repetitivo y sumamente estandarizado, el sesgo de automatización puede ser un tema de preocupación cuando se integra un sistema de IA al flujo de trabajo”, agregó el Dr. Dratsch. “Nuestros hallazgos destacan la necesidad de implementar cuidados adecuados al incorporar la IA al proceso radiológico, a fin de mitigar las consecuencias negativas del sesgo de automatización”.
Qué significa esto para ti
Los resultados de este estudio son inquietantes. Sin embargo, tanto en el artículo de la investigación como en un artículo editorial complementario publicado en Radiology, los investigadores del estudio y un investigador en radiología destacaron que existen estrategias para contrarrestar el efecto del sesgo de automatización en las interpretaciones de mamografías asistidas por IA.
Estrategia 1: Los radiólogos deben recibir capacitación regular sobre las herramientas de IA que usan como ayuda para comprender las fortalezas y las limitaciones de la tecnología, para así tomar decisiones mejor fundamentadas al aplicar la IA para ayudar a interpretar las mamografías.
Estrategia 2: Los radiólogos deben responder por las decisiones que toman al interpretar una mamografía. Por ejemplo, se puede calificar su desempeño general respecto a un estándar determinado y brindar retroalimentación continua.
Estrategia 3: El algoritmo que usa el sistema de IA debe ser transparente y sometido a pruebas y ajustes continuos en entornos reales.
Estrategia 4: El sistema de IA debe usarse como un sistema de clasificación en segundo plano. El sistema de IA debería sugerir un resultado solo en situaciones específicas en las que se considera que esos resultados serían beneficiosos.
En estudios futuros, los investigadores planean usar herramientas como tecnología de seguimiento de la mirada para comprender el proceso de toma de decisiones de los radiólogos cuando usan IA. También quieren investigar cuáles son las mejores formas de presentar la información de IA a los radiólogos para que puedan usarla de forma eficaz y sin sesgo de automatización.
— Se actualizó por última vez el 20 de junio de 2023, 15:09