Hermenéutica y opacidad algorítmica
MediHermes es una representación perfecta de la contradicción principal de este capítulo: un sistema que describe todo desde un punto de vista técnico, pero no hace posible entender nada desde un enfoque humano. Esta tensión entre la explicabilidad algorítmica y la comprensión hermenéutica llega a su máxima expresión en el campo de la medicina de urgencias, donde cada segundo es crucial y las decisiones pueden ser verdaderamente de vida o muerte. Estamos ante una crisis más profunda, no frente a un error técnico del sistema: la imposibilidad de convertir la lógica estadística en sentido clínico localizado.
Este dilema es particularmente pertinente porque muestra las cuatro fases del círculo hermenéutico en su versión más problemática. Los médicos tienen un entendimiento previo del contexto clínico que no considera el algoritmo; se esfuerzan por comunicarse con un sistema que les devuelve puntuaciones SHAP incomprensibles; no logran combinar su experiencia clínica con la lógica algorítmica; y, al final, quedan atrapados entre la falta de crítica y la desconfianza absoluta, sin que ninguna de estas actitudes posibilite una utilización práctica responsable.
El escándalo de que un paciente joven fuera priorizado sobre una anciana no se debe a un error de cálculo, sino a una colisión de horizontes interpretativos: para los médicos y las familias, lo que el algoritmo considera una optimización objetiva basada en “años de vida potenciales” es visto como una valoración jerárquica moralmente inaceptable acerca de la vida humana. Esta inconmensurabilidad no se soluciona con explicaciones técnicas detalladas, sino que requiere exactamente el tipo de interpretación ética, dialógica y contextual que la hermenéutica filosófica propone.
Asimismo, el caso muestra los límites reales de la escalabilidad algorítmica cuando se confronta con la diversidad humana. Los sesgos demográficos del sistema no son meras deficiencias técnicas que pueden ser corregidas, sino indicios de un problema más profundo: el supuesto de que un modelo entrenado con determinados datos tiene la capacidad de “entender” contextos completamente diferentes sin intervención interpretativa. Los pacientes de minorías étnicas, rurales y pediátricos no son “excepciones” al modelo. Más bien, son evidencia viviente de que la verdadera comprensión médica necesita exactamente esa habilidad de contextualizar cada caso en su propio marco específico.
Por lo tanto, el dilema que enfrentas no se limita a decidir entre precisión técnica y eficiencia. Es una cuestión de determinar qué clase de relación deseamos instaurar entre algoritmos y seres humanos en situaciones en las que la vida está en riesgo: ¿sistemas que explican sus decisiones posteriormente, aunque menoscaban la capacidad interpretativa del ser humano, o instrumentos que posibilitan el diálogo y mantienen la agencia hermenéutica de aquellos que tienen que entender, decidir y actuar éticamente frente a las repercusiones?
MediHermes es un sistema de inteligencia artificial implementado en el servicio de urgencias de un gran hospital público. Utiliza redes neuronales y procesamiento de lenguaje natural para analizar historiales médicos, síntomas descritos por pacientes, y datos fisiológicos en tiempo real, asignando a cada caso una “puntuación de urgencia” y una “interpretación preliminar” de posibles diagnósticos. Su objetivo declarado es “optimizar el flujo de pacientes y apoyar la toma de decisiones médicas mediante una comprensión contextualizada de cada caso”.
Tras 18 meses de implementación, los resultados presentan una profunda ambigüedad:
- A favor:
- Reducción del 30% en el tiempo de espera promedio para pacientes con condiciones críticas.
- Mejora del 25% en la detección temprana de sepsis y otras condiciones silenciosas gracias al cruce de datos no evidentes para el ojo humano.
- En contra:
- Erosión de la competencia clínica: El 65% de los médicos residentes reportaron dependencia excesiva de las interpretaciones del sistema, reduciendo su propio ejercicio de diagnóstico diferencial.
- Incomprensión hermenéutica: Las explicaciones del sistema (basadas en SHAP y LIME) fueron calificadas como “incomprensibles en contexto real” por el 80% del personal senior, llevando a desconfianza o aceptación acrítica.
- Crisis de legitimidad: Un caso mediático estalló cuando el sistema recomendó priorizar a un paciente joven con trauma leve sobre una anciana con dolor abdominal, basándose en cálculos de “años de vida potenciales perdidos”. La familia interpuso una demanda por discriminación por edad.
El detonante es un informe interno que revela que MediHermes fue entrenado principalmente con datos de población urbana y adulta, mostrando tasas de error significativamente mayores en pacientes pediátricos, rurales y de minorías étnicas. Una coalición de médicos senior, éticos y representantes de pacientes exige una revisión radical.
El Comité de Ética y Calidad Asistencial del Hospital debe decidir el futuro del sistema.
