§ 01
El problema de la alucinación no tiene solución.
El entusiasmo por los modelos de lenguaje en salud sigue un patrón predecible. Un equipo afina un modelo con literatura médica, lo prueba contra un examen estandarizado, publica un paper mostrando puntajes comparables a médicos, y comienza el ciclo de prensa.
Lo que estos benchmarks fallan en medir consistentemente es lo que más importa en la práctica clínica: el costo de equivocarse.
La alucinación de un LLM no es un bug que se va a corregir en la próxima versión. Es una propiedad estructural de cómo funcionan estos modelos. Un transformer predice el siguiente token según patrones estadísticos. Cuando encuentra un escenario clínico entre patrones bien representados, interpola — y esa interpolación puede producir resultados fluidos, seguros y erróneos.
En un chatbot de servicio al cliente, una alucinación significa una política de devoluciones ligeramente incorrecta. En un sistema de apoyo a decisión clínica, una alucinación significa recomendar un medicamento contraindicado a un paciente con falla renal. La distribución de probabilidad es idéntica. Las consecuencias no.