1.

INTELIGENCIA
ARTIFICIAL APLICADA
A LA SALUD: ¿QUÉ
MARCO JURÍDICO?*

Dr. Carlos María Romeo Casabona

Catedrático de Derecho Penal
Guillermo Lazcoz Moratinos
Investigador Predoctoral FPU-MECD

Universidad del País Vasco/EHU.

G.I. Cátedra de Derecho y Genoma Humano

* El presente trabajo se realiza en el marco de la financiación del Gobierno Vasco a Grupos de Investigación del Sistema Universitario Vasco (IT 1066-16); en el Proyecto
PANELFIT del Programa H2020 de la Comisión Europea; y en el de la licencia sabática concedida por la UPV/EHU (Prof. CM Romeo Casabona).
1
Introducción

Cada vez que se hace referencia a la “Inteligencia Artificial” (IA), se pro-

duce una brecha entre lo que imaginamos y lo que es, realmente y a día
de hoy, la inteligencia artificial.

Esta misma brecha entre lo real y lo imaginado se produce cuando asociamos la

IA a Medicina y Salud, una de las más prometedoras áreas para la aplicación de
estos sistemas, y por ello se hace necesario definir y contextualizar qué entende-
mos en la actualidad por inteligencia artificial.

Hay dos factores fundamentales que

han impulsado la IA en la actualidad1:

• Por un lado, la era del big data o de

los macrodatos permite la genera-
ción y recogida de cantidades masivas
de datos que abarcan nuestra cotidia-
nidad en su sentido más amplio. En
particular, en lo que se refiere a datos
de Salud o, más bien, datos relacio-
nados con la Salud, las posibilidades
crecen exponencialmente, tanto en lo
relacionado con fuentes más tradicio-
nales del sector sanitario que han sido
digitalizadas –la HC electrónica (HCe),
datos de ensayos clínicos, o datos de
secuenciación genética y microbiómi-
ca–, como a través del internet de las
cosas y aplicaciones que permiten la
monitorización constante de nuestra
vida diaria.

VOLVER AL ÍNDICE 61
• Por otro lado, esta ingente cantidad de datos no puede ser manipulada, analizada y
procesada con mecanismos o procesos tradicionales2. En este sentido, el desarrollo
tecnológico-computacional actual permite que esos datos sean objeto de un tratamiento
automatizado mediante complejos modelos algorítmicos con el fin de generar correlaciones,
tendencias y patrones, en definitiva, con el fin de extraer valor económico y social de esos
datos concebidos como materia prima3.

FACTORES QUE HAN IMPULSADO LA INTELIGENCIA ARTIFICIAL EN LA ACTUALIDAD:

BIG DATA O LOS MACRODATOS + DESARROLLO TECNOLÓGICO

Aspectos relacionados con el big data, como la

dudosa eficiencia actual de los procesos como
la anonimización y, actualmente, de la seudoni-
mización, el elevado riesgo de reidentificación,
que relativiza la función de estos procesos, han
sido objeto de atención por parte de la normati-
va europea e interna y de estudio profundo por
los juristas.

La conjunción de estos factores nos lleva a hablar de una nueva forma de generar conocimien-
to4. Entre esos complejos modelos algorítmicos, destaca el aprendizaje automático (o machine
learning, ML). La IA tiene por objeto que los sistemas informáticos desarrollen proce-
sos lógicos semejantes a la mente humana. Es un campo de estudio que busca explicar y
emular el comportamiento inteligente en términos de procesos computacionales5.

Si la inteligencia humana no es una dimensión única, sino un espacio

profusamente estructurado de capacidades diversas para procesar la
información6, igualmente, la IA utiliza muchas técnicas diferentes para
resolver una gran variedad de tareas y el ML representa simplemente
una de estas técnicas o formas de inteligencia

VOLVER AL ÍNDICE 62
El aprendizaje automático aborda los problemas
“aprendiendo” reglas a partir de los datos7.

Frente a la programación clásica, en la que los pro-

gramadores han venido introduciendo de forma rígida
reglas y datos para ser procesados acorde con dichas
reglas, el ML revierte el proceso en cierto sentido;
el “aprendizaje” en este contexto, describe el proceso
de la búsqueda automática de mejores y más útiles
predicciones para los datos con los que alimentamos
al modelo algorítmico, significa que la máquina puede
mejorar en su tarea programada, rutinaria y automa-
tizada a partir de ejemplos que se le facilitan, pero no
que la máquina adquiera conocimiento, sabidu-
ría o agencia, a pesar de lo que el término aprendiza-
APRENDIZAJE PROFUNDO
je pueda implicar8. Otra de las virtudes más relevantes
de estos métodos radica en que estos modelos algo-
rítmicos pueden manejar un número de variables
inabordable por la programación clásica9, de ahí
que el éxito de estos algoritmos – a pesar de que se
descubrieron décadas atrás – coincida precisamente
con los factores antes comentados, esto es, la disponi-
bilidad masiva de datos y la capacidad computacional
de procesarlos.

Y entre los diversos campos que aborda el ML, ha de

destacarse el desarrollo que se ha producido en el
aprendizaje profundo (o deep learning, DL), basado
en redes neuronales artificiales, que son modelos ma-
temáticos inspirados en el comportamiento biológico
de las neuronas.

El aprendizaje profundo, basado en redes

neuronales artificiales, son modelos mate-
máticos inspirados en el comportamiento
biológico de las neuronas
MANEJO DE UN NÚMERO
INABORDABLE DE DATOS

VOLVER AL ÍNDICE 63
En el DL, esas mejores representaciones para los datos que el modelo va aprendiendo se reali-
zan en diferentes capas, esto es, se reconocen los patrones en los datos de entrada en diferen-
tes niveles jerárquicos; así, los datos de entrada fluyen desde la capa de entrada a la capa de
salida. De forma simplificada, podríamos decir que cada capa está formada por unidades e
interconectadas configuran una red neuronal y, al igual que las sinapsis cerebrales,
esas conexiones entre unidades son o excitadoras o inhibitorias y varían de peso o
fuerza. En la red neuronal, el aprendizaje se produce por medio de la retropropagación, el
algoritmo compara el resultado obtenido en la capa de salida con el resultado deseado y asume
que el error en la unidad de salida se debe a errores en las unidades conectadas con ella10, con
lo que, para corregirse, realiza ajustes en los pesos asignados en la red desde la capa de salida
a la capa de entrada –hacia atrás, de ahí el término retropropagación–. Un aspecto de particular
importancia en el heterogéneo campo de los datos de Salud, es que los sistemas de DL son
capaces de analizar conjuntamente muy distintos tipos de datos11, desde la anamnesis
recogida en la HCe a una radiografía de cualquier zona corporal.

La tecnología, y en particular la IA, se ha propuesto a

menudo como una solución a la incertidumbre que
rodea muchos aspectos de la práctica sanitaria:

• Cómo clasificar las condiciones de los pacientes (in-

certidumbre diagnóstica)
• Por qué y cómo los pacientes desarrollan enferme-
dades (incertidumbre pato-fisiológica)
• Qué tratamiento será más apropiado para ellos (in-
certidumbre terapéutica)
• Si se recuperarán con o sin un tratamiento específico
(incertidumbre pronóstica), y así sucesivamente12.

Un significativo número de trabajos de investigación13 están demostrando un impresionante

rendimiento dentro de estas áreas por parte de sistemas construidos mediante el aprendizaje
automático. Son tecnologías de enorme potencialidad y frecuente uso también en la
investigación biomédica básica y en la investigación traslacional14, pero creemos más
oportuno destacar aquí las aplicaciones de IA más cercanas a la práctica clínica y asistencial15.

INCERTIDUMBRES EN LA PRÁCTICA CLÍNICA:

Pato-
Diagnóstica Terapéutica Pronóstica
fisiológica

VOLVER AL ÍNDICE 64
Por un lado, su rendimiento se ha comparado con los sistemas algorítmicos clásicos. Re-
cientemente, un estudio16 comparó la capacidad de varios modelos algorítmicos para prede-
cir el riesgo de una muerte prematura en británicos entre 40 y 59 años. Con carácter pros-
pectivo, el modelo fue alimentado con datos del UK Biobank de más de medio millón de personas
de dicha cohorte que incluían aspectos que van desde el género, nivel de estudios o la etnia, a los
antecedentes familiares, hábitos de consumo o diagnósticos y enfermedades previas. Los resul-
tados indicaron que los modelos algorítmicos de aprendizaje automático eran capaces de
predecir las muertes prematuras de forma más precisa que otros modelos algorítmicos
tradicionales. En particular, el modelo de DL basado en redes neuronales artificiales es el que
mejores resultados obtuvo, aunque sin diferencias significativas sobre el resto de modelos de ML.

El modelo de
aprendizaje pro-
fundo basado en
redes neuronales
artificiales es el
que mejores re-
sultados obtuvo

Por otro lado, y de forma inevitable, la capacidad de la IA ha tratado de compararse con

las capacidades humanas. Estos algoritmos han mostrado un rendimiento particularmente
positivo en el diagnóstico basado en imagen médica, lo que nos lleva a especialidades como
radiología, oftalmología o dermatología que dependen en gran medida en esta clase de
diagnóstico17. Otro estudio18 comparó el desempeño de un modelo de DL para la detección del
cáncer de pecho a partir de mamografías digitales de 101 radiólogos, concluyendo que la preci-
sión del sistema de IA en la detección del cáncer es equivalente a la de un radiólogo promedio.

A pesar de que este tipo de estudios comparativos son muy comunes, la literatura coincide en
que el mayor valor de las tecnologías basadas en IA reside en los efectos sinérgicos de la inte-
racción entre las máquinas y los seres humanos.

VOLVER AL ÍNDICE 65
 A partir de los anteriores presupuestos tecnológicos proyectados en el ámbito de la Salud,
podemos plantearnos algunos aspectos problemáticos y apuntar hacia su enfoque y a las
respuestas más adecuadas desde el punto de vista jurídico19:

1 El elevado riesgo de identificar o de volver a identificar –reidentificar- con relativa facili-

dad datos anónimos o que han sido anonimizados o seudonimizados, como pertenecientes
a una persona determinada –o determinable-, estableciendo relaciones con datos masivos a
través de las tecnologías del big data y, de la llamada, minería de datos18.

2 La toma de decisiones basadas exclusivamente en procesos de automatización o

en perfiles obtenidos de los pacientes, sin perjuicio de su evidente utilidad, puede afec-
tar a la autonomía del paciente, disminuyéndola o vaciándola de contenido.

3 La tendencia a la automatización en la toma de decisiones cuando están basadas exclu-

sivamente en propuestas algorítmicas del sistema de IA, que pueden anular la iniciativa y la
independencia decisional del profesional, sustituyéndola, a veces siendo aceptada por aquél
sin fundamentos suficientes.

4 El riesgo de que, al clasificar o estratificar a los pacientes en grupos o subgrupos de acuer-

do con los perfiles personales obtenidos de ellos con diversos criterios u objetivos, se tomen
decisiones discriminatorias, estigmatizadoras o arbitrarias basadas exclusivamente
en esos perfiles.

5 La opacidad sobre los elementos esenciales y sobre el proceso por el que un sis-
tema de IA ha llegado a una conclusión decisoria (indica su propuesta, pero no apor-
ta información significativa sobre en qué elementos o factores causales ha fundamentado
aquélla), comporta el riesgo de que el profesional de la Salud no pueda validar y confirmar o
descartar razonadamente la propuesta del sistema al pretender adoptar su propia decisión,
lo que puede conducir a discutir su posible responsabilidad si se acredita que hubo algún
error en el sistema o en el propio profesional que repercutiera en el empeoramiento del es-
tado de Salud del paciente.

6 El aumento de otras prácticas discriminatorias o estigmatizadoras, las cuales es-

tán prohibidas por la comunidad internacional21 y por la legislación interna22.

VOLVER AL ÍNDICE 66
2
Implicaciones del big data para
el régimen legal de los datos
personales en el ámbito de la
asistencia sanitaria

Con la expresión big data suele acotarse, según adelantábamos más arri-
ba, una variedad de tecnologías mediante las cuales puede ser tratada
una cantidad masiva de datos de origen muy diverso relativos a una mis-
ma persona o a un número extenso de ellas23.

Los datos que interesan aquí son los datos de Salud o que, sin serlo en sentido estricto, están
relacionados con ella y guardan interés respecto a la misma24. Destaca, tras su procesamiento
correspondiente, la capacidad del sistema inteligente para elaborar el diagnóstico de la enfer-
medad que padece el paciente o que desarrollará o podrá desarrollar, aunque en el momento
de emitir el dictamen sea asintomático; la anticipación de pronósticos y la propuesta de trata-
mientos adaptados a las características biopatológicas que presenta de forma individualizada el
paciente. Debe subrayarse en particular esta capacidad según lo indicado, esto es, que el trata-
miento de datos masivos puede ayudar a descubrir un gran número de predisposiciones
para desarrollar enfermedades cuya manifestación es incierta o revelar la condición de por-
tador de enfermedades hereditarias, la (in)tolerancia individual a ciertos tratamientos, principal-
mente con medicamentos.

El sistema inteligente
puede elaborar el diag-
nóstico de la enfermedad
que padece el paciente o
que desarrollará o podrá
desarrollar, anticipar
pronósticos y proponer
tratamientos adaptados
a las características
biopatológicas

VOLVER AL ÍNDICE 67
Los efectos del tratamiento masivo de datos son muy variados. Así, este tratamiento de los
datos (ML, DL) permite establecer relaciones entre datos muy diversos y obtener conclu-
siones que sería imposible o muy difícil de extraer a partir de cantidades de datos reducidas o
más homogéneas.

El cruce masivo de datos anónimos o seudonimizados con otros personales (identificados o

identificables) puede dar lugar a la identificación o a la reidentificación del interesado por parte
de terceros.

El big data comporta no sólo una alteración

cuantitativa del procesamiento de los datos,
de enormes cantidades de datos, sino sobre
todo un cambio cualitativo, en cuanto que
su tratamiento hace posible la obtención de
información que aparentemente no está
implícita en los datos o no puede derivarse o
deducirse directamente de ellos; consiste en la
capacidad de obtener información de carácter
personal que no ha sido aportada por el inte-
resado ni ha sido obtenida por terceros a par-
tir de otras fuentes de información basadas en
diversos elementos materiales o en actividades
desarrolladas por el titular de los datos (reali-
zación de pruebas diversas, exploración directa
del paciente por parte del profesional de la Sa-
lud, etc.).

2 TIPOS DE ALTERACIONES
DEL BIG DATA:

PROCESAMIENTO DE ENORMES
ALTERACIÓN CUANTITATIVA
CANTIDADES DE DATOS

ALTERACIÓN CUALITATIVA OBTENCIÓN DE INFORMACIÓN QUE NO PUEDE

DEDUCIRSE DIRECTAMENTE DE LOS DATOS

VOLVER AL ÍNDICE 68
Estos asuntos requieren que el nuevo marco normativo es-
tablecido por el RGPD25 abarque las peculiaridades que pre- La ley no puede
prever con tanta
senta cada uno de ellos. Ya no va a depender directa o indi-
facilidad la natu-
rectamente de la voluntad del interesado que pueda darse raleza que tendrán
nacimiento a datos de carácter personal. Por otro lado, la estos datos y en
ley no puede prever con tanta facilidad la naturaleza función de ella
que tendrán estos datos y en función de ella estable- establecer su
cer su régimen jurídico específico. Las tareas relaciona- régimen jurídico
específico
das con la transmisión de información al titular de los datos
pueden ser demasiado cortas o demasiado extensas.

En resumen, desde el punto de vista jurídico el big data presenta una relevante novedad
y un gran desafío. Así, en primer lugar, debemos plantearnos si el marco jurídico actual, aun
siendo nuevo, es una herramienta adecuada para regular situaciones nuevas y futuras que per-
cibimos ya como previsibles a no muy largo plazo. En concreto, debemos dirigirnos al RGPD
para obtener respuestas y más en particular para comprobar si son suficientes las que
aporta sobre el big data.

Estos mismos interrogantes se suscitan en el Derecho interno, para determinar si es necesaria

una adaptación de las leyes actuales. En este sentido la nueva normativa de nuestro país
que complementa y desarrolla el RGPD establece criterios y prescripciones adaptadas
a las exigencias jurídicas específicas que se derivan de la aparición del big data en la
sociedad26. Sin embargo, por lo que se refiere al menos a los datos relacionados con la Salud,
su contenido no está dirigido al tratamiento de los datos en el marco asistencial y clínico, sino
en el de la investigación biomédica27.

La nueva normativa
de nuestro país que
complementa y
desarrolla el RGPD
establece criterios y
prescripciones adap-
tadas a las exigencias
jurídicas específicas
que se derivan de la
aparición del big data
en la sociedad

VOLVER AL ÍNDICE 69
3
Derecho a la información,
derecho a la explicación
del paciente

La literatura jurídica debate sobre la existencia o no de un derecho a la

explicación en el RGPD y su eventual alcance.

Cuando la elaboración de perfiles o las decisiones automa-

tizadas afectan a la capacidad de las personas para acceder
a determinados bienes y servicios –o, pongamos, a trata-
mientos y medicamentos–, se debate si los interesados
tienen derecho a recibir explicaciones adecuadas e
inteligibles sobre la lógica utilizada en el proceso de-
cisional del sistema de IA, sobre los procesos que con-
dujeron a esos resultados28; es decir –siguiendo un ejemplo
que veremos más abajo–, una explicación concreta de por
qué un algoritmo indica que una persona determinada con
neumonía no debe ser hospitalizada. Este es el matiz dife-
rencial que presenta el derecho a la explicación en relación
con ese derecho más genérico a la información, del que a
la postre aquél forma parte, estén vinculados o no ambos
a la prestación del consentimiento por parte del paciente.

En cualquier caso, podemos sostener que en el plano asistencial el derecho a la información

está ampliamente garantizado en nuestra legislación interna previa, e incluye algunas
matizaciones que completa el RGPD sobre el derecho a la explicación29. Asimismo, acogería el
derecho a la información que estamos analizando en relación con la elaboración de perfiles y la
toma de decisiones individuales automatizadas, lo que significa que en este punto el RGPD es
concluyente:

“Además de la información mencionada en el apartado 1, el responsable del tratamiento facilita-

rá al interesado, en el momento en que se obtengan los datos personales, la siguiente informa-
ción necesaria para garantizar un tratamiento de datos leal y transparente: […] f) la existencia
de decisiones automatizas, incluida la elaboración de perfiles, a que se refiere el artículo 22,
apartados 1 y 4, y, al menos en tales casos, información significativa sobre la lógica aplicada,
así como la importancia y las consecuencias previstas de dicho tratamiento para el interesado”30.

VOLVER AL ÍNDICE 70
En el marco de la relación médico-paciente, la cuestión va más allá, dada la figura del mé-
dico responsable, es decir, el que garantiza el cumplimiento del derecho a la información al
paciente y, en particular, de que ésta sea expresada en términos adecuados a las posibilidades
de comprensión de aquél31.

El derecho a la información asistencial en

relación con la IA merece, sin duda, ser objeto
de mayor profundización en el plano jurídi- El médico es
el responsable de
co para que la canalización de dicha información
garantizar el cum-
garantice que los facultativos se hallen en con- plimiento del
diciones de cumplir con los deberes correlativos derecho a la
a los derechos de los pacientes y, por supuesto, información al
en condiciones de proveerles las decisiones más paciente y de que
adecuadas para el cuidado de su Salud. ésta sea expre-
sada en términos
adecuados
Puede parecer paradójico asumir que los sesgos
no surgen de forma espontánea. De hecho,
la práctica clínica y asistencial está plagada de
sesgos humanos que, en ocasiones, derivan en
decisiones equivocadas o arbitrarias; por ello los
sesgos de los sistemas automatizados pue-
den ser similares, entre otros, a la mera re-
producción de un sesgo humano en una historia
clínica o en un modelo algorítmico que ha sido
alimentado con una base de datos que repre-
senta a un sector de la población muy limitado y
poco diverso, cuyos resultados no son entonces
válidos para las personas no representadas en
dicha base de datos.

VOLVER AL ÍNDICE 71
En este sentido, algunos autores exponen que, detrás de algunas de las propuestas y regu-
laciones en torno a una IA interpretable que buscan hacer más transparentes las herramientas
algorítmicas de decisión, existe una suposición implícita.

Esta suposición parte de que es justo imponer un nivel más alto de transparencia a tales
herramientas de lo que normalmente se impondría a los responsables de la toma de decisiones
humanas, dado que el tipo de interpretabilidad que no podemos –pero pretendemos– obtener
de la IA tampoco lo podemos obtener de los humanos32.

Hay que imponer

un nivel más alto de
transparencia a ta-
les herramientas de
lo que normalmente
se impondría a los
responsables de la
toma de decisiones
humanas

VOLVER AL ÍNDICE 72
4
La automatización de la práctica
clínica: límites a la autonomía del
paciente y a la facultad decisional
del profesional

La práctica de la Medicina no es ajena a la automatización que está de-

sarrollándose en prácticamente la totalidad de los sectores productivos
de la sociedad, por mucho que sea un sector menos vulnerable en este
sentido por abarcar tareas poco rutinarias y una alta demanda de habi-
lidades sociales33.

En realidad, sería positivo que el horizonte de la Medicina fuera el proceso de automatización

que ha transformado ya a otros sectores, como el pilotaje de aeronaves, al menos en lo que
respecta a la reducción de los accidentes y de la mortalidad, lo cual no quiere decir que la
automatización esté exenta de riesgos. Errar ya no es solo humano34, pero resulta pro-
blemático imputar ese error a entes no humanos, como manifestación de su respon-
sabilidad moral35.

La automatización de cualquier tarea comienza inexorablemente por la posibilidad del sistema

de “leer” el entorno, es decir, comienza en la recogida de datos. Está ampliamente popu-
larizada la concepción de los datos como el nuevo petróleo y, a pesar de las evidentes
limitaciones de este símil, es cierto que los datos, como el petróleo, son un recurso valioso que
debe ser refinado para extraer valor del mismo36.

La práctica de la
Medicina no es
ajena a la automa-
tización que está
desarrollándose en
prácticamente la
totalidad de los
sectores producti-
vos de la sociedad

VOLVER AL ÍNDICE 73
Si los sistemas de IA son coches que necesitan
gasolina para funcionar, en el proceso de refina-
miento de los datos –el petróleo– para extraer
valor del mismo –la gasolina–, nos encontramos
con la premisa anglófona garbage in, garbage
out (GIGO), que obliga a considerar no solo la
cantidad de datos con los que vamos a alimen-
tar nuestro algoritmo, sino muy especialmente a
considerar la calidad de los mismos.

La realidad a la que se enfrenta este proceso de

refinamiento es que es realmente costoso en
términos humanos; las tecnologías emergen- En la recogida
tes de cada momento histórico impulsan cambios de datos en los
en la práctica de la medicina, siendo innegable en sistemas de
la actualidad que la relación médico-pacien- inteligencia
artificial no solo
te ha vivido profundas transformaciones
importa la
con la introducción de los ordenadores en cantidad sino
las consultas. Estudios muestran que en Aten- la calidad
ción Primaria se dedica casi un 40% del tiempo
de la consulta al sistema informático37, o que el
conjunto de tareas realizadas frente al ordena-
dor suponen para el personal médico más tiempo
que las dedicadas a atender pacientes38 y, lo que
resulta aún más preocupante, la aparente rela-
ción entre el estrés y agotamiento de los y las
profesionales con el uso de las tecnologías de la
información sanitarias39.

Casi un 40%
del tiempo de
la consulta en
Atención Primeria
se dedica al sistema
informático

VOLVER AL ÍNDICE 74
 Y si el proceso de recogida de los datos es costoso,
tampoco resulta fácil conseguir que una máquina compren-
da datos no estructurados, acrónimos, frases abreviadas,
diferentes estilos de escritura y errores humanos que se
congregan en las HCe40. Por todo ello, entendemos que no
puede ignorarse el coste humano del proceso de refi-
namiento de los datos que requieren los sistemas de IA
para funcionar y más aún cuando, lamentablemente, parece
ser que en España estamos lejos de conseguir un sis-
tema de adquisición y almacenamiento de los datos
que permita su procesamiento analítico posterior41.

Una vez un sistema cuenta con la información suficiente sobre el entorno, es cuando podemos
hablar de la automatización de la toma de decisiones. Al contrario de lo que muchas veces se per-
cibe, la automatización no es tanto un binomio –decisión automatizada o decisión no automa-
tizada– sino una escala progresiva42 –desde decisión nada automatizada a decisión totalmente
automatizada–; por el momento, dado el desarrollo actual de la ciencia, en el ámbito sanitario será
difícil encontrar decisiones totalmente automatizadas donde un sistema de IA decida di-
rectamente y sin supervisión humana, por ejemplo, qué tratamiento debe seguir un paciente.

Más habitual será que estos sistemas se integren como Sistemas de Apoyo
a las Decisiones –Decision Support Systems (DSS)–, de modo que la decisión
final seguirá recayendo sobre el facultativo, aunque la progresiva automatización
obligará a redefinir los roles de la relación médico-paciente

En este contexto de la automatización decisional debemos

situar la elaboración de perfiles de los pacientes, cla-
sificándolos o estratificándolos en grupos a partir de unas
características preseleccionadas comunes. Su utilidad es-
pecífica en el sector de la Salud es indudable43. Así, puede
ayudar a la obtención de ciertos perfiles en el ámbi-
to sanitario asistencial para la elaboración de pro-
tocolos, siempre científicamente respaldados, que
señalen pautas de actuación de los profesionales de
la Salud (p. ej., sobre la prescripción por el facultativo de
pruebas diagnósticas ante un cuadro estándar –de perfil-
que presente un paciente; o sobre el tratamiento adecua-
do para ese perfil, más que para el paciente concreto).

VOLVER AL ÍNDICE 75
Nada hay que objetar en principio a estas acciones y a
esta forma de utilización de los recursos tecnológicos
en el tratamiento de los datos de Salud, en particular
si son anónimos o han sido anonimizados. Más du-
doso es que estas estrategias y la disponibilidad
de TIC avanzadas puedan llegar a promover con
el paso del tiempo la toma de decisiones rutina-
rias o, peor, completamente automatizadas, sin
otro tipo de respaldos que refuercen la decisión o la
desaconsejen; o se focalicen hacia personas concre-
tas que responden al perfil que interesa identificar. El
análisis jurídico se vuelve entonces inevitable.

En concreto, son rechazables en la medida en que estas estrategias pueden comportar

intrusión en la esfera privada de las personas, pero también en la autonomía decisional de
los pacientes, al limitar o excluir que éstos puedan tomar una posición sobre la propuesta
decisional del sistema inteligente, incluso oponiéndose a ella. Aquí podría llegar a imponerse el
imperativo tecnológico sobre la libertad del paciente de aceptar o de rechazar un tratamiento,
y vulnerar de este modo los derechos que le reconocen las leyes44.

Un problema jurídico de primera magnitud que podrá afectar también a los pacientes se refiere
a que la elaboración de perfiles a partir de datos personales tienda a clasificar de for-
ma consecuente a las personas en grupos o subgrupos con perfiles similares a los que
se asocian determinados patrones; p. ej., incluir a un paciente oncológico en protocolos
que se refieren a las actuaciones asistenciales para cuadros cancerosos semejantes sin tener
suficientemente en cuenta las variantes que pueda presentar ese paciente concreto. A partir de
ahí, podrían asumirse decisiones automatizadas, prescindiendo de individualizar la decisión
por parte del profesional, esto es, de las características más singulares o individuales que pre-
sente el paciente en cuestión, sin supervisar y validar, en su caso, las propuestas decisionales
del sistema digital.

Es importante
individualizar
las decisiones
por parte del
profesional

VOLVER AL ÍNDICE 76
Sobre este particular la conclusión no puede ser otra que rechazar que una decisión asis-
tencial esté basada exclusivamente en perfiles elaborados sobre los pacientes y se
tome de forma exclusivamente automatizada, sobre todo si conduce a la exclusión del tra-
tamiento sin ofrecer a cambio otro supuestamente menos eficaz pero indicado como alternati-
va45. En consecuencia, podrían ser víctimas de prácticas arbitrarias, al no tener en cuenta otros
elementos decisorios relevantes; o discriminatorias, al poder ser excluido de un tratamiento o
prescribirle otro en atención a diversas consideraciones extra sanitarias.

También es cierto que las prácticas de automatización aludidas con anterioridad de hecho se-
rían por el momento casi marginales para el ámbito de aplicación de lo que el RGPD entiende
por decisiones automatizadas en su artículo 22, esto es, procesos de toma de decisiones
basadas únicamente en el tratamiento automatizado de datos46. En cualquier caso, debemos
prepararnos para esta eventualidad, pues es previsible que se vayan extendiendo decisio-
nes automatizadas en el sentido vedado por el Reglamento, empezando por los procesos
decisionales más sencillos, pero que probablemente avanzarán a terrenos más complejos.

La tendencia a reconocer rutinariamente propuestas de decisiones concretas a partir del

tratamiento automatizado de datos personales, en particular su procesamiento mediante
algoritmos y la tecnología del big data, podrá incrementarse; quiere decirse, asumir decisiones
elaboradas por el sistema inteligente sin supervisarlas o contrastarlas a la luz de la situación con-
creta del paciente y su entorno. Significa ello admitir, al menos como hipótesis, que se proceda a
tomar las decisiones que el sistema proponga, sin una revisión o supervisión humana
previas con la cualificación que corresponda, y sin tratar de fundamentar o explicar por qué se
ha llegado a esa conclusión; dicho de otro modo, sin valorar la perspectiva causal (o, si se prefie-
re, la fundamentación) que comporta todo proceso decisional47. Como señalábamos más arriba,
la elaboración de perfiles clasificatorios de las personas con la ayuda de sistemas de inteligencia
artificial propicia este tipo de comportamientos, que serían contrarios a valores democráticos48.

VOLVER AL ÍNDICE 77
Algunas empresas privadas están trabajando en el perfeccionamiento de sistemas com-
putacionales capaces de establecer relaciones de datos diversas que al mismo tiempo
permitan a la persona responsable de la toma de la decisión seguir el proceso al que ha
llegado a favor de una determinada decisión y no a favor de otra, como puede ocurrir al dicta-
minar un diagnóstico médico (así, con la Plataforma Watson, de IBM; o con la de Google).

Esto daría confianza al profesional en el momento de aceptar el diagnóstico estable-

cido por el sistema y tomar a partir de él las decisiones asistenciales oportunas49. Sin
embargo, no parece tarea fácil salirse de la rutina y que el profesional revise con la atención
suficiente el proceso decisional seguido por el sistema en el manejo de los algoritmos. Este será
el reto principal para prevenir automatismos decisionales.

El reto principal para

prevenir automatismos
decisionales es crear sis-
temas computacionales
capaces de establecer
relaciones de datos y que
al mismo tiempo permitan
a la persona responsable
participar de una determi-
nada decisión

En conclusión, cualquier decisión apoyada en

la información proporcionada por un sistema
basado en el procesamiento automatizado de
algoritmos deberá ser adoptada y/o supervi-
sada por un ser humano cualificado, de modo
que pueda valorar su decisión a la luz de la situa-
ción concreta que presente el interesado50 (p. ej.,
no limitarse a excluir a un paciente de un trata-
miento novedoso porque de acuerdo con su perfil
no va a resultarle beneficioso, sino reconsiderar la
decisión propuesta y asegurarse de la convenien-
cia de optar por otro tratamiento alternativo tal vez
menos eficaz, pero con la potencialidad de aportar
algún beneficio para tratar la enfermedad).

VOLVER AL ÍNDICE 78
De acuerdo con la normativa europea, una decisión asistencial no podrá basarse única-
mente en los perfiles obtenidos del paciente; esta prohibición es coherente con la esencia
individualizadora de la que parte una nueva concepción de la medicina que se está abriendo
camino: la Medicina Personalizada de Precisión51.

Se considera que esta perspectiva metodológica, de base personal e individualizada, constituye

el medio más adecuado, si se actúa de forma coherente con lo que ella representa, para pre-
venir la asunción de conclusiones equivocadas en la que también puede incurrir un
sistema computacional, conclusiones que a su vez podrían conducir a la toma de decisiones
también equivocadas52.

No cabe duda de que un paciente puede verse seriamente comprometido por cualquier decisión
que repercuta en sus expectativas y que puede afectarle “significativamente” en cada una de
las situaciones en las que pueda encontrarse.

La Medicina
Personalizada de
Precisión ha surgi-
do para prevenir la
asunción de conclu-
siones equivocadas
en la que también
puede incurrir un
sistema computa-
cional

VOLVER AL ÍNDICE 79
5
La cuestión de la opacidad en los
sistemas de IA y la atribución de
responsabilidad legal

Una de las problemáticas que más literatura científica ha suscitado en

torno a estos sistemas de IA, es la falta de transparencia o la opacidad
que ha sido achacada a los procesos decisorios algorítmicos basados en
dichos sistemas.

Dejando a un lado las matizaciones que realizaremos más adelante sobre el concepto de opa-
cidad, por ello se denominan habitualmente “cajas negras”, o “black boxes”.

Como contrapunto, la transparencia es una exigencia que ha ido ganando terreno tam-
bién en los procesos de automatización, llegando a reivindicarse como un verdadero dere-
cho prestacional que exige actuaciones positivas por parte de las autoridades públicas53. Este
principio es entendido como que “toda información y comunicación relativa al tratamiento de los
datos personales sea fácilmente accesible y fácil de entender”54. Podría considerarse como una
expresión del derecho a la explicación, que dijimos más arriba otorga una nueva dimensión al
derecho a la información.

Estamos ante una cuestión decisiva, pues la falta de interpretabilidad de estos sistemas de
IA ha sido, hasta el momento, una de las limitaciones más importantes para implementar en la
práctica médica estos métodos con tanto potencial. En efecto, para que un profesional pueda va-
lidar un determinado resultado y asumir tomar –o aceptar- una decisión sobre su(s) paciente(s)
necesita conocer los elementos esenciales en los que se ha basado la conclusión del sistema de IA.

Ante la falta de
interpretabilidad
de estos sistemas
de IA es necesario
un aumento de la
transparencia en
la automatización

VOLVER AL ÍNDICE 80
Un estudio55 realizó un ensayo para determinar si el aprendizaje automático podía utili-
zarse para predecir el riesgo de muerte tras sufrir una neumonía, esta predicción sería
utilizada para tomar una decisión más informada sobre la hospitalización de un paciente, redu-
ciendo costes en hospitalizaciones innecesarias e identificando de forma más precisa aquéllos
pacientes que sí necesitaban hospitalización. El modelo algorítmico utilizado no fueron
redes neuronales artificiales, sino uno más sencillo e inteligible (rule-based system).

NEUMONÍA MUERTE

Sorprendentemente, el sistema calificó el asma

como un indicador de bajo riesgo. Debido a que
las variables del algoritmo eran visibles, fue
fácil averiguar qué fue lo que salió mal: los pacien-
tes con asma son inmediatamente enviados a un
hospital, generalmente a una unidad de cuidados
intensivos, con lo cual, el intenso cuidado que re-
ciben reduce su riesgo de muerte tras sufrir una
neumonía frente al resto de la población. El sis-
tema simplemente correlacionó los buenos
resultados de las personas asmáticas con un
menor riesgo de muerte.

Sin embargo, si la clasificación se hubiera basado en una red neuronal, podría haber
sido mucho menos obvio cuál de las características causó que el sistema atribuyera un bajo
riesgo a las personas asmáticas.

Ahora bien, la opacidad es un concepto polisémico56 en el ámbito de las decisiones algorít-

micas. Es común a los modelos de aprendizaje automatizado la imposibilidad de conocer, incluso
para quienes los desarrollan, cómo un modelo proporciona un resultado específico, esto es, no es
posible tener acceso a las reglas o no hay suficiente comprensión de las reglas que un sistema
de IA está aplicando cuando realiza determinada predicción. Sin embargo, no todos los modelos
algorítmicos utilizados para la toma de decisiones automatizada adolecen de esta clase de opaci-
dad (epistémica); en otras ocasiones, las reglas que sigue un modelo no son reveladas por una
decisión deliberada del responsable del tratamiento automatizado, sea por razones de secreto
industrial, privacidad o de otra clase, lo cual jurídicamente no debería ser tampoco irrelevante.

VOLVER AL ÍNDICE 81
Los temores en torno a la opacidad no son infundados, ya que uno de los riesgos más evi-
dentes asociados a la recogida y tratamiento automatizado de los datos es la introduc-
ción de sesgos que deriven en decisiones arbitrarias o discriminatorias, y la falta de transpa-
rencia de la IA – tal y como hemos visto en el ejemplo expuesto – dificulta la identificación y
prevención de dichos riesgos.

RIESGO MÁS EVIDENTE EN LA AUTOMATIZACIÓN DE LOS DATOS

SESGOS QUE DERIVEN EN

DECISIONES ARBITRARIAS + OPACIDAD DE LA
INTELIGENCIA ARTIFICIAL
O DICRIMINATORIAS

Los tribunales de Wisconsin, a la hora de establecer la gravedad de las penas, vienen

utilizando un algoritmo (COMPAS, desarrollado por la empresa Northpointe) que pretende
predecir el riesgo de reincidencia de un individuo. Un informe de ProPublica denunció que el
sistema incurría en significativos sesgos raciales en sus predicciones57. El Tribunal Supremo del
Estado de Wisconsin dictó sentencia58 acerca de la constitucionalidad del uso de este algoritmo,
fallando que el derecho de los acusados al debido proceso59 no fue violado en dicho caso por el
mero hecho de que no pudieran acceder a una explicación adecuada sobre el funcionamiento in-
terno del algoritmo –protegido por secreto de empresa–, que había calificado al acusado con un
alto riesgo de reincidencia. El Tribunal califica el sistema de IA como una herramienta de
apoyo más destinada a mejorar la evaluación por parte de un juez y argumenta que, por
ende, los jueces siempre pueden compensar cualquier posible rendimiento inferior o resultados
sesgados de la herramienta, a pesar de que los jueces no tengan acceso al funcionamiento del
algoritmo y de que no actuaran en este caso del modo que ellos mismos establecieron en su
sentencia60.

VOLVER AL ÍNDICE 82
6
Determinación de los deberes
de diligencia del profesional en
cuanto usuario de IA
En el contexto de la intervención sanitaria asistencial con el concurso
de robots y sistemas inteligentes, autónomos o no, pueden producirse
lesiones o la muerte de los pacientes como consecuencia de procesos
decisionales propuestos o ejecutados por ellos.

Estos eventos están recogidos como el resultado típico de algunos delitos descritos en el Código
Penal, tanto dolosos como imprudentes (así, los delitos de homicidio y de lesiones).

Una gran preocupación, no exenta en ocasiones de cierta confusión, ha suscitado entonces la

cuestión de si los sistemas de IA podrán ser imputados como sujetos activos de delitos
y por tanto directamente responsables de ellos, al menos de algunas infracciones penales,
como las que hemos apuntado poco más arriba61.

Las situaciones relevantes en el marco de este estudio, es decir, en el de la asistencia sanitaria,

son aquéllas en las que se plantea si el resultado dañoso o lesivo para el paciente puede
imputarse jurídicamente a los profesionales que intervienen con el apoyo de siste-
mas robotizados o inteligentes automatizados en el diagnóstico o en la prevención o en
el tratamiento de la enfermedad del paciente. Más en particular, cuándo se podrá imputar
al médico o a otros profesionales de la Salud un resultado recogido en un tipo de lo
injusto de la ley penal, como son la muerte o lesiones del paciente, por el incumplimiento de
deberes de diligencia, es decir, por la inobservancia del cuidado objetivamente debido, además
de la concurrencia de otros elementos del delito, como son la relación de causalidad y otros cri-
terios de imputación objetiva; cuándo habrá incurrido en un delito imprudente –de homicidio o
de lesiones- a partir de las conclusiones y propuestas ofrecidas por el sistema automatizado62.

MUERTE O
LESIONES EN
LOS PACIENTES

VOLVER AL ÍNDICE 83
Una gran preocupación es
cuándo se podrá imputar
al médico o a otros pro-
fesionales de la Salud un
resultado recogido en un
tipo de lo injusto de la ley
penal, como son la muer-
te o lesiones del paciente,
por el incumplimiento de
deberes de diligencia

Como se ha indicado más arriba, no debe olvidarse que el sistema de IA puede llegar a
conclusiones erróneas, al poder procesar un volumen elevado de datos del paciente
(y de otros) con cálculos estadísticos y probabilísticos muy variados. Por otro lado, el sistema,
si bien puede explicar –por lo general satisfactoriamente- las conclusiones a las que ha llegado,
no ocurre lo mismo sobre cómo ha llegado a esas mismas conclusiones, cuál ha sido la lógica
del proceso seguida. Simplificando la cuestión, o centrándonos sólo en este aspecto que gira en
torno a los deberes de cuidado del profesional o, mejor, en torno a su infracción respecto a la
asunción –negligente- de las propuestas del sistema, podemos intentar apuntar a cómo averi-
guar cuál es el cuidado debido en cada situación concreta.

En este punto habrá que recordar también la decisiva importancia que desempeña el riesgo
permitido para modular el cuidado debido63; desde él debe tomarse el punto de partida. La
doctrina elaborada sobre esta figura resultaría plenamente aplicable a estas situaciones, siendo
especialmente relevante determinar hasta dónde llega el límite máximo del riesgo permitido. Al
presentar a continuación nuestra propuesta somos también conscientes de que el Derecho Pe-
nal debe satisfacer una función preventiva, especialmente recomendable y creemos
que también factible en relación con las tecnologías.

El Derecho Penal
debe satisfacer una
función preventiva,
especialmente re-
comendable y cree-
mos que también
factible en relación
con las tecnologías

VOLVER AL ÍNDICE 84
Probablemente, en un futuro no muy lejano habrá que contar con una fuerte intervención
administrativa, reforzada por normas que articulen el funcionamiento permitido –au-
torizado- de los sistemas de IA, modulado conforme a las características particulares que pre-
senten y a las funciones específicas que vayan a realizar. Quiere decirse con esto que el marco
en el que debería ajustarse el espacio para el riesgo permitido en las decisiones e interven-
ciones sustentadas en la IA habría de construirse sobre una estructura próxima a la idea del
compliance, que constituye el fundamento de la responsabilidad penal de las personas
jurídicas para una gran parte de la doctrina penal64.

En el ámbito de los delitos imprudentes, el compliance consistiría no sólo en la existencia de

estructuras y procedimientos organizativos y de gestión del riesgo que previnieran la existen-
cia o el desarrollo de una defectuosa –negligente- organización o planificación propicia para la
comisión de delitos (objetivo esencial en relación con las personas jurídicas), sino más bien o
además, en nuestro caso, que esas estructuras y procedimientos previnieran también la
toma de decisiones rutinarias y no validadas consecuentes de las conclusiones del
sistema inteligente.

COMPLIANCE EN SALUD:
ESTRUCTURAS Y PROCEDIMENTOS

Gestión del
riesgo + Prevención de
toma de decisiones
rutinarias y no validadas

El segundo aspecto comportaría que la puesta a disposición en el mercado (o su introducción y

utilización en los sectores de la sociedad concernidos) fuera precedida por un examen general
y minucioso del sistema por técnicos expertos acreditados e independientes, aunque
pudieran estar al servicio, directo o indirecto, (p. ej., por la vía de concesiones administrativas
para gestionar el servicio) de las administraciones públicas. Ellos valorarían su adecuación
técnica para el servicio o actividades que el sistema debería prestar, el grado de error pre-
decible, su básica inocuidad para los bienes jurídicos, la posibilidad de bloquear su uso o
funcionamiento en casos de emergencia, etc.

VOLVER AL ÍNDICE 85
La valoración positiva o acreditación oficial daría lugar a la autorización de la uti-
lización pública o privada del sistema de IA, indicando las revisiones y validaciones de
mantenimiento periódicas que deberían realizar los usuarios o establecer sus empresas u or-
ganizaciones, sobre las conclusiones y propuestas de aquél; y señalando también las funciones
específicas para las que hubiera sido acreditado y a las cuales debería limitarse el sistema.

CONFIGURACIÓN
DE ESTÁNDARES
PRACTICABLES
EN SITUACIONES
PREDECIBLES

Estos dos aspectos ayudarían a acotar el terreno en el que se desempeñaría el riesgo

permitido, del que en este contexto se ha intentado –la estadounidense FDA- catalogarlo en
diversos niveles aparentemente mensurables, como indicaremos más abajo. Sin embargo, es-
tas premisas sólo configurarían los estándares practicables en situaciones predecibles
(“típicas” o conocidas y descritas por el sector social concernido), pues el sistema organizativo
así las habría computado.

La dificultad de ofrecer criterios practicables y más precisos empieza precisamente aquí, al pre-
sentarse en la realidad variables de difícil subsunción normativa. Ello nos devuelve a los
criterios normativos propios de la imprudencia, como el prototipo del hombre sensato y respon-
sable y el principio de confianza, principalmente65. Sin poder entrar ahora mucho más allá en
el contenido de estos principios66, podemos apuntar algunas observaciones que relativizan o al
menos cuestionan su traslado al escenario de la IA.

En efecto, el principio de confianza indica que

una persona que participa en una actividad de
relación, en la vida social, puede actuar en la
confianza de que los demás participantes en
la misma actuarán a su vez cumpliendo sus
propios deberes de cuidado (ej., al conducir un
vehículo de motor, en la distribución de funciones
en una actividad compartida de forma sucesiva,
en el trabajo en equipo en el ámbito sanitario); es
decir, no se debe ir comprobando en cada acción
que se realiza si los demás participantes actúan
con la diligencia debida; salvo que se tengan indi-
cios de que algún participante está incumpliendo
el cuidado debido que a él le incumbe67.

VOLVER AL ÍNDICE 86
De este modo se reincorpora a este escenario otro elemento normativo más que se mueve en la
esfera de la acción –diligente- (no de la imputación objetiva del resultado). Sin embargo, lo que
en realidad preocupa en relación con el sistema automatizado inteligente es que éste cometa
un error que pueda producir un daño a una persona –a un paciente-, pues no parece que
aquél sea capaz de conocer no sólo el contenido del cuidado debido, es decir, de un elemento
normativo, sino, además, de valorarlo como tal, para lo que solo son aptos los seres humanos,
al menos en la actualidad; o, incluso, de que sea capaz de actuar de forma contraria a la norma,
si su programación funciona conforme a cómo fue diseñada.

Por tanto, el principio de confianza, cuando menos según su intelección tradicional, decaería
para el médico cuando viera el indicio de un error, que es un presupuesto meramente
fáctico y objetivo, inicialmente valorativamente neutral, todavía no normativo68.

En segundo lugar, para que el sujeto humano pueda valorar el indicio de ese error ha de
empezar por revisar, examinar y evaluar la conclusión o propuesta decisionales del
sistema, de otro modo los indicios no llegarían a poder apreciarse y motivar al actuante a to-
mar sus propias decisiones frente a aquél.

La pregunta que surge inmediatamente es si con este planteamiento las grandes expectativas
depositados en la IA en general y para el ejercicio de la Medicina en particular no se
verán disminuidas y con ello frustradas hasta cierto punto, al sugerir una constante acti-
vidad de revisión y validación.

REVISIÓN Y Margen de
INTELIGENCIA
ARTIFICIAL + VALORACIÓN
POR EL
PROFESIONAL
automatización
asumible en
cada situación

VOLVER AL ÍNDICE 87
A esta hipotética objeción se puede
oponer, en primer lugar, que no tiene
por qué ser siempre éste el proceder
correcto. Pero si es cierto que al en-
frentarnos a tecnologías en constan-
te desarrollo y perfeccionamiento, las
máximas de experiencia desempeña-
rán una relevante función a la hora de
señalar el cuidado debido, que apela-
rá fundamentalmente a la figura ideal
del hombre sensato y responsable
y ayudará a determinar el mar-
gen de automatización asumible
en cada situación y la relajación
progresiva de esta prevención a
medida de que se refuerce el per-
feccionamiento del sistema de IA en
cuestión y sea más confiable69.

No cabe señalar en el estado actual de la tecnología pautas más precisas que den mayor segu-
ridad al profesional actuante ni al juzgador sentenciador, en su caso; así ocurre siempre que se
transitan nuevos caminos.

De todos modos, nos parece interesante traer aquí algunas reflexiones y propuestas, que vi-
niendo de instituciones en principio ajenas al pensamiento jurídico, pretenden introducir me-
canismos de seguridad en torno a la evaluación y validación de estos instrumentos
automatizados, y pueden aportar referencias para los problemas acabados de exponer.

VOLVER AL ÍNDICE 88
7
En busca de una
inteligencia segura

Al pensamiento de que un algoritmo pueda comprender los patrones de

mortalidad mejor que los humanos, le sigue de forma inherente una cier-
ta incomodidad distópica, por ello quizás el modelo del que hablaremos
a continuación ha sido denominado el “algoritmo de la muerte”70.

Este estudio desarrollado en la Univer-

RED NEURONAL PROFUNDA
sidad de Stanford71 pretende mejorar el
acceso a los cuidados paliativos, en par-
te afectado por la sobreestimación que los
médicos hacen de la prognosis de los pa-
cientes y que llega en ocasiones a derivar
Días de en encarnizamiento terapéutico. Para ello,
Diagnóstico
hospitalización
entrenaron una red neuronal profunda
con datos de la HCe; el diagnóstico, la can-
tidad de días de hospitalización, los fárma-
cos recibidos, o la edad del paciente, entre
otros. Todo ello, para medir la mortalidad
de cada paciente en un periodo de 3 a
Fármacos Edad del 12 meses, de este modo, el modelo reco-
recibidos paciente mienda a aquellos pacientes que conside-
raba aptos para la aplicación de cuidados
paliativos.

Los investigadores concluyen que la aplica-

ción de este sistema ahorraría al equipo
de cuidados paliativos la carga de las
revisiones de todos los pacientes, una
Medir la mortalidad de 3 a 12 meses cuestión que no deja de ser problemática,
a nuestro parecer, especialmente cuando la
propia investigación reconoce que otro de
los factores determinantes en la limitación
Conocer los pacientes aptos del acceso a los paliativos es la escasez de
a cuidados paliativos personal paliativo en términos generales.

VOLVER AL ÍNDICE 89
Ante este escenario, podría imaginarse una deriva de los usuarios de los servicios de Salud ha-
cia la ocultación deliberada de sus datos sanitarios, que no parece admisible en nuestro orde-
namiento jurídico72, con tal de no ser evaluados por dicho “algoritmo de la muerte”.

La confianza que deposita la ciudadanía en el sistema sanitario para el cuidado de su Salud,

no es casual; el personal sanitario recibe una exhaustiva formación continuada y sus
decisiones y conocimientos son permanentemente fiscalizados; los productos y medi-
camentos que dispensan son probados y validados en procesos igualmente exhaustivos. Y
en este sentido, la IA es similar a cualquier otra tecnología médica, como dispositivos médicos,
pruebas de diagnóstico y medicamentos. Los avances tecnológicos que van introduciéndose en
la práctica clínica no pueden ser, por ende, ajenos a los altos estándares del sistema sanitario73.

En un estudio74, se analizaron 516 trabajos publicados en los primeros seis meses de

2018 reportando el desempeño de los algoritmos de IA para el análisis diagnóstico de
imágenes médicas, entre los cuales halló que solo el seis por ciento –31 estudios– valida-
ron externamente sus algoritmos. La evidencia sugiere que los sistemas de IA analizados
en este estudio se encuentran, en su gran mayoría, en fases experimentales. Y, sin embargo,
contamos ya con excepciones muy avanzadas75. Esta realidad, estas experiencias nos llevan
a preguntarnos, como ya hicimos más arriba, cuáles son los cauces jurídicos apropiados que
estos sistemas de IA deberían seguir para ser validados conforme a los altos estándares de ca-
lidad y seguridad a los que nos hemos referido.

La FDA se ha formulado la misma pregunta y, de hecho, ha abierto a discusión su reciente pro-

puesta de regulación76. La razón fundamental que abre este proceso de modificación de la re-
gulación es que la FDA entiende que el paradigma jurídico tradicional de validación de
dispositivos médicos no fue diseñado para sistemas de IA con el potencial de adaptar y
optimizar el rendimiento de los dispositivos en tiempo real para mejorar continuamente la aten-

VOLVER AL ÍNDICE 90
ción sanitaria de los pacientes. Como adelantábamos más arriba, pese a las dificultades que
puede presentar la implementación de este sistema de acreditación y validación es la vía más
adecuada para controlar y minimizar los riesgos de daños provenientes de sistemas
inteligentes.

En este contexto, la literatura aboga por avanzar hacia una validación dinámica, que
tenga presentes los datos con los que contamos antes de permitir la comercialización de una
herramienta, pero que realice un seguimiento atento de la misma después de su introducción
en el mercado77. Del documento elaborado por la FDA, destaca también el acercamiento a una
regulación basada en la categorización del riesgo, es decir, el sistema de IA sería catego-
rizado en una de las cuatro categorías de riesgo –de mayor a menor– en función del contexto
clínico en el que se implementa; contexto definido a partir de las variables del estado de Salud
o condición de los pacientes a atender –crítica, grave o menos grave– y de la importancia de la
información suministrada por la IA para la toma de la decisión clínica –desde el tratamiento o
diagnóstico a la dirección o la mera información de la gestión clínica–.

+
REGULACIÓN BASADA VALIDACIÓN DINÁMICA
EN LA CATEGORIZACIÓN (seguimiento tras su
DEL RIESGO introducción)

VOLVER AL ÍNDICE 91
En esta propuesta vemos cómo sigue siendo fundamental para su encaje en las categorías jurí-
dicas analizadas más arriba, establecer quién determina el nivel de riesgo que se atribuye
al sistema inteligente ante de su introducción en el mercado y qué margen de discrecionali-
dad queda al profesional para decidir si acepta o rectifica sus conclusiones o propuestas.

Un último aspecto que, a nuestro parecer, debería ser valorado, dado el papel fundamental que
desempeñan los Comités de Ética en el contexto de nuestro Sistema Nacional de Salud, es que
para garantizar la seguridad de los pacientes y usuarios, de un lado, y para aprovechar
las oportunidades de mejora de los procesos y la atención clínica que la explotación
automatizada de los datos almacenados puede proporcionarnos, del otro lado, se ha subraya-
do la necesidad de aliarse y trabajar conjuntamente con los Comités de Ética78, aunque
haya que reconocer que se mueven en entornos de difícil encaje con la supervisión técnica de
la actividad asistencial.

¿QUIEN DETERMINA EL NIVEL DE RIESGO?

ATENCIÓN COMITÉS
CLÍNICA ÉTICOS

VOLVER AL ÍNDICE 92
8
Conclusiones

• Los algoritmos de aprendizaje automático alimentados por macrodatos se están

aplicando a la toma de decisiones en el ámbito de la Salud. Los avances que han su-
puesto el término “Inteligencia Artificial” a la palestra científica, lo que nos ha lle-
vado a preguntarnos cuáles son los retos ético-jurídicos más relevantes que plan-
tea el desarrollo de estas tecnologías.

• La digitalización de la práctica clínica es conditio sine qua non para la toma de de-
cisiones automatizadas y, desde luego, sería deseable que se revertiesen las ten-
dencias que merman el tiempo dedicado a la atención directa del paciente en la
consulta y que la progresiva automatización contribuyese a restaurar la valiosa co-
nexión y confianza entre pacientes y médicos, dado que el tiempo es esencial para
la calidad de la atención que reciben los pacientes y para sus resultados de Salud.

• Ante la llegada de sistemas algorítmicos cada vez más complejos que aborden una
mayor cantidad de variables, parece razonable pensar que sus decisiones no serán
siempre aprehensibles para los seres humanos en ciertos sentidos. Esta opacidad
puede representar una dificultad añadida a la prevención y análisis de la introduc-
ción de sesgos que deriven en decisiones arbitrarias o discriminatorias.

• Si la complejidad de la mente humana, mucho mayor que la de cualquier algoritmo,

no es un impedimento para el establecimiento de respuestas jurídicas satisfacto-
rias que eviten la discriminación en la toma de decisiones humanas, no hay razones
para pensar que la complejidad algorítmica será un impedimento insalvable en la
construcción de respuestas jurídicas igualmente satisfactorias. Al menos en el ac-
tual estado de cosas podemos afirmar todavía que las construcciones jurídicas ya
conocidas aplicables a los diversos aspectos que han sido brevemente analizados
en el presente estudio (autonomía, privacidad del paciente, transparencia; inicia-
tiva decisional e identificación por parte del profesional para establecer sus debe-
res de diligencia ante las imposiciones de procesos automatizados) mantienen su
vigencia o validez en lo esencial, sin perjuicio de su creciente complejidad y de las
adaptaciones interpretativas que sean necesarias, las cuales siempre habrán de
ser respetuosas con el marco legal; o que éste sea afinado y modificado en aspec-
tos muy concretos. Por el momento, tal vez el futuro nos depare otro escenario, si
no somos capaces de preverlo y encauzarlo en interés de la humanidad.

VOLVER AL ÍNDICE 93
• El futuro de la IA está lleno de incógnitas desconocidas79, sin embargo, no puede
haber futuro para las tecnologías emergentes en el campo de la Salud sin seguri-
dad ni fiabilidad, como tampoco en detrimento de los derechos y libertades de los
pacientes que, como ciudadanos que son, deben continuar siendo protegidos (au-
tonomía, intimidad y datos personales, información, igualdad de oportunidades,
no discriminación o estigmatización); de modo semejante que los profesionales de
la Salud mantengan su capacidad de iniciativa como expresión de la cualificación
reconocida por el Estado para el ejercicio de su profesión; sin que valga frente a
ellos la anteposición absoluta de otros intereses sociales que auguran las tecno-
logías emergentes, como la IA80. Sólo así podrán conjurarse las tendencias hacia
un Estado totalitario, dominado por un determinismo tecnocrático, excluyente de
cualquier espacio de libertad y de responsabilidad individual81. Las promesas de la
Inteligencia Artificial no deben convertirse en excepción.

Referencias

1. Para ser más precisos, son los dos factores asociados a lo que en la actualidad entendemos por inteligencia artificial.
La IA es un concepto que ha evolucionado y variado con el paso del tiempo, cuyas promesas y realidades siempre
han estado vinculadas a los campos de la medicina y la Salud, especialmente por medio de los sistemas informáticos
de soporte a la decisión clínica. Para una revisión histórica de estos sistemas anterior a los avances a los que nos
referimos en este artículo véase: Bonis J, Sancho JJ, Sanz F. Sistemas informáticos de soporte a la decisión clínica.
Med Clin (Barc) [Internet]. 2004 Feb 15 [consultado 2019 Apr 22];122:39–44. Disponible en: http://www.elsevier.
es/es-revista-medicina-clinica-2-articulo-sistemas-informaticos-soporte-decision-clinica-13057545
2. Cotino L. Big data e inteligencia artificial. Una aproximación a su tratamiento jurídico desde los derechos fundamen-
tales, Dilemata, 2017;24(0):p.132.
3. Garriga Domínguez A. La elaboración de perfiles y su impacto en los derechos fundamentales. Una primera aproxi-
mación a su regulación en el reglamento general de protección de datos de la Unión Europea. Derechos y Lib, Rev del
Inst Bartolomé las Casas. 2018;38:p.111.
4. Yeung K. Algorithmic regulation: A critical interrogation. Regul Gov. 2018;12(4):p.506.
5. Del Río Solá ML, López Santos JM, Vaquero Puerta C. La inteligencia artificial en el ámbito médico. Rev Española In-
vestig Quirúrgica. 2018;21(3):p.113.
6. Boden MA. Inteligencia Artificial. Madrid: Turner; 2017. p.11.
7. El aprendizaje automático tiene tres grandes categorías: aprendizaje supervisado, aprendizaje no supervisado y
aprendizaje por refuerzo.
8. Broussard M. Artificial Unintelligence: How Computers Misunderstand the World. MIT Press; 2019. 237 p.

VOLVER AL ÍNDICE 94
9. Obermeyer Z, Emanuel EJ. Predicting the Future — Big Data, Machine Learning, and Clinical Medicine. N Engl J Med.
2016;375(13):p.1217.
10. Boden MA. Inteligencia Artificial. p. 84 y ss.
11. Esteva A, Robicquet A, Ramsundar B, Kuleshov V, Depristo M, Chou K, et al. A guide to deep learning in healthcare.
Nat Med. 2019;25(1):p.24.
12. Cabitza F, Ciucci D, Rasoini R. A Giant with Feet of Clay: On the Validity of the Data that Feed Machine Learning in
Medicine. In: Cabitza F, Batini C, Magni M, editors. Organizing for the Digital World. Cham: Springer International
Publishing; 2019. p. 122.
13. Destacamos como referencias dos artículos de revisión para conocer el estado del arte: Yu K-H, Beam AL, Kohane IS.
Artificial intelligence in healthcare. Nat Biomed Eng [Internet]. 2018;2(10):719–31.; y Rajkomar A, Dean J, Kohane
I. Machine Learning in Medicine. N Engl J Med [Internet]. 2019;380(14):1347–58
14. V. más ampliamente sobre la aplicación de la IA a la investigación biomédica en varios campos: AAVV, en Nordlinger,
B, Villani, C, (Dirs.), Santé et intelligence artificielle, CNRS Éds., Paris, 2018, p. 241-330.
15. Sobrepasan igualmente el objeto de este estudio otros campos de la IA asociados a la Salud y la medicina y que tam-
bién pueden valerse de estos sistemas algorítmicos en su relación con el entorno. Nos referimos concretamente a la
robótica, la rama corpórea de la IA, que cuenta con significativos avances, por ejemplo, en cirugía con el desarrollo
de robots quirúrgicos, en el ámbito de la Salud mental con innovaciones que van desde robots sociales en el cuidado
de la demencia o el trastorno del autismo, hasta robots para trastornos sexuales, o en el ámbito de los cuidados con
robots asistentes para personas dependientes.
16. Weng SF, Vaz L, Qureshi N, Kai J. Prediction of premature all-cause mortality: A prospective general population cohort
study comparing machine-learning and standard epidemiological approaches. PLoS One. 2019;14(3):1–22.
17. Yu K-H, Beam AL, Kohane IS. Artificial intelligence in healthcare. Nat Biomed Eng. 2018;2(10):p.720.
18. Rodriguez-Ruiz A, Lång K, Gubern-Merida A, Broeders M, Gennaro G, Clauser P, et al. Stand-Alone Artificial Intelligen-
ce for Breast Cancer Detection in Mammography: Comparison With 101 Radiologists. JNCI J Natl Cancer Inst. 2019
19. Romeo Casabona CM. Revisión de las categorías jurídicas de la normativa europea ante la tecnología del big data
aplicada a la Salud, Revista de Derecho y Genoma Humano / Law and the Human Genome, en prensa.
20. Proceso que se vale de la estadística y de las ciencias de la computación dirigido al hallazgo de patrones en grupos
de datos masivos.
21. art. 11 CDHB (Convenio de Oviedo) y el art. 4 de su Protocolo Adicional, relativo a Genetic Testing for Health Purpo-
ses, de 2008; art. 11 de la Declaración Universal sobre Bioética y Derechos Humanos, aprobada por la Conferencia
General de la UNESCO el 19 de octubre de 2005.
22. V. art. 14 de la Constitución y arts. 2, a) y 58.6 de la LIB.
23. Sobre las características y potencialidades de los big data v. Delort, P. Le big data, Presses Universitaires de France,
Paris, 2015, p. 41 y ss.
24. V. más ampliamente sobre el concepto de dato de Salud en el RGPD, Romeo Casabona CM. Revisión de las categorías
jurídicas de la normativa europea ante la tecnología del big data aplicada a la Salud, cit.
25. Reglamento General sobre la Protección de Datos Personales, 2016/679, de 27 de abril de 2016.
26. Ley Orgánica de Protección de Datos Personales y Garantías y Derechos Digitales (LOPDGDD) 2/2018, de 5 de diciem-
bre.
27. V. más ampliamente sobre el régimen de los datos con fines de investigación biomédica o de Salud, Romeo Casabona
CM. El nuevo marco normativo europeo sobre protección de datos personales y el estatuto de las muestras biológicas
humanas y de los biobancos para investigación biomédica, en Comunicaciones en Propiedad Industrial y Derecho de
la Competencia. 2019;86:215-238; el mismo, The new European legal framework on personal data protection and
the legal status of biological samples and biobanks for biomedical research purposes in Spanish Law, en Slokenber-
ga, S. Tzortzatou, O. and Reichel, J. (Eds.), Article 89 of the General Data Protection Rule and biobanking in Europe,
Springer, en prensa.
28. Ferretti A, Schneider M, Blasimme A. Machine learning in medicine: Opening the New Data Protection Black Box. Eur
Data Prot Law Rev. 2018;4(3):320–32.

VOLVER AL ÍNDICE 95
29. V. RGPD, art. 22; Ley 41/2002, de 14 de noviembre, básica reguladora de la autonomía del paciente y de derechos y
obligaciones en materia de información y documentación clínica (LAP), arts. 4.1 y 3, y 5.
30. RGPD, art. 13.2, f). Subrayado en el texto añadido.
31. Ley 41/2002, art. 4.3.
32. Así lo entienden Zerilli J, Knott A, Maclaurin J, Gavaghan C. Transparency in Algorithmic and Human Decision-Making:
Is There a Double Standard? Philos Technol. 2018;1–23.
33. V. European Group on Ethics in Science and New Technologies (EGE). Future of Work? Future of Society?, European
Commission, Brussels, 2018.
34. Monje B, Tovar Pozo M, Campos Fernandez de Sevilla M, Tutau Gomez F. Errar ya no es solo humano. Rev OFIL-
ILAPHAR. 2019; first on l:1–1.
35. European Group on Ethics in Science and New Technologies (EGE), Artificial Intelligence, Robotics and ‘Autonomous’
Systems, European Commission, Brussels, 2018 p. 9 y s., para el cual la responsabilidad moral, sea cual fuere el sen-
tido que se le confiera, no puede ser atribuida o trasladada a la tecnología autónoma.
36. Floridi L. What the Near Future of Artificial Intelligence Could Be. Philos Technol. 2019;32(1):p. 3.
37. Pérez-Santonja T, Gómez-Paredes L, Álvarez-Montero S, Cabello-Ballesteros L, Mombiela-Muruzabal M. Historia clínica
electrónica: evolución de la relación médico-paciente en la consulta de Atención Primaria. Semergen. 2017;43(3):175–
81.
38. Tai-Seale M, Olson CW, Li J, Chan AS, Morikawa C, Durbin M, et al. Electronic Health Record Logs Indicate That Phy-
sicians Split Time Evenly Between Seeing Patients And Desktop Medicine. Health Aff. 2017;36(4):655–62.
39. Gardner RL, Cooper E, Haskell J, Harris DA, Poplau S, Kroth PJ, et al. Physician stress and burnout: the impact of
health information technology. J Am Med Inform Assoc. 2019;26(2):106–14.
40. Topol EJ. Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again. Basic Books, Inc.; 2019. 400
p.
41. Según Núñez Reiz A, Armengol de la Hoz MA, Sánchez García M. Big Data Analysis y Machine Learning en medicina
intensiva. Med Intensiva. 2018
42. Como muestra de ello puede consultarse el gráfico elaborado por el SAE International (Sociedad de Ingenieros de
Automoción) sobre los niveles de automatización de la automoción – desde 0 a 5 – en su informe Taxonomy and De-
finitions for Terms Related to Driving Automation Systems for On-Road Motor Vehicles J3016_201806 (15/06/2018):
https://saemobilus.sae.org/content/j3016_201806
43. La elaboración de perfiles también ha tenido acogida en el RGPD. Recogemos ahora su definición: “«Elaboración de
perfiles»: toda forma de tratamiento automatizado de datos personales consistente en utilizar datos personales para
evaluar determinados aspectos personales de una persona física, en particular para analizar o predecir aspectos re-
lativos al rendimiento profesional, situación económica, Salud, preferencias personales, intereses, fiabilidad, compor-
tamiento, ubicación o movimientos de dicha persona física” (art. 4.4).
44. V. Ley 41/2002, art. 8, relativo al consentimiento informado. El RGPD enfatiza la importancia que se otorga al con-
sentimiento, que pasa por su propia definición (art. 4.11); v. también el cndo. 35 y art. 9.2, a), entre otros.
45. Romeo Casabona CM (Coord.), Nicolás Jiménez P, De Miguel Beriain I. Retos éticos y necesidades normativas en la
actividad asistencial en Medicina Personalizada de Precisión. Fundación Instituto Roche. 2018; p. 37.
46. RGPD, art. 22.1: “Todo interesado tendrá derecho a no ser objeto de una decisión basada únicamente en el trata-
miento automatizado, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significati-
vamente de modo similar”. Mientras que el apartado 2º admite que pueda prestar su consentimiento el interesado a
esta forma decisional o que medie un contrato entre aquél y el responsable del tratamiento, el apartado 3º excluye
la automatización aunque medie el consentimiento o el contrato indicados cuando se trata de datos especiales (art.
9.1), entre los que figuran los datos de Salud y los genéticos. Este último apartado establece que el responsable del
tratamiento adoptará las medidas adecuadas para salvaguardar los derechos y libertades y los intereses legítimos del
interesado, como mínimo el derecho a obtener intervención humana por parte del responsable, a expresar su punto
de vista y a impugnar la decisión. V. sobre este particular Maier N, Ossoining V. “Einzelne Bereiche der Datenverar-
beitung”, en Rossnagel, A. (Hrsg.), Europäische Datenschutz-Grundverordung, Nomos Verlag, Baden-Baden, 2017; p.
226, aunque no tienen en cuenta la excepción prevista en el apdo. 3 al consentimiento del interesado, como se acaba
de indicar.

VOLVER AL ÍNDICE 96
47. En este sentido, Gil González E. Big data, privacidad y protección de datos. AEPD y BOE; Madrid, 2016; p. 42.
48. V. European Group on Ethics in Science and New Technologies (EGE), Artificial Intelligence, Robotics and ‘Autono-
mous’ Systems, European Commission, Brussels, 2018 p. 15 y 17.
49. Gil González E. Big data, privacidad y protección de datos. AEPD y BOE; Madrid, 2016; p. 42 y ss.
50. RGPD, art. 22.3: “…el responsable del tratamiento adoptará las medidas adecuadas para salvaguardar los derechos y
libertades y los intereses legítimos del interesado, como mínimo el derecho a obtener intervención humana por parte
del responsable, a expresar su punto de vista y a impugnar la decisión”.
51. Romeo Casabona CM (Coord.), Nicolás Jiménez P, De Miguel Beriain I. Retos éticos y necesidades normativas en la
actividad asistencial en Medicina Personalizada de Precisión. Fundación Instituto Roche. 2018; p. 25 y ss.
52. Romeo Casabona CM (Coord.), Nicolás Jiménez P, De Miguel Beriain I. Retos éticos y necesidades normativas en la
actividad asistencial en Medicina Personalizada de Precisión. Fundación Instituto Roche. 2018;p. 61 y ss.
53. Cristea Uivaru L. La protección de datos sensible: Historia Clínica Digital y Big Data en Salud. J.B. Bosch Editor; Bar-
celona, 2018; p. 251.
54. Cristea Uivaru L. La protección de datos sensible: Historia Clínica Digital y Big Data en Salud, ibídem.
55. Caruana R, Lou Y, Gehrke J, Koch P, Sturm M, Elhadad N. Intelligible Models for HealthCare: Predicting Pneumonia
Risk and Hospital 30-day Readmission. In: Proceedings of the 21th ACM SIGKDD International Conference on Knowle-
dge Discovery and Data Mining. New York, NY, USA: ACM; 2015. p. 1721–30.
56. Para ahondar en cuestiones sobre opacidad de los modelos algorítmicos v. Ferretti A, Schneider M, Blasimme A. Ma-
chine learning in medicine: Opening the New Data Protection Black Box. Eur Data Prot Law Rev. 2018;4(3):320–32.
57. Un detallado resumen de este caso en De Miguel Beriain I. Does the use of risk assessments in sentences respect the
right to due process? A critical analysis of the Wisconsin v. Loomis ruling. Law, Probab Risk. 2018;17(1):45–53.
58. Sentencia 13 de julio de 2016: State v. Loomis, 881, N.W.2d 749, 7532 (Wis, 2016), caso Wisconsin vs. Loomis.
59. Semejante al derecho fundamental a la tutela judicial efectiva del Derecho español, art. 24 CE.
60. Lo que, ciertamente, es muy objetable, pues generó indefensión en el condenado. V. comentarios críticos sobre esta
sentencia: Romeo Casabona CM. Riesgo, procedimientos actuariales basados en inteligencia artificial y medidas de
seguridad. Rev Penal. 2018;42:165–79.
61. Es un asunto lo suficiente complejo como para ser tratado monográficamente. V. Hallevy G. Liability for Crimes Invol-
ving Artificial Intelligence Systems. Springer; Heidelberg, 2015; pássim: Romeo Casabona CM. La atribución de res-
ponsabilidad penal por los hechos cometidos por robots y otros sistemas inteligentes autónomos, Revista de Derecho
Penal, Rubinzal Culzoni, Rosario, en prensa.
62. No podemos entrar a discutir en este estudio cómo podría resolverse la responsabilidad civil extracontractual, pero
podemos adelantar que no hallamos dificultades en su apreciación, dadas las variantes que presenta: puede ser ob-
jetiva y puede recaer sobre terceros ajenos a la acción negligente. V. Romeo Casabona CM. La atribución de respon-
sabilidad penal por los hechos cometidos por robots y otros sistemas inteligentes autónomos, cit.
63. V. más ampliamente sobre esta categoría conceptual Romeo Casabona CM en Romeo Casabona CM, Sola Reche E,
Boldova Pasamar MA, (Coords.). Derecho Penal, Parte General. Introducción. Teoría Jurídica del Delito, 2ª ed., Coma-
res, Granada, 2016, p. 138 y s.; el mismo, Conducta peligrosa e imprudencia en la sociedad de riesgo. Comares (2ª
ed.); Granada, 2016;p. 180 y ss.
64. Sobre esta cuestión, que no deja de ser debatida en la doctrina penal, v. Boldova Pasamar MA en Romeo Casabona
CM, Sola Reche E, Boldova Pasamar MA, (Coords.). Derecho Penal, Parte General. Introducción. Teoría Jurídica del
Delito. Comares (2ª ed.); Granada, 2016;pp. 352 y s.
65. Perin A. Estandarización y automatización en medicina: El deber de cuidado del profesional entre la legítima confianza
y la debida prudencia. Revista Chilena de Derecho y Tecnología. 2019;8(1):3-28 (p. 14 y s.)
66. Sobre lo anterior v. más ampliamente en Romeo Casabona CM. El Médico y el Derecho Penal, T. II, V. 1º Los proble-
mas penales actuales de la Biomedicina. Rubinzal – Culzoni; Santa Fe, 2011; p. 263 y ss.
67. Perin A. Estandarización y automatización en medicina: El deber de cuidado del profesional entre la legítima confianza
y la debida prudencia, p. 15.

VOLVER AL ÍNDICE 97
68. Romeo Casabona, CM. en Romeo Casabona CM, Sola Reche E, Boldova Pasamar MA, (Coords.). Derecho Penal, Parte
General. Introducción. Teoría Jurídica del Delito, p. 140.
69. V. Perin A. Estandarización y automatización en medicina: El deber de cuidado del profesional entre la legítima con-
fianza y la debida prudencia, pp. 18 y s., quien va aproximadamente en la misma dirección argumental, aunque
otorga, incluso ahora, más espacio al principio de confianza, incluso para las expectativas de cuidado que califica de
“atípicas”. Coincidimos con él en que las respuestas a esta cuestión no deben buscarse por la vía de lege ferenda.
70. Mukherjee S. ¿Podremos lograr que las computadoras presientan nuestra muerte? The New York Times. 2018; Dis-
ponible en: https://www.nytimes.com/es/2018/01/08/podremos-lograr-que-las-computadoras-presientan-nues-
tra-muerte/
71. Avati A, Jung K, Harman S, Downing L, Ng A, Shah NH. Improving palliative care with deep learning. BMC Med Inform
Decis Mak. 2018;18(4):122.
72. Debidamente argumentado por Sánchez Caro J. Autonomía del paciente y ocultación de datos sanitarios. DS Derecho
y Salud. 2016;26(Extra): p. 100 y ss.
73. Basta recordar que debido a un fallo informático unas 450.000 mujeres en Inglaterra se vieron privadas de someterse
a una mamografía entre 2009 y 2018, lo que podría haber acortado la vida de entre 135 y 270 mujeres: Hasta 270
posibles muertes por un fallo en la programación de mamografías en Reino Unido. Diario El Mundo (02/05/2018):
https://www.elmundo.es/ciencia-y-Salud/Salud/2018/05/02/5ae9f3a322601dab098b45a5.html
74. Kim DW, Jang HY, Kim KW, Shin Y, Park SH. Design characteristics of studies reporting the performance of artificial
intelligence algorithms for diagnostic analysis of medical images: Results from recently published papers. Korean J
Radiol. 2019;20(3):405–10.
75. En el año 2018 la norteamericana FDA –Food and Drug Administration– dio permiso a una compañía llamada IDx para
comercializar un dispositivo de diagnóstico de oftalmología – retinopatía diabética – en el que no está involucrada
la opinión de un médico. Este es el primer dispositivo aprobado por la FDA para realizar diagnósticos médicos por
IA. Xataka Ciencia (03/05/2018): https://www.xatakaciencia.com/tecnologia/este-es-el-primer-dispositivo-aproba-
do-por-la-fda-para-realizar-diagnosticos-medicos-por-ia
76. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software
as a Medical Device (SaMD) - Discussion Paper and Request for Feedback (02/04/2019). Disponible en: https://www.
fda.gov/media/122535/download
77. Tal y como plantea De Miguel Beriain I. Medicina personalizada, algoritmos predictivos y utilización de sistemas de
decisión automatizados en asistencia sanitaria. Problemas éticos. Dilemata. 2019; p. 96 y ss.
78. Así lo ven Núñez Reiz A, Armengol de la Hoz MA, Sánchez García M. Big Data Analysis y Machine Learning en medicina
intensiva, en p. 7.
79. Concluye Floridi L. What the Near Future of Artificial Intelligence Could Be, en p. 13.
80. Recordemos el Convenio de Oviedo: “Artículo 2. Primacía del ser humano. El interés y el bienestar del ser humano
deberán prevalecer sobre el interés exclusivo de la sociedad o de la ciencia.”
81. Asumimos así estas reflexiones de De Siqueira y Perin en Perin A. Estandarización y automatización en medicina: El
deber de cuidado del profesional entre la legítima confianza y la debida prudencia, p. 21.

VOLVER AL ÍNDICE 98
Bibliografía

• Avati A, Jung K, Harman S, Downing L, Ng A, Shah NH. Improving palliative care with deep learning. BMC Med Inform
Decis Mak. 2018;18(4): p. 55-64.
• Boden MA. Inteligencia Artificial. Madrid: Turner; 2017. 191 p.
• Bonis J, Sancho JJ, Sanz F. Sistemas informáticos de soporte a la decisión clínica. Med Clin (Barc) [Internet].
2004;122:39–44.
• Broussard M. Artificial Unintelligence: How Computers Misunderstand the World. MIT Press; 2019. 237 p.
• Cabitza F, Ciucci D, Rasoini R. A Giant with Feet of Clay: On the Validity of the Data that Feed Machine Learning in
Medicine. In: Cabitza F, Batini C, Magni M, editors. Organizing for the Digital World. Cham: Springer International Pu-
blishing; 2019. p. 121–36.
• Caruana R, Lou Y, Gehrke J, Koch P, Sturm M, Elhadad N. Intelligible Models for HealthCare: Predicting Pneumonia Risk
and Hospital 30-day Readmission. In: Proceedings of the 21th ACM SIGKDD International Conference on Knowledge
Discovery and Data Mining. New York, NY, USA: ACM; 2015. p. 1721–30.
• Cotino L. Big data e inteligencia artificial . Una aproximación a su tratamiento jurídico desde los derechos fundamenta-
les Big Data and Artificial Intelligence . An Approach from a Legal Point of View about Fundamental Rights. Dilemata.
2017;24(0):131–50.
• Cristea Uivaru L. La protección de datos sensible: Historia Clínica Digital y Big Data en Salud. J.B. Bosch Editor; Bar-
celona, 2018; 360 p.
• De Miguel Beriain I. Does the use of risk assessments in sentences respect the right to due process? A critical analysis
of the Wisconsin v. Loomis ruling. Law, Probab Risk. 2018;17(1):45–53.
• De Miguel Beriain I. Medicina personalizada, algoritmos predictivos y utilización de sistemas de decisión automatizados
en asistencia sanitaria. Problemas éticos. Dilemata. 2019;30:93–109.
• Del Río Solá ML, López Santos JM, Vaquero Puerta C. La inteligencia artificial en el ámbito médico. Rev española In-
vestig quirúrgica. 2018;21(3):113–6.
• Delort, P. Le big data, Presses Universitaires de France, Paris, 2015; 128 p.
• Esteva A, Robicquet A, Ramsundar B, Kuleshov V, DePristo M, Chou K, et al. A guide to deep learning in healthcare.
Nat Med. 2019;25(1):24–9.
• European Group on Ethics in Science and New Technologies (EGE), Artificial Intelligence, Robotics and ‘Autonomous’
Systems, European Commission, Brussels, 2018
• Ferretti A, Schneider M, Blasimme A. Machine learning in medicine: Opening the New Data Protection Black Box. Eur
Data Prot Law Rev. 2018;4(3):320–32.
• Floridi L. What the Near Future of Artificial Intelligence Could Be. Philos Technol. 2019;32(1):1–15.
• Gardner RL, Cooper E, Haskell J, Harris DA, Poplau S, Kroth PJ, et al. Physician stress and burnout: the impact of heal-
th information technology. J Am Med Inform Assoc. 2019;26(2):106–14.
• Garriga Domínguez A. La elaboración de perfiles y su impacto en los derechos fundamentales. Una primera aproxima-
ción a su regulación en el reglamento general de protección de datos de la Unión Europea. Derechos y Lib Rev del Inst
Bartolomé las Casas. 2018;38:107–39.
• Gil González E. Big data, privacidad y protección de datos. AEPD y BOE; Madrid, 2016; 149 p.
• Hallevy G. Liability for Crimes Involving Artificial Intelligence Systems. Springer; Heidelberg, 2015
• Harvey H, Cabitza F. Algorithms are the new drugs? Reflections for a culture of impact assessment and vigilance. MCC-
SIS. 2018;281–5.
• Kim DW, Jang HY, Kim KW, Shin Y, Park SH. Design characteristics of studies reporting the performance of artificial
intelligence algorithms for diagnostic analysis of medical images: Results from recently published papers. Korean J
Radiol. 2019;20(3):405–10.
• Monje B, Tovar Pozo M, Campos Fernandez de Sevilla M, Tutau Gomez F. Errar ya no es solo humano. Rev OFIL-
ILAPHAR. 2019;first online:1–1.

VOLVER AL ÍNDICE 99
• Nordlinger B, Villani C, (Dirs.), Santé et intelligence artificielle, CNRS Éds., Paris, 2018; 416 p.
• Núñez Reiz A, Armengol de la Hoz MA, Sánchez García M. Big Data Analysis y Machine Learning en medicina intensiva.
Med Intensiva. 2018;first online:1–11.
• Obermeyer Z, Emanuel EJ. Predicting the Future — Big Data, Machine Learning, and Clinical Medicine. N Engl J Med.
2016;375(13):1216–9.
• Pérez-Santonja T, Gómez-Paredes L, Álvarez-Montero S, Cabello-Ballesteros L, Mombiela-Muruzabal M. Historia clínica
electrónica: evolución de la relación médico-paciente en la consulta de Atención Primaria. Semergen. 2017;43(3):175–81.
• Perin A. Estandarización y automatización en medicina: El deber de cuidado del profesional entre la legítima confianza
y la debida prudencia. Revista Chilena de Derecho y Tecnología. 2019;8(1):3-28
• Rodriguez-Ruiz A, Lang K, Gubern-Merida A, Broeders M, Gennaro G, Clauser P, et al. Stand-Alone Artificial Intelligence
for Breast Cancer Detection in Mammography: Comparison With 101 Radiologists. JNCI J Natl Cancer Inst. 2019.
• Romeo Casabona CM. Revisión de las categorías jurídicas de la normativa europea ante la tecnología del big data apli-
cada a la Salud, Revista de Derecho y Genoma Humano / Law and the Human Genome, en prensa.
• Romeo Casabona CM. La atribución de responsabilidad penal por los hechos cometidos por robots y otros sistemas
inteligentes autónomos, Revista de Derecho Penal, Rubinzal Culzoni, Rosario, en prensa.
• Romeo Casabona CM. El nuevo marco normativo europeo sobre protección de datos personales y el estatuto de las
muestras biológicas humanas y de los biobancos para investigación biomédica, Comunicaciones en Propiedad Indus-
trial y Derecho de la Competencia. 2019;86:215-238.
• Romeo Casabona CM. Riesgo, procedimientos actuariales basados en inteligencia artificial y medidas de seguridad.
Rev Penal. 2018;42:165–79.
• Romeo Casabona CM, Sola Reche E, Boldova Pasamar MA, (Coords.). Derecho Penal, Parte General. Introducción.
Teoría Jurídica del Delito. Comares (2ª ed.); Granada, 2016; 363 p.
• Romeo Casabona CM (Coord.), Nicolás Jiménez P, De Miguel Beriain I. Retos éticos y necesidades normativas en la
actividad asistencial en Medicina Personalizada de Precisión. Fundación Instituto Roche. 2018
• Sánchez Caro J. Autonomía del paciente y ocultación de datos sanitarios. DS Derecho y Salud. 2016;26(Extra):93–102.
• Tai-Seale M, Olson CW, Li J, Chan AS, Morikawa C, Durbin M, et al. Electronic Health Record Logs Indicate That Physi-
cians Split Time Evenly Between Seeing Patients And Desktop Medicine. Health Aff. 2017;36(4):655–62.
• Topol EJ. Deep Medicine: How Artificial Intelligence Can Make Healthcare Human Again. Basic Books, Inc.; 2019. 400 p.
• Weng SF, Vaz L, Qureshi N, Kai J. Prediction of premature all-cause mortality: A prospective general population cohort
study comparing machine-learning and standard epidemiological approaches. PLoS One. 2019;14(3):1–22.
• Yeung K. Algorithmic regulation: A critical interrogation. Regul Gov. 2018;12(4):505–23.
• Yu K-H, Beam AL, Kohane IS. Artificial intelligence in healthcare. Nat Biomed Eng. 2018;2(10):719–31.
• Zerilli J, Knott A, Maclaurin J, Gavaghan C. Transparency in Algorithmic and Human Decision-Making: Is There a Dou-
ble Standard? Philos Technol. 2018;first online:1-23.

VOLVER AL ÍNDICE 100