Lo que comenzó como un resumen de la Propuesta de Reglamento del Parlamento Europeo sobre la inteligencia artificial, terminó en un profundo análisis, por lo que iré publicando de forma temática los principales aspectos junto con mis comentarios. En términos generales la propuesta tiene disposiciones positivas y otras sustantivas que pueden (y deben) ser mejoradas.
En esta primera parte, me refiero a algunas generalidades y sistemas de IA prohibidos, sin perjuicio que existen varias excepciones que permiten su uso, particularmente en sistemas biométricos.
1.- Definición de IA.
Según la propuesta la noción de sistemas de IA debe estar claramente definida para garantizar la seguridad jurídica, y dar flexibilidad futuros desarrollos (hablándole a los estados miembros). Esto es una imprecisión, más bien se debió referir a la descripción de conceptos normativos que no pretenden limitar innovaciones y por lo mismo, evitan definir, y se centran en describir características o conceptos por exclusión “determinando lo que no es”.
Luego, señala que la definición debe basarse en las características funcionales clave, en particular, la capacidad, para lograr un conjunto determinado de objetivos definidos por el ser humano, de generar resultados como predicciones, recomendaciones o decisiones que influyen en el entorno con el que interactúa el sistema, ya sea en una dimensión física o digital.
Los sistemas de IA pueden diseñarse para funcionar con distintos niveles de autonomía (debió decir automatización, creo que es momento de hablar sobre que es autonomía y que es automatización, existe un error conceptual o seguro no es lo que ustedes creen).
Finalmente, indica que dicha definición de sistemas de IA debe complementarse con una lista de técnicas y enfoques específicos utilizados para su desarrollo, que debería actualizarse a la luz del mercado y de la tecnología.
Llama la atención, como ya mencioné, que hay una falta de reflexión sobre el hecho que no deberíamos hablar de una “definición legal de IA”, ya que, si bien existen muchas definiciones para distintos propósitos, ninguna cumple parámetros legales apropiados y cualquier intento definitorio podría ser limitante para la innovación y la protección de las personas, (un ejemplo, por esta razón no se define legalmente una patente de invención, salvo unas pocas legislaciones como Chile).
En consecuencia, lo óptimo es contar con un “concepto de IA para ser considerado en ámbitos regulatorios” que debe contemplar la descripción de sistemas sociotécnicos, pues eso son, junto con el aspecto técnico cobran relevancia motivaciones, intereses y decisiones de las personas que poseen una directa relación con estos desarrollos, su implementación dentro de un contexto social particular es otro elemento relevante. Solo la suma de dichos factores sociales y técnicos puede explicar un sistema de IA, el cual por lo demás debe ser reflexivo, como decía, entendiendo que un sistema puede ser usado para diversos propósitos y circunstancias, pudiendo ser en un caso de alto y en otra de bajo riesgo.
2.-Marco regulatorio.
En primer lugar, esta propuesta no tomó en consideración múltiples informes que recomendaban que esta regulación debía ser basada en normas vinculantes internacionales sobre DDHH, propuesta del propio Consejo de Europa (distinto al Consejo Europeo), y por gran parte de las organizaciones de defensa ciudadana. Pues bien, se decidió optar por una regulación en base a riesgos, y esta decisión no es baladí.
Los marcos regulatorios basados en riesgos tienen dos elementos (1) las normas deben describir específicamente a los objetivos a regular y sus riesgos asociados y (2) se debe implementar un sistema para evaluar dichos riesgos y puntuarlos cuantitativa y cualitativamente. La puntuación define cuales son de alto riesgo, los cuales deben ser regulados estrictamente. Este tipo de regulación tiene varias desventajas si se compara con marcos regulatorios basados en normas vinculantes internacionales sobre derechos humanos. El más evidente es que un sistema de bajo riesgo en un contexto Europeo de países desarrollados puede ser de alto riesgo en el contexto del Sur Global y en países con débiles democracias.
Por su parte, los marcos en base a DDHH permiten proponer un marco jurídico centrado en el impacto social de la IA, específicamente, en las cuestiones más urgentes y problemáticas que guardan relación con la vulneración de DDHH, democracia y estado de derecho. Asimismo, pueden proporcionar una referencia sobre principios universalmente aceptados que permite la armonización de normas que regulan la IA presentes y futuras con las normas vinculantes en el campo de los derechos humanos, democracia y estado de derecho y facilitan acuerdos internacionales sobre esta materia.
los marcos en base a DDHH se oponen a la creencia que la legislación debe tomar un rol secundario a la autorregulación del mercado y que una regulación solo se traduce en soluciones técnicas. Estas normas son preventivas, buscan evitar la vulneración de derechos fundamentales, en contraste con las normas basadas en riesgos que complementan la autorregulación del mercado y son de carácter técnico. En la regulación en base a DDHH no es un elemento relevante el uso especifico de un sistema, ya que no busca una clasificación, (solucionando la eventualidad que un sistema pueda tener un uso considerado de bajo riesgo y tener un uso secundario en otro contexto que perfectamente puede ser catalogado de alto riesgo).
Así, por ejemplo, sistemas de IA que vulneran gravemente derechos humanos, como se ha postulado respecto de sistemas de reconocimiento facial, que vulneran normas de no discriminación, autonomía, privacidad, debido proceso, dignidad, libertad entre otros, deberían ser prohibidos y no secundar una autorregulación del mercado, pero dentro de una regulación en base a riesgos, estos no son prohibidos (salvo algunas excepciones) sino que son clasificados y regulados técnicamente como sistemas de alto riesgo.
3.- Sistemas prohibidos.
El Título II (artículo 5) establece una lista de sistemas de AI prohibidos. El reglamento siguiendo el enfoque basado en riesgos diferencia (i) riesgo inaceptable, (ii) riesgo alto, y (iii) riesgo bajo o mínimo.
Los siguientes sistemas son prohibidos por ser considerados de un riesgo inaceptable:
a) la comercialización, puesta en marcha o utilización de un sistema de IA que despliegue técnicas subliminales más allá de la conciencia de una persona para distorsionar materialmente el comportamiento de una persona de manera que cause o pueda causar a esa persona o a otra un daño físico o psicológico;
b) la comercialización, puesta en marcha o utilización de un sistema de IA que explote cualquier vulnerabilidad de grupos específicos de personas debido a su edad, discapacidad física o mental, con el fin de distorsionar materialmente el comportamiento de una persona perteneciente a ese grupo de manera que cause o pueda causar a esa persona o a otra un daño físico o psicológico;
(c) la comercialización, puesta en marcha o utilización de sistemas de IA por parte de autoridades públicas o en su nombre, para la evaluación o clasificación de la confiabilidad de las personas naturales durante un determinado período de tiempo sobre la base de su comportamiento social o características personales o de personalidad conocidas o predecidas en base a una puntuación social que conduzca a una o ambas de las siguientes situaciones:
(i) un tratamiento desfavorable o en detrimento de determinadas personas físicas o grupos de ellas en contextos sociales que no están relacionados a los contextos para los cuales los datos fueron generados o recolectados originalmente.
(ii) el tratamiento desfavorable o en detrimento de determinadas personas naturales o grupos completos de ellas que no esté justificado o sea desproporcionado con respecto a su comportamiento social o su gravedad;
Estamos hablando en estos casos, en particular, la letra c) muchas prácticas pseudo- científicas, que no estaría demás hacer presente, ya que de cierta manera estamos validando su efectividad. Las dos primeras letras deberían ser más específicas, yo puedo decir que mi celular describe la letra a) pero, desde otro punto de vista puede directamente estar avalando sistemas falsos o que no existen ni cumplen su función, los llamados “snake oils”.
d) la utilización de sistemas de identificación biométrica a distancia “en tiempo real” en espacios de acceso público para el cumplimiento de leyes, a menos y en la medida en que dicho uso sea estrictamente necesario para uno de los siguientes objetivos:
(i) la búsqueda selectiva de posibles víctimas específicas de delitos, incluidos los niños desaparecidos;
(ii) la prevención de una amenaza específica, sustancial e inminente para la vida o la seguridad física de personas físicas o de un ataque terrorista
(iii) la detección, localización, identificación o enjuiciamiento de un autor o sospechoso de un delito contemplado en el artículo 2, apartado 2, en el artículo 2, apartado 2, of Council Framework Decision 2002/584/JHA62 y sancionado en el Estado miembro de que se trate con una pena o una medida de seguridad privativas de libertad de un período máximo de al menos tres años, según determine la legislación de dicho Estado miembro.
2. El uso de sistemas de identificación biométrica a distancia “en tiempo real” en espacios de acceso público para la aplicación de la ley para cualquiera de los objetivos mencionados en el apartado 1, letra d), tendrá en cuenta los siguientes elementos
a) la naturaleza de la situación que da lugar al posible uso, en particular la gravedad, la probabilidad y la magnitud del daño causado en ausencia de la utilización del sistema;
b) las consecuencias de la utilización del sistema para los derechos y libertades de todas de todas las personas afectadas, en particular la gravedad, la probabilidad y la magnitud de dichas consecuencias.
Además, el uso de sistemas de identificación biométrica a distancia “en tiempo real” en espacios de acceso público con el propósito del cumplimiento de la ley para cualquiera de los objetivos mencionados en el apartado 1, letra d), deberá cumplir con las salvaguardias y condiciones necesarias y proporcionales en relación con su uso, en particular en lo referente a las limitaciones temporales, geográficas y personales.
Por lo que respecta al apartado 1, letra d), y al apartado 2, cada uso específico de un sistema de identificación biométrica remota “en tiempo real” en espacios de acceso público para el cumplimiento de una ley, estará sujeto a una autorización previa concedida por una autoridad judicial o por una autoridad administrativa independiente del Estado miembro en el que se vaya a tener lugar la utilización, expedida previa solicitud motivada y de conformidad con las normas detalladas de la legislación nacional a que se refiere el apartado 4. No obstante, en una situación de justificada de urgencia, podrá iniciarse la utilización del sistema sin autorización autorización y la autorización podrá ser solicitada sólo durante o después del uso.
La autoridad judicial o administrativa competente sólo otorgará la autorización cuando esté convencida, basándose en pruebas objetivas o indicios claros que se le presenten que la utilización del sistema de identificación biométrica a distancia “en tiempo real” es necesario y proporcionado para alcanzar uno de los objetivos especificados en el apartado 1, letra d), identificados en la solicitud. Al decidir sobre la solicitud, la autoridad judicial o administrativa competente tendrá en cuenta los elementos mencionados en el apartado 2.
Un Estado miembro podrá decidir la posibilidad de autorizar total o parcialmente el uso de sistemas de identificación biométrica a distancia “en tiempo real” en espacios de acceso público para fines de cumplimiento de la ley, dentro de los límites y en las condiciones enumeradas en los apartados 1, letra d), 2 y 3. Dicho Estado miembro establecerá en su legislación nacional las normas detalladas necesarias para las solicitudes, su emisión y ejercicio, así como la supervisión relativa a las autorizaciones a que se refiere el apartado 3. Dichas normas deberán especificar también cuáles son los objetivos enumerados en la letra d) del apartado 1, incluidos los delitos a los que se refiere el inciso iii), de la misma, las autoridades competentes podrán ser autorizadas a utilizar dichos sistemas para el cumplimiento de la legislación.
El reglamento debe considerar que los sistemas de identificación biométricos tienen un origen y una naturaleza punitiva policial y están alimentados en gran parte con datos policiales sesgados, derivados de discriminación policial, detenciones ilegales entre otros, (Selbst, Andrew D. “Disparate impact in big data policing.” Ga. L. Rev. 52 (2017): 109.), por lo que se debiese reconsiderar su pertinencia, incluso en los casos exceptuados, en base a evidencia científica que ya está disponible sobre efectividad, resultado de éxito y sobre sus riesgos.
