Regulación de IA y sistemas de gestión de riesgos
Regulación de IA y sistemas de gestión de riesgos
En un panorama (global) donde las altas cargas regulatorias presionan los presupuestos de cumplimiento dentro de una organización, se hace imperativo gestionar los recursos de una forma eficiente y en eso, la capacidad de implementar y operar un sistema de gestión de riesgos se convierte en una práctica esencial que permite a una empresa dar prioridad a aquellos riesgos críticos y a los más inmediatos por encima de los riesgos menores, pudiendo establecer una planificación sostenible y de acuerdo a cada contexto (y bolsillo).
La metodología de evaluación de riesgos que se implementa debe poder evaluar la probabilidad, el tamaño y los impactos del riesgo y la naturaleza y adecuación de los controles que deben aplicarse para mitigarlo. Esto no se puede lograr sin el uso de puntos de referencia fiables con los que se puedan comparar, contrastar y juzgar estas cuestiones, en esencia como punto de referencia está la Ley secundada por estándares técnicos.
Esto es así, dentro del contexto de delitos económicos, protección de datos personales y ciberseguridad (con una nueva normativa entrante), pero no había existido claridad sobre la gestión de riesgos en materia de inteligencia artificial, ni desde el punto de vista de los desarrolladores ni de los desplegadores de está tecnología.
Digo «había» porque desde hace poco la certeza ha dejado de lado la incertidumbre. En un corto periodo de tiempo se ha establecido un estándar común, que para muchos les será familiar si conocen las normas ISO, que tiene como referencia una norma vinculante y un estándar técnico.
La norma vinculante es el nuevo Reglamento Europeo de IA, conocido como Ley de IA, que dentro de las obligaciones que aplica a los sistemas de alto riesgo, incorpora un sistema de gestión de riesgo a la luz y de acuerdo con las practicas que por años ha acuñado el estándar ISO 31000, por ejemplo, (nadie está inventando la rueda en esta materia). ISO tiene una norma específica para gestión de riesgos en sistemas de IA, que es la ISO 42001.
Dicho Reglamento establece las directrices para un sistema de gestión de riesgos robusto y eficaz y que si bien es exigible para los sistemas de IA de alto riesgo, debiese ser la norma y regla común no solo para cualquier desarrollador sino que para cualquier empresa que adquiere un sistema de IA y lo despliega en sus operaciones.
El Artículo 9, en particular, indica los componentes del sistema de gestión de riesgo y que es lo que espera se traduzca como un cumplimiento eficaz de la norma.
Aquí les dejo un esquema del contenido de este artículo, que ilustra la profundidad e importancia que adquieren los sistemas de gestión de riesgos:
- Establecimiento y Mantenimiento: Se debe establecer, implementar, documentar y mantener un sistema de gestión de riesgos para los sistemas de IA de alto riesgo. Este sistema será un proceso continuo y planificado durante todo el ciclo de vida del sistema de IA.
- Proceso Iterativo: El sistema de gestión de riesgos es un proceso iterativo y continuo que incluye revisiones y actualizaciones periódicas.
- Etapas del Sistema de Gestión de Riesgos: Determinación y Análisis de Riesgos: Identificar y analizar riesgos conocidos y previsibles para la salud, seguridad o derechos fundamentales cuando se usa el sistema de IA según su finalidad prevista. Estimación y Evaluación de Riesgos: Evaluar riesgos que podrían surgir tanto en el uso previsto como en un uso indebido razonablemente previsible. Evaluación de Otros Riesgos: Analizar otros riesgos basándose en los datos recopilados a través del sistema de vigilancia poscomercialización (Artículo 72). Adopción de Medidas de Gestión de Riesgos: Implementar medidas específicas para gestionar los riesgos identificados.
- Riesgos Abordables: Solo se consideran aquellos riesgos que pueden mitigarse o eliminarse razonablemente mediante el desarrollo, diseño del sistema o suministro de información técnica adecuada.
- Consideración de Interacciones: Las medidas de gestión de riesgos deben tener en cuenta los efectos y posibles interacciones entre los requisitos para minimizar los riesgos de manera eficaz.
- Riesgos Residuales: Se deben considerar aceptables los riesgos residuales asociados a cada peligro y el riesgo residual general del sistema de IA.
- Medidas de Gestión de Riesgos Adecuadas: Eliminación o Reducción de Riesgos: Reducir los riesgos mediante un diseño y desarrollo adecuados del sistema. Medidas de Mitigación y Control: Implementar medidas adecuadas para controlar los riesgos no eliminables. Provisión de Información y Formación: Proporcionar la información necesaria y formación adecuada a los responsables del despliegue.
- Conocimiento y Experiencia del Responsable del Despliegue: Tener en cuenta el conocimiento técnico, experiencia, educación y formación del responsable del despliegue y el contexto de uso del sistema.
- Pruebas de los Sistemas de IA de Alto Riesgo: Determinación de Medidas Adecuadas: Realizar pruebas para determinar las medidas de gestión de riesgos más adecuadas. Coherencia con la Finalidad Prevista: Asegurar que el sistema funciona según su propósito y cumple con los requisitos establecidos. Pruebas en Condiciones Reales: Realizar pruebas en condiciones reales según sea necesario (Artículo 60). Parámetros y Umbrales Definidos: Utilizar parámetros y umbrales de probabilidad adecuados durante las pruebas.
- Atención a Colectivos Vulnerables: Considerar el impacto potencial en menores de 18 años y otros colectivos vulnerables al implementar el sistema de gestión de riesgos.
- Integración con Otros Requisitos de Gestión de Riesgos: Los proveedores pueden integrar estos aspectos en sus procedimientos internos de gestión de riesgos según otras disposiciones relevantes del Derecho de la Unión.
Me gustaría hacer un alcance final sobre la gestión de riesgos en IA, que puede que en esta norma no se logre apreciar con claridad. No debemos olvidar que los sistemas de IA son, en primer lugar, sistemas sociotécnicos, no se pueden explicar ni conceptualizar solo con elementos técnicos, por lo que, las decisiones de diseñadores, desarrolladores e implementadores, así como, el contexto social donde son desplegados juegan un rol fundamental a la hora de conceptualizar y analizar riesgos y daños. Este enfoque en materia de gestión de riesgos en IA es fundamental. Un buen ejemplo de esta mirada lo desarrolla el NIST con su programa piloto ARIA, lanzado hace unos días, como una nueva aproximación a la gestión de riesgos, tomando en consideración todo el componente social y contextual que está indefectiblemente unido a las consecuencias del uso de esta tecnología. Recomiendo mucho echar un vistazo por la página web del NIST y este proyecto piloto, es muy interesante.
