Existe una urgencia por regular la IA en Chile y, para ello, se ha tomado como referencia el Reglamento de IA de EU con ya dos proyectos de ley. Sin embargo, a pesar de nuestra preferencia por la legislación europea, no se ha analizado cómo EU regula la IA.
En un panorama (global) donde las altas cargas regulatorias presionan los presupuestos de cumplimiento dentro de una organización, se hace imperativo gestionar los recursos de una forma eficiente y en eso, la capacidad de implementar y operar un sistema de gestión de riesgos se convierte en una práctica esencial que permite a una empresa dar prioridad a aquellos riesgos críticos y a los más inmediatos por encima de los riesgos menores, pudiendo establecer una planificación sostenible y de acuerdo a cada contexto (y bolsillo).
La metodología de evaluación de riesgos que se implementa debe poder evaluar la probabilidad, el tamaño y los impactos del riesgo y la naturaleza y adecuación de los controles que deben aplicarse para mitigarlo. Esto no se puede lograr sin el uso de puntos de referencia fiables con los que se puedan comparar, contrastar y juzgar estas cuestiones, en esencia como punto de referencia está la Ley secundada por estándares técnicos.
Esto es así, dentro del contexto de delitos económicos, protección de datos personales y ciberseguridad (con una nueva normativa entrante), pero no había existido claridad sobre la gestión de riesgos en materia de inteligencia artificial, ni desde el punto de vista de los desarrolladores ni de los desplegadores de está tecnología.
Digo «había» porque desde hace poco la certeza ha dejado de lado la incertidumbre. En un corto periodo de tiempo se ha establecido un estándar común, que para muchos les será familiar si conocen las normas ISO, que tiene como referencia una norma vinculante y un estándar técnico.
La norma vinculante es el nuevo Reglamento Europeo de IA, conocido como Ley de IA, que dentro de las obligaciones que aplica a los sistemas de alto riesgo, incorpora un sistema de gestión de riesgo a la luz y de acuerdo con las practicas que por años ha acuñado el estándar ISO 31000, por ejemplo, (nadie está inventando la rueda en esta materia). ISO tiene una norma específica para gestión de riesgos en sistemas de IA, que es la ISO 42001.
Dicho Reglamento establece las directrices para un sistema de gestión de riesgos robusto y eficaz y que si bien es exigible para los sistemas de IA de alto riesgo, debiese ser la norma y regla común no solo para cualquier desarrollador sino que para cualquier empresa que adquiere un sistema de IA y lo despliega en sus operaciones.
El Artículo 9, en particular, indica los componentes del sistema de gestión de riesgo y que es lo que espera se traduzca como un cumplimiento eficaz de la norma.
Aquí les dejo un esquema del contenido de este artículo, que ilustra la profundidad e importancia que adquieren los sistemas de gestión de riesgos:
Me gustaría hacer un alcance final sobre la gestión de riesgos en IA, que puede que en esta norma no se logre apreciar con claridad. No debemos olvidar que los sistemas de IA son, en primer lugar, sistemas sociotécnicos, no se pueden explicar ni conceptualizar solo con elementos técnicos, por lo que, las decisiones de diseñadores, desarrolladores e implementadores, así como, el contexto social donde son desplegados juegan un rol fundamental a la hora de conceptualizar y analizar riesgos y daños. Este enfoque en materia de gestión de riesgos en IA es fundamental. Un buen ejemplo de esta mirada lo desarrolla el NIST con su programa piloto ARIA, lanzado hace unos días, como una nueva aproximación a la gestión de riesgos, tomando en consideración todo el componente social y contextual que está indefectiblemente unido a las consecuencias del uso de esta tecnología. Recomiendo mucho echar un vistazo por la página web del NIST y este proyecto piloto, es muy interesante.
Escrito por Catherine Muñoz
Para que un modelo de prevención de infracción de datos personales, o en términos amplios, para que un programa de privacidad tenga éxito, debe poder justificar su existencia dentro del contexto de la misión de una organización que abarca aspectos más allá de su práctica, incluyendo su desarrollo comercial.
Esto lleva a una de las responsabilidades clave de un Oficial de Datos Personales (DPO): garantizar que el programa de privacidad permanezca alineado con los objetivos comerciales de una organización.
Es fácil que los expertos protección de datos personales se pierdan en su trabajo y piensen en la protección de datos como un fin en si mismo, sin embargo su trabajo solo será efectivo cuando facilite el logro de las metas y objetivos organizacionales. Los esfuerzos de privacidad deben alinearse con las metas, objetivos, funciones, procesos y prácticas de la empresa desde su ámbito comercial.
Hay cinco formas clave en que los DPO pueden garantizar esta alineación comercial:
i. Enfocar un caso de negocios para la protección de datos personales. Los DPO deben poder justificar las inversiones de tiempo y dinero que esperan que la organización haga en un programa de privacidad o modelo de prevención de infracciones de protección de datos. Esto requiere identificar cómo la protección de datos respalda los objetivos comerciales y articular claramente el retorno de la inversión que la alta gerencia debe esperar.
ii. Identificar a las partes interesadas. Hay muchas partes interesadas diferentes que desempeñan un papel en el logro de los objetivos de un programa de privacidad. Estos incluyen seguridad de la información, recursos humanos, marketing, legal, adquisiciones y otros especialistas. Es importante involucrar a estas partes interesadas en el proceso desde el principio e involucrarlos en el programa de privacidad.
iii. Aproveche las funciones clave. Además de involucrar a otras funciones comerciales como partes interesadas en el programa de privacidad, los DPO deben aprovechar la experiencia de esas funciones para lograr los objetivos de privacidad y protección de datos. Por ejemplo, los profesionales del equipo de protección de datos dedican gran parte de su tiempo a analizar e interpretar los requisitos legales. El equipo legal de la organización puede desempeñar un papel invaluable ayudando con este trabajo. De manera similar, la mayoría de las organizaciones tienen equipos de comunicaciones que pueden ayudar a desarrollar mejores mensajes internos y externos sobre privacidad.
iv. Cree un proceso para interactuar dentro de la organización. El equipo de protección de datos a menudo trabajará en estrecha colaboración con otros equipos de la organización y debe tener procesos claramente definidos para estas interacciones. Por ejemplo, es probable que el equipo de TI tenga que realizar gran parte del trabajo técnico del programa de privacidad. El equipo de protección de datos debe conocer y comprender los procesos de gestión de servicios de TI y aprovechar ese conocimiento para mejorar su capacidad de trabajar juntos.
v. Alinear la cultura organizacional y los objetivos de privacidad/protección de datos.
Cada organización tiene una cultura única, y navegar esa cultura es crucial para el éxito de las iniciativas internas. Los DPO deben comprender la cultura de su organización y utilizar ese conocimiento para avanzar con éxito en los objetivos de privacidad.
Escrito por Catherine Muñoz
Tal como el modelo de la Unión Europea, la Ley de Protección de Datos Personales próxima a promulgarse en Chile (LPD) establece derechos para que las personas tengan, por regla general, el control de sus datos. Por tanto, los datos personales deben recogerse de forma leal, lícita y con fines legítimos, específicos. Para ello, la recogida de datos debe basarse en un consentimiento libre, específico, informado e inequívoco o en otra base legal como determinados tipos de datos y excepciones.
La nueva ley de protección de datos próxima a promulgarse define el consentimiento en los términos del GDPR de la siguiente forma:
Consentimiento: toda manifestación de voluntad libre, específica, inequívoca e informada, otorgada a través de una declaración o una clara acción afirmativa, mediante la cual el titular de datos, su representante legal o mandatario, según corresponda, autoriza el tratamiento de los datos personales que le conciernen.
La regla general aplicable a los datos personales contenida en el artículo 12 señala que es lícito el tratamiento de los datos personales que le conciernen al titular, cuando otorgue su consentimiento para ello.
El consentimiento del titular debe ser libre, informado y específico en cuanto a su finalidad o finalidades. El consentimiento debe manifestarse, además, en forma previa y de manera inequívoca, mediante una declaración verbal, escrita o expresada a través de un medio electrónico equivalente, o mediante un acto afirmativo que dé cuenta con claridad de la voluntad del titular.
Cuando el consentimiento lo otorgue un mandatario, este deberá encontrarse expresamente premunido de esta facultad.
El titular puede revocar el consentimiento otorgado en cualquier momento y sin expresión de causa, utilizando medios similares o equivalentes a los empleados para su otorgamiento. La revocación del consentimiento no tendrá́ efectos retroactivos.
Los medios utilizados para el otorgamiento o la revocación del consentimiento deben ser expeditos, fidedignos, gratuitos y estar permanentemente disponibles para el titular.
Se presume que el consentimiento para tratar datos no ha sido libremente otorgado cuando el responsable lo recaba en el marco de la ejecución de un contrato o la prestación de un servicio en que no es necesario efectuar esa recolección.
Con todo, lo dispuesto en el inciso anterior no se aplicará en los casos cuando quien ofrezca bienes, servicios o beneficios, requiera como única contraprestación el consentimiento para tratar datos.
El artículo 16, indica que el tratamiento de los datos personales sensibles solo puede realizarse cuando el titular a quien conciernen estos datos manifiesta su consentimiento en forma expresa, otorgado a través de una declaración escrita, verbal o por un medio tecnológico equivalente.
Por su parte, el tratamiento de los datos personales que conciernen a los niños, niñas y adolescentes, sólo puede realizarse atendiendo al interés superior de éstos y al respeto de su autonomía progresiva. Cumpliéndose la exigencia establecida en el inciso anterior, para tratar los datos personales de los niños y niñas se requiere el consentimiento otorgado por sus padres o representantes legales o por quien tiene a su cargo el Cumpliéndose la exigencia establecida en el inciso anterior, para tratar los datos personales de los niños y niñas se requiere el consentimiento otorgado por sus padres o representantes legales o por quien tiene a su cargo el cuidado personal del niño o niña, salvo que expresamente lo autorice o mandate la ley.
Los datos personales de los adolescentes se podrán tratar de acuerdo a las normas de autorización previstas en esta ley para los adultos, salvo lo dispuesto en el inciso siguiente. Los datos personales sensibles de los adolescentes menores de 16 años sólo se podrán tratar con el consentimiento otorgado por sus padres o representantes legales o quien tiene a su cargo el cuidado personal del menor, salvo que expresamente lo autorice o mandate la ley.
La ley permite que los datos personales se recopilen y utilicen sobre la base de un consentimiento que puede manifestarse de forma amplia, derivado de la expresión “una clara acción afirmativa” la cual puede ser interpretable de muchas maneras. Por su parte para los datos sensible, se requiere un consentimiento «expreso».
No obstante, en Europa se ha discutido que la expresión “inequívoca” para definir el consentimiento de los datos personales no sensibles, es equivalente o quiere decir lo mismo que consentimiento expreso. En definitiva, el debate planteado da cuenta que todos consentimientos finalmente deben ser expresos, lo que puede generar problemas de ambigüedades e interpretaciones.
Por ejemplo, un problema interpretativo podría ser si una persona verbalmente confirma «Sí, estoy de acuerdo» o selecciona una opción o casilla que indica su aprobación, ha dado su consentimiento a través de una acción afirmativa, más bien una acción afirmativa explícita , pero si una persona nunca dice «Estoy de acuerdo», y nunca marca una casilla evidentemente no está dando un consentimiento expreso, pero ¿podríamos inferir implícitamente su consentimiento a través de una acción afirmativa diferente si estamos hablando de datos personales no sensibles?
En principio, si pudiese ser posible deducirlo, por ejemplo, si un usuario en internet entra en un concurso en línea, para entrar, tiene que completar un formulario de acceso proporcionando su nombre y dirección. Además, introduce su dirección de correo electrónico en un campo de correo electrónico marcado como «opcional», con un breve descargo de responsabilidad debajo que dice «Introduzca su dirección de correo electrónico para recibir información sobre productos y servicios que creemos que le interesarán». Este es un consentimiento con una acción afirmativa, no hay duda, pero no queda claro si es inequívoco o no.
Los dos modelos diferentes de consentimiento se traducen en soluciones muy diferentes dentro de los productos y servicios. En uno, el modelo de consentimiento «expreso», nada menos que una casilla de selección de suscripción o una declaración de consentimiento, funcionará. En el otro, el modelo de consentimiento «inequívoco», puede cumplirse con un aviso prominente, junto con una «acción afirmativa», obteniendo el consentimiento implícito sin la necesidad de una casilla de suscripción.
Es lícito el tratamiento de datos personales sensibles, sin el consentimiento del titular, en los siguientes casos:
Cuando el tratamiento se refiere a datos personales sensibles que el titular ha hecho manifiestamente públicos y su tratamiento esté relacionado con los fines para los cuales fueron publicados.
Cuando el tratamiento se basa en un interés legítimo realizado por una persona jurídica de derecho público o de derecho privado que no persiga fines de lucro y se cumplan ciertas condiciones.
Cuando el tratamiento de los datos personales del titular resulte indispensable para salvaguardar la vida, salud o integridad física o psíquica del titular o de otra persona o, cuando el titular se encuentre física o jurídicamente impedido de otorgar su consentimiento.
Cuando el tratamiento de los datos sea necesario para la formulación, ejercicio o defensa de un derecho ante los tribunales de justicia o un órgano administrativo.
Cuando el tratamiento de datos sea necesario para el ejercicio de derechos y el cumplimiento de obligaciones del responsable o del titular de datos, en el ámbito laboral o de seguridad social, y se realice en el marco de la ley.
Cuando el tratamiento de datos personales sensibles lo autorice o mandate expresamente la ley.
Reglas sobre datos sensibles relativos a salud
Sólo se podrá tratar los datos personales sensibles relativos a la salud del titular y a su perfil biológico, sin contar con su consentimiento:
Cuando éste resulte indispensable para salvaguardar la vida o integridad física o psíquica del titular o de otra persona o, cuando el titular se encuentre física o jurídicamente impedido de otorgar su consentimiento.
En casos de alerta sanitaria legalmente decretada.
Cuando sean utilizados con fines históricos, estadísticos o científicos, para estudios o investigaciones que atiendan fines de interés público o vayan en beneficio de la salud humana, o para el desarrollo de productos o insumos médicos que no podrían desarrollarse de otra manera.
Cuando el tratamiento de los datos sea necesario para la formulación, ejercicio o defensa de un derecho ante los tribunales de justicia o un órgano administrativo.
Cuando el tratamiento sea necesario para fines de medicina preventiva o laboral, evaluación de la capacidad laboral del trabajador, diagnóstico médico, prestación de asistencia o tratamiento de tipo sanitario o social, o gestión de sistemas y servicios de asistencia sanitaria y social.
Cuando la ley así lo permita e indique expresamente la finalidad que deberá tener dicho tratamiento.
Al respecto, la nueva normativa local establece las siguientes fuentes de licitud que reemplazan el requisito de consentimiento en el caso de datos personales no sensibles:
Cuando el tratamiento esté referido a datos relativos a obligaciones de carácter económico, financiero, bancario o comercial y se realice de conformidad con las normas del Título III de esta ley.
Cuando el tratamiento sea necesario para la ejecución o el cumplimiento de una obligación legal o lo disponga la ley.
Cuando el tratamiento de datos sea necesario para la celebración o ejecución de un contrato entre el titular y el responsable, o para la ejecución de medidas precontractuales adoptadas a solicitud del titular.
Cuando el tratamiento sea necesario para la satisfacción de intereses legítimos del responsable o de un tercero, siempre que con ello no se afecten los derechos y libertades del titular.
Cuando el tratamiento de datos sea necesario para la formulación, ejercicio o defensa de un derecho ante los tribunales de justicia u órganos públicos.
Ninguna base legal es ‘mejor’ o más importante que las demás ni que el consentimiento; todo dependerá de su propósito y relación con el usuario o cliente.
Se debe determinar si es necesario el consentimiento o se puede aplica una base legal descritas en los párrafos anteriores y documentarlo siempre. Por ejemplo, una base legal para tratar datos personales sin el consentimiento puede ser la existencia de un contrato previo. En otras palabras, tiene un contrato con la persona y es necesario procesar sus datos personales para cumplir con sus obligaciones en virtud del contrato. ‘Necesario’ no significa que el procesamiento de datos deba ser absolutamente esencial o ‘la única forma’ de ejecutar el contrato. Sin embargo, debe ser un paso específico y proporcionado que sea parte integral de la prestación del servicio contractual o la realización una acción sujeta a obligación contractual.
Los formularios de consentimiento deben ser fáciles de entender y fáciles de usar.
Mantenga registros para evidenciar el consentimiento: quién dio su consentimiento, cuándo, cómo.
La ley expresamente señala que las personas que han otorgado este tipo de consentimientos pueden retirarlo sin expresión de causa en cualquier momento, por lo que se debe contar con un proceso de facilitación para el retiro del mismo.
Mantenga los consentimientos bajo revisión y actualícelos si algo cambia. Incorpore revisiones periódicas de consentimiento en sus procesos de compliance.
Escrito por Catherine Muñoz
La ley N. 20.393 estableció por vez primera, un sistema de imputación para las personas jurídicas, asumiendo principalmente el modelo de “organización defectuosa” como presupuesto de la responsabilidad penal.
Por su parte, la reciente Ley N. 21.595 que sistematiza los Delitos Económicos y Atentados contra el Medio Ambiente, tiene por objetivo perfeccionar el marco legal existente, modificando el estatuto de responsabilidad penal de personas jurídicas, incluyendo una ampliación relevante del catálogo de delitos, independiente de su estructura legal, esto es, incluyendo las organizaciones sin fines de lucro.
Las organizaciones sin fines de lucro operan en un entorno complejo en el que prevalece el alto riesgo de comisión de delitos como el financiamiento del terrorismo donde GAFI ha centrado sus estándares de prevención, son comunes a nivel global casos de corrupción y estafas. No obstante, dentro de este panorama muchos responsables de este tipo de organizaciones carecen de experiencia en la gestión activa de riesgos constitutivos de delitos, en particular, delitos económicos.
Usualmente, los directivos de organizaciones sin fines de lucro se centran en el desarrollo de su misión y vuelcan todo su esfuerzo en ello, muchos consideran que el desarrollo de su trabajo de buena fe, por sí mismo, genera un cierto escudo contra actos delictivos.
Muchas organizaciones sin fines de lucro, en general gestionando recursos limitados, se enfocan casi exclusivamente en las actividades propias de su misión, por lo que es común pasar por alto operaciones y procesos de alto riesgo delictivo, que pueden generarse por ejemplo en la interacción con empresas, proveedores o los entornos operativos de donaciones u obtención de fondos. Lo anterior hace que este tipo de organizaciones sean más susceptibles a altos riesgos asociados a la comisión de delitos, en particular, delitos económicos, que podrían perfectamente haberse identificado y mitigado con anterioridad con una gestión correcta de compliance y un modelo de prevención de delitos adecuado para este tipo de entidades y el sector de desarrollo, evitando muchas veces perdidas irreparables y truncando grandes proyectos sociales.
Este punto ciego complejiza la gestión de riesgos de las organizaciones sin ánimo de lucro.
Una gestión de riesgos tardía, luego de acaecido un hecho constitutivo de delito económico, además de las evidentes consecuencias legales, crean dificultades organizativas y hacen que las organizaciones pierdan su capacidad de tomar decisiones acertadas y se transforma en una crisis difícil de superar. El tiempo, el personal y los recursos se reorientan a la gestión de crisis, eclipsando otras actividades organizativas y proyectos en desarrollos que se paralizan o fracasan en el camino. Hacer frente a las crisis tiene un alto costo, que incluye importantes sumas de dinero gastadas directamente en responsabilidades penales, indemnizaciones, daños y perjuicios, acuerdos, procedimientos legales, manejo reputaciones, etc.
Fracasos de algunas organizaciones sin ánimo de lucro y sus efectos perjudiciales que han sido hechos noticiosos recientes, han hecho que la conversación en torno al riesgo deje de basarse en la idea de que «eso no puede ocurrir aquí». Es importante que este tipo de entidades tome todas las medidas para un adecuado cumplimiento regulatorio, mitigando sus múltiples fuentes de riesgos porque es muy probable que “eso pueda ocurrir ahí”.
Típicos indicios de riesgos en organizaciones sin fines de lucro.
– No hay supervisión ni control presupuestarios programados con regularidad. Esto significa que no hay controles sobre el gasto ni reconocimiento de déficits y que hay un grave fallo en la gobernanza interna.
– El intercambio de datos sobre actividades, o rendimiento de la organización es limitado, y no se realizan análisis periódicos de incidentes, programas y rendimiento administrativo. Esto significa que la organización no aprende de la experiencia ni corrige errores.
– Comunicación limitada, retroalimentación irregular o ausencia de seguimiento de acciones correctivas. Esto significa que hay poca comprensión compartida o responsabilidad por el logro de los objetivos.
-Presentación tardía de informes fiscales, financieros, de subvenciones o gubernamentales. Esto pone a la organización en peligro de sanciones, revocación de la condición de organización benéfica o no renovación de subvenciones esenciales.
– Elevada rotación de personal o baja productividad. Esta bandera roja sugiere un entorno de trabajo problemático y la prestación de servicios de baja calidad.
Escrito por Catherine Muñoz
Dentro de estas hay una subcategoría de sujetos obligados con cargas regulatorias reforzadas (artículo 8) que se denominan «Operadores de Importancia Vital».
La ley identifica como sujetos obligados a aquellas instituciones que prestan servicios considerados esenciales para el funcionamiento de la sociedad y la economía. Estos servicios son los prestados por:
1. Los organismos de la Administración del Estado
2. El Coordinador Eléctrico Nacional.
3. Los prestados bajo concesión de servicio público,
4. Los proveídos por instituciones privadas que realicen las siguientes actividades:
Generación, transmisión o distribución de energía eléctrica.
Transporte, almacenamiento o distribución de combustibles.
Suministro de agua potable y saneamiento.
Telecomunicaciones e infraestructura digital.
Servicios digitales y tecnologías de la información gestionadas por terceros.
Transporte terrestre, aéreo, ferroviario o marítimo y operación de infraestructuras relacionadas.
Banca, servicios financieros y sistemas de pago.
Administración de prestaciones de seguridad social.
Servicios postales y de mensajería.
Prestación de servicios de salud por entidades como hospitales, clínicas, consultorios y centros médicos, incluyendo la producción e investigación farmacéutica.
La Agencia podrá calificar otros servicios como esenciales mediante resolución fundada, sometida a consulta pública.
La Agencia Nacional de Ciberseguridad identificará, mediante resolución exenta, las infraestructuras, procesos o funciones específicas que serán calificadas como esenciales dentro de las instituciones nombradas.
La Agencia puede clasificar dentro de las instituciones anteriores, a aquellos considerados operadores de importancia vital por:
Dependen críticamente de redes y sistemas informáticos para la prestación de sus servicios.
Cuyas interrupciones tendrían un impacto significativo en la seguridad y el orden público, la continuidad de servicios esenciales, el cumplimiento de funciones estatales o la provisión de servicios garantizados por el Estado.
Además, instituciones privadas que no provean servicios esenciales pero que cumplan con los criterios mencionados y sean consideradas críticas para el abastecimiento y producción de bienes estratégicos, o que presenten un alto riesgo de incidentes de ciberseguridad, también podrían ser calificadas como tales.
Identificación Inicial:La Agencia Nacional de Ciberseguridad identifica las infraestructuras, procesos o funciones que podrían calificarse como Instituciones que presten servicios calificados como esenciales según el punto II. Además, se debe tener presente que la ley le da facultad a la Agencia para determinar como operadores de importancia vital a instituciones privadas con roles críticos, que no clasificadas inicialmente como prestadores de servicios esenciales.
Consulta a Organismos Competentes:La Agencia solicita informes a los organismos públicos sectoriales para identificar posibles operadores de importancia vital.
Elaboración de la Nómina Preliminar:La Agencia elabora una nómina preliminar de instituciones que podrían ser calificadas como operadores de importancia vital.Plazo: 30 días corridos para la elaboración de esta nómina.
Consulta Pública:4.1. Instituciones privadas: Sometimiento a consulta pública durante 30 días corridos.4.2. Instituciones públicas: Requerimiento de informe al Ministerio de Hacienda.
Elaboración del Informe Final:Una vez finalizado el proceso de consulta pública y recibido el informe del Ministerio de Hacienda, la Agencia dispone de 30 días corridos para preparar el informe final.
Resolución de la Agencia:La Agencia, mediante resolución fundada por su Director o Directora Nacional, determina la nómina final de los operadores de importancia vital.
Revisión y Actualización:La Agencia revisa y actualiza la lista de operadores de importancia vital al menos cada tres años.
Recursos Legales:Contra la resolución emitida, se pueden interponer los recursos que establece la ley N° 19.880, proporciona la opción de un procedimiento de reclamación judicial, según lo especificado en el artículo 46 de la ley correspondiente.
Si su institución se encuentra dentro de las categorías mencionadas o realiza actividades que son fundamentales para la infraestructura crítica de la nación, es crucial evaluar su cumplimiento con la nueva ley. La ciberseguridad ya no es solo una cuestión de IT, sino un imperativo estratégico y legal que garantiza la continuidad de servicios esenciales para la sociedad.
#ciberseguridad #compliance #ciberseguridadindustrial #cybersecurity
Escrito por Catherine Muñoz
No existe una forma unitaria de protección de sistemas de inteligencia artificial, a través de la propiedad intelectual. Para determinar cual es la protección, es preciso distinguir entre (1) dataset, (2) algoritmos y modelos u otro tipo de métodos matemáticos.
Históricamente la protección de softwares y bases de datos estaba radicada exclusivamente en el derecho de autor. Al respecto, el Convenio de Berna establece en su artículo 1° que «la obra literaria y artística comprenderá todas las producciones del dominio literario, científico y artístico, cualquiera que sea el modo o la forma de su expresión.» Por su parte, el artículo 10.1 del Acuerdo sobre los Aspectos de los Derechos de Propiedad Intelectual relacionados con el Comercio (ADPIC 2002) dispone que «Los programas de ordenador, ya sea en el código fuente o en el código objeto, estarán protegidos como obras literarias en virtud del Convenio de Berna (1971)”.
El código fuente es la expresión de los programas informáticos escritos en caracteres alfanuméricos en un texto plano[1]. Por su parte, el código objeto corresponde a la compilación del código fuente[2]. Sobre la base de las normas mencionadas anteriormente, ambas expresiones se consideran una obra literaria y se protegen como una expresión de una idea.
Sin embargo, en la actualidad la protección de dataset, modelos y algoritmos por el derecho de autor posee serios inconvenientes. Básicamente, el problema radica en que la idea o funcionalidad subyacente detrás de este tipo de tecnología, no es protegida por el derecho de autor.
Un punto fundamental para entender esta problemática es el principio de «idea-expresión», uno de los principios del derecho de autor, que postula básicamente que las ideas como tales no están protegidas por la propiedad intelectual (derecho de autor o copyright) ; en otras palabras, se protege la forma de expresión de una idea y no la idea en sí. Esto está en concordancia con el fin principal del derecho de autor que busca la promoción y desarrollo del arte, no correspondiendo a un mecanismo de recompensa por los esfuerzos, en este caso del autor, como si ocurre en el sistema de patentes de invención [3].
Asimismo, existen otros inconvenientes, el sistema de derechos de autor protege al autor contra la copia literal de líneas de un código fuente. Esto deja abierta la posibilidad de que los competidores eviten las infracciones implementando el mismo algoritmo con un texto diferente[4]
Respecto de las bases de datos, la situación es similar, el derecho de autor protege las bases de datos o las diferentes formas de recopilar información, pero no incluye la funcionalidad técnica de estas bases de datos, que en definitiva en el caso de las ML son su característica más preciada.
Secretos comerciales y machine learning
Un secreto comercial no es un derecho de propiedad intelectual, sin perjuicio de ser una institución protegida por este tipo de normas y que corresponde a un mecanismo de protección bastante equivalente a los derechos industriales, permitiendo proteger información no divulgada, siempre y cuando ésta sea secreta, tenga valor comercial y algún grado razonable de protección. Es fácil de aplicar, no requiere ningún registro, plazo y no tiene requisitos adicionales. Yo siempre digo que los secreto comercial no son un derecho de propiedad intelectual sino algo mucho mejor.
Al respecto, el Acuerdo sobre los Aspectos de los Derechos de Propiedad Intelectual relacionados con el Comercio (ADPIC) en su artículo 39° establecen el marco de la protección contra la competencia desleal prevista en el artículo 10 bis del Convenio de París, disponiendo que “la información comercial pertinente debe protegerse de la divulgación no autorizada siempre que cumpla los siguientes requisitos: i) ser tratada como secreta, ii) tener un valor comercial por ser secreta, y iii) haber sido objeto de medidas razonables, según las circunstancias, por la persona que tiene el control legal de la información, para mantenerla secreta”.
Los dataset, pueden ser los mayores activos de una empresa tecnológica, en términos generales, se protegen a través de secretos comerciales. Al respecto, teniendo presente que los desarrolladores necesitan datos de buena calidad para obtener modelos más precisos, estos son procesados por complejos y costosos mecanismos de ajustes.[5]
En consecuencia, las empresas que poseen dataset de alta calidad, buscarán no compartirlo con otras empresas o el público y mantenerlos en secreto, disfrutando así de una importante ventaja comparativa. Sin perjuicio de lo anterior, existen empresas que se ven obligadas a compartir sus datos por razones estratégicas de negocio, como pueden ser aquellas que estén dentro de alianzas con otras empresas o con instituciones públicas, pero el primer supuesto es la regla general y la mejor opción para la protección de los dataset.
Si bien los secretos comerciales son una protección adecuada para los dataset, no lo son para la mayor parte de algoritmos y modelos de ML. Aunque el secreto comercial posee una protección que supera cualquier derecho de patentes, siempre lleva implícita la condición que no pueda ser obtenido de forma independiente, condición que muchas veces no está presente en este tipo de tecnologías, presentado una serie de desventajas este tipo de protección.
En primer lugar, uno de los problemas de los secretos comerciales en relación con la protección de algoritmos y modelos, es la frecuente rotación de ingenieros de software en el mercado tecnológico, siendo este campo limitado y de alta demanda [6]. Consecuencia de lo anterior, la rotación de especialista es alta, lo que dificulta la distinción entre la divulgación de los secretos comerciales de un trabajo anterior y los conocimientos adquiridos a través de la experiencia laboral [7].
En segundo lugar, la existencia de ML de ingeniera inversa, es decir, de sistemas que deconstruyen otros sistemas para revelar sus diseños o extraer información del mismo, pone a los secretos comerciales en desventaja, ya que es posible usar estos sistemas y develar algoritmos y modelos sin ser divulgados, agregando además el hecho que es posible que la tecnología sea adquirida lícitamente de forma independiente.[8] En vista de estos inconvenientes, las empresas tecnológicas básicamente se han visto obligadas a patentar una parte de sus algoritmos y modelos.
Patentes y machine learning (ML).
Los sistemas de patentes y en general las normas sobre propiedad industrial se encuentran armonizadas y estandarizadas a nivel global. Comparten los mismos principios y normas básicas, basados principalmente en el Convenio de París y el Acuerdo sobre los ADPIC, por lo que por ejemplo, las normas sustantivas europeas son las mismas que las chilenas.
Los titulares de sistemas de AI se han visto obligados a patentar algoritmos y modelos de ML en aquellos casos en que los secretos comerciales son ineficaces, también son parte de políticas internas de patentar y licenciar libremente evitando potenciales conflictos. En consecuencia, existe un creciente interés por este tipo de protección por parte de particulares y entes públicos.
Al respecto, la totalidad de los países desarrollados han creado políticas de incentivo para el registro de patentes de sistemas de AI, como una forma de fomentar la investigación y la inversión de empresas extranjeras.
La ley N° 19.039 sobre propiedad industrial en el artículo 31° define como invención a “toda solución a un problema de la técnica que origine un quehacer industrial. La invención podrá ser un producto o un procedimiento o estar relacionada con ellos”. En general en el derecho comparado no existen muchas legislaciones que definan una invención ya que es un concepto en constante cambio y definirlo es limitarlo.
Por su parte, el artículo 38° de dicho cuerpo legal, indica las materias que no son patentables, tales como, descubrimientos, teorías científicas, métodos matemáticos, sistemas, principios o planes económicos, financieros, comerciales, de negocios o de simple verificación y fiscalización; y los referidos a las actividades puramente mentales o intelectuales o materias de juego. En estas materias excluidas hay un denominador común y es que en ellas, la actividad inventiva está ausente.
Como es posible apreciar dentro de las materias no patentables están precisamente los modelos matemáticos, es decir, tanto algoritmos como modelos de ML están excluidos de patentabilidad. Al respecto, el Reglamento de la Ley 19.039 señala específicamente que los métodos matemáticos se encuentran excluidos de patentabilidad acuerdo al artículo 37° letra c) cuando se intente proteger explícitamente como categoría un producto de programa computacional (software), o un método matemático o un algoritmo que ejecuta sus procesos, o también lo anterior cuando se implementan en un sistema computacional convencional.
Esta norma de exclusión está presente en todas las legislaciones, no obstante debido al auge del ML se han implementado en muchas de ellas, modificaciones e interpretaciones a sus normas para que los sistemas de IA puedan acceder a registros de patentes.
Así por ejemplo, la Oficina Europea de Patentes (EPO) en el año 2018 publicó una versión actualizada de las «Directrices para los examinadores de patentes», que modificó completamente las normas para interpretar las exclusiones de patentabilidad de los modelos matemáticos. En consecuencia, la nueva interpretación establece que si una solicitud de patente se basa en un método matemático que implique el uso de medios técnicos como un ordenador, no puede ser excluida de la patentabilidad siempre y cuando tenga un carácter técnico en su conjunto.
Para este fin, el modelo matemático debe producir un efecto técnico que cumpla una función técnica, mediante su aplicación a un campo de la tecnología y/o su adaptación a una aplicación técnica específica. Además, se requieren requisitos adicionales como un propósito técnico específico, limitándose funcionalmente a la finalidad técnica, para lo cual debe existir un vínculo suficiente entre el objetivo técnico y los pasos del método matemático, por ejemplo, especificando cómo se relacionan la entrada y la salida de la secuencia de pasos matemáticos con el objetivo técnico, de modo que el método matemático esté vinculado causalmente a un efecto técnico[9].
Estas normas establecen altos estándares de divulgación específicas, que los titulares de ML deben cumplir para acceder al registro de una solicitud de patente, por lo que se puede obtener información relevante sobre su funcionamiento, complementada además con patentes del estado del arte cercano que pueden ser elementos aportantes a la transparencia tantas veces requeridas por estos sistemas. La información de la gran mayoría de las oficinas de patentes es pública y están disponibles de manera online, por lo que obtener este tipo de información es relativamente sencillo.
[1] Source Code Definition by The Linux Information Project», Linfo.Org, 2001, http://www.linfo.org/source_code.html
[2] «Object Code Definition», Linfo.Org, 2007, http://www.linfo.org/object_code.html.
[3] Jean-Marc Deltorn and Franck Macrez, «Authorship in the Age of Machine Learning and Artificial Intelligence», SSRN Electronic Journal, 2018.
[4] Jin Hyunjong, «Think Big! The Need For Patent Rights In The Era Of Big Data And Machine Learning», Jipel.Law.Nyu.Edu, 2019, https://jipel.law.nyu.edu/vol-7-no-2-3/.
[5]»What Is Data Preprocessing? – Definition from Whatis.Com”, Searchsqlserver, 2005, https://searchsqlserver.techtarget.com/definition/data-preprocessing.
[6] The Battle For Top AI Talent Only Gets Tougher From Here», WIRED, 2017, https://www.wired.com/2017/03/intel-just-jumped-fierce-competition-ai-talent
[7] Un caso famoso que refleja esta cuestión es «Uber contra Waymo». Google Alphabet demandó a Uber por robo de secretos comerciales y competencia desleal argumentando que el ex ingeniero de Google, Anthony Levandowski, robó secretos comerciales relacionados con la tecnología de vehículos autónomos «Waymo» y llevó esos datos a Uber. La defensa de Uber se centró en el hecho de que el ex ingeniero de Google simplemente aplicó sus conocimientos y experiencia en el campo de los vehículos autónomos y no se pudo probar un robo de secreto comercial. Más detalles ver «Waymo V. Uber: Everything to Know about the Trade Secrets Trial», Fortune, 2018, https://fortune.com/2018/02/05/waymo-v-uber-what-you-need-to-know-about-the-high-stakes-self-driving-tech-trial/.
[8] “Is Reverse Engineering” Misappropriation of Trade Secrets? | JD Supra», JD Supra, 2020, https://www.jdsupra.com/legalnews/is-reverse-engineering-misappropriation-96161/.
[9] European Patent Office, Guidelines for examination in the European Patent Office, 2018, Munich: www.european-patent-office.org/legal/gui_lines/
[10] Hall Bronwyn, Patents, Innovation, and Development (May 10, 2020). Max Planck Institute for Innovation & Competition Research Paper No. 20-07, Available at SSRN: https://ssrn.com/abstract=3598855 or http://dx.doi.org/10.2139/ssrn.3598855
Escrito por Javiera Sepúlveda
La Ley Federal de Gestión de la Seguridad de la Información (FISMA) de USA hace referencia a unos 300 “controles» de seguridad y privacidad sugeridos por el NIST para ser elegidos por las oficinas gubernamentales en la creación de un plan de seguridad. Dicho plan de seguridad debe ser en teoría informado y reflexivo eligiendo los controles más relevantes para las circunstancias y centrar sus esfuerzos en aplicar y probar esas opciones.
Pero esto en la práctica no ocurre de esta forma, los planes de seguridad de las agencias del gobierno de USA incorporan los 300 controles aun cuando la mayoría sean innecesarios para un contexto particular, lo cual implica una enorme inversión de costos y tiempo implementarlos y darles cumplimiento, en lugar de centrarse en los controles específicos que realmente protegerán sus sistemas.
Este es uno de los ejemplos del libro Re-coding America de Jennifer Pahlka, muy recomendable. Una mirada aclaradora sobre la complicada intersección entre la mejora de procesos o proyectos de transformación digital y la burocracia gubernamental. Es esencial para los que trabajamos en temas de políticas públicas, pero igualmente necesario para aquellos que gestionan procesos dentro de una empresa.
La autora pasó años consultando con varias agencias gubernamentales de USA, tratando de analizar cómo mejorar su desempeño. El libro analiza que la desconexión entre el diseño de una política y su implementación es la clave para desburocratizar las instituciones y que tiene sus raíces en una visión elitista de que cuando se trata de implementación, “tenemos gente para ese tipo de cosas”. Ese punto de vista conduce a lo que ella llama una teoría de la planificación estratégica en “cascada”, en la que la dirección se establece desde arriba y se supone que cada nivel inferior debe hacer lo que se le dice sin tener participación en los diseños ni preguntar.
Volviendo al ejemplo de la Ley FISMA, esta falta de conexión de decisiones desde arriba genera una cultura de “más vale irse a la segura” y la imposibilidad de cuestionar y optimizar procesos.
Como la autora lo explica en una entrevista: “Supongamos que tiene un jefe de seguridad en un proyecto de software federal que es excelente en su trabajo. Saben exactamente qué hacer para proteger esta aplicación y dicen: “Aquí están los 25 controles que vamos a realizar. Ah, y por cierto, necesitamos muchas pruebas. Nos aseguraremos de que esto no interrumpa su usabilidad, tenemos características que deben incluirse. Así que solo vamos a hacer estas 25 «. Tienen que obtener permiso en la cadena para hacerlo. Y las personas en la parte superior de la cadena no tienen forma de saber si esos son los 25 correctos. Solo saben que, si el número 26 necesitaba estar allí y no lo estaba, es su puesto el que está en juego. Entonces dicen: “¿Sabes qué? Es mejor si haces los 300”. Bueno, entonces, de repente, gran parte de su presupuesto de tiempo y atención se destina a algo que no ayudará a proteger sus sistemas.”
Un pasaje del libro señala: “Cuando los sistemas u organizaciones no funcionan como uno cree que deberían, generalmente no se debe a que las personas que los integran sean estúpidas o malvadas. Es porque operan según estructuras e incentivos que no son obvios desde el exterior.”
Sobre lo anterior, la autora explica que los incentivos para el personal de carrera de las agencias no giran en torno a los resultados si no en el cumplimiento de procesos impuestos. Obtener malos resultados puede provocar momentos incómodos ocasionales en una audiencia de supervisión, pero desviarse de un proceso puede provocar su despido. Por eso dedican tiempo y energía al cumplimiento, en lugar de a la optimización.
Este libro es esencial para tener presente temas esenciales que suelen ser pasados por alto en procesos de desburocratización o digitalización. Para desburocratizar y simplificar procesos es esencial que los implementadores y planificadores trabajen juntos, construyendo de forma iterativa a través de prueba y error, incorporando en el diseño terceros interesados y por sobre todo guiar el diseño centrado en los usuarios (o en ciudadanos y empresas).
El libro está disponible en ebook en este link: https://www.amazon.com/Recoding-America-Government-Failing-Digital-ebook/dp/B0B8644ZGY
Escrito por Catherine Muñoz
Artificial intelligence’s history is as remarkable as the current result thereof. First, this history starts in a very uncommon way in the mid-19th century, with a woman named Ada Augusta Byron, also known as Ada Lovelace, the daughter of the well-known poet Lord Byron. Ada Lovelace, was an English woman, whose fascination for mathematics led her to meet several mechanical inventions of her time face to face, having a fresh view of them from a revolutionary perspective.[1]
Ada Lovelace was a collaborator of the scientist and mathematician Charles Babbage in the direction, sense and aim of her analytical engine[2], which was finally never put into practice. As a result of this work, she is considered as the first creator of an algorithm as such, and she has been called the first “programmer” of computer systems.[3]
In 1843 and as part of her work as an assistant, Ada translated a paper of Luigi Menabrea, a French scientist, who wrote about Babbage’s analytical engine. Along with said translation, she prepared extensive notes that incorporated an analysis of the functional nature of said machine by her own. Finally, said translation was pushed into the background, with the aforementioned additional notes becoming the main character of a remarkable anticipated understanding on the basis of computer systems and the artificial intelligence from a mathematical and philosophical perspective, opening a number of possibilities for a machine exclusively invented for numerical calculations.[4]
Ultimately, what Ada was discerning was the capacity a machine could have for processing in a consistent, logical way not only numbers, but also another kind of abstract data, such as musical notes.
It is also said that Ada was the first person in writing an algorithm for the note individualized as G [5] in the same document in reference, detailing a logical sequence that allows calculating Bernoulli numbers.[6]
From Ada Lovelace’s deep analyses almost 100 years elapsed until one of the most important scientists of XX century, Alan Turing, would be able to empirically develop the basis of scientific and logical foundations that made the progress of computer science and AI possible.[7] As everything in this story, Turing was a remarkable and advanced man for his time.
In a paper published in 1937[8] called “On computable numbers, with an application to the Entscheidungsproblem”[9], Turing gave new definitions on computable numbers and a description of a universal machine, finally explaining that Entscheidungsproblem cannot be solved. Like Ada Lovelace’s analysis, in this paper and other later one, Turing combines logics with philosophy and mathematics in order to give rise to his well-known theories.
“Calculator” at that time was the denomination given to those persons whose work was the performance of mathematical works. Turing based his machine on said function and as explained by Nils J. Nilsson[10] its operation was very simple, being made of few parts, where an infinite tape divided in cells can be found, which have a 1 or 0 printed. The machine had a reading and writing head, and a logical unit that can change its own state in order to command the writing or reading function of 1 or 0, and move the tape to the left or to the right by reading a new cell or ending an operation
In principle, each machine had an unique function; then Turing created a form in which multiple functions could be coded in the same input data, thus creating the so-called Universal Turing Machine, which is the basis of current computers.
With the advent of the Second World War, this invention and its creator would continue developing the aspect of intelligence and national security. Thus, Turing was recruited by the Government Code and the Cypher School based in Bletchley Park, making important contributions in the field of codebreaking.
Then, in 1950 Turing published in Mind magazine his paper called “Computing Machinery and Intelligence”.[11]The paper started by saying the following: “I intend to review the following question: Can machines think?”.
In that paper, Turing created the so-called “Turing Test”, which purpose was to determine if a computer could “think”. In simple terms, the test required a machine to hold a conversation through a text with a human being. If After five minutes, the human being was convinced of being talking to another human being, it was said that the machine had passed the test. In John McCarthy’s words: He argued (Turing) that if the machine could successfully pretend to be human to a knowledgeable observer then you certainly should consider it intelligent.[12]
Alan Turing Statue at Bletchley Park (C) Gerald Massey
The statue, commissioned from Stephen Kettle by the late Sidney E Frank, depicts Alan Turing seated in front of an…www.geograph.org.uk
Until now we have seen the development of AI from the concept of mathematics and logics, but after that, two well defined approaches became clearly distinct that based their studies and development on AI. First, we have those basing their knowledge on logics and mathematics with philosophical and epistemological resources corresponding to the symbolic or classical AI, and, on the other hand we have those basing their studies on the biology known as connectionist AI — cybernetics.
Cybernetics was defined by Wiener as “the science of control and communication, in the animal and the machine”.[13]
The preceding definition was taken from one of the works of W. Ross Ashby, an English psychiatrist who published a theory of the adaptive behavior in animals and machines.[14]
Parallel to symbolic or classical AI development, the neurologist Warren S. McCulloch and the logician Walter Pitts published in 1943 a paper called “A logical calculus of the ideas immanent in nervous activity”[15] where they proposed an artificial neurologic model from an explanation about how the human nervous system operates.
According to Nils J. Nilsson[16], the McCulloch-Pitts neuron corresponds to a mathematical abstraction of a brain cell as such with an input corresponding to dendrites and an output corresponding to a value of 0 or 1 as a simile of an axion, with these “neurons” being able to connect each other forming networks. In this respect, Nilsson says: “Some neural elements are excitatory — their outputs contribute to “firing” any neural elements to which they are connected. Others are inhibitory — their outputs contribute to inhibiting the firing of neural elements to which they are connected. If the sum of the excitatory inputs less the sum of the inhibitory inputs impinging on a neural element is greater than a certain “threshold,” that neural element fires, sending its output of 1 to all of the neural elements to which it is connected”.[17]
In sum, we have elements of mathematics, logics and biology that have been present in the development of AI, to which also psychology and cognitive sciences are added, since they have been of the essence in the development of learning of artificial neurons.
Psychologist Frank Rosenblatt developed the Perceptron in 1957, which corresponded to the first artificial neuronal network for learning that allows the recognition of patterns based on a binary classifier.[18] Then David Rumelhart, Geoffrey E. Hinton, and Ronald J. Williams describe the retropropagation as a method of optimizing multi-stage dynamic.
In 1956 at the 1956 Dartmouth Conference organized by Marvin Minsky, John McCarthy, the expression “Artificial Intelligence” was first coined. From this conference began a new era in the development of AI.[19]
Government agencies, such as the U.S. Defense and Research Projects Agency (DARPA), invested heavily in Artificial Intelligence innovation during World War II and the Cold War. Then, between 1974 and 1980, the so-called “AI Winter” took place, with the reduction of the interest and the financing of this type of technologies.
However, there was an explosive growth in the early 1990s in AI technology advances driven mainly by the rise of Big Data and supercomputers…
And here we are now, nobody knows how this will continue, we hope it will recover its essence reflected in Ada Lovelance’s work.
[1] Luigia Carlucci Aiello, “The Multifaceted Impact Of Ada Lovelace In The Digital Age”, Artificial Intelligence 235 (2016): 58–62, doi:10.1016/j.artint.2016.02.003.
[2] Margaret A Boden, AI: Its Nature And Future, 1st ed. Oxford: Oxford University Press, 2016. 1–28
[3]Suw Charman-Anderson “Ada Lovelace: Victorian Computing Visionary.” Ada User Journal 36.1 (2015).
[4] J.G. Llaurado, “ADA, The Enchantress Of Numbers”, International Journal Of Bio-Medical Computing 32, no. 1 (1993): 79–80, doi:10.1016/0020–7101(93)90008-t.
[5] L. F. Menabrea & A. Lovelace (1842). “Sketch of the analytical engine invented by Charles Babbage”. 49–59
[6] Ronald L. Graham, et al. “Concrete mathematics: a foundation for computer science.” Computers in Physics 3.5 (1989): 106–107.
[7] Margaret A. Boden, AI: Its Nature And Future, 1st ed. Oxford: Oxford University Press, 2016. 1–28
[8] A. M. Turing, “On Computable Numbers, With An Application To The Entscheidungsproblem”, Proceedings Of The London Mathematical Society 2–42, no. 1 (1937): 230–265, doi:10.1112/plms/s2–42.1.230.
[9] The Entscheidungsproblem (mathematics, logic) is a decision problem, of finding a way to decide whether a formula is true or provable within a given system. “Entscheidungsproblem Dictionary Definition | Entscheidungsproblem Defined”, Yourdictionary.Com, accessed 14 March 2019, https://www.yourdictionary.com/entscheidungsproblem.
[10] Nils Nilsson. The quest for artificial intelligence. Cambridge University Press, 2009. E-book. 57
[11] A. M. Turing, “I. — Computing Machinery And Intelligence”, Mind no. 236 (1950): 433–460, doi:10.1093/mind/lix.236.433.
[12] John McCarthy, “What Is Artificial Intelligence?”, Stanford University, 1998, http://www-formal.stanford.edu/jmc/whatisai/whatisai.html.
[13] W. Ross Ashby and J. R. Pierce, “An Introduction To Cybernetics”, Physics Today 10, no. 7 (1957): 34–36, doi:10.1063/1.3060436.
[14] W. Ross Ashby. “Principles Of The Self-Organizing Dynamic System”, The Journal Of General Psychology 37, no. 2 (1947): 125–128, doi:10.1080/00221309.1947.9918144.
[15] Warren S. McCulloch and Walter Pitts. “A Logical Calculus Of The Ideas Immanent In Nervous Activity”, Bulletin Of Mathematical Biology 52, no. 1–2 (1990): 99–115, doi:10.1016/s0092–8240(05)80006–0.
[16] Nils J. Nilsson. The quest for artificial intelligence. Cambridge University Press, 2009. E-book. 34- 35
[17] Ibid.
[18] S.I. Gallant, “Perceptron-Based Learning Algorithms”, IEEE Transactions on Neural Networks 1, no. 2 (1990): 179–191, doi:10.1109/72.80230.
[19] James Moor. “The Dartmouth College artificial intelligence conference: The next fifty years.” Ai Magazine 27.4 (2006).87.
