¿COMO DISCRIMINAN LOS SISTEMAS DE INTELIGENCIA ARTIFICIAL?

Catherine Muñoz Gutiérrez

Mas de alguna vez me han preguntado ¿cómo es posible que una tecnología pueda discriminar? Es una pregunta muy pertinente, ya que el concepto de discriminación suele estar asociado a un elemento intencional, el cual es exclusivo de las personas. La respuesta es afirmativa y contraintuitiva, la denominada discriminación algorítmica orbita alrededor de los conceptos de igualdad y discriminación.

Siempre es bueno hacer presente que no existe una definición única de Inteligencia artificial (IA), no hay consensos y es complejo definirla sin limitarla o conceptualizarla en base a aspiraciones futuras más allá del estado del arte actual. Optar por una definición y generalizarla siempre será una elección reduccionista.

No obstante, lo importante es que la IA debe ser entendida como sistemas sociotécnicos, ya que interactúan con entornos sociales. No estando ligados a objetos específicos, sino a contextos sociales.

Desde esta perspectiva, ingenieros, diseñadores, científicos de datos y tomadores de decisiones deben ponderar diferentes marcos para anticipar y responder a las tensiones, incertidumbres y conflictos que conlleva el uso de la IA. Se debería plantear hipótesis del tipo “el sistema es adecuado para una situación particular”, “debo usar un sistema de IA para una situación particular” o “existen otras soluciones que consideren el contexto social y político”

Este análisis permite evitar el famoso tecnosolucionismo, es decir, que se afecte al contexto social de forma predecible, pero sin generar ningún beneficio al implementar un sistema, pudiendo incluso ser gravemente contraproducente.[1]

Discriminación algorítmica

En términos generales las normas sobre no discriminación protegen a personas que poseen ciertas características por la cual tienen una probabilidad significativa de estar en desventaja y sufrir menoscabo. [2] No obstante, no existe un único concepto de discriminación, ni un único mecanismo para determinar cuándo un acto es discriminatorio, dependiendo en gran medida de la cultura y contexto social.

Tradicionalmente, la igualdad está fundada en la noción aristotélica de tratar igual a los iguales y desigual a los desiguales [3] denominada igualdad ante la ley o igualdad formal. Este concepto se complementa con estándares externos de justicia revelando su carácter sustantivo. El estándar de justicia clásico es que la igualdad es una garantía de no discriminación hacia grupos vulnerables.

Recientemente, ha tomado un rol protagónico el concepto de igualdad desde una visión colectiva y anti-subordinadora. Solo a partir de una visión colectiva se pueden afirmar que desigualdades sociales, raciales y de género son estructurales en lugar de actos esporádicos meramente mezquino o irracionales.[4] Desde el principio anti-subordinador [5] [6] el propósito de la igualdad va más allá de ser una garantía contra la discriminación manteniendo el statu quo, su finalidad es desmantelar las estructuras sociales que discrimen y excluyen a determinados grupos. Esta perspectiva de igualdad es determinante a la hora de evaluar la discriminación en sistemas de IA, ya que aclara el hecho que cualquier trato desigual sobre determinados grupos – mediando2 o no intención e independiente de análisis evaluativos – no es tolerado, y por lo tanto es sancionado, ya que su resultado reproduce y perpetua las condiciones estructurales de injusticia social.

Por su parte, la discriminación puede ser directa, siendo aquella fácilmente detectable, ocurre cuando “una persona es tratada menos favorablemente que otra en base a una categoría protegida, de lo que es, ha sido o sería tratada otra persona en una situación comparable”.

También puede ser indirecta, cuando una disposición, criterio o práctica aparentemente neutra pone a las personas que comparten una característica protegida en una desventaja particular en comparación con otras personas [7]. Casos sobre determinados anuncios de trabajo o de viviendas, así como, el caso Ofqual sobre asignación de calificaciones para entrar a la educación superior en UK [8] son un tipo de discriminación indirecta.

Sin perjuicio de lo anterior, es necesario comprender la discriminación como una acción o práctica que es moralmente objetable teniendo en consideración el complejo tramado de significados y relaciones sociales que constituyen la categoría social y su contenido estructural.

En ese sentido, por ejemplo, frente a una discriminación por causa de género, la causa “mujer” no puede ser considerada como un hecho aislado, sino que debe ser entendida como una construcción producto de una discriminación histórica, sin ser posible simplificarla.

.

Sesgos

Para entender como los sistemas de IA pueden caer dentro de los conceptos de discriminación descritos, hay que hablar sobre sesgos.

Desde el punto de vista técnico podemos distinguir entre sesgos en los datos, los algoritmos y modelos de IA como consecuencia de sus propios límites técnicos [9]. Los datos están indefectiblemente sesgados ya que contienen y son parte de historias de determinadas personas, por lo que es un desafío poder hacer uso de ellos aislados de ese contexto.

Los algoritmos y modelos de IA corresponden a modelos matemáticos de carácter cuantitativo, por lo que hacen una reducción de datos no siendo capaces de analizar todas las variables de construcciones sociales (tales como peligrosidad, solvencia, enfermedad y también raza y sexo binario). Todas estas limitaciones técnicas pueden explicar en parte, la discriminación algorítmica.

Digo en parte, ya que, considerando el ámbito sociotécnico, no debemos perder de vista que detrás de cada sistema de IA siempre hay personas que son responsables del mismo. En el mismo sentido, es importante señalar que ningún tipo de tecnología es neutro, tienen una visión común, un conocimiento situado en un contexto social donde ha existido históricamente una brecha entre hombres y mujeres, además de exclusión de grupos minoritarios.3

[1] A. D. Selbst, D. Boyd, S. A. Friedler, S. Venkatasubramanian, y J. Vertesi, «Fairness and abstraction in sociotechnical systems», presentado en Proceedings of the conference on fairness, accountability, and transparency, 2019, pp. 59-68.

[2] T. Khaitan, A theory of discrimination law. OUP Oxford, 2015. [3] J. Díaz de Valdés y J. Manuel, «¿ Qué clase de igualdad reconoce el Tribunal Constitucional?», Ius Prax., vol. 21, n.o 2, pp. 317-372, 2015.

[4] I. M. Young, «Lived body vs gender: Reflections on social structure and subjectivity», Ratio, vol. 15, n.o 4, pp. 410-428, 2002.

[5] J. M. Balkin y R. B. Siegel, «The American civil rights tradition: Anticlassification or antisubordination», Issues Leg. Scholarsh., vol. 2, n.o 1, 2003.

[6] J. Bronsteen y O. Fiss, «The class action rule», Notre Dame Rev, vol. 78, p. 1419, 2002.

[7] K. Kitching, Non-discrimination in international law: A handbook for practitioners. Interights, 2005.

[8] S. Wachter, B. Mittelstadt, y C. Russell, «Bias preservation in machine learning: the legality of fairness metrics under EU non-discrimination law», W Va Rev, vol. 123, p. 735, 2020.

[9] M. M. Malik, «A Hierarchy of Limitations in Machine Learning», ArXiv200205193 Cs Econ Math Stat, feb. 2020, Accedido: 8 de marzo de 2021. [En línea]. Disponible en: http://arxiv.org/abs/2002.05193