NOTICIAS VER TODOS
NOTICIAS

DEBE CORREGIR SESGOS DISCRIMINATORIOS LA PSICOMETRÍA DE INTELIGENCIA ARTIFICIAL

Debe corregir sesgos discriminatorios la psicometría de Inteligencia Artificial
FOTO: IG @ubiai.tools Photo VER FOTOGALERÍA
Elabora un perfil-dividuo que genera una reducción de los individuos y produce formas en las que estos tienen que comportarse
13.05.2022 12.00 AM

Los estudios psicométricos permiten realizar mediciones basadas en correlaciones de vectores que producen predicciones de rasgos del comportamiento humano. Con la creciente digitalización, la psicometría ha sido usada para diseñar perfiles de los individuos a través de diversos mecanismos: big data, machine learning, etc. Lejos de ser neutrales, estos perfiles están basados en metodologías que producen sesgos que afectan a los individuos perfilados.

Así, Psicometría, perfiles y sesgos. El caso del reconocimiento facial de Juan Camilo Gómez, plantea que la psicometría elabora un perfil-dividuo que genera una reducción de los individuos y produce formas en las que estos tienen que comportarse. Para ello, se ejemplifica con un caso de medición psicométrica basada en el reconocimiento facial.

Robert William conducía hacia su casa en Detroit, Estados Unidos, cuando fue arrestado por agentes de la Policía. Corría el año 2020, la pandemia azotaba a los barrios marginales en todas las ciudades norteamericanas y se vivía un ambiente de protestas racistas ante el crecimiento de hechos delictivos. Al siguiente día del arresto, un detective se acercó a William con unas fotografías en la mano. Allí se veía el rostro de un afroamericano cometiendo un delito: una cámara de vigilancia lo había captado y un software de reconocimiento facial –Greenlight– había determinado que era William. Para el agente, las fotografías y el veredicto de Greenlight eran suficientes para legalizar la detención. Sin embargo, al ver las fotos, William se percató de algo: “Ese no soy yo”, le dijo al detective, sorprendido. Luego, un poco más molesto, inquirió: “¿Crees que todos los hombres negros somos parecidos?”. Y el agente contestó: “El computador dice que eres tú” (Hill, June 24, 2020).

La respuesta que el policía le dio a William muestra cierto halo de mistificación que se le ha dado a la Inteligencia Artificial (IA). Bajo ese manto sagrado, se asume que lo artificial-computacional refiere a una tecnología autónoma de lo humano, e incluso lo desborda, lo supera. De hecho, la IA ha estado sostenida por una metáfora de la caja negra (black box) y sería, por lo tanto, capaz de tomar decisiones por sí misma; es decir, ha sido entendida como una tecnología superior a lo humano, que está por encima de cualquier comprensión y, de alguna manera, se encuentra fuera de control (Lipton, 2016). En oposición a esa postura, autores como Pasquinelli y Joler (May 1, 2020) entienden a la IA como un instrumento de conocimiento que permite inferir patrones, características y correlaciones en grandes cantidades de datos. Bajo esa perspectiva, los sistemas de reconocimiento facial, por ejemplo, deben ser comprendidos como instrumentos de medición y percepción: como aparatos que difractan y distorsionan el objeto observado a través de lentes. Solamente así se pueden dimensionar y analizar sus implicancias sociales. En el caso de William, particularmente, se observa que la IA se ha convertido en un “régimen de verdad, de prueba científica, en una normatividad y racionalidad social, la cual toma la forma de una alucinación estadística” (Pasquinelli & Joler, May 1, 2020, p. 2).

La descripción de Pasquinelli & Joler (May 1, 2020) puede aplicarse a diversos trabajos psicométricos surgidos a raíz de la creciente acumulación de datos recopilados de bases de datos, redes sociales o plataformas que han estado enfocados en la medición de rasgos de los individuos. La psicometría ha estado enfocada en elaborar mecanismos algorítmicos que permiten predecir comportamientos de los usuarios a partir de tecnologías de rastreo, análisis y producción de perfiles basados en tecnologías de aprendizaje automatizado (o machine learning, en inglés). Si bien la psicometría es anterior a Internet, con la emergencia de las plataformas y bases de datos se han podido desarrollar mecanismos que pueden predecir atributos personales a partir de la medición del lenguaje utilizado por los usuarios, así como sus gustos e intereses (Gómez-Barrera, 2020). Es decir, la psicometría se ha convertido en un instrumento de conocimiento, así como en una suerte de pauta de normatividad racional sobre los objetos –que son los humanos–, los cuales son medidos y evaluados, y sobre la cual se pueden tomar decisiones de distinto tipo. Un caso que ejemplifica ese procedimiento se puede encontrar en el reconocimiento facial.

Lejos de ser un sistema objetivo de identificación de rostros –o características propias de las personas–, las tecnologías de reconocimiento facial tienen como objetivo producir perfiles. Esto quiere decir que a través de análisis psicométricos sobre rasgos físicos y tecnologías de inferencia se formulan evaluaciones que permiten determinar aspectos relacionados con el comportamiento de los individuos. Los desarrollos contemporáneos del reconocimiento facial están abocados a tomar una serie de datos de fotografías de personas, medirlas y analizarlas mediante técnicas estadísticas, compararlas con patrones previos y producir perfiles que –de acuerdo con esta mirada– permiten determinar aspectos relacionados con diversos aspectos como la sexualidad, las tendencias violentas y la inteligencia.

En relación con lo anterior, el reconocimiento facial no es ajeno a ser una fuente de recursos para medir y evaluar diversos aspectos del comportamiento. Algunos de los más recientes estudios han estado enfocados en la identificación de la sexualidad, la edad y los estados de ánimo a partir de la medición biométrica. Wang y Kosinski (2018) mostraron cómo se podían identificar aspectos relacionados con la sexualidad: diseñaron un algoritmo –sostenido en un contraste mediante una regresión estadística y una medición psicométrica– que les permitió identificar, a través de una serie de fotografías, si los hombres (el 81% de los casos contrastados, y las mujeres: el 71% de los casos) eran heterosexuales. Este algoritmo se basó en el análisis de aspectos del rostro como la nariz o estilos de peinado, que responden a teorías que sustentan que las personas homosexuales tienden a poseer una fisiología facial atípica, expresiones diferenciales en poses y de cuidado personal distintivos. Estas marcas diferenciales les permitieron a Wang y Kosinski (2018) desarrollar un algoritmo que pretende predecir la sexualidad de un individuo.

Otros estudios se han enfocado en poder determinar rasgos de la personalidad de los individuos a partir de las fotos de perfil de redes sociales como Facebook. Así, Segalin y otros autores (2017) desarrollaron un sistema automático de reconocimiento de rasgos de personalidad a partir de patrones del comportamiento como la extraversión y el neuroticismo. En ese estudio, determinaron que las personas que son más extrovertidas tienden a usar fotos de perfil más coloridas; de igual manera, quienes tienen un carácter más agradable usan diferentes escenarios y publican fotografías con diversas personas, demostrando con ello un carácter sociable. Por su parte, las personas que consideran que tienen un carácter más neurótico tienden a usar fotos de perfil tomadas en locaciones cerradas y oscuras, a ocultar el rostro o publicar fotografías que no son propias. Bajo esos parámetros, los autores afirman poder determinar un sistema de clasificación automatizada de la personalidad (Segalin et al., 2017).

Ahora bien, este tipo de desarrollos psicométricos sobre reconocimiento facial tiene alcances que desbordan las plataformas en las que están basadas. Por un lado, generan problemáticas en torno a la vigilancia y, por otro, pueden desencadenar sesgos sociales que afectan a los individuos: por ejemplo, si con base en esos análisis se toman decisiones financieras o policiales, como el caso de William antes descrito. De allí que en este artículo se detalle un ejemplo de cómo se diseñan sistemas de medición del comportamiento a partir de evaluaciones psicométricas del rostro, lo cual permite evidenciar que las tecnologías de perfil están relacionadas con metodologías que implican, en sí mismas, sesgos que afectan directamente a los individuos. Gran parte de esta afectación puede comprenderse bajo el concepto de perfil-dividuo, el cual expresa la tendencia a reducir a los individuos y producir formas en las que estos tienen que comportarse. Para explicar esta afectación, se hace uso de la teoría de la gubernamentalidad algorítmica, la cual permite formular las implicaciones inmediatas que se despliegan con el uso de este tipo de tecnologías digitales, y se trabaja sobre un caso específico de reconocimiento facial relacionado con la identificación de inclinaciones políticas de los individuos.

Para Pasquinelli y Joler (May 1, 2020), muchos de los problemas que enfrenta la IA y el aprendizaje automatizado tienen que ver con la producción de sesgos, entre los cuales se encuentran discriminaciones por rasgos raciales, género, etc. Para ellos, se debe distinguir entre sesgos históricos, de datos y algorítmicos. El primero, también denominado sesgo de mundo, refiere al contexto de exclusión existente, al afuera de la programación y del sistema computarizado, en donde se presentan discriminaciones históricas y sociales. Este sesgo apela a contextos de exclusión, que muchas veces son sesgos estructurales que se trasladan al funcionamiento de los sistemas automatizados. Un estudio representativo de esa forma de sesgo ha sido analizado por Benjamin (2019), quien estudió de qué manera las formas del racismo norteamericano se refuerzan, transforman o integran a la programación de sistemas algorítmicos.

El segundo tipo de sesgo señalado, el de datos, supone que las discriminaciones se ponen en circulación cuando los programadores introducen exclusiones en el momento en el que entrenan a los sistemas de IA. Bajo esa perspectiva, los desarrolladores pueden basarse en taxonomías hegemónicas que conllevan malinterpretaciones de diversidad social o reproducir jerarquías sociales (por ejemplo, creer que una persona de tendencias políticas conservadoras viste bien o alguien liberal tiene el cabello largo). Mientras que el tercer tipo de sesgo es el algorítmico. También conocido como sesgo estadístico, este sesgo está relacionado con el modelo mismo de la programación en el que se basa el aprendizaje automatizado. Así, la cuestión radica en que los algoritmos se consideran como sistemas eficientes en la “compresión de información” y, en ese proceso, se da una sustracción, representación y “pérdida de información” de la realidad. Por tanto, esa sustracción de la realidad mediante aspectos relevantes, efectuado a través de la ponderación de elementos que se consideran significativos o variables que permiten dar cuenta de comportamientos humanos, produce una “pérdida de la diversidad cultural” que afecta directamente a la sociedad (Pasquinelli & Joler, May 1, 2020).

Teniendo en cuenta este último tipo de sesgo, en el cual el sistema mismo, el procedimiento teórico y metodológico sobre el que se basa la programación de algoritmos, en este artículo se ha intentado mostrar cómo opera esa reducción de la realidad a través de variables sobre las cuales se quiere acomodar, clasificar y predecir comportamientos humanos. Los estudios psicométricos sobre el reconocimiento facial están enfocados en determinar rasgos latentes como las filiaciones políticas a través de pequeñas y pocas características del rostro: posición de la cabeza cuando se posa, gestos, uso de lentes o gafas y corte de cabello. Esta sustracción y abstracción de elementos puede derivar en sesgos sociales que pueden reproducir jerarquías o discriminaciones estructurales.

Si bien el aprendizaje automatizado ha estado envuelto en su mistificación, una forma de comprensión que privilegia lo oculto, o la caja negra, lo que se procuró fue poner en superficie es una forma de empezar a abrir dicha caja negra y entender los modos en los que se construyen esos sistemas de observación. En otras palabras, entender los modos en los que operan estudios psicométricos basados en IA permite observar el interior de la programación de plataformas –como las redes sociales– o de sistemas biométricos –como el reconocimiento facial–. Esto se pudo observar dado que la psicometría está basada en una recopilación de información, en un procesamiento estadístico enfocado en la programación de algoritmos, que permite elaborar un resultado que tiene unas implicaciones sociales, puesto que están diseñados para una toma de decisiones (por ejemplo, dar o negar un crédito). Así, se buscó desplazar la idea de que la biometría es problemáticas por el hecho de que recopilar información, cuando la realidad es que la producción de herramientas, diseños o modelados se traducen en perfiles utilizables para clasificar y predecir los comportamientos de los individuos. Ese perfilado, como se intentó mostrar, se efectúa con base en variables que permiten inferir rasgos latentes. Con ese soporte, la psicometría plantea que se pueden predecir comportamientos a partir de la posición de los brazos, la edad, los gestos, los rostros. Esos perfiles, construidos bajo esa modalidad, afectan o amenazan con modificar aspectos políticos, económicos, de vigilancia, educativos, en fin, de la sociedad en su conjunto.

“Muchos de los problemas que enfrenta la IA y el aprendizaje automatizado tienen que ver con la producción de sesgos, como discriminaciones por rasgos raciales, género, etcétera.”

  • Compartir
  • IMPRIMIR

  • RECOMENDAR
Candidatos, sin propuestas específicas a problemas migratorios
NOTICIAS

CANDIDATOS, SIN PROPUESTAS ESPECÍFICAS A PROBLEMAS MIGRATORIOS

Photo VER FOTOGALERÍA
NOTICIAS VER TODOS