Innovación y Barbarie (Cápsula 3.4) Prejuicios algorítmicos.

Author: Alejandro Piscitelli
Go to Source

EdTech Café

EdTech Cafe
 Standford EdTech (Author)
EdTech Café is a podcast series produced by the educational technology team at Stanford Medicine.

El deep learning es la rama de los métodos basados en machine learning (algoritmos) no reducibles a tareas específicas. Estos procesos pueden ocurrir supervisados, semi-supervisados o sin supervisión humana. Entre los resultados logrados en tiempos cortos, se ha podido falsear cualquier imagen en movimiento de forma irreconocible. En este sentido, tenemos ejemplos del ex-presidente de Estados Unidos, Barack Obama, diciendo sandeces y pronto tendremos a Trump diciendo cosas inteligentes (Leslie et al, 2018).

Suponíamos que los algoritmos eran tendenciosos, no podía ser de otro modo, ya que todo instrumento (léase plataformas) está cargado de teoría (Cápsula 3.3.3) Pero más rápido que despacio, tenemos innumerables testimonios con incidencias reales: desde jueces robots que preanuncian la reincidencia en personas de tez negra y la descartan en blancos (Umoja, 2018); cuentas en Twitter que hacen ganar la elección a un candidato sobre otro; a chatbots que se emancipan y empiezan a hablar en su propio lenguaje (como en el divertido caso en Facebook, y en el no tanto de Twitter) (O’Neil, 2016).

La sombra del hechicero planea sobre nosotros. ¿Qué hacer? Volver a las cavernas, crear nuevas instituciones, o diseñar tipos de conversaciones donde negociemos los prejuicios (bias) y logremos hacer ingeniería inversa de esa porción del mundo dominada cada vez mas por las fake news.

3.4.1 El software es el mensaje

De la misma manera que McLuhan no pudo ver el desarrollo de muchas de sus teorías que anticipaban los procesos sociotécnicos de los nuevos medios (Fiedler, 1999), seguramente tampoco pudo anticipar que su leit motiv sería replicado hasta el hartazgo por nosotros. Y más allá de los detractores de las teorías del canadiense, al día de hoy seguimos encontrando ejemplos de cómo los códigos, programados mediante lenguajes específicos, no escapan a esta necesidad de varios tecno-optimistas de bañarse en la neutralidad.

El efecto McLuhan más citado estos años fue lo ocurrido con Google en su servicio Photos y su algoritmo de reconocimiento en imágenes, que generara categorías para los resultados de búsqueda automáticamente.

En 2015 un usuario descubrió que una foto de sus amigos aparecía entre los resultados de la búsqueda de la palabra “gorila“, el problema era que sus amigos tenían la tez oscura. Lo más significativo de la situación no fue el “error”, sino que los programadores de Google tardaron tres años en encontrar una (pésima) solución para este código erróneo: quitar a los gorilas / chimpancés / monos como resultados. No importa cuántas imágenes tengamos, si queremoss buscar estos términos Google anula la búsqueda y no arrojará ningún resultado.

Si la duda es cuan racista puede presentarse la Inteligencia Artificial (IA) Joyce Chou (2017) la respuesta está en el conflicto a la hora del diseño y construcción del código, mayorítariamente excluyente. Existen cinco prejuicios que que permiten que Google confunda a los humanos (de tez negra) con los gorilas.

Estos prejuicios se resumen en que los modelos que entrenan a los programas no representan las bases de los posibles clientes; estos modelos sólo refuerzan las interacciones en base a los prejuicios previos; las decisiones de los programas anulan consideraciones socio-culturales; los prejuicios se apoyan en los usuarios humanos que los entrenan (sesgados hacia el uso (inconsciente o no) de chistes e ironía; y una personalización simplificada basada en supuestos sesgados que desembocan en la afirmación de los prejuicios.

Estos comportamientos prejuiciosos de la inteligencia artificial se anclan a partir de metáforas que nos acunan cuando somos niños. De niños la mayoría sufrimos rechazos, estos programas-bebé de comportamiento computacional automático están en sus comienzos y, cómo los niños, están en una etapa de crecimiento donde deben aprender a mejorar y corregir sus errores.

3.4.2 Humanos no programados.

La programación es parte de nuestro cotidiano y como desenlace de la revolución industrial (incluso anterior a ella) siempre anhelamos que la mayoría de nuestras actividades que precisan de repetición, y por ello resultan tediosas, se automaticen y en su estado ideal sean programables.

¿Quién no desea llegar a su casa y tener la temperatura ideal y que al rato el aparato calefactor se apague? Ni siquiera estamos pensando en la Internet de las cosas. Existen temporizadores que funcionan de manera mecánica para prender y apagar equipos. Pero justamente lo que no podemos programar son nuestros comportamientos, y siguiendo la línea del apartado anterior, allí es donde los conflictos surgen en relación a nuestras vinculaciones con los dispositivos tecnológicos.

Para esto, el concepto de interfaz, desarrollado con excelencia por Carlos Scolari (2018), nos permite abordar la retroalimentación cognitiva con la tecnología, a la cual utilizamos pero, al mismo tiempo, somos usados por ella -como bien anticipó Simondon-, uno de los primeros teóricos de las interfaces hace medio siglo atrás.

Para Scolari la interfaz podría ser el concepto / palabra clave del Siglo XXI (como previamente lo fueron la génesis, la estructura, el signo o el texto), por ello debemos iniciar el camino para el desarrollo de una teoría unificada sobre la interfaz.

¿Qué implica la vinculación de la programación con las interfases? Es, entre otras cosas, retomar a Simondon y preguntarnos ¿programar o ser programados? (Rushkoff, 2010) ¿O es mejor profundizar en las interacciones que se dan de manera performativa con los espacios que las interfaces nos ofrecen para operar sobre ellas? (Schneiderman??, Laurel, 1990). Más importante aún debemos ampliar la noción que tenemos de interfaz.

Seguramente la mayoría nos imaginamos una pantalla con muchos botones o lugares sensibles que reaccionan ante nuestras acciones, pero Scolari nos pide ir más allá y aprehender las interfaces en dimensiones metafóricas que trascienden lo tecno digital.

Cada tecnología hace uso de una interfaz distinta. Como un libro pide pasar sus páginas o una puerta girar su picaporte, también la escuela o la política tienen sus propias interfaces. Develar como esas interfaces modelan nuestros comportamientos en torno a nuestras prácticas e incluso a su transparencia en cada intervención (novena y segunda leyes) abre un interesante programa de investigación que recién e inicia.

La algoritmización de casi todo seguramente es un proceso peligroso como vimos en apartados anteriores (Dormehl, 2014; Lohr, 2015), y también como veremos en los siguientes, dada su capacidad de transformar nuestras configuraciones sociales hasta devenir en los potentes y temibles autoritarismos digitales hasta la misma noción de demoicracia se ve amenazada por sus conjuros.

¿Cuánto realmente cambia nuestro comportamiento debido a la existencia de estas interfaces? ¿Importa lo que hacemos o todas las respuestas y posibilidades están predeterminadas? ¿Qué diseños nos permiten cambiar, modificar, torcer el curso de nuestras interacciones? En caso de mínima, ¿podemos encontrarnos con limitaciones intrínsecas indoblegables? Y quizá la pregunta más importante en torno a estos procesos y diseños: ¿qué nos hace humanos, cuánta de nuestra humanidad está definida por las interfases que tenemos y no por las que podríamos tener?

3.4.3 Humans after all

Como películas recientes como The Martian de Riddley Scott, la serie The Expanse o el docudrama de NatGeo Marte insisten la pregunta: ¿Qué nos hace humanos a los humanos? es algo que ejercicios de diseño especulativo como la terraformación, vuelven indispensables para alejarnos de nuestro presentismo tóxico (terracentrismo).

Prejuicios que se acoplan a muchos otros, como nuestro antropomorfismo (que nos impide valorar la inteligencia no-humana en sus debidos términos), o el zoocentrismo, que nos vuelve ignorantes al poder y la potencia de la existencia vegetal, o el narcisismo de la cuarta discontinuidad (Maszlich, 1994) que ignora que la inteligencia no es privilegio de las criaturas de carbono, sino que podría asociarse sin demasiada dificultad con las máquinas de silicio.

Aunque ese trabajo de desmonte hay que hacerlo en sumo detalle por el momento podríamos detenernos en un intríngulis mayúsculo: ¿qué nos hace humanos a los humanos llegados al primer cuarto de siglo del XXI?

A diferencia de las máquinas tenemos cuerpo, nuestra inteligencia está encarnada, no pensamos solo con la cabeza sino con toda nuestra corporeidad (Varela et al, 2009).

A diferencia de las máquinas tenemos inscripta nuestra fecha de caducidad. La (conciencia) la de mortalidad nos define como seres para la muerte (Heidegger, 2012).

A diferencia de las máquinas lo que nos define son nuestra vida afectiva, nuestros sentimientos, la primacía de lo sentido por encima de lo pensado (aquí entran la compasión; la empatía y el amor como rasgos definitorios de lo humano). (Spinoza, Heller, 2006)

A diferencia de las máquinas lo que nos define es el trabajo -al menos hasta 1945, desde su formación voluntariosa y consciente en los medios mercantilistas e lustrados de finales del siglo XVII y del siglo XVIII, hasta el momento en que comienzan a esbozarse las dudas sobre su propia fortaleza y entidad, una vez alcanzada la mitad del siglo XX (Díez Rodríguez, 2014).

Somos humanos entonces por nuestra corporalidad, por nuestros sentimientos, por nuestra finitud, por ser animales laborans, por ser sapiens/demens (Morin, 1969), y las taxonomías siguen y siguen. Cada uno de estos rasgos definitorios está asociado a una determinada conformación espacio/temporal que determina nuestras interfases e interacciones con el interior y con el exterior.

3.4.4 Filtros de todo tipo

En su charla TED en 2011, Eli Pariser manifestó su preocupación por los crecientes filtros de los grandes sitios en Internet, ed decir cuando las interfases de búsqueda comienzan a interfefrir con nuestra identidad (Cheney-Lippold, 2017; Stephens-Davidowitz, 2017).

Si bien su anticipación se ha convertido en una lugar común a partir de los escándalos de Cambridge Analytica, o la manipulación masiva de las plataformas sociales en las elecciones presidenciales que entronizarían a Donald Trump como el 45avo mandatario de USA (a golpe de forceps algorítmicos), conviene esclarecer su funcionamiento:

El filtro burbuja es el espacio en línea que representa nuestro universo personal de información- único y construido para nosotros por filtros personalizados que potencian la web. Es un espacio realmente cómodo y, por definición, está habitado por las cosas en las que estás interesado en clickear. (Pariser 2017).

Pariser sitúa el cambio de paradigma en 2009 cuando Google anunció la búsqueda personalizada, dejando de ser parte de los buscadores estándar utilizados hasta ese momento. Entre otras cosas, este cambio implicó que de nuestras búsquedas Google tomaría hasta 57 “señales” de información distintas para que el algoritmo diseñara los próximos resultados personalizados. Este tipo de búsqueda se convierte en un “espejo de una sola vía” donde la búsqueda refleja perpetuamente nuestros propios intereses “autistas”.

Pasamos de ver lo que otros publican a ver lo que nosotros queremos ver publicado, el sueño de la propaganda y la publicidad combinados se hicieron realidad de un modo sorprendente y mayestático. Pariser remite a un ejercicio sencillo obtenido de solicitar a dos compañeros que googlearan sobre un mismo tema, y su enorme sorpresa al encontrararse con dos resultados totalmente distintos.

El leitmotiv de las Cuatro (Galloway, 2017) es: “Estás recibiendo un servicio gratis y el costo es la información que vos nos das a cambio.” Los filtros burbuja funcionan sobre la base de los siguientes principios: “Estamos solos en ella; la burbuja de filtros es invisible; no elegímos entrar a la burbuja de filtros”.

Lejos de querer sonar apocalíptico, Pariser es consciente de la importancia de los filtros en una sociedad del conocimiento que sufre de incontinencia devenida infoxicación. Pero la relevancia en este sistema de búsquedas y resultados funciona a medida que a mayor información, se arman mejores filtros, que generan más información pero que implican una ceguera cognitiva progresiva y la posibilidad permanente de alterar los resultados (con fines generalmente no pedidos y mercadológicos) como hemos visto a la largo de estas cápsulas.

Por último, uno de los peores efectos disparados por este tipo de algoritmos es el fortalecimiento del bonding en detrimento del bridging. Mientras que en el primero se refuerzan los nodos conectados entre sí, aumentando el tamaño de la burbuja y aislándonos de todo ajeno a nuestros intereses, en el bridging a partir de nuevos nodos, se permite la creación y el conocimiento colectivo disparando encuentros inesperados. Pariser está mas que preocupado, y con razón. Asfixiados por los filtros burbuja la serendipia estaría en riesgo, y en poco tiempo ya no habría nada más que aprender. Entonces, ¿qué hacer? ¿regular? ¿cómo?, ¿qué?

3.4.5 Regulando

La increíble saga de Facebook como representante supremo de los cuatro se debe a la mayor exposición (o abusos) dada su vinculación a los usos de la información que los usuarios les entregamos alegremente. Y si bien durante este apartado hablamos de algoritmos y códigos, esta nueva historia comienza en 2015 en las paredes de sus oficinas en Menlo Park.

Como parte de las propuestas horizontales de expresión en la empresa, se incitó a los trabajadores de Facebook a que escribieran las paredes (en los espacios designados) con ideas o propuestas para fomentar la inteligencia colectiva.

Inesperadamente los mensajes como “Black Lives Matter” fueron tachados y suplantados por “All lives matter“. Mark Zuckerberg reaccionó frente al episodio de las tachaduras pidiendo que se terminara con esta censura. Dijo además que en Facebook no había reglas sobre qué o cómo escribir, pero tachar lo que otros dijeran implicaba un silenciamiento que no sería permitido.

¿Por qué conocemos esta historia? La respuesta nos la brindó Benjamin Fearnow. Fue él quien se encargó de ventilar a los medios tecnológicos este episodio y varios más vinculados a las acciones que Facebook estaba tomando de cara a las elecciones presidenciales de 2016. Fearnow no se encontraba en Palo Alto, sino en Nueva York.

Este joven periodista formaba parte del equipo Trending Topic, un grupo tercerizado de 25 personas con trayectorias en el periodismo encargados de moderar manualmente las historias relevantes que sucedían en la plataforma para evitar que noticias falsas (fake news), se esparcieran entre los usuarios. Fearnow fue despedido por haber filtrado este evento, al igual que su compañero, Michael Nuñez, quien le dió like a la publicación.

Nuñez no se quedó callado, escribió artículos, dió más información sobre cómo operaba el equipo, entre los datos detalló como la mayoría de las noticias conservadoras eran borradas de los posts. Las protestas de grupos republicanos se hicieron escuchar. El equipo fue disuelto. Los algoritmos pasaron a tomar control de la moderación. El resto es historia conocida.

Lo que sucedió en el medio no tanto. Mientras representantes de Facebook intentaban calmar y disuadir a representantes republicanos, Adam Mosseri, el jefe de noticias de la plataformas, distribuyó un manifiesto titulado “Construyendo una mejor sección de noticias para ti“. Para los empleados de Facebook el documento simulaba ser una Carta Magna, nunca antes se había hablado sobre cómo funcionaba realmente la sección de noticias. Entre los mayores cambios, se revertía el algoritmo que privilegiaba a las páginas comerciales, dando preponderancia a los contactos de amigos y familia.

Aún con estos cambios y regulaciones el daño ya estaba hecho y continuó con derroteros en los medios de varios ex-ejecutivos de los comienzos de Facebook, como McNamee o Parker, comentando lo peligroso que se había vuelto la empresa en relación a la influencia sobre sus usuarios. Incluso un conocido en este toolkit, como Tristan Harris (ex-Google), se sumó a comentar sobre los problemas de Facebook. (Eubanks, 2018).

Quizá tenía razón Tim Wu (2015) cuando anticipaba que el efecto desencanto vendría de una combinatoria entre regulaciones gubernamentales, retiro de anunciantes y rechazo de los usuarios. Durante dos años Facebook estuvo a merced de una serie de situaciones que fueron implosionando y dejándolo (momentáneamente) expuesto.

Aún nadie ha podido darle el golpe de gracia y aún cuando la portada de Wired mostraba un Zuckerberg golpeado, el mismo se reía de la situación de estar sentado frente al Congreso de los Estados Unidos para testificar, aunque no tanto del europeo.

¿Será cuestión de que se curen las heridas? ¿Facebook ha aprendido algo en estos años? Lo que es seguro es que cada vez hay menos espacio de maniobra para estas plataformas y la dependencia a las que nos someten los algoritmos diseñados por ingenieros para volkvernos adictos e in fodependiente, serán cuestionados por lo que son: diseños ,ercantilistas de su creadores con implicancias antidemocráticas y totalitarias crecientes (O’Neil, 2016)

Referencias

Cheney-Lippold, John We Are Data: Algorithms and The Making of Our Digital Selves, 2017.
Díez Rodríguez, Fernando Homo Faber. Historia intelectual del trabajo, 1675-1945. Madrid, Siglo XXI.
Dormehl, Luke The Formula: How Algorithms Solve All Our Problems . . . and Create More. TarcherPerigee, 2014.
Eubanks, Virginia Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor St. Martin’s Press 2018.
Fiedler, Roger. Mediamorfosis. Comprender los nuevos medios. Barcelona, Gedisa,1998.
Galloway, Scott The Four: The Hidden DNA of Amazon, Apple, Facebook, and Google, Portfolio, 2017.
Heidegger, Martin Ser y Tiempo. Madrid, Trotta, 2012.
Heller, Agnes Teoría de los sentimientos. Coyoacan, 2006.
Laurel Brenda (ed.) The Art of Human-Computer Interface Design. Addison-Wesley Professional, 1990.
Lohr, Steve Data-ism: The Revolution Transforming Decision Making, Consumer Behavior, and Almost Everything Else. Harper Collins, 2015
Maszlich, 1994.
Morin, Edgar. El paradigma perdido. La naturaleza humana. Madrid, Kairos, 1969.
O’Neil, Cathy Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Broadway Books, 2016.
Pariser, Eli El filtro burbuja: como la web decide lo que leemos y lo que pensamos. Madrid, Taurus, 2017.
Rushkoff, Douglas Program or Be Programmed. OR Books, 2010.
Scolari, Carlos Las Leyes de la Interfaz. Barcelona, Gedisa, 2018
Shneiderman, Ben (et al) Designing the User Interface: Strategies for Effective Human-Computer Interaction (6th Edition)
Spinoza, Baruch Etica
Stephens-Davidowitz, Seth Everybody Lies: Big Data, New Data, and What the Internet Can Tell Us About Who We Really Are, 2017.
Umoja Noble, Safiya Algorithms of Oppression: How Search Engines Reinforce Racism , NYU, Press, 2018.
Varela Francisco et al. De cuerpo presente: las ciencias cognitivas y la experiencia humana. Barcelona, Gedisa, 2009.
Wu, Tim The Attention Merchants: The Epic Scramble to Get Inside Our Heads. Vintage, 2016.

Innovación y Barbarie (Cápsula 3.4) Prejuicios algorítmicos.
Scroll to top