andrés pachón
Abstract Machine / Class(h)
Estos dos trabajos proponen una visualización experimental del archivo de la Biblioteca Pública de Nueva York (NYPL), colección formada por digitalizaciones de documentos visuales, datados entre los siglos XVI y XX, que se encuentran agrupados en diferentes categorías, entre ellas: plantas, afroamericanos, dioses, historia, negros, español, ornamentos, pájaros, indios de Norte América, Primera Guerra Mundial, mujeres, cascadas, etc.
A través de diferentes softwares interactivos, "Máquina Abstracta" y "Class(h)" activan una 'co-presencia' entre el espectador y una inteligencia artificial que 'aprendió a ver' con las imágenes y las categorías de este archivo, ofreciendo al espectador la posibilidad de 'ver a través de los ojos' de esta visión artificial, 'atravesar' la caja negra de esta tecnología e interactuar con sus procesos.
Esto nos permite navegar por los espacios latentes y liminales de la Colección de la NYPL, a través de las relaciones y los patrones que la visión artificial estableció durante su aprendizaje, visualizando así los imaginarios que este archivo contiene, al mismo tiempo que encontramos nuevas articulaciones entre sus imágenes y categorías. Se trata, por tanto, de activar un intercambio entre las intenciones humanas y las agencias mecánicas que 'componen' nuestro conocimiento del mundo.
Para poder visualizar los procesos de esta visión artificial y, al mismo tiempo, visualizar el 'inconsciente' del archivo de la NYPL, en "Máquina Abstracta" se realizó un mapeo de calor de las 180.000 imágenes del archivo con las que fue entrenada la inteligencia artificial. Estos mapas de calor detectan aquellos fragmentos de las imágenes que fueron más relevantes para su aprendizaje. Posteriormente, los fragmentos fueron seleccionados y agrupados en diferentes atlas interactivos gracias a un algoritmo no supervisado, lo cual nos permite acceder a las relaciones más significativas que la inteligencia artificial estableció entre los fragmentos de las imágenes y las categorías de la NYPL al establecer sus patrones de reconocimiento.
En "Class(h)" las imágenes originales del archivo nunca están presentes; en su lugar, nos encontramos con imágenes que han sido generadas por un algoritmo que 'ha aprendido' a representar los rasgos latentes del archivo, aquellas características visuales que la 'máquina' asocia a las diferentes categorías. Otro algoritmo no supervisado ha compuesto múltiples paneles ('clusters') que agrupan estas imágenes en función de los patrones establecidos por la visión artificial para cada categoría, permitiéndonos reconocer algunas de las características que definen los sesgos del archivo. Por su parte, el software interactivo de "Class(h)" dota de un carácter evocativo a estas nuevas imágenes, al visualizarlas de forma individual y relacionando sus rasgos con diferentes categorías, lo que nos permite realizar nuevas asociaciones de ideas, más allá de los códigos de lectura pre-establecidos.
"Máquina Abstracta" ha sido producido gracias a la Beca Leonardo a Investigadores y Creadores Culturales de la Fundación BBVA 2019. "Class(h)" fue producido gracias al apoyo de Shazar Gallery (Nápoles).
These two works propose an experimental visualisation of the New York Public Library archive made up of digitised visual documents, dating from the 16th to the 20th century, which are grouped into different categories, including: plants, African Americans, gods, history, blacks, Spanish, property, ornaments, slavery, ethnography, birds, Indians of North America, World War I, women, waterfalls, and so on.
Through different interactive softwares, "Abstract Machine" and "Class(h)" activate a 'co-presence' between spectator and an artificial intelligence that has 'learned to see' with the images and categories of this archive, offering the spectator the opportunity to 'see through the eyes' of this artificial vision, 'crossing' the black box of this technology and interacting with its processes.
This allows us to navigate through the latent and liminal spaces of the NYPL Collection, through the relationships and patterns that artificial vision established during its learning, visualizing the imaginaries that this archive contains, at the same time that we find new articulations between its images and categories. It is, therefore, about activating an exchange between the human intentions and mechanical agencies that 'compose' our knowledge of the world.
In order to visualize the processes of this artificial vision and, at the same time, the 'unconscious' of the NYPL archive, "Abstract Machine" performed a heat mapping of 180,000 images in the archive which were used for the artificial intelligence learning. The heat maps detected the image fragments that were most relevant for its learning. Later, those fragments were selected and grouped in different interactive atlases through an unsupervised algorithm, allowing us to access the most significant relationships that the artificial intelligence developed between the image fragments and the NYPL categories when establishing its patterns of recognition.
In "Class(h)" the archive's original images are never present; instead, we find images that have been generated by an algorithm that 'has learned' to represent the latent features of the archive, focusing on visual characteristics that the 'machine' associates with the different categories. Another unsupervised algorithm has composed multiple panels ('clusters') that group these images based on the patterns established by the artificial vision for each category, allowing us to recognize some of the characteristics that define the biases of the archive. On the other hand, the "Class(h)" interactive software brings an evocative character to these new images, because it visualizes them individually and relates their features to different categories, which allows us to make new associations of ideas, beyond the pre-established codes.
"Abstract Machine" has been produced with the support of the Leonardo Grant BBVA Foundation to Researches and Cultural Creators 2019. "Class(h)" was produced with the support of Shazar Gallery (Naples).