Máquina Abstracta (software preview)

Interactive software on touch screen, 85x153 cm (with floor stand 180x153x72 cm)

1/15

Máquina Abstracta

“Máquina abstracta” propone una visualización experimental de la Colección Digital de la Biblioteca Pública de Nueva York, colección formada por digitalizaciones de documentos visuales, datados entre los siglos XVI y XX, que se encuentran agrupados en diferentes categorías, entre ellas: plantas, afroamericanos, dioses, historia, negros, español, ornamentos, pájaros, indios de Norte América, Primera Guerra Mundial, cascadas, etc.

 

Para ello, se realizó una práctica experimental y colaborativa que procuraba atravesar el interior de la caja negra de una Inteligencia Artificial, la cual fue entrenada para aprender a ver y clasificar nuevas imágenes, gracias a la información de más de 180.000 documentos de esta colección. Al visualizar los procesos mediante los cuales la visión artificial adquiere la capacidad de ver, en lugar de fijarnos exclusivamente en los resultados que produce, podremos rentabilizar las capacidades de esta tecnología sin por ello perder nuestra agencia, y así encontrar nuevas formas de relacionarnos con las cosas, con sus representaciones y sus significados, en lugar de congelar la información en las categorías preestablecidas y automatizadas que propaga la implementación de la Inteligencia Artificial.

 

El proyecto se formaliza en: 

 

1) una selección de 15 imágenes de la Colección donde se muestra, mediante un mapeo de calor, los fragmentos de estas imágenes que fueron más relevantes para el aprendizaje de la visión artificial; 

2) un atlas general donde, gracias a estos fragmentos de la Colección, se visualizan los patrones establecidos por la Inteligencia Artificial. Podríamos decir que este atlas ofrece un plano general del inconsciente de la Colección; 

3) un libro que presenta una selección de fragmentos extraídos del atlas general, ahora acompañados por las categorías, principales y secundarias (cuando estas existen), con las que la visión artificial los relacionó durante su aprendizaje; 

y 4) un interfaz que permite al usuario/espectador ver a través de los ojos de la visión artificial y navegar por las 83 categorías que fueron seleccionadas de la Colección. Con la interacción del espectador, cada uno de los fragmentos del interfaz activará un nuevo atlas, dando acceso a nuevos fragmentos asociados a una nueva categoría, así como a un nuevo grupo de categorías secundarias, generando una gamificación rizomática que pretende ofrecer una experiencia donde las intenciones del humano y la máquina se intercambian. 

 

“Máquina abstracta” ha desterritorializado la Colección, permitiéndonos navegar por sus espacios latentes y liminales. Se trata de una recomposición continua que desarticula la lógica de las relaciones entre categorías y representaciones, y que ofrece la posibilidad de encontrar nuevas articulaciones entre estas. Cabe ahora al espectador generar máquina con “Máquina abstracta”, sacar sus propias conclusiones, y realizar nuevas reterritorializaciones de las palabras y las cosas.

Este proyecto ha sido realizado gracias a la Beca Leonardo a investigadores y creadores culturales 2019 de la Fundación BBVA.

 

“Máquina abstracta” (Abstract Machine) proposes an experimental visualisation of the Digital Collection of the New York Public Library, collection made up of digitised visual documents, dating from the 16th to the 20th century, which are grouped into different categories, including: plants, African Americans, gods, history, blacks, Spanish, property, ornaments, slavery, ethnography, birds, Indians of North America, World War I, waterfalls, and so on.

 

In doing this, an experimental, collaborative practice was carried out, that seeks through the black boxes of Artificial Intelligence, which was trained to learn to see and classify new images thanks to the information of more than 180,000 documents from this Collection. In visualising the processes whereby artificial vision acquires its capacity to see, instead of focusing exclusively on its operativity, we will be able to benefit from the capacities of this technology, without thereby having to lose our own agency. In this way we will find new ways of relating ourselves with things, with their representations and meanings, beyond having to freeze information in the preestablished, automatised categories propagated by the implementation of Artificial Intelligence.

 

The project is formalised by:

1) a selection of 15 images from the Collection, which shows, through heat mapping, the fragments of these images that were most relevant for the artificial vision in learning;

 

2) a general atlas where, thanks to these fragments, the patterns established by Artificial Intelligence are visualised. We could say that this atlas offers a general map of the Collection’s unconscious

 

3) a book where we find a selection of fragments extracted from the general atlas, now accompanied by the main and secondary categories (when existing), which the artificial vision related with during the learning process; 

and 4) an interface which through the eyes of artificial vision makes it possible for the user/spectator to navigate through the eighty-three categories selected from the Collection. Through interaction with the spectator, each of the fragments of the interface will activate a new atlas, giving access to new fragments associated with a new category, as well as a new group of secondary categories, thus creating a rhizomatic gamification that seeks to offer an experience where the intentions of the human and the technical machine are exchanged.

 

“Máquina abstracta” has thus de-territorialised the Collection, will allow us to navigate through its latent and liminal spaces. It is an ongoing re-composition that de-articulates the logic of the relationships between categories and representations, offering the possibility of discovering new articulations between them. The onus is now on the spectator to create machine with “Máquina abstracta”, drawing his or her own conclusions and carrying out new re-territorialisations of words and things.

This project has been produced thanks to the 2019 Leonardo Grant for researchers and cultural creators from the BBVA Foundation.