3.1. Interacción sin interfaz
Cuando hablamos de interacción gestual seguramente lo primero que os viene a la cabeza es Tom Cruise moviendo las manos para interactuar con una interfaz y resolver el crimen en Minority Report (Steven Spielberg, 2002). O, por poner un ejemplo más reciente, las interfaces holográficas que utiliza Tony Stark para diseñar a Iron Man (Iron Man, Jon Favreau, 2008). En aquel momento, las interfaces basadas en gestos nos quedaban muy lejos y solo tenían espacio en la ciencia ficción, pero en los últimos años, y con el desarrollo y la expansión de tecnologías que permiten reconocimiento gestual, se ha vuelto vital la investigación en torno al uso y el diseño de métodos de interacción gestual naturales y eficientes.
Como ya habéis visto cuando hemos hablado de interfaces de voz, estos nuevos inputs de usuario abren una nueva dimensión que nos hace replantearnos la experiencia de usuario. Y, del mismo modo que en el pasado hemos tenido que diseñar interfaces para diferentes medidas de pantalla o dispositivos, seguramente en el futuro tendremos que pensar, también, en la interacción sin interfaz. Este concepto no es único de la interacción gestual, sino que las interfaces basadas en voz también tendrán que ser el foco de atención.
La gestualidad es una parte esencial para la comunicación entre personas, una manera de expresarnos de manera más efectiva y de añadir matices a lo que queremos decir. Es natural, pues, pensar que a medida que se avanza y se crean nuevas formas de interacción entre humanos y sistemas, la interacción gestual también haya progresado significativamente.
Tal y como hicisteis en el apartado anterior, intentad pensar en los gestos que hacéis en vuestro día a día. Cualquier gesto, desde hacer el OK con la mano, a hacer un brindis con los amigos, o sencillamente a levantar la mano para pedir la palabra. Incluso gestos que hacemos de manera involuntaria, aquellos gestos que acompañan la comunicación verbal y que de manera implícita apoyan el mensaje que intentamos transmitir. La comunicación no verbal puede ser contacto visual, la posición del cuerpo o incluso la distancia e inclinación respecto de nuestro interlocutor. Y todos estos aspectos forman parte del acto comunicativo, y se consideran gestos.
Pensad, por ejemplo, en cómo resulta difícil incluir gestos en la comunicación mediada por pantallas. Esto incluso puede dificultar la comprensión total de una conversación cuando hagamos una videoconferencia.
Parece una pregunta muy sencilla de contestar, pero ¿qué es un gesto?
En términos generales, un gesto es un elemento clave de la comunicación no verbal en el cual la persona usa una postura o movimiento con intención comunicativa. Es decir, esta posición concreta del cuerpo como un todo, o de alguna parte de este, adquiere significado y transmite un mensaje al interlocutor.
Pero es tan importante el gesto como el significado que tiene. Gestos como el brazo en un ángulo de 45º o el puño levantado no tienen mucha complejidad en la ejecución, pero llevan una gran carga ideológica de la cual no se pueden separar. Incluso en el ámbito cultural hay gestos que solo se entienden en un contexto concreto, y cuyo significado se puede limitar a un territorio.
Es un ejemplo muy bueno de esto el libro de Bruno Munari Supplemento al dizionario italiano. Este libro es, como el propio nombre indica, un complemento al diccionario italiano donde se recogen los gestos que los italianos utilizan cuando hablan. El libro no deja de ser un catálogo en el que se muestra una fotografía del gesto, con una descripción de cómo realizarlo, acompañado del significado, para que los turistas extranjeros entiendan esta parte de la comunicación no verbal tan esencial de la cultura italiana.
En el libro, Munari hace énfasis en que, a pesar de ser gestos muy concretos del área napolitana, empiezan a ser reconocidos en todo el mundo, del mismo modo que nosotros hemos entendido e importado gestos como el OK americano, o la V de victoria.
Pero si nos centramos en el campo de la interacción, ¿qué entendemos por gesto?
En el campo que nos ocupa, un gesto es cualquier movimiento físico que un sistema digital pueda detectar y al cual pueda responder sin la ayuda de un dispositivo tradicional de entrada, como por ejemplo un ratón. Este gesto se lleva a cabo con la mano, el dedo o la palma, o incluso con la cabeza o con expresiones faciales (Saffer, 2008).
«A gesture is a motion of the body that contains information. Waving goodbye is a gesture. Pressing a key on a keyboard is not a gesture because the motion of a finger on its way to hitting a key is neither observed nor significant. All that matters is which key was pressed».
Fijaos, cuando hablábamos de los gestos que hacemos a lo largo del día, en que cualquier interacción implica un gesto: usar un ratón, conducir o poner una lavadora. Pero ¿a qué gestos nos referimos cuando hablamos de interacción gestual?
Como hemos visto en el apartado anterior, la interacción con interfaces de voz ha llegado a un punto en el que podemos elaborar frases gramaticalmente complejas que se aproximan mucho al lenguaje natural y que el sistema entenderá. En el terreno de la interacción gestual, a pesar de tener unos dispositivos tecnológicamente muy avanzados, los gestos no están implementados y los sistemas no están diseñados para hacer gestos muy complejos.
Al comienzo de este apartado hablábamos de la comunicación no verbal como una gestualidad implícita que acompaña al lenguaje y, en muchas ocasiones, actúa como refuerzo de la comunicación verbal. Esta capa comunicativa se debe entender dentro de todo y, por lo tanto, puede dificultar el diseño de interacción gestual. Hay que diseñar sistemas que entiendan cuándo el gesto es explícito y cuándo es un refuerzo.
Podemos clasificar los gestos basándonos en muchas variables, como por ejemplo si son dinámicos, como hacer pinza con dos dedos, o estáticos, simplemente tocando una pantalla, según su significado, el medio o el ámbito en que se pueda hacer, etc. En este caso, nos interesa hacer una clasificación más amplia, basada o no en la presencia de algo físico donde nosotros hacemos el gesto. Diferenciamos entre gestos sobre una superficie o gestos «al aire», entre touch & gesture y touchless gesture. Y, por lo tanto, creamos una diferenciación entre interacción con interfaces físicas e interacción sin interfaz.
A lo largo de este apartado, iremos haciendo referencia a unos y otros, con ejemplos concretos.
Esta idea de interacción sin interfaces no es única de la gestualidad, y lo hemos visto anteriormente, cuando hablábamos de interacción con voz. Pero ¿cuál es la diferencia?
Desde el punto de vista de la interacción, cuando hablábamos de voces hay un canal que nos devuelve una respuesta, y a menudo es en el mismo medio en el que nosotros interactuamos. Es decir, si tenemos una conversación con un bot, escribimos mediante un teclado y una pantalla y recibimos la respuesta a través de esta misma pantalla. Si hablamos con un asistente de voz, usaremos nuestra voz y recibiremos la respuesta a través de un altavoz.
En el caso de los gestos, no hay (aparentemente) ninguna interfaz ni ningún elemento de salida que nos permita recibir una respuesta directa del sistema, no nos contestará con un gesto ni podremos recibir una respuesta a través del mismo medio que nosotros hemos usado para comunicarnos.
Por ello hay unos límites difusos en la interacción basada en gestos. En este caso no estamos hablando tanto de conversing como de instructing.
Cuando hablamos de interacción gestual hay que mencionar otros ejemplos, sin entrar mucho en detalle, que abren las puertas a disciplinas mucho más amplias. Aquí habría que profundizar, pero son importantes de conocer al menos, puesto que abren muchas oportunidades a la interacción basada en gestos.
Dentro de la interacción gestual, podemos destacar la interacción tangible. Este término puede incluir muchos tipos de interacción, pero en este caso nos referimos a la que se lleva a cabo mediante algún elemento del mundo físico. En términos sencillos, una interfaz tangible conecta a través de la interacción el mundo digital con el físico. Se podría considerar el ratón como una forma de interacción tangible, pero en este caso nos interesa fijarnos en ejemplos que la llevan más allá, explorando el diseño desde un punto de vista especulativo, artístico o lúdico.
Un muy buen ejemplo para entender la interacción tangible desde el arte es la Reactable. Este instrumento musical, desarrollado por el Music Technology Group de la Universidad Pompeu Fabra, permite crear música colocando y moviendo objetos físicos que cuando se relacionan entre ellos generan diferentes sonidos. El diseño de la mesa permite la interacción de varias personas a la vez y, por lo tanto, la creación de composiciones colectivas.
Un ejemplo más reciente desde un punto de vista comercial es Nintendo Labo. Esta serie de complementos para la consola Nintendo Switch está formada por piezas de cartón y otros materiales que los usuarios pueden montar para crear nuevas maneras de interactuar con su consola. Con Nintendo Labo, pueden montar desde un piano, una caña de pescar o unas gafas de realidad virtual que les permiten jugar con su Nintendo Switch no solo por medio de la pantalla.
Y para acabar es interesante leer el trabajo que se lleva a cabo en el Tangible Media Group del MIT Media Lab. Desde este grupo de investigación, trabajan sobre el concepto hipotético de una serie de materiales que pueden cambiar de forma y de apariencia y ser reconfigurados del mismo modo que lo hacen los píxeles en una pantalla. Esta idea toma cuerpo por medio de los proyectos que desarrollan. Para no entrar en mucho detalle, os recomendamos que echéis un vistazo a su web y a algunos de sus proyectos.
Si queréis leer más sobre este tema, os recomendamos que echéis un vistazo a la ficha correspondiente del Design Toolkit, interacción tangible.
Por otro lado, hemos de mencionar también el concepto embodied interaction. La idea del embodiment puede remontarse a filósofos como, por ejemplo, Platón, Aristóteles o Descartes, que plantean la relación entre cuerpo y mente como dos entidades separadas, un dualismo en el que cada persona es una mente inmaterial con un cuerpo físico.
A diferencia de todos ellos, Merleau-Ponty plantea la teoría de que el cuerpo no está separado de la mente.
«We exist as subjects in the world and that our self-awareness is the result of the interaction with the physical environment and with other subjects».
Esta perspectiva reivindica la importancia del cuerpo y el papel activo en el proceso perceptivo. Y desde el diseño de interacción se toma esta perspectiva y se da importancia al papel que tiene el cuerpo en el proceso de interacción con sistemas. El término embodied interaction como tal se introduce para hablar de una nueva perspectiva de diseño de interacción, no solo centrado en el hecho de interactuar con un sistema, sino incorporando las implicaciones sociales. Paul Dourish, que introdujo el término por primera vez, lo explica de la manera siguiente:
«By embodiment, I don’t mean simply physical reality, but rather, the way that physical and social phenomena unfold in real time and real space as a part of the world in which we are situated, right alongside and around us».
Relacionándolo con la idea de gestualidad, nos referimos a una interacción con la tecnología que involucra el cuerpo del usuario de una manera natural y significativa, como por ejemplo mediante el uso de gestos.
Como habéis visto en esta introducción, la idea de gestualidad se puede entender desde muchos puntos de vista, físico, cultural e incluso filosófico. Los gestos nos acompañan constantemente en el proceso comunicativo, ya sea de manera explícita con gestos con una gran carga significativa, o de manera implícita a través de la comunicación no verbal.
El paso que ha dado la tecnología en los últimos años para desarrollar sistemas que permitan el reconocimiento nos ha hecho ser más conscientes del peso que tienen los gestos. Como diseñadores de interacción tenemos que empezar a pensar en cómo diseñar para estos sistemas, del mismo modo que hace unos años nos planteábamos cómo diseñar para dispositivos táctiles o para diferentes tamaños de pantalla.
En este apartado, veremos diferentes casos de estudio y ejemplos que os pueden servir no solo para inspiraros de cara a esta actividad, sino para haceros preguntas y plantearos cómo podrían ser los gestos que se usen el día de mañana.