3.1. Interacció sense interfície
Quan parlem d’interacció gestual segurament el primer que us ve al cap és en Tom Cruise movent les mans per interactuar amb una interfície i resoldre el crim a Minority Report (Steven Spielberg, 2002). O, per posar un exemple més recent, les interfícies hologràfiques que utilitza Tony Stark per dissenyar l’Iron Man (Iron Man, Jon Favreau 2008). En aquell moment, les interfícies basades en gestos ens quedaven molt lluny i només tenien espai en la ciència ficció, però en els últims anys, i amb el desenvolupament i expansió de tecnologies que permeten reconeixement gestual, s’ha tornat vital la recerca al voltant de l’ús i el disseny de mètodes d’interacció gestual naturals i eficients.
Com ja heu vist quan hem parlat d’interfícies de veu, aquests nous inputs d’usuari obren una nova dimensió que ens fa replantejar l’experiència d’usuari. I, de la mateixa manera que en el passat hem hagut de dissenyar interfícies per a diferents mides de pantalla o dispositius, segurament en el futur haurem de pensar, també, en la interacció sense interfície. Aquest concepte no és únic de la interacció gestual, sinó que les interfícies basades en veu també hauran de ser el focus d’atenció.
La gestualitat és una part essencial per a la comunicació entre persones, una manera d’expressar-nos de manera més efectiva i afegir matisos a allò que volem dir. És natural, doncs, pensar que a mesura que s’avança i es creen noves maneres d’interacció entre humans i sistemes, la interacció gestual també hagi fet un progrés significatiu.
Tal i com vau fer en l’apartat anterior, intenteu pensar en els gestos que feu en el vostre dia a dia. Qualsevol gest, des de fer l’OK amb la mà, a fer un brindis amb els amics, o senzillament a aixecar la mà per demanar la paraula. Fins i tot gestos que fem de manera involuntària, aquells gestos que acompanyen la comunicació verbal i que de manera implícita donen suport al missatge que intentem transmetre. La comunicació no verbal pot ser contacte visual, la posició del cos o fins i tot la distància i inclinació respecte del nostre interlocutor. I tots aquests aspectes formen part de l’acte comunicatiu, i es consideren gestos.
Penseu, per exemple, en com n’és, de difícil, incloure gestos en la comunicació mediada per pantalles. Això fins i tot pot dificultar la comprensió total d’una conversa quan fem una videoconferència.
Sembla una pregunta molt senzilla de contestar, però què és un gest?
En termes generals, un gest és un element clau de la comunicació no verbal en el qual la persona fa servir una postura o moviment amb intenció comunicativa. És a dir, aquesta posició concreta del cos com a un tot, o d’alguna part d’aquest, adquireix significat i transmet un missatge a l’interlocutor.
Però és tan important el gest com el significat que té. Gestos com el braç en un angle de 45º o el puny alçat no tenen gaire complexitat en l’execució, però duen una gran càrrega ideològica de la qual no es poden separar. Fins i tot en l’àmbit cultural hi ha gestos que només s’entenen en un context concret, i el significat del qual es pot limitar a un territori.
N’és un exemple molt bo el llibre de Bruno Munari, Supplemento al dizionario italiano. Aquest llibre és, com el mateix nom indica, un complement al diccionari italià on es recullen els gestos que els italians utilitzen quan parlen. El llibre no deixa de ser un catàleg on es mostra una fotografia del gest, amb una descripció de com realitzar-lo, acompanyat del significat, per tal que els turistes estrangers entenguin aquesta part de la comunicació no verbal tan essencial de la cultura italiana.
En el llibre, Munari fa èmfasi al fet que tot i ser gestos molt concrets de l’àrea napolitana, comencen a ser reconeguts arreu del món, de la mateixa manera que nosaltres hem entès i importat gestos com l’OK americà, o la V de victòria.
Però si ens centrem en el camp de la interacció, què entenem per gest?
En el camp que ens ocupa, un gest és qualsevol moviment físic que un sistema digital pugui detectar i al qual pugui respondre sense l’ajuda d’un dispositiu tradicional d’entrada, com ara un ratolí. Aquest gest es duu a terme amb la mà, el dit o el palmell, o fins i tot amb el cap o amb expressions facials (Saffer, 2008).
«A gesture is a motion of the body that contains information. Waving goodbye is a gesture. Pressing a key on a keyboard is not a gesture because the motion of a finger on its way to hitting a key is neither observed nor significant. All that matters is which key was pressed.»
Fixeu-vos, quan parlàvem dels gestos que fem al llarg del dia, que qualsevol interacció implica un gest: fer servir un ratolí, conduir o posar una rentadora. Però a quins gestos ens referim quan parlem d’interacció gestual?
Com hem vist a l’apartat anterior, la interacció amb interfícies de veu ha arribat a un punt on podem elaborar frases gramaticalment complexes que s’aproximen molt al llenguatge natural i que el sistema entendrà. En el terreny de la interacció gestual, tot i tenir uns dispositius tecnològicament molt avançats, els gestos no hi estan implementats i els sistemes no estan dissenyats per fer gestos molt complexes.
A l’inici d’aquest apartat parlàvem de la comunicació no verbal com a una gestualitat implícita que acompanya el llenguatge i, en moltes ocasions, actua com a reforç de la comunicació verbal. Aquesta capa comunicativa s’ha d’entendre dins de tot i, per tant, pot dificultar el disseny d’interacció gestual. Dissenyar sistemes que entenguin quan el gest és explícit i quan és un reforç.
Podem classificar els gestos basant-nos en moltes variables, com ara si són dinàmics, com fer pinça amb dos dits, o estàtics, simplement tocant una pantalla, segons el seu significat, el mitjà o l’àmbit en què es pugui fer. En aquest cas, ens interessa fer una classificació més àmplia, basada o no en la presència de quelcom físic on nosaltres fem el gest. Diferenciem entre gestos sobre una superfície o gestos «a l’aire», entre touch & gesture i touchless gesture. I, per tant, creem una diferenciació entre interacció amb interfícies físiques i interacció sense interfície.
Al llarg d’aquest apartat, anirem fent referència a uns i altres, amb exemples concrets.
Aquesta idea d’interacció sense interfícies no és única de la gestualitat i és que també l’hem vist anteriorment quan parlàvem d’interacció amb veu. Però quina és la diferència?
Des del punt de vista de la interacció, quan parlàvem de veus hi ha un canal que ens torna una resposta, i sovint és en el mateix mitjà en què nosaltres interactuem. És a dir, si tenim una conversa amb un bot, escrivim mitjançant un teclat i una pantalla i rebem la resposta a través d’aquesta mateixa pantalla. Si parlem amb un assistent de veu, farem servir la nostra veu i rebrem la resposta a través d’un altaveu.
En el cas dels gestos, no hi ha (aparentment) cap interfície ni cap element de sortida que ens permeti rebre una resposta directa del sistema, no ens contestarà amb un gest ni podrem rebre una resposta a través del mateix mitjà que nosaltres hem fet servir per comunicar-nos.
És per això que hi ha uns límits difusos en la interacció basada en gestos. En aquest cas no estem parlant tant de conversing com d’instructing.
Quan parlem d’interacció gestual cal mencionar altres exemples, sense entrar-hi gaire en detall, que obren les portes a disciplines molt més àmplies. Aquí cal aprofundir-hi, però són importants de conèixer ja que obren moltes oportunitats per a la interacció basada en gestos.
Dins de la interacció gestual, podem destacar la interacció tangible. Aquest terme pot incloure molts tipus d’interacció, però en aquest cas en referim a aquella que es duu a terme mitjançant algun element del món físic. En termes senzills, una interfície tangible connecta a través de la interacció el món digital amb el físic. Es podria considerar el ratolí com una forma d’interacció tangible, però en aquest cas ens interessa fixar-nos en exemples que la duen més enllà, explorant el disseny des d’un punt de vista especulatiu, artístic o lúdic.
Un molt bon exemple per entendre la interacció tangible des de l’art, és la Reactable. Aquest instrument musical, desenvolupat pel Music Technology Group de la Universitat Pompeu Fabra, permet crear música a través de col·locar i moure objectes físics que quan es relacionen entre ells generen diferents sons. El disseny de la taula permet a la interacció de diverses persones a la vegada i, per tant, la creació de composicions col·lectives.
Un exemple més recent des d’un punt de vista comercial és Nintendo Labo. Aquesta sèrie de complements per a la consola Nintendo Switch, està formada per peces de cartró i altres materials que els usuaris poden muntar per crear noves maneres d’interactuar amb la seva consola. Amb Nintendo Labo, poden muntar des d’un piano, una canya de pescar o unes ulleres de realitat virtual que els permeten jugar amb la seva Nintendo Switch no només per mitjà de la pantalla.
I per acabar, és interessant llegir el treball que es du a terme al Tangible Media Group del MIT Media Lab. Des d’aquest grup de recerca, treballen sobre el concepte hipotètic d’una sèrie de materials que poden canviar de forma i d’aparença i ser reconfigurats de la mateixa manera que ho fan els píxels en una pantalla. Aquesta idea pren cos per mitjà dels projectes que desenvolupen. Per no entrar-hi gaire en detall, us recomanem que doneu un cop d’ull al seu web i a alguns dels seus projectes: https://tangible.media.mit.edu/projects/
Si voleu llegir més sobre aquest tema, us recomanem que doneu un cop d’ull a la fitxa corresponent del Design Toolkit, interacció tangible.
Per altra banda, cal mencionar també el concepte d’embodied interaction. La idea de l’embodiment es pot remuntar a filòsofs com ara Plató, Aristòtil o Descartes, que plantegen la relació entre cos i ment com dues entitats separades, un dualisme en què cada persona és una ment immaterial amb un cos físic.
A diferència de tots ells, Merleau-Ponty planteja la teoria que el cos no està separat de la ment.
«We exist as subjects in the world and that our self-awareness is the result of the interaction with the physical environment and with other subjects.»
Aquesta perspectiva reivindica la importància del cos i el paper actiu en el procés perceptiu. I des del disseny d’interacció es pren aquesta perspectiva i es dona importància al paper que té el cos en el procés d’interacció amb sistemes. El terme embodied interaction com a tal s’introdueix per parlar d’una nova perspectiva de disseny d’interacció, no només centrat en el fet d’interactuar amb un sistema, sinó incorporant les implicacions socials. Paul Dourish, qui va introduir el terme per primer cop, ho explica de la manera següent:
«By embodiment, I don’t mean simply physical reality, but rather, the way that physical and social phenomena unfold in real time and real space as a part of the world in which we are situated, right alongside and around us.»
Relacionant-ho amb la idea de gestualitat, ens referim a una interacció amb la tecnologia que involucra el cos de l’usuari d’una manera natural i significativa, com per exemple mitjançant l’ús de gestos.
Com heu vist en aquesta introducció, la idea de gestualitat es pot entendre des de molts punts de vista, físic, cultural i fins i tot filosòfic. Els gestos ens acompanyen constantment en el procés comunicatiu, ja sigui de manera explícita amb gestos amb una gran càrrega significativa, o de manera implícita a través de la comunicació no verbal.
El pas que ha fet la tecnologia en els últims anys per desenvolupar sistemes que permetin el reconeixement ens ha fet ser més conscients del pes que tenen els gestos. Com a dissenyadors d’interacció hem de començar a pensar com dissenyar per a aquests sistemes, de la mateixa manera que fa uns anys ens plantejàvem com dissenyar per a dispositius tàctils o per a diferents mides de pantalla.
En aquest apartat, veurem diferents casos d’estudi i exemples que us poden servir, no només per inspirar-vos de cara a aquesta activitat, sinó per fer-vos preguntes i plantejar-vos com podrien ser els gestos que es facin servir el dia de demà.