miércoles, 11 de diciembre de 2013

Recopilación de artículos realizada por Tobii

Tobii, una de las empresas que frabrica y vende eye tackers, ha creado un perfil en Zotero donde recoge publicaciones de estudios que han usado esta tecnología.

La base de datos es bibliográfica, es decir, no contine los documentos a texto completo, pero no es difícil conseguir la mayoría de ellos si estás en la universidad, o incluso contactando por email con los propios autores.

Aquí está:
https://www.zotero.org/groups/tobii_eye_tracking_references/items
Publicado por en No hay comentarios:

lunes, 9 de diciembre de 2013

Métricas de Tobii Studio

Todas las métricas que da Tobii Studio pueden ser útiles, depende del estudio se escogen unas u otras, tanto desde el módulo de estadísticas como más en bruto de los logs de Tobii.

Algunas métricas dan la opción de “include zeros” o no incluirlos. Si un usuario no registra valores en una AOI, Tobii puede hacer dos cosas: dejar en blanco la celda o poner un cero. Si la pone en blanco, no la considerará para hacer promedios y otras medidas descriptivas; si pone un cero, sí lo considerará para estos promedios. Según el estudio nos interesará considerar o no estos casos en los que no se registran miradas de un usuario en un AOI.


En estudios de usabilidad se suelen usar más estas:


1. Medidas relacionadas con la capacidad de atracción de un elemento
Time to first fixation (TFF) en un AOI, nos dice el tiempo que tarda cada persona en fijar su atención por primera vez en el AOI objeto de estudio. Se puede saber también cuántas fijaciones ha habido antes de llegar a esa AOI (Fixations Before, BFB), así como la duración de esa primera fijación (First Fixation Duration, FFD)


2. Medidas relacionadas con la intensidad de la mirada en un elemento
Fixation duration (FD) indica la duración promedio de cada una de las fijaciones de cada participante; para interpretar este dato hay que tener en cuenta que las fijaciones largas implican más atención (más esfuerzo cognitivo), por ejemplo si no se entiende una palabra se mira más tiempo; pero también puede significar que hay un mayor interés (si algo gusta se mira más). En cada experimento debe estudiarse bien el significado de FD.
También el Fixation count (FC) es un indicador de la intensidad, nos dice el número de fijaciones en un área por parte de una persona o de un grupo de personas. Mayor número de fijaciones implican mayor dificultad o mayor interés, según el tipo de elemento del que se trate y del estudio que se esté llevando a cabo.
Fruto de la multiplicación del número de fijación por la duración de cada una de ellas se obtiene la métrica Total fixation duration (TFD), que indica el tiempo total que los participantes han dedicado a mirar un AOI. Como ya se ha dicho, más tiempo mirando implica mayor dificultad o mayor interés.


3. Medidas relacionadas con las veces que la mirada regresa a un elemento
Visit count (VC) cuenta cuántas veces la mirada ha entrado en un AOI. Se puede saber también cuánto duran esas visitas (Visit Duration, VD) y obtener la multiplicación del número de visitas por su duración para saber el tiempo total, dado por la métrica Total Visit Duration (TVD).


4. Medidas relacionadas con el clic sobre un elemento (para páginas web)
Time to first mouse click (TFC): tiempo que pasa una persona en la página web hasta que hace el primer clic.
Time from first fixation to next mouse click (TFFC): tiempo que pasa una persona desde que se registra la primera fijación en un AOI hasta que clica en ella.


5. Medidas relacionadas con el porcentaje de usuarios
- Percentage fixated (%fix): porcentaje de usuarios que han mirado un AOI
- Percentage clicked (%click): porcentaje de usuarios que han clicado un AOI


Pantalla de selección de métricas de Tobii Studio 2.8 
métricas tobii studio
Publicado por en No hay comentarios:

lunes, 2 de diciembre de 2013

Pictures, screen-shots and videos about our reseach with eye tracking

Here you are some videos:
http://www.youtube.com/playlist?list=PL0882DD12B0553E0D

And some pics and screen-shots:
http://www.flickr.com/photos/2viajando/sets/72157638277106476/
Publicado por en No hay comentarios:

jueves, 28 de noviembre de 2013

5 años de eye tracker en el DigiDoc y el Web Research Group

Pareciera que fue ayer cuando tuve por primera vez un eye tracker frente a mi y el reto de hacer un estudio sobre comportamiento de las personas ante los resultados de búsqueda. Nos habían prestado un Tobii de la serie 50 como premio a la mejor propuesta de investigación con eye tracker, era un premio que daba Alt64 en el congreso Interacción, creo que en el año 2009. Parece que se presentaron pocas propuestas... el  hecho es que lo ganamos! Recuerdo que no fue fácil, y que gracias a dos investigadores de Barcelona Media supimos preparar el experimento. Ganar ese premio no fue cualquier cosa, al menos para mi supuso un antes y un después en mi línea de trabajo en HCI (Human-Computer Interaction).
Un tiempo después (en 2011 si no recuerdo mal), pudimos tener nuestro propio eye tracker, de nuevo un Tobii de la serie 50. Y desde entonces lo hemos usado en la UPF tanto investigadores del grupo DigiDoc como del Web Research Group. Hoy hago un recuento de los trabajos que hemos publicado en estos años:

En principio nos interesaba sobre todo estudiar cómo se comportan ante la lista de resultados que da un buscador:
Luego lo ampliamos a cómo se comportan en el proceso de búsqueda completo:
Después probamos a aplicado a un estudio de interacción con TV conectada:
Ultimamente estamos estudiando factores culturales:
Y hemos hecho algun estudio más metodológico sobre diseño de experimentos con eye tracker:
  • Marcos, Mari-Carmen; Rello, Luz. Order effect y presencia de erratas en estudios de usuarios con eye tracking. Interacción 2013 (Madrid, 17-30 septiembre 2013).
Además hemos hecho varios estudios sobre lectura en pantalla, varios de ellos con grupos de usuarios con dislexia, en lo que Luz es la investigadora experta y en su web hay más trabajos sobre el tema:
Y también hemos hecho alguna investigación sobre lectura de noticias online:
  • Arapakis, Ioannis; Lalmas, Mounia; Cambazoglu, B. Barla; Marcos, Mari-Carmen;  Jose, Joemon M. "User Engagement in Online News: Under the Scope of Sentiment, Interest, Affect, and Gaze". JASIST (aceptado). 
  • Rovira, Cristòfol; Capdevila, Jofre; Marcos, Mari-Carmen. “La importancia de las fuentes en la selección de artículos de prensa online: estudio de Google Noticias mediante eye-tracking”. Investigación Bibliotecológica, 62 (aceptado).
En este momento (enero de 2015) tenemos entre manos 4 cosas:
  • un estudio con eye tracking orientado al marketing digital usando técnicas de neuromarketing (con Edgar Sánchez)
  • un estudio sobre el comportamiento visual de las personas en la lectura de mapas conceptuales (con Cristòfol Rovira).
  • un estudio sobre diferencias culturales que afectan a cómo las personas nos comportamos frente a un estudio de laboratorio, para lo que colaboramos de nuevo con una universidad de Dubai y enfocamos el estudio a un grupo de mujeres universitarias (con Ruth García y Pilar Medina)
  • y además tenemos pendiente publicar el estudio de rich snippets (con Ferran Gavín y Ioannis Arapakis), que lo habíamos enviado a un par de congresos internacionales pero lamentablemente no ha sido aceptado... así que seguiremos trabajando en él, como decía en mi artículo de ThinkEPI sobre "rejected papers"
Publicado por en No hay comentarios:

Cómo funciona un eye tracker

Los seres vivos prestamos atención a aquello que está al alcance de nuestros sentidos. En este línea, existe abundante bibliografía que pone de manifestó la relación existente entre la atención que ponemos las personas y la mirada.

En función del registro de imágenes que hace la cornea, el sistema visual humano cuenta con tres niveles de percepción visual::
- la visión foveal es aquella que se registra de forma más nítida, y la que llega de los elementos a los que hemos prestado atención de forma más consciente, es la que usamos para la lectura, la conducción, y todas aquellas actividades en las que precisamos gran nitidez;
- la visión parafoveal es la que se registra en la zona que hay alrededor de la fóvea, y tiene menor nitidez que la anterior;
- en tercer lugar, la visión periférica es la que registra las imágenes que llegan a la zona más alejada de la fóvea, esta visión tiene menos resolución.

Cuando interactuamos con una interfaz realizamos continuamente movimientos con los ojos, se trata de movimientos muy rápidos  (hasta 500 movimientos por segundo) que se dan cuando cambiamos el foco de atención y se denominan “sacadas” (saccades en inglés), por otra parte cuando mantenemos la mirada fija en un lugar durante varios milisegundos se produce una “fijación”. Es así como en términos mecánicos podemos describir el proceso fisiológico de la observación visual como una alternancia contínua entre fijaciones  y  sacadas.

En la actualidad existe tecnología que permite registrar las fijaciones y sacadas del ojo humano, se trata del eye tracker. Este dispositivo detecta, sigue y graba los movimientos que realizamos con los ojos, la duración de la mirada y la dilatación de la pupila, medidas que podemos relacionar con la atención, por lo que lo hace una herramienta de gran utilidad para estudios de lectura, de comportamiento y de interacción entre las personas y las interfaces, entre otras cosas.

Para realizar este seguimiento ocular, los eye tracker actuales funcionan de forma remota, es decir, sin intervenir de forma intensiva en los ojos de las personas. La técnica más común hoy en día se conoce como Pupil Centre Corneal Reflection (PCCR); para aplicarla, el eye tracker incorpora un luz infrarroja y una cámara de vídeo. Cuando está activado, el dispositivo ilumina al usuario con dos proyecciones de rayos infrarrojos que generan un reflejo en las córneas de los ojos, concretamente en la fóvea, que es una pequeña zona de la retina donde registramos la visión más nítida. Una cámara de vídeo integrada en el equipo de eye tracker recoge esos reflejos junto con la posición del usuario y, mediante procesamiento digital de la imagen, se extrae la ubicación de las pupilas en un ratio de 50 Hz o superior. Hecho esto, la posición de las pupilas se mapea con la ubicación de la mirada en la pantalla, y de esta forma se puede saber dónde tiene la persona puesta su atención en cada momento de la grabación.
Publicado por en No hay comentarios:

jueves, 13 de junio de 2013

¿Influyen los factores culturales en el comportamiento de búsqueda de las personas en la web?


Para dar respuesta a la pregunta, un grupo de investigadores han llevado a cabo un estudio. En el proyecto han participado la Dra. Mari-Carmen Marcos (profesora del Departamento de Comunicación de la UPF), Ruth García-Gavilanes (miembro del grupo DTIC y con una  internship en Yahoo! Research, donde realiza su tesis doctoral), el Dr. Emad Batained (Zayed University en Emiratos Árabes) y Lara Pasarín (estudiante del Máster en Gestión de Contenidos Digitales, UB-UPF).

El estudio consistió en observar a un grupo de 60 usuarios (estudiantes, profesores y personal de administración) en la Universitat Pompeu Fabra (Barcelona) y otros 60 en la Zayed University (Dubai) mientras realizaban diversas búsquedas en Google. Todos los usuarios hicieron las mismas tareas: a partir de una consulta realizada en Google, debían escoger el resultado que a su criterio respondía mejor a la pregunta, por ejemplo “Qué nacionalidad tiene el arquitecto …..?”. A todos se les presentaron las mismas páginas de resultados que ofrecía Google, y por medio de un dispositivo de seguimiento de la mirada (eye tracker) se grabó el movimiento de sus ojos.

Al analizar los datos descubrieron que los usuarios de Dubai permanecían más tiempo en la página de resultados de Google, leían más resultados antes de escoger uno, y revisaban cada resultado con mayor detenimiento. Los usuarios de Barcelona, por el contrario, escaneaban la página de resultados de forma rápida, no miraban los resultados de la parte inferior de la página y escogían un resultado sin leer mucho la información que se daba sobre él. Un análisis de las respuestas que daban los usuarios a cada pregunta planteada reveló también que si bien en ambos países el nivel de acierto era similar, la tasa de error era mayor en los usuarios de Barcelona y en cambio en Dubai era mayor el número de respuestas del tipo “no lo sé” o “no lo he encontrado”.




Según apuntan los autores, los motivos que puede haber detrás de estas diferencias de comportamiento pueden ser varios, y en próximos estudios se profundizará en ellos:
  1. Las culturas orientales son más holísticas que las occidentales, éstas últimas son más analíticas. Está demostrada esta diferencia al comparar usuarios de China con usuarios de Estados Unidos, pero no hay trabajos que lo demuestren para comprar países árabes y europeos.
  2. En la cultura árabe se da una mayor “power distance” (concepto de las teorías de Hofstede), esto es, una mayor distancia entre personas con distinto rango, en este caso moderador y usuario. Este motivo puede llevar a que las personas que participan en un test se esfuercen más por realizar bien las tareas. A este factor se suma que en la muestra de Dubai había más mujeres que hombres, lo que puede estar reforzando más aun esta "power distance”.
  3. En Dubai hacían el test en inglés y en Barcelona en castellano. Inglés es el idioma en el que se imparten las clases en la Zayed University, en cambio no es su idioma nativo, lo que puede estar influyendo en que su atención sea mayor.

Publicado en:

Marcos, Mari-Carmen; García-Gavilanes, Ruth; Bataineh, Emad; Pasarin, Lara. Using Eye Tracking to Identify CulturalDifferences in Information Seeking Behavior. Workshop Many People, Many Eyes. CHI'13, April 27-May 2, 2013, Paris, France.
Publicado por en No hay comentarios:

jueves, 25 de abril de 2013

Eye tracking y usabilidad en TV conectada (making off)

Por Mari-Carmen Marcos y Verónica Mansilla
La televisión conectada utiliza la señal de televisión digital terrestre (TDT o DVB-t, digital video broadcasting-terrestrial) y al mismo tiempo está conectada a Internet, de manera que a los contenidos televisivos se les añaden servicios de la red como la televisión a la carta (video on demand, VOD), aplicaciones de redes sociales, acceso a Youtube y a navegador web, etc. Al tratarse de una tecnología reciente, no existe aún un consenso en el diseño de las interfaces de sus menús, así que cada fabricante y cada cadena llegan a una solución, y por lo que se ha visto con poca coincidencia entre sí.
En 2011, un convenio de la Universitat Pompeu Fabra con las empresas Lavinia Interactiva, Televisió de Catalunya y Havas Media hizo posible el estudio que ahora presentamos. Cada partner se ocupaba de una parte del trabajo, concretamente en la UPF teníamos el objetivo de detectar problemas de usabilidad en televisiones conectadas comercializadas en ese momento. Se trataba de un estudio pionero por el objeto de estudio en sí, pero sobre todo por la posibilidad de aplicar la técnica de eye tracking sobre estas televisiones tan recientes.
Los dispositivos que se decidió testear fueron un televisor Sony Bravia, una caja TDT Engel que utiliza el sistema HBB-TV, futuro estándar de TV conectada en Europa, una caja TDT Blu:sens, y una consola de juegos PlayStation3; los cuatro tienen en común el acceso a contenidos de televisión a la carta, y todos salvo la consola tienen también señal de televisión.
Se contó con 70 participantes: 50 para un primer test de usabilidad (sin eye tracker), con la técnica de think aloud, que permitió detectar errores de usabilidad en las interfaces de esos televisores; y 20 más para completar el estudio con un test que utilizó eye tracking y que hizo posible responder algunas cuestiones que el test previo no podía resolver.
Los usuarios realizaron varias tareas en cada dispositivo. Tras unos minutos de navegación libre por los menús para familiarizarse con el equipo y con el mando a distancia, se les presentaban las tareas. Una persona moderaba el test, mientras otra tomaba notas de lo que ocurría.
La sala de testeo iba a ser en origen un plató de televisión de la universidad. Allí dispondríamos de un escenario que ambientaría un salón de casa, con su mobiliario, para que el usuario tuviera una experiencia más parecida a la que puede tener en su casa, aun siendo un laboratorio. El problema que se detectó –y por suerte se detectó antes de tener el escenario montado- es que el campus no cuenta  con antena aérea de TV, sino que usa televisión por IP, por tanto teníamos que instalar una antena en la zona donde se fuera a testear. Dado que el plató está en un sótano y no puede llegar la señal de la antena, ese laboratorio no era viable. Un asunto que en principio era trivial nos llevó varias sesiones hasta resolver dónde instalar la sala de testeo.
Después de muchas pruebas, una evaluación heurística y varios pilotos, comenzamos los tests con los usuarios. En el primer test, sin eye tracker, cada usuario usó sólo un modelo de televisión. Las tareas consistían en localizar la programación de una cadena, encontrar un programa en la TV a la carta, hacer una búsqueda en la web y ver un vídeo en Youtube, en caso de que el sistema dispusiera de esas funcionalidades. En este test se detectaron bastantes problemas, sobre todo relacionados con falta de comprensión de las opciones de los menús de navegación y con la complejidad de los iconos de los mandos a distancia, pero también con la frustración al encontrar que estos televisores no cumplen sus expectativas: la carga es lenta, no están todas las aplicaciones que les gustaría, la navegación es críptica, etc.
La tarea que presentó con diferencia más dificultades y ratios de éxito más bajas fue el uso de la TV a la carta. El motivo principal es que la forma de identificar este servicio no era intuitiva: en unos casos estos canales estaban en el menú “TV” en el mismo grupo que las radios y Youtube, en otros bajo el menú “videos” y en otros bajo “internet”. El caso más llamativo fue el de la caja Engel, que no disponía de una opción de acceso a la TV a la carta por navegación, sino que para acceder a este servicio es necesario que el usuario entre al canal correspondiente por TDT, y una vez ahí aparece un mensaje en pantalla indicando qué tecla del mando a distancia tiene que pulsar para entrar en contenidos bajo demanda. La mayoría de los usuarios no conseguían realizar esta tarea, por lo que se planteó repetirla y grabarla en un test con eye tracker para determinar el motivo de que no lograran acceder al servicio.

 
Figura 1. Proceso de calibración de Tobii Glasses

Este segundo test, realizado con 20 usuarios distintos a los anteriores, se realizo con Tobii Glasses (Figura 1). Se centró  en la tarea de TV a la carta y cada usuario realizó la tarea en los cuatro dispositivos. Se quería saber cuántos usuarios veían el mensaje en pantalla, y de éstos cuántos lo entendían. La muestra se redujo a 14 usuarios por diversos problemas técnicos de la propia grabación, el más importante fue que los rayos infrarrojos de los mandos a distancia interferían con los rayos infrarrojos del eye tracker.
El análisis de los datos presentó varias dificultades. Por un lado, no se habían previsto algunas necesidades para trabajar con ficheros de vídeo tan pesados, como la compra de un disco externo de gran capacidad, mas memoria RAM para el ordenador que computaba los datos, o una tarjeta gráfica dedicada. Por otro lado, el marcado de los vídeos se tenía que realizar manualmente: detectar en qué momento se cargaba el mensaje de aviso en pantalla y en qué momento desaparecía; considerando que un mismo usuario podía llegar varias veces a esa pantalla (¡un usuario llegó a verla 7 veces!), el marcado fue un trabajo minucioso que se hizo para las 45 veces en que apareció el mensaje.
Los resultados que se obtuvieron fueron muy interesantes: sólo 4 usuarios fijaron su mirada en el mensaje que daba la interfaz para acceder a la TV a la carta, y de estos 4 sólo uno lo comprendió y pulsó la tecla del mando que este mensaje indicaba (Figura 2).

Figura 2. Mapa de calor realizado a partir de las fijaciones de los 14 usuarios que vieron esta interfaz. Este mapa muestra el promedio de tiempo que los usuarios fijan su mirada en cada zona de la pantalla en relación al tiempo total que permanecen en ella. El mensaje (esquina inferior derecha) apenas registra fijaciones

De este estudio sacamos varios aprendizajes, por un lado relativos a los problemas de usabilidad presentes en las interfaces de las TV conectadas que se testearon, y por otro lado relacionados con el uso de eye tracking para testeo de vídeo.

El estudio se puede leer con más detalle en:

Agradecimientos
Esta investigación no hubiera sido posible sin Javier Díaz, David Hernández y Jaume Ponsa, que ayudaron en las sesiones de testeo y en la evaluación heurística. Y por supuesto, nuestro agradecimiento a los usuarios que participaron en el estudio.
Publicado por en No hay comentarios:
Suscribirse a: Entradas (Atom)