Desviación típica para interpretar mejor los promedios

En los talleres que imparto con estudiantes para aprender a utilizar un eye tracker suele surgir una duda en el momento de analizar los datos. Yo les pido que además de calcular el promedio obtengan la desviación típica. Se ve que es un concepto que no han visto antes y siempre improviso ejemplos para tratar de que lo entiendan.

Este es el último que se me ha ocurrido, no tiene nada que ver con el eye tacking, la verdad, pero creo que lo usaré más veces mientras se me ocurre un ejemplo mejor.

Es este:

Nos piden que decidamos cuánto tiempo debe estar el semáforo de los peatones en verde en un determinado cruce; para llegar a la respuesta vamos al cruce en cuestión e instalamos un cronómetro que pueda contar el tiempo que tardan las personas en cruzar; y recogemos los datos en dos momentos distintos del día:
- a las 8:15 de la mañana
- a las 5:15 de la tarde

Obtenemos estos datos de 10 personas en cada sesión, expresados en segundos, y los ordenamos de menor a mayor:
     Por la mañana (8; 9; 9; 9; 9; 9; 10; 10; 10; 11)
     Por la tarde     (4; 5; 5; 6; 8; 10; 11; 12; 15;18)

Si nos quedamos con el dato del tiempo que tardan en promedio tenemos que:

     Por la mañana: 9,4 segundos

     Por la tarde: 9,4 segundos

Ahora bien, si aplicamos la fórmula de la desviación estándar (disponible en Excel, sin ir más lejos) tenemos que en el caso de las mañanas los datos son muy homogéneos, es decir, la desviación de los datos del promedio es pequeña (0,84), mientras que la desviación que hay en el grupo de datos tomados por la tarde es mucho mayor (4,67).

A la hora de describir qué datos tenemos, saber la desviación estándar nos permite ver si los datos recogidos con muy homogéneos entre sí o si no lo son, y podemos buscar una explicación para entenderlos ¿por qué en este ejemplo del semáforo existe una diferencia tan grande en la desviación estándar de los datos de la mañana y de la tarde? Vamos al cruce y observamos a las personas, entonces descubrimos que:

   - A las 8:15 de la mañana el perfil de las personas que cruzan es muy homogéneo: tienen entre 20 y 50 años y se dirigen, sin entrenerse, a sus puestos de trabajo
   - A las 5:15 de la tarde el perfil de personas que cruzan es mucho más variado: niños y adolescentes que salen  del colegio en grupos o con sus madres/padres, personas mayores, personas paseando perros, personas que se detienen a saludarse unos segundos... pero también personas haciendo deporte.

En este ejemplo se puede ver cómo el promedio de tiempo que tardan las personas en cruzar por la mañana y por la tarde es el mismo, en cambio los datos de por la mañana son muy parejos y por la tarde están más dispersos.

"He hecho un test con un eye tracker y ahora no sé qué hacer con los mapas y datos para tener resultados"

Y a quien no le haya pasado que tire la primera piedra.

El entusiasmo que nos genera contar con un dispositivo de eye tracking y la facilidad con la que podemos preparar un test -cuestión de minutos- hace que nos precipitemos a testear sin tener clara la base de cualquier investigación: el objetivo.

Antes de remangarse frente al eye tracker debemos respondernos a la siguientes preguntas:

- ¿Por qué? Por qué queremos testear determinados estímulos (páginas web, imágenes...). Si vamos a hacer un test es porque hemos detectado un problema o al menos lo intuimos, o porque queremos saber cuál de las opciones será mejor para un determinado objetivo

- ¿Para qué? Para qué vamos a usar los resultados. Saber qué consecuencias tendrá nuestro test nos ayuda a plantearlo

Una vez fijado el objetivo tenemos que pensar cuidadosamente:
- Los estímulos. Según qué estímulos pongamos variará la forma de ser mirados. Si comparamos fotografías, los planos, si hay personas o no, los colores... todo influirá, y podemos llegar a conclusiones erróneas si no tenemos en cuenta las diferencias que hay entre los estímulos.
- La muestra de usuarios. Debe ser representativa de la población a la que queremos estudiar, deben ser target, y no sólo en cuanto a género y edad, sino a su actitud, comportamiento, gustos, expectativas... con respecto a lo que estamos testeando.

Y algo importante que es fácil que en el entusiasmo de preparar los estículos y contactar con usuarios se nos olvide: planificar las métricas que se van a necesitar. Los equipos actuales cuentan con software que facilita la obtención de métricas, pero es nuestro criterio el que debe escoger qué métricas son las adecuadas para los fines que perseguimos, así como lo que significan para nuestro proyecto en particular. Para ver las métricas que nos ofrecen los eye trackers os remito a estas entradas previas del blog:

• Measuring UX with eye tracking
• Métricas de Tobii Studio

En mi opinión, es un error tomar los mapas que da el eye tracker como resultado de un estudio. Yo recomiendo usar los mapas como primera toma de contacto una vez realizadas las grabaciones. Me sirven para hacerme una idea de cómo han mirado las personas, y a partir de ahí busco datos numéricos (métricas) para hacer un estudio estadístico. Una vez que tengo resultados estadísticos voy de nuevo a ver los mapas para dar con aquellos que mejor ilustran los resultados, y acompaño la estadística de esos mapas para que los números sean más fáciles de entender.

Y por supuesto, antes de lanzarnos a hacer un estudio con eye tracking, conviene buscar bibliografía para ver qué métricas han usado otros investigadores antes que nosotros. Eso nos permite validar nuestro planteamiento, tomar ideas que no se nos había ocurrido y a veces hasta comparar nuestro resutado con el de otros colegas.

Ahora sí que estamos preparados para grabar!

Eye tracking aplicado al estudio de las imágenes que usa la prensa en Facebook

Se publican casi al mismo tiempo estos dos estudios en los que he tenido el gusto de participar. Ambos tienen 3 elementos en común:
- el dispositivo de eye tracking
- la fotografía de prensa
- las redes sociales, concretamente en Facebook.

Uno de ellos hace un recorrido por lo que se ha publicado, el otro hace un estudio con usuarios. Comparto aquí el resumen y la referencia:

Arrazola, Víctor; Marcos, Mari-Carmen (2014). Fotografía de prensa y redes sociales: la técnica de eye tracking. Ámbitos. Revista Internacional de Comunicación, 27.

El artículo presenta la técnica del seguimiento de la mirada (eye tracking) y analizalos estudios previos que, basándose en esta técnica, se han realizado sobre la prensa en las redes sociales, con especial detenimiento en Facebook. El artículo también hace un recorrido por el papel de la imagen en la prensadesde los inicios del fotoperiodismo hasta la aparición del periodismo digital.Dela revisión bibliográfica realizada se desprende que existe un claro vacío de investigaciones que aborden un análisis conjunto de las imágenes y las redes socialeshaciendo uso de la técnica del seguimiento de la mirada.


Cárcamo, Luis; Marcos, Mari-Carmen; Cladellas, Ramon; Castelló, Antoni (2015). News photography for Facebook: effects of images on the visual behaviour of readers in three simulated newspaper formats. Information Research, vol. 20, n.1. 

Introduction. The social networks have changed the news media scene and the media are striving to adapt to this new space by posting news that is attractive to their users. On Facebook in particular, the inclusion of images in news posts is very important, as they compete with the images depicting the users’ personal interests and those of their social circle.
Method. An empirical study was applied in which twenty-four users (Spanish university students) were shown three Facebook walls with news presented in three different formats according to the presence or absence of images and the size of these images. The experiment was recorded with an eye tracking device that tracked the movement of the users’ eyes.
Results. As the size of the images in the news posts varied, we found significant differences in the amount of time people took to start looking at each post, as well as the length of time their eyes remained on these posts. The post formats designed with larger images were looked at for a longer time and were clicked more often in order to read the news text. Generalization of these results must be restricted to the specific cultural context.
Conclusions. The size of the image in a news post presented on Facebook is extremely important in order to attract and retain readers. The scientific value of the study lies in researching visual behaviour in the consumption of news on Facebook.

Measuring UX with eye tracking

Until now, I used the book of Holmqvist et al (2011) as the guide for eye tracking measures.
The Aga Bojko's book "Eye tracking the User Experience" brings me now a more accurate group of measures specifically though for UX. Here you are:

1) Measures of attraction for an area
- Noticeability measures:
   - % of users who fixated an area
   - Fixations done before looking to that area
   - Time to first fixation since the stimuli is presented until they fixated into that area
- Interest measures:
   - Number of fixations done in that area
   - Total fixation duration of the gaze in that area
   - % of time that that area is fixated
- Emocional arousal measures:
   - Pupil diameter

2) Measures of performance for an area
- Mental work measures:
   - pupil diameter
- Cognitive processing measures:
   - Duration of the fixations on that area
- Target findabiblity measures:
   - % of users who fixated in that area
   - Fixations done before looking to that area
   - Time to first fixation since the stimuli is presented until they fixated into that area
- Target recognizability measures:
   - Number of ocular visits until clicking that area
   - Time from the first fixation in that area until it is clicked


References:
Kenneth Holmqvist, Marcus Nyström, Richard Andersson, Richard Dewhurst, Halszka Jarodzka, and Joost van de Weijer, Eye Tracking: A Comprehensive Guide to Methods and Measures. London: Oxford University Press, 2011.

Bojko, Aga. Eye tracking the user experience. Rosenfeld Media, 2013.

Recopilación de artículos realizada por Tobii

Tobii, una de las empresas que frabrica y vende eye tackers, ha creado un perfil en Zotero donde recoge publicaciones de estudios que han usado esta tecnología.

La base de datos es bibliográfica, es decir, no contine los documentos a texto completo, pero no es difícil conseguir la mayoría de ellos si estás en la universidad, o incluso contactando por email con los propios autores.

Aquí está:
https://www.zotero.org/groups/tobii_eye_tracking_references/items

Métricas de Tobii Studio

Todas las métricas que da Tobii Studio pueden ser útiles, depende del estudio se escogen unas u otras, tanto desde el módulo de estadísticas como más en bruto de los logs de Tobii.

Algunas métricas dan la opción de “include zeros” o no incluirlos. Si un usuario no registra valores en una AOI, Tobii puede hacer dos cosas: dejar en blanco la celda o poner un cero. Si la pone en blanco, no la considerará para hacer promedios y otras medidas descriptivas; si pone un cero, sí lo considerará para estos promedios. Según el estudio nos interesará considerar o no estos casos en los que no se registran miradas de un usuario en un AOI.

En estudios de usabilidad se suelen usar más estas:

1. Medidas relacionadas con la capacidad de atracción de un elemento

Time to first fixation (TFF) en un AOI, nos dice el tiempo que tarda cada persona en fijar su atención por primera vez en el AOI objeto de estudio. Se puede saber también cuántas fijaciones ha habido antes de llegar a esa AOI (Fixations Before, BFB), así como la duración de esa primera fijación (First Fixation Duration, FFD)

2. Medidas relacionadas con la intensidad de la mirada en un elemento

Fixation duration (FD) indica la duración promedio de cada una de las fijaciones de cada participante; para interpretar este dato hay que tener en cuenta que las fijaciones largas implican más atención (más esfuerzo cognitivo), por ejemplo si no se entiende una palabra se mira más tiempo; pero también puede significar que hay un mayor interés (si algo gusta se mira más). En cada experimento debe estudiarse bien el significado de FD.

También el Fixation count (FC) es un indicador de la intensidad, nos dice el número de fijaciones en un área por parte de una persona o de un grupo de personas. Mayor número de fijaciones implican mayor dificultad o mayor interés, según el tipo de elemento del que se trate y del estudio que se esté llevando a cabo.

Fruto de la multiplicación del número de fijación por la duración de cada una de ellas se obtiene la métrica Total fixation duration (TFD), que indica el tiempo total que los participantes han dedicado a mirar un AOI. Como ya se ha dicho, más tiempo mirando implica mayor dificultad o mayor interés.

3. Medidas relacionadas con las veces que la mirada regresa a un elemento

Visit count (VC) cuenta cuántas veces la mirada ha entrado en un AOI. Se puede saber también cuánto duran esas visitas (Visit Duration, VD) y obtener la multiplicación del número de visitas por su duración para saber el tiempo total, dado por la métrica Total Visit Duration (TVD).

4. Medidas relacionadas con el clic sobre un elemento (para páginas web)

Time to first mouse click (TFC): tiempo que pasa una persona en la página web hasta que hace el primer clic.

Time from first fixation to next mouse click (TFFC): tiempo que pasa una persona desde que se registra la primera fijación en un AOI hasta que clica en ella.

5. Medidas relacionadas con el porcentaje de usuarios

- Percentage fixated (%fix): porcentaje de usuarios que han mirado un AOI

- Percentage clicked (%click): porcentaje de usuarios que han clicado un AOI

Pantalla de selección de métricas de Tobii Studio 2.8 

Pictures, screen-shots and videos about our reseach with eye tracking

Here you are some videos:
http://www.youtube.com/playlist?list=PL0882DD12B0553E0D

And some pics and screen-shots:
http://www.flickr.com/photos/2viajando/sets/72157638277106476/