Leer abajo en español

 

Data collection in the context of the pandemic posed multiple challenges for researchers. At IPA Colombia, this situation led us to explore and test new tools like WhatsApp surveys.¹ Here we’d like to share some of the specific situations in which Whatsapp has been a useful alternative to in-person data collection and some of the lessons we’ve learned in the process. 

Use of WhatsApp Surveys at IPA Colombia

One of the many advantages of using WhatsApp as a tool to contact participants is how versatile it is. It allows for large-scale simultaneous interactions with participants through not only text but also using media files like images, documents, and audio. This facilitates interactions since it offers multiple, friendlier, and demonstrative ways to communicate messages that participants might not have read, or would have been difficult to understand. 

The low cost, effectiveness, and versatility have made it useful for different kinds of projects. For example, one study on the impact of Colombia’s decision to offer legal status to Venezuelan immigrants used WhatsApp surveys on this very mobile population because even if phone numbers change, WhatsApp numbers typically stay stable. This meant we could collect data directly over WhatsApp, but also use it to get their current phone number for follow-up phone surveys.

Projects such as this entrepreneurship training one, and this one on social protection during COVID-19 used WhatsApp to communicate project information and schedule calls for phone surveys. While another project on teaching socio-emotional skills to young children used WhatsApp surveys as a tool to monitor potential spillovers by tracking whether the control group participants have received resources related to the treatment in-between data collections. 

Positive Side Effects and Limitations 

Similarly, by allowing the sending of personalized messages, this data collection method may help to create a closer relationship between participants, the projects, and IPA as an organization. For example, in the surveys conducted through WhatsApp in the project with Venezuelan migrants mentioned above, we could personalize messages with names and other information we had, with which we intended to offer a more personal sense of connection. But we might have been too successful and had a slight backfire—it wasn’t obvious to some participants that they were interacting with an automated system, rather than a person, and that led to some frustration. We learned to explain explicitly upfront that the responses they were getting to their answers were automatically generated.

There are also some advantages to using a verified WhatsApp business account—we use the IPA logo as our profile picture, which we think cues people to remember who we are when we re-contact them. As we noticed when doing in-person fieldwork with participants who’d been previously contacted through WhatsApp—they seemed to remember IPA from the WhatsApp logo.

Having an official account also means the phone number from which messages will be sent is verified. We think this feature helps to increase participant trust—when the number is verified, participants see the organization name in the chat, instead of the number, with a check symbol that certifies the authenticity of the WhatsApp account. We think this in turn may lead to increased response rates. Of course, it doesn’t work the other way—WhatsApp doesn’t confirm a participant’s identity so if we are re-contacting a number we typically recommend including questions to confirm if the person answering on the other end is the person we’re actually trying to reach.

If you’ve ever sent a WhatsApp message and waited for the double checkmarks to appear confirming receipt, you know how valuable that information can be. The same is true in the survey process. WhatsApp surveys also allow tracking message receipt and reading. The reports allow us to identify failed deliveries due to a phone number out of service, or without a WhatsApp associated, along with messages that were received and read. This is useful for understanding how well the data collection is going, and for identifying when participants are more difficult to reach. It is worth noting, though, that whether read information is available depends on how the individual has set up their privacy preferences.

If you are choosing WhatsApp for data collection, it is worth considering its limitations. First, it is useful with a specific type of population with internet access, smartphones, and some level of technological knowledge, which will limit your sampling to people from specific geographical areas, ages, and socioeconomic backgrounds. This wasn’t an important restriction in the studies described above as most participants had access to WhatsApp and were used to it. It is also difficult to guarantee the quality of the responses for some types of questions, such as multiple selection open-ended questions since there is not an enumerator verifying if the participant fully understood the question. To address this restriction, the projects described above used survey questions that were easy to understand and simple to self-assess.

Every data collection medium has advantages and disadvantages, and we are not comparing all options here (we hope to have another post with more technical details and comparisons soon). But for IPA Colombia, particularly during the disruptions of COVID-19, we have found WhatsApp’s versatility a tremendous asset for data collection, despite some small challenges, and the more experience we get, the better we get at using it. If you think it might be useful for your study, we recommend giving it a try.

The first project that used WhatsApp surveys was implemented in partnership with Stanford University’s Immigration Policy Lab (IPL) and Mercy Corps. IPL designed a webpage, a technical manual, and a code repository that provide case studies from IPL projects, webinars, and instructional videos offering a demonstration of the tool in use, a practical guideline to understanding the minimum must-do's for launching a WhatsApp survey, and a detailed step-by-step covering system setup, survey design, and troubleshooting.

Encuestas de WhatsApp: una solución innovadora y de bajo costo para la recolección remota de datos

La pandemia planteó múltiples desafíos para los investigadores en materia de recolección de datos. En IPA Colombia, esta situación nos llevó a explorar y probar nuevas herramientas como las encuestas de WhatsApp.¹ En este blog, queremos compartirte algunas de las situaciones específicas en las que Whatsapp ha sido una alternativa útil para la recolección de datos presencial y algunas de las lecciones que hemos aprendido en el proceso.

Uso de Encuestas de WhatsApp en IPA Colombia

Una de las muchas ventajas de usar WhatsApp como herramienta para contactar a participantes de un estudio es su versatilidad, pues permite interacciones simultáneas a gran escala con los participantes a través no solo de texto, sino también de archivos multimedia como imágenes, documentos y audio. Estas características facilitan las interacciones ya que ofrecen formas múltiples, más amigables e ilustrativas de comunicar mensajes que los participantes podrían no haber leído o les habría resultado difícil entender.

El bajo costo, la efectividad y la versatilidad han hecho que este método de recolección sea útil para diferentes tipos de proyectos en nuestra oficina. Por ejemplo, para un estudio sobre la regularización de migrantes venezolanos en Colombia, las encuestas de WhatsApp resultaron útiles para mantener el contacto con esta población que se destaca por su alta movilidad. Incluso si los participantes cambian sus números de teléfono los números de WhatsApp generalmente se mantienen estables, de esta forma podíamos recopilar datos directamente a través de WhatsApp, y actualizar los números de teléfono para encuestas telefónicas de seguimiento.

Proyectos como este sobre formación en emprendimiento y este sobre protección social durante la pandemia por el COVID-19 utilizaron WhatsApp para comunicar información del estudio y programar llamadas para encuestas telefónicas. Mientras que otro proyecto sobre la enseñanza de habilidades socioemocionales a niñas y niños pequeños utilizó encuestas de WhatsApp como una herramienta para monitorear posibles efectos indirectos de una intervención, rastreando si los participantes del grupo de control habían recibido recursos relacionados con el tratamiento.

Ventajas inesperadas y algunas limitaciones

De manera similar, al permitir el envío de mensajes personalizados, este método de recolección de datos puede ayudar a crear una relación más cercana entre los participantes, los proyectos e IPA como organización. Por ejemplo, en las encuestas realizadas a través de WhatsApp¹ en el proyecto con migrantes venezolanos mencionado anteriormente, podíamos personalizar los mensajes con los nombres de nuestros participantes y otra información disponible.Con esto, pretendíamos ofrecer una sensación de mayor cercanía,sin embargo, es posible que hayamos tenido demasiado éxito, pues generamos un pequeño efecto contraproducente: para algunos participantes no era obvio que estaban interactuando con un sistema automatizado, en lugar de una persona, lo que generó cierta frustración. Por esto, aprendimos a explicar desde el inicio de nuestras encuestas que las respuestas que obtenían a sus mensajes se generaban automáticamente.

También existen ventajas de usar una cuenta oficial de WhatsApp. Nosotros utilizamos el logo de IPA como foto de perfil. pues nuestra percepción era que la imagen ayuda a  que las personas recuerden quiénes somos. En efecto, al hacer trabajo de campo presencial con participantes que habían sido contactados previamente a través de WhatsApp, notamos que parecían recordar el logo de IPA.

Tener una cuenta oficial también significa que se verifica el número de teléfono desde el que se enviarán los mensajes. Creemos que esta función ayuda a aumentar la confianza de los participantes, ya que ven el nombre de la organización en el chat, en lugar del número, con un símbolo de verificación que certifica la autenticidad de la cuenta de WhatsApp. Creemos que esto, a su vez, puede conducir a mayores tasas de respuesta. Por supuesto, no funciona al revés. WhatsApp no confirma la identidad de un participante, por lo que si quieres volver a contactar un número después de un tiempo, recomendamos incluir preguntas para confirmar si la persona que responde al otro lado es realmente quien quieres contactar.

Si alguna vez has enviado un mensaje de WhatsApp y esperaste a que aparecieran las dobles marcas de verificación para confirmar el recibido de un mensaje, sabes lo valiosa que puede ser esa información. Lo mismo aplica en el proceso de recolección de datos. Las encuestas de WhatsApp también permiten rastrear la recepción y lectura de mensajes. Los reportes nos permiten identificar envíos fallidos por un número de teléfono fuera de servicio, o sin una cuenta de WhatsApp asociada, junto con mensajes recibidos y leídos. Esto es útil para comprender qué tan bien va la recolección de datos y para identificar cuándo es más difícil llegar a los participantes. No obstante, vale la pena señalar que la disponibilidad de la información de lectura depende de la configuración de privacidad de cada persona.

Si estás pensando en WhatsApp como una alternativa para la recolección de datos, vale la pena que consideres sus limitaciones. Primero, es útil con un tipo específico de población: con acceso a internet, teléfonos inteligentes y cierto nivel de conocimiento tecnológico, lo que limitará tu muestra a personas de áreas geográficas, edades y niveles socioeconómicos específicos. Esta no fue una restricción importante en los estudios descritos anteriormente, ya que la mayoría de los participantes tenían acceso a WhatsApp y estaban acostumbrados a usarlo. También es difícil garantizar la calidad de las respuestas para ciertos tipos de preguntas, como preguntas abiertas o de selección múltiple, ya que no hay un encuestador que pueda verificar si el participante entendió completamente la pregunta. Para abordar esta restricción, los proyectos descritos anteriormente utilizaron en sus cuestionarios preguntas que eran fáciles de entender y simples de autodiligenciar.

Cada método de recolección de datos tiene sus ventajas y desventajas, y no estamos comparando todas las opciones aquí (pronto esperamos tener otra publicación con más detalles técnicos y comparaciones). Pero para IPA Colombia, particularmente frente a los retos ocasionados por el COVID-19, la versatilidad de WhatsApp ha sido un gran activo para la recolección de datos, a pesar de algunos pequeños desafíos. Además, cuanta más experiencia acumulamos, mejor la usamos. Si crees que puede ser útil para tu estudio, te recomendamos que lo pruebes.

El primer proyecto que utilizó encuestas de WhatsApp se implementó en colaboración con el Immigration Policy Lab (IPL) de la Universidad de Stanford y Mercy Corps. IPL diseñó una página web, un manual técnico y un repositorio de código que brindan estudios de casos de proyectos de IPL, seminarios web y videos instructivos que ofrecen una demostración de la herramienta en uso, una guía práctica para comprender los pasos mínimos para lanzar una encuesta de WhatsApp y un detallado paso a paso que cubre la configuración del sistema, el diseño de la encuesta y la solución de problemas.