En el campo de la medicina, ningún medicamento llega al mercado sin pasar por ensayos clínicos rigurosos. En EdTech, las herramientas que afectan a millones de niños suelen adoptarse basándose en testimonios, estudios de caso no controlados y demostraciones impresionantes. Los Ensayos Controlados Aleatorios (RCTs) son el antídoto a esa fragilidad metodológica.

¿Qué es un RCT y por qué importa?

Un Ensayo Controlado Aleatorio asigna aleatoriamente a los participantes (en nuestro caso, instituciones o docentes) a un grupo de intervención—que recibe la herramienta—o un grupo de control—que continúa con sus prácticas habituales. La aleatoriedad es clave: garantiza que las diferencias observadas en los resultados se deben a la intervención y no a características previas de los grupos.

“Sin un grupo de control, no podemos distinguir entre ‘la herramienta funcionó’ y ‘este período del año los estudiantes siempre mejoran’. El RCT hace esa distinción posible.” — Daniela Reyes, Mentu Labs

RCTs en EdTech: los desafíos reales

Implementar un RCT en educación es significativamente más difícil que en medicina. Los estudiantes no son píldoras; interactúan entre sí, con docentes y con su entorno de formas que pueden contaminar el efecto de la intervención. La falta de un docente en el grupo de control puede influir más en los resultados que la herramienta en sí.

  • Contaminación entre grupos: docentes del grupo control pueden aprender de sus colegas en el grupo intervención.
  • Efecto Hawthorne: los participantes cambian su comportamiento por el simple hecho de saberse observados.
  • Tamaños de muestra requeridos: para detectar efectos modestos (d=0.2), se necesitan cientos de estudiantes.
  • Tiempo de implementación: los efectos educativos reales suelen tardar meses o años en manifestarse.
  • Ética de negar acceso: asignar aleatoriamente implica que algunos estudiantes no recibirán una potencialmente beneficiosa intervención.

Nuestro enfoque en Mentu Labs

Equipo de investigación Mentu Labs

Adoptamos un enfoque escalonado: comenzamos con diseños cuasi-experimentales más simples y, cuando el contexto y los recursos lo permiten, escalamos a RCTs completos. No porque los RCTs sean siempre la respuesta correcta, sino porque son el estándar que nos permite hacer afirmaciones causales honestas sobre el impacto de nuestras herramientas.

Qué hemos aprendido de nuestros RCTs

Un resultado incómodo: En uno de nuestros RCTs, la herramienta que estábamos evaluando no mostró efectos significativos en aprendizaje a 6 meses. Publicamos los resultados completos, incluyendo los efectos nulos. Esa honestidad nos costó un contrato. También nos ganó la confianza de los socios que más importan.

Los RCTs no siempre dan las respuestas que queremos. Pero siempre dan respuestas honestas. Y en un campo donde el optimismo de prensa raramente está respaldado por datos rigurosos, la honestidad metodológica es una ventaja competitiva y, más importante, una obligación ética.

Nuestra Evidencia:

  • 4 RCTs completados o en curso.
  • 100% De resultados publicados, incluyendo nulos.
  • d=0.31 Tamaño de efecto promedio en intervenciones exitosas.