Tres niveles de evidencia: el estándar MEL de Mentu Labs
¿Cómo saber si una herramienta EdTech realmente funciona? La respuesta obvia es: ver si los estudiantes aprenden más. Pero la mayoría de los proyectos tecnológicos en educación miden cosas mucho más fáciles—y mucho menos relevantes. En Mentu Labs, desarrollamos un estándar MEL (Monitoreo, Evaluación y Aprendizaje) de tres niveles que nos obliga a responder las preguntas correctas.
El problema de los indicadores vacíos
La mayoría de proyectos tecnológicos en educación miden engagement: número de sesiones, tiempo en la plataforma, contenidos completados. Estas métricas son fáciles de recopilar, fáciles de reportar y, generalmente, fáciles de manipular. Un buen diseño de gamificación puede hacer que los indicadores de uso se disparen sin que medie ningún aprendizaje real.
El problema no es que estas métricas sean inútiles; es que son insuficientes. Medir uso es necesario, pero no suficiente. Un docente que usa la herramienta 5 horas a la semana y cuyos estudiantes no aprenden nada más que antes no está generando impacto. Está generando datos.
Nivel 1: ¿Lo usan?
El primer nivel de evidencia es necesario pero no suficiente. Medir si los docentes y estudiantes realmente usan la herramienta es el punto de partida de cualquier evaluación honesta. Sin uso real, no puede haber impacto real. Pero uso real no garantiza impacto.
Métricas de Nivel 1: Porcentaje de docentes activos semanalmente, sesiones promedio por mes, tiempo de uso por sesión, tasa de abandono en los primeros 30 días, y porcentaje de funcionalidades utilizadas. Establecemos umbrales mínimos antes de pasar a Nivel 2.
Nivel 2: ¿Cambian cómo enseñan?
Este es el nivel más difícil de medir y el más revelador. Si una herramienta de IA no cambia la práctica pedagógica, es probable que tampoco cambie los resultados de aprendizaje. El cambio de práctica es el mecanismo causal que conecta la herramienta con el aprendizaje del estudiante.
“Si la herramienta no cambia cómo enseña el docente, es decoración digital. Bonita, potencialmente cara, e inútil para los estudiantes.” — Carlos Méndez, Director de Investigación, Mentu Labs
Para medir cambio de práctica, utilizamos una combinación de observaciones de aula estructuradas, entrevistas con docentes, análisis de planes de clase y, cuando es posible, grabaciones de sesiones con consentimiento informado. Es una inversión metodológica significativa. Y es exactamente esa inversión la que nos permite hacer afirmaciones honestas sobre nuestro impacto.
Nivel 3: ¿Aprenden los estudiantes?
El estándar de oro es el Ensayo Controlado Aleatorio (RCT, por sus siglas en inglés). En un RCT, las instituciones participantes se asignan aleatoriamente a grupos de intervención o control, lo que permite aislar el efecto causal de la herramienta de otros factores contextuales. Es costoso, complejo logísticamente y requiere tamaños de muestra significativos. También es la forma más rigurosa de saber si algo funciona.
- Pre/post tests con grupos de control aleatorizados para medir aprendizaje incremental.
- Observaciones de aula sistemáticas antes y después de la implementación.
- Rúbricas de desempeño docente validadas por expertos pedagógicos.
- Entrevistas cualitativas con estudiantes, docentes y directivos.
- Seguimiento de cohortes a 6 y 12 meses para medir persistencia del impacto.
Resumen del Estándar:
- Nivel 1: Adopción y uso sostenido de la herramienta.
- Nivel 2: Cambio medible en práctica pedagógica.
- Nivel 3: Aprendizaje real del estudiante.
Por qué este estándar importa
En un ecosistema donde abunda el ruido—anuncios de ‘impacto transformador’ sin datos que los respalden, métricas de vanidad presentadas como evidencia—el estándar MEL de tres niveles es un acto de responsabilidad. No porque queramos parecer rigurosos, sino porque creemos que los estudiantes de América Latina merecen intervenciones que funcionen de verdad.
Adoptar este estándar tiene un costo. Los proyectos duran más, la metodología es más compleja y los resultados a veces son incómodos—hemos identificado herramientas que no funcionan y las hemos abandonado. Pero esa honestidad es la única base sobre la que se puede construir confianza real con educadores, instituciones y estudiantes.