Observar y leer lo que ocurre

Vienen del Sprint 1 y se usan en toda esta pieza sin volver a explicarlas.

Un rediseño sin observación es una intuición. Estos instrumentos existen para que, con las actas cerradas, puedas decir algo con fundamento.

El Cuaderno de pilotaje recoge tus decisiones —qué vas a observar, qué has leído en ello, qué ajustas—. Esta pieza te da los instrumentos con los que observar. No hace falta que copies en el Cuaderno lo que produzcan: basta con que anotes dónde viven y qué has concluido.

En el apartado «Punto de partida» del Cuaderno dejaste escrito de dónde vienes, y en «Mis hipótesis», qué esperabas que pasara con el rediseño. Lo que elijas aquí es lo que después te permitirá responder a esas hipótesis con algo más que una impresión.

La regla que decide qué eliges

Si un instrumento te cuesta más de quince minutos a la semana, no lo vas a sostener un cuatrimestre entero. Y un instrumento abandonado en la semana seis es peor que no haber empezado: te deja con datos de un tramo y con la sensación de haber fracasado en algo accesorio.

Elige tres: uno de lo que ves en el aula, uno de lo que dicen los estudiantes y uno de los datos que tu asignatura ya produce. Con eso se triangula. Con seis instrumentos no se triangula mejor, se abandona antes.

Qué quieres saber y con qué mirarlo

Los últimos tres minutos de clase, cada estudiante responde a una sola pregunta en una tarjeta, en un papel o en un formulario. Sin nombre. Tú te llevas veinte respuestas de cuarenta palabras y las lees en el trayecto de vuelta.

Es el instrumento más barato del kit y el que más rápido corrige el rumbo, porque lo que revela se puede arreglar en la clase siguiente.

El banco de preguntas

Una por sesión de clase. Cambiar de pregunta cada vez mantiene el interés; repetir la misma tres veces seguidas permite ver una evolución. Ambas cosas sirven, pero no a la vez.

Cómo se lee

No cuentes respuestas: agrúpalas. Tres montones —lo esperado, lo que no esperabas, lo que no entiendo—. El montón interesante es siempre el segundo. Si el primero ocupa el noventa por ciento, la pregunta era demasiado fácil.

Y devuélvelo. Empezar la clase siguiente con «la semana pasada varios dijisteis que X no había quedado claro, así que empezamos por ahí» es lo que hace que la segunda vez respondan en serio.

Seis preguntas cerradas y una abierta, dos veces en el cuatrimestre: la primera pasada llega a tiempo de corregir y la segunda a tiempo de documentar. Seis y no veinte porque una encuesta larga tiene la mitad de respuestas y el triple de respuestas mecánicas.

Los seis ítems

Escala de 1 a 5. Pregunta por la experiencia, no por tu desempeño: lo segundo ya lo hace la encuesta institucional de tu universidad.

Y la abierta, la que de verdad sirve:

Cómo se lee

En los cerrados no mires la media: mira la dispersión y el ítem más bajo. Un 3,4 repartido entre 1 y 5 significa que la asignatura funciona muy distinto para unos y para otros; un 3,4 con todos en 3 y 4, que va tirando para todos. En la abierta, agrupa por tema y cuenta. Y compara las dos pasadas ítem a ítem: que algo baje en la segunda suele ser saturación de final de cuatrimestre; que suba sí es tuyo.

Este instrumento no hay que construirlo: ya existe. Tu asignatura genera entregas, calificaciones parciales, mensajes, accesos a materiales, preguntas repetidas en tutoría. Casi nadie lo mira mientras el curso está en marcha, y es lo único que no depende de que alguien conteste una encuesta. El trabajo aquí no es recoger: es decidir de antemano qué vas a mirar y con qué lo vas a comparar, porque un dato sin término de comparación no dice nada.

Tu selección

Elige dos o tres filas y déjalo escrito ahora, no en la semana once: anotarlo cuesta un minuto y es lo que hace que en la semana once lo mires.

Un rediseño que funciona pero que te cuesta el doble no lo vas a repetir el curso que viene. La sostenibilidad es un resultado del pilotaje tan legítimo como el aprendizaje de los estudiantes, y es el que más se olvida documentar.

Este instrumento es la recalibración de lo que estimaste en el Sprint 1. En la Plantilla del plan operativo declaraste, para cada fase de cada touchpoint —diseño, ejecución, corrección y retroalimentación—, una estimación de línea base, y en muchos casos una segunda hipótesis suponiendo apoyo de IA. Aquí solo anotas lo que ha pasado de verdad, y al cerrar el cuatrimestre tienes con qué corregir aquellas cifras para la próxima edición. Si no usaste la Plantilla, sirve igual: pon la estimación de memoria antes de empezar la tarea, no después.

El registro vive en el apartado «Registro de tiempos» del Cuaderno de pilotaje, que es donde conviene ir dejándolo mientras ocurre.

Cómo se lee

Lo que interesa no es el total de horas: es la diferencia entre lo que estimaste y lo que te costó, y sobre todo dónde se concentra esa diferencia. Casi siempre está en una sola tarea, y casi siempre es la de dar retroalimentación individual.

Sobre la IA, la pregunta no es si ahorra tiempo en abstracto: es si te lo ahorró en esta tarea y qué hiciste con el tiempo ahorrado. Una hora que se convierte en retroalimentación más específica es un resultado; una hora que no se convierte en nada, también, pero es otro.

Mientras facilitas no puedes observar: estás ocupado facilitando. Hay cosas que solo se ven desde fuera —a quién das turno, cuánto esperas tras preguntar, qué parte del aula no miras nunca— y ninguna encuesta te las va a decir.

Tres versiones, y la tercera solo aplica si tienes equipo docente. Con cualquiera de ellas basta.

Versión con colega

Un compañero se sienta veinte minutos en tu clase con tres preguntas fijas. Veinte minutos, no la clase entera: lo que buscas es una muestra, y una hora entera hace que nadie te diga que sí.

Las tres preguntas son siempre las mismas, y conviene dárselas por escrito para que no improvise una valoración global:

• ¿Quién habla y quién no? Cuenta cuántas personas distintas intervienen.
• ¿Cuánto tiempo dejo entre que pregunto y que alguien responde? Mídelo un par de veces.
• ¿En qué momento se ha desenganchado el grupo, si es que lo ha hecho?

Y una regla para que sirva: quien observa no opina sobre si la clase fue buena. Solo describe lo que vio. La valoración la haces tú.

Versión sin colega

Grábate. Con el móvil apoyado al fondo del aula basta, y si la sesión es en línea, la grabación ya existe. Después ves diez minutos a velocidad rápida con las mismas tres preguntas.

Es menos cómodo que la versión con colega y bastante más revelador. Casi todo el mundo descubre lo mismo la primera vez: que espera dos segundos donde creía esperar diez.

Si grabas con estudiantes en plano, avísales y usa la grabación solo para ti. No hace falta enfocar al aula: el audio y tu propia imagen ya contienen casi todo lo que necesitas mirar.

Y si tienes equipo docente: la retrospectiva

Media hora de retrospectiva conjunta a mitad de cuatrimestre rinde más que cualquier observación individual, porque saca a la superficie lo que cada uno ve en su grupo y los demás no. Tres preguntas, en este orden:

• ¿Qué está funcionando en vuestros grupos que no esperábamos?
• ¿Dónde estáis viendo la misma fricción? Lo que coincide en varios grupos es del diseño, no del grupo.
• ¿Qué cambiaríamos ya, y qué anotamos para la próxima edición?

Una regla que evita que degenere en una reunión de coordinación: se habla de lo observado, no de lo que habría que hacer. Las decisiones se toman en los últimos cinco minutos y se escriben.

Catorce semanas dan para mucho menos de lo que parece antes de empezar. Esto es lo que cabe sin que se coma tiempo de docencia, distribuido para que cada instrumento llegue cuando aún sirve para algo.

Las semanas de abajo son las de un cuatrimestre típico de catorce semanas. Si el tuyo dura doce, dieciséis o lo que sea, desplaza las semanas proporcionalmente: lo que importa no es el número exacto, sino el orden y las distancias —nada en las dos primeras, una primera lectura algo antes de la mitad, la segunda encuesta antes de que el grupo se disperse—.

Cinco maneras de que esto no funcione

Todas frecuentes, todas evitables:

• Medirlo todo. Con cinco instrumentos a la vez, en la semana ocho no queda ninguno.
• Encuestas largas. Veinte ítems dan la mitad de respuestas y el triple de respuestas automáticas.
• Empezar en la semana uno. Lo que se observa entonces es el desconcierto de un grupo que aún no sabe cómo funciona la asignatura.
• Cambiar de instrumento a mitad. Pierdes la comparación, que es de donde sale casi toda la información.
• Recoger y no devolver. Si los estudiantes no ven ningún efecto de lo que contestaron, la segunda vez contestan cualquier cosa.

A mitad de cuatrimestre vas a tener material: respuestas de cierre de clase, un pulso al estudiantado, algún dato de entregas, tu propia impresión de cómo va el grupo. Y vas a tener que decidir qué haces con todo eso.

Los dos errores son simétricos y los dos son frecuentes. Uno es reaccionar al ruido: cambiar el diseño porque tres personas se quejaron el día siguiente a un examen de otra asignatura. El otro es no reaccionar a la señal: registrar durante semanas que algo no funciona y no tocarlo, porque tocarlo daba pereza o porque parecía tarde.

Esta parte es un procedimiento para no caer en ninguno de los dos. No sustituye tu criterio: lo ordena.

Tres pruebas

Una observación que pasa las tres es una señal; una que pasa dos merece más observación; una que pasa una es ruido.

Antes de sentarte a hacer la lectura de mitad de cuatrimestre, con todo lo que hayas recogido delante. Cuarenta minutos bastan, y hacerlo en una sola sentada es mejor que repartirlo: lo que se busca son coincidencias entre fuentes, y para verlas hay que tenerlas juntas.

Estas lecturas no son leyes: son las explicaciones que más a menudo resultan ser la correcta, y que casi nunca son la primera que a uno se le ocurre. Sirven para no saltar a la conclusión evidente antes de haber comprobado la probable.

A mitad de cuatrimestre no se puede cambiar todo, y el criterio no es la gravedad de lo detectado: es si el cambio rompe o no el acuerdo implícito con el grupo. Los estudiantes organizaron su cuatrimestre con las reglas que les diste el primer día.

Se puede tocar ahora

Todo lo que depende solo de ti y no altera lo que los estudiantes ya han planificado:

• Las instrucciones y los enunciados: reescribirlos, añadir un ejemplo, aclarar el formato de entrega.
• El andamiaje: dar una plantilla, un caso resuelto, una lista de comprobación que antes no existía.
• El ritmo dentro de la clase: cuánto hablas seguido, cuánto esperas, cuándo devuelves la palabra.
• La retroalimentación: darla antes, darla más específica, darla en grupo en vez de individual.
• Fusionar o aligerar entregas, si el resultado es menos trabajo y no más.

Se anota para la próxima edición

Todo lo que cambia las reglas del juego a mitad de partida:

• Los pesos de la evaluación. Cambiarlos a mitad de cuatrimestre es lo que más deteriora la confianza del grupo, incluso cuando el cambio les favorece.
• La secuencia de contenidos, si ya has anunciado un calendario.
• Añadir entregas o pruebas que no estaban previstas.
• Cambiar el tipo de examen final.

Anotar no es renunciar. Una decisión bien registrada a mitad de cuatrimestre, con la evidencia que la motivó al lado, vale más para el curso siguiente que un cambio precipitado que además contamina lo que estabas midiendo.

Y una tercera opción que se usa poco

Seguir observando. Si la señal es débil pero podría ser importante, lo correcto no es actuar ni descartar: es mirar específicamente eso durante dos semanas con una pregunta dirigida. Es lo que convierte una intuición de mitad de cuatrimestre en una afirmación con fundamento al cerrar el curso.

Tres líneas por señal, y no más. Es exactamente lo que pide el apartado «Lectura de mitad de cuatrimestre» del Cuaderno de pilotaje, y lo que después se convierte en informe sin reescribirlo.

Errores de lectura que conviene conocer

Los cinco que más aparecen, en orden de frecuencia:

• Ver lo que se buscaba. Si tu hipótesis era que la nueva actividad funcionaría, encontrarás pruebas de que funciona. El antídoto es preguntarse explícitamente qué tendría que haber visto para concluir lo contrario.
• Atribuir al grupo lo que es del diseño. «Este año son más flojos» es la explicación más disponible y casi nunca la que resiste una comprobación.
• Sobrerreaccionar a la voz más fuerte. Quien más protesta no representa al grupo, ni para bien ni para mal.
• Esperar a tener datos suficientes. Nunca hay datos suficientes en el pilotaje de una asignatura. Se decide con lo que hay y se deja escrito qué grado de confianza tiene cada conclusión.
• Confundir «no ha funcionado» con «no ha funcionado a la primera». Una actividad nueva rara vez sale bien la primera vez que se pone en práctica, y eso no dice casi nada sobre la actividad.