AMERiCA LEARNiNG MEDiA

El análisis del desempeño de tutores online es una de las instancias clave de un proceso de formación virtual. Sin embargo, los análisis en medios especializados suelen concentrarse principalmente en los procesos de evaluación de los alumnos. Con el objetivo de comprender las modalidades o métodos que se están implementando en diferentes instituciones, empresas y organizaciones, e identificar recomendaciones para desarrollar procesos efectivos de tutoría virtual, consultamos a 8 expertos iberoamericanos.

(@americalearning) Expertos del Instituto de Educación Superior Max Weber, la Coordinación de Universidad Abierta y Educación a Distancia de la Universidad Nacional Autónoma de México - UNAM, la Facultad de Educación de la Universidad Peruana Cayetano Heredia – UPCH, la Universidad Galileo, las empresas CUOBIS, Eureca Media - Grupo UOC y Tecnologías del Conocimiento – TDCLA, y el consultor independiente Pedro Garrido, comparten sus puntos de vista y sugerencias sobre un tema crítico, a partir de sus experiencias en México, Guatemala, Argentina, Perú, Chile y España.

Modalidades o métodos de evaluación a tutores virtuales

José Luis Lens Fernández, rector del Instituto de Educación Superior Max Weber: Desde que comencé a trabajar en el campo de la educación a través de medios virtuales, hace ya bastante tiempo, siempre tuve claro que los métodos de evaluación de los tutores virtuales no pueden dejar de basarse en el análisis de sus desempeños, a partir de criterios bien determinados y vinculados estrechamente a los diferentes tipos de tutorías, roles y tareas especificadas para ellos.

Es evidente que, dada la facilidad para observar los desempeños que nos brindan los foros, no es concebible una evaluación que no se base en dicho análisis.

El procedimiento general es el siguiente:

1) Elaboramos criterios e indicadores de acuerdo al tipo de tutoría de que se trate (nuestras tutorías son proactivas) y tomando en cuenta los roles especificados para el tutor,

2) Sobre la base de la observación del trabajo de los tutores en los foros, realizamos el análisis de sus desempeños aplicando los indicadores,

3) Elaboramos un informe de devolución para los distintos interesados

4) Aplicamos los resultados de la evaluación, en la forma de recomendaciones e instancias de formación, a la mejora continua de los desempeños de los tutores.

Maricela Ballatore, consultora en Procesos Formativos – CUOBIS: Como integrante del equipo de diseño pedagógico de una red universitaria y en el marco del modelo pedagógico de uno de sus proyectos educativos virtuales, definimos la utilización de rúbricas como herramienta de medición del desempeño de los tutores.

El proceso ejecutado implicó las siguientes etapas:

• definición y descripción del perfil de tutor como parte del modelo pedagógico
• elaboración del instrumento considerado competencias pedagógicas, didácticas, metacognitivas, comunicativas, tecnológicas, éticas y sociales
• formación e información de los tutores, en relación a los criterios de evaluación de su desempeño
• ejecución del plan de enseñanza: tutorización de las materias durante x cantidad de semanas
• aplicación de la rúbrica, mediante auditoría externa en las aulas virtuales, al finalizar la tutorización de las materias seleccionadas
• entrevista en profundidad con el tutor
• retroalimentación al tutor e institución
• en base a los resultados, de ser necesario, se sugirió propuesta de acciones de mejora o de capacitación/formación.

El proceso de evaluación contempló técnicas cuantitativas como, por ejemplo, análisis de:

• reporte de hs de conexión al ambiente virtual, es decir, tiempo online dentro de la plataforma.
• tiempo de respuesta a las consultas de los alumnos, dependiendo de las definiciones del modelo pedagógico (24-36 o 48hs)
• reporte de participación (alumno y tutor) en las distintas secciones del aula virtual.

Como cualitativas, analizando la calidad y nivel de:

• comunicaciones
• retroalimentación positiva
• aprovechamiento de las herramientas tecnológicas
• otros

Paulina Pino Fuentes, Psicóloga Organizacional y Directora de Proyectos de TDCLA. S.A. Chile: Cuando inicia un proceso de formación los tutores que acompañarán a los alumnos (clientes)  determinan un aspecto importante del éxito del proyecto, por lo tanto deben ser seleccionados estratégicamente, teniendo en cuenta variables como por ejemplo la cercanía con el contenido del curso a impartir hasta habilidades de comunicación que maneja.

Para incorporar a un tutor se realizan variadas instancias, todas son importantes pues nos entregan distintos tipos de información que al reunirlas nos dan el perfil de quien es entrevistado.

Para iniciar, la entrevista es fundamental para conocer más directamente a la persona que tienes en frente, una entrevista bien guiada puede darnos mucha información relevante para identificar si el entrevistado se acomoda o no al perfil buscado.

Para continuar, una evaluación de redacción y ortografía es precisa para garantizar el tipo de respuesta que sale a cliente, es un punto esencial pues determina la calidad, eficacia y efectividad con la cual se entrega información y solución a un cliente, en cuanto a medio escrito.

También contamos con un assesment, que nos permite identificar posibles comportamientos frente a situaciones reales que son recreadas, permitiendo identificar el potencial del entrevistado, pues nos brinda información sobre las aptitudes  y habilidades específicas requeridas para el puesto, contemplando una interacción cara a cara, en tiempo real, donde la respuesta debe, e poco tiempo, estar muy bien elaborada.

Toni Ramos, director de negocio Oberta Publishing: Por lo general, las empresas se conforman con conocer el índice de satisfacción de los alumnos, utilizando  encuestas al finalizar el curso. Suelen valorar la experiencia del tutor, sus conocimientos, los tiempos de respuesta y la metodología utilizada. Hasta aquí no hay demasiada diferencia con la formación tradicional.

Otra cosa es que, a través de una plataforma o LMS se dispone de muchos datos de control que permiten guiar y revisar la actividad docente. No olvidemos que un tutor on line tiene dos objetivos, por un lado facilitar la adquisición de competencias y, por otro, dinamizar el grupo con el propósito de despertar y mantener el interés de los alumnos (engage).

Por ello es muy importante planificar la actividad, indicar el tiempo máximo de respuesta a las consultas de los alumnos, determinar cuándo iniciamos un debate en el foro, identificar claramente la dinámica de los debates, indicar espacio de tiempo entre la entrega de una actividad y la evaluación de la misma, etc.

Así, tenemos una doble valoración del tutor, la que se extrae de las valoraciones de alumnos y la del control de gestión a través de un cuadro de mando. Como en la formación on line nos preocupa especialmente la tasa de abandono, incluso he llegado a asociar una parte de la remuneración al número de alumnos que finalizaron el curso; esa es la mejor indicador de éxito y es un medio totalmente objetivo.

Rosario Freixas, directora de Desarrollo Educativo - Coordinación de Universidad Abierta y Educación a Distancia - Universidad Nacional Autónoma de México (UNAM): La evaluación de los tutores o asesores es parte de una evaluación general de cada uno de los cursos que se ofrecen, donde además, se indaga sobre otros aspectos, como los contenidos, la plataforma, la evaluación y las actividades. Cada una de estas categorías aporta elementos para la mejora de los cursos y la evaluación de estas figuras docentes constituye un aspecto que tiene estrecha relación con los demás, es decir, que no se da de manera aislada al contexto en el que se desarrolla el curso.

Hemos trabajado en dos sentidos: Por un lado, durante el desarrollo de cada curso se lleva a cabo un seguimiento a cargo de quien realiza la función de la coordinación académica, que si bien no es una evaluación en sí misma, aporta elementos interesantes sobre la forma en la que los asesores establecen comunicación con los participantes, evalúan y retroalimentan a sus estudiantes; incluso es posible conocer frecuencia de sus ingresos a la plataforma.

Por el otro, se trabaja a partir de encuestas de evaluación que se aplican a los alumnos de los cursos que se ofrecen a distancia. A través de éstas es posible valorar sus percepciones en cuanto a la relación que han establecido con su asesor, además de que consignan varios aspectos, entre ellos, la participación, el trabajo en grupo, el dominio de los contenidos, la retroalimentación a las actividades desarrolladas y la promoción de un ambiente adecuado y favorable para el aprendizaje. Las encuestas se estructuran a partir de reactivos con una escala de Likert y un par de preguntas abiertas que indagan sobre las fortalezas y debilidades del tutor.

Hemos procurado que esta parte de la evaluación se lleve a cabo desde afuera, por otros actores no implicados en el proceso que pueden llevar a cabo el análisis de la información de una manera objetiva.

Finalmente, se lleva a cabo un cruzamiento y se entregan los resultados a los asesores de manera individual, con quienes se discuten los elementos para la mejora de su práctica.

Miguel Morales, director del Área de e-Learning de la Universidad Galileo: No tengo un método específico; normalmente para diseñar las actividades de aprendizaje y realizar el plan de trabajo del tutor virtual, me baso en el modelo de la Dra. Gilly Salmón, un modelo constructivista de 5 etapas (acceso y motivación; socialización; intercambio de información; construcción del conocimiento y desarrollo) que promueve la colaboración e interacción entre los participantes, captando su interés y llevándolos al logro de metas relevantes. No podemos pretender que un participante de un curso virtual, comparta o construya conocimiento, si no puede o sabe como ingresar al foro para participar. Tomando en cuenta que las actividades que desarrollamos en los cursos, son creadas bajo este modelo; lo que utilizo para evaluar el rendimiento del tutor, es una rúbrica de evaluación, considerando los siguientes parámetros:

1. Rol Pedagógico

• Diseña y formula actividades para facilitar la comprensión de la información y su transferencia
• Evalúa el proceso y otorga calificaciones por resultados de aprendizaje
• Fomenta la autonomía en la construcción de conocimientos, etc.

2. Rol Social

• Demuestra Capacidad para crear y mantener un ambiente de trabajo al interior de una comunidad de aprendizaje
• Propicia la interacción y el aprendizaje colaborativo entre los participantes
• Detecta estados de soledad y/o aislamiento, etc.

3. Rol Técnico

• Demuestra dominio de los recursos tecnológicos que le permiten desempeñarse con eficacia como tutor virtual
• Muestra pertinencia en los recursos tecnológicos que emplea para la construcción del conocimiento, etc.

4. Rol de Gestión

• Asesora y orienta oportunamente al estudiante sobre las dudas e inconvenientes que éste pueda presentar
• Mantiene el interés y la motivación durante la construcción de conocimientos, etc.

La importancia del rol de un tutor virtual supone una redefinición de su labor ya que resulta crucial para el éxito de los programas virtuales de aprendizaje, donde el modelo está centrado en el estudiante. De manera que más allá de dinamizar al grupo, asumir funciones de organización, motivación y un ambiente agradable que aseguren que el participante tendrá una experiencia significativa de aprendizaje y construcción colectiva del conocimiento, el éxito se concentra en la creación de comunidad y sentido de pertenencia.

Gisselle Antuanet Castro Velasquez, jefa de la Unidad de Educación Virtual de la Facultad de Educación de la Universidad Peruana Cayetano Heredia  (UPCH): Considero que antes que implementar una evaluación es importante haber capacitado a mis tutores. Porque no todos tienen una misma información o incluso no todos tienen claras sus funciones y tareas. Incluso les entrego una guía para tutores donde se les explica sus tareas antes durante y al finalizar el programa/módulo/taller.

Según lo aprendí en un material de Virtual Educa, la evaluación a un tutor debe hacerse en dos áreas, pedagógica y gestión de calidad:

• En la pedagógica coordino que se cumplan los objetivos, los contenidos, que estén todos lo materiales disponible. Esta función pedagógica la valoro utilizando una lista de cotejo donde cada indicador detalla las tareas pedagógicas y se marca si cumplió o no. En paralelo tenemos un foro de tutores donde los tutores exponen ideas de cómo han ido realizando las cosas, algunos tips para que sea más fácil determinada tarea, o también plantean dificultades donde buscamos soluciones en conjunto. Esto ayuda para adelantarnos a quienes todavía no han tenido la dificultad o se les había ocurrido hacerlo más fácil de determinada forma.
• La función de gestión de la calidad, está referida a los informes sobre su acción docente: cumplimiento de actividades de los estudiantes, ingreso a la plataforma, etc. Aquí lo que me corresponde es retroalimentar la labor tutorial, ir planteando oportunidades de mejora.  El seguimiento de esta función lo hago por correo y manejo un archivo en Excel sobre quienes van presentado su informe y quienes faltan. A quienes ya retroalimente y a quién no.

Ambos archivos, es decir tanto la lista de cotejo para la función pedagógica como el archivo Excel de cumplimiento de informes de gestión de la calidad los manejo en Google Drive y muchas veces los comparto con el equipo de tutores para que vean como están avanzando los grupos.

Pedro Garrido, e-Learning Specialist: En los cursos que imparto se incluye un cuestionario de calidad para valorar diferentes aspectos de la acción formativa, entre ellos a los tutores mediante dos preguntas:

- ¿La forma de impartir o tutorizar el curso ha facilitado el aprendizaje?
- ¿Conocen los temas impartidos en profundidad?

Recomendaciones para desarrollar procesos efectivos de evaluación de tutores virtuales

Maricela Ballatore, consultora en Procesos Formativos – CUOBIS: Algunos de errores más habituales que cometen las organizaciones en relación a la tutoría virtual es:

• creer que un buen docente presencial será necesariamente un buen tutor virtual. Error: saber enseñar en el aula presencial no es igual a saber enseñar en la virtualidad.
• que la única capacitación previa que requiere un tutor es tecnológica. Error: el tutor requiere capacitación pedagógica- didáctica y tecnológica.

Al igual que en toda situación de medición del desempeño, el primer paso es definir claramente e informar al tutor cuáles serán los criterios con lo que se evaluará su desempeño y los indicadores que formarán parte de esa medición. Del mismo modo, las organizaciones deben ofrecer a los tutores capacitaciones previas que le permitan desarrollar las habilidades necesarias para desempeñarse en el espacio virtual antes de asumir la responsabilidad.

Pedro Garrido, e-Learning Specialist: Es habitual que el alumno no sea objetivo con la labor del tutor y valore en este apartado otros aspectos como la calidad de los contenidos, el tiempo de respuesta del departamento de soporte, etc.

A la hora de elaborar un cuestionario de calidad habría que incluir los apartados que fueran necesarios para que el alumno valore únicamente el trabajo de los tutores. En ocasiones me he encontrado que se utilizaba el mismo cuestionario que para la formación presencial.

Otra recomendación sería no esperar al final para conocer la valoración del alumno sobre el tutor. Sería partidario de incluir valoraciones intermedias para que sea posible llevar a cabo acciones correctoras durante el curso. Dentro de estas acciones correctoras se incluye el cambio de formador.

También sería conveniente que en cada acción formativa existiera siempre la figura del Coordinador o Jefe de estudios para supervisar la acción del formador respecto al tiempo de respuesta a los alumnos (tanto a través de mensajería como en foros), recursos adicionales que proporciona, aclaraciones adicionales o ejercicios de refuerzo que propone sobre los contenidos más difíciles de entender, etc.

Paulina Pino Fuentes, Psicóloga Organizacional y Directora de Proyectos de TDCLA. S.A. Chile: Realizar evaluaciones más complejas y destinarles el tiempo correspondiente, logrando que abarquen distintos aspectos, pues nos permiten evidenciar las competencias del entrevistado y no quedarnos sólo con verificarlas por lo que pueda decir su experiencia en un curriculum o bien lo que nos dicen los títulos adquiridos.

Evidenciar, verificar y comprobar durante un proceso de selección nos permite incorporar a mejores colaboradores a nuestra Organización.

Toni Ramos, director de Operaciones Eureca Media - Grupo UOC: De la respuesta anterior, y aparte de las encuestas de satisfacción, podemos inferir las siguientes recomendaciones:

• Planificar la actividad: diseñar el programa formativo determinando los momentos de la verdad, qué acciones van a describir la relación entre los alumnos y el profesor. Además de dirigir dudas al tutor, hay que responderse preguntas como: ¿habrá debates moderados por el tutor? ¿será necesario entregar algún trabajo individual o en grupo?
• Concretar indicadores: a partir de la planificación del curso hay que saber qué indicadores utilizaremos para valorar el desarrollo; algunos ejemplos son el tiempo máximo de respuesta a las dudas de los alumnos, cuántos días pueden pasar entre la entrega de un ejercicio y su corrección, días sin conexión de los alumnos, participaciones foros,  etc.
• Control sistemático y periódico: un cuadro de mando integral que aglutine los indicadores anteriores servirá de “termómetro” de la evolución del curso. Cuando se detectan desviaciones sobre la previsión hay que actuar; la falta de proactividad del tutor puede provocar abandonos de alumnos. La mejor evaluación es la que permite corregir sobre la marcha.
• Asociar parte de la remuneración a los resultados: un incentivo siempre ayuda a enfocarnos a resultados. La mejor evaluación es la que confirma el éxito del programa.

Rosario Freixas, directora de Desarrollo Educativo - Coordinación de Universidad Abierta y Educación a Distancia - Universidad Nacional Autónoma de México (UNAM): La primera recomendación es que se lleve a cabo. Pareciera obvio pero no lo es. Habitualmente se desarrolla a partir de encuestas a los estudiantes que nos arrojan resultados cuantitativos y se queda en el plano de la medición. La forma óptima para mejorar es evaluando y evaluar implica la valoración de la práctica, es decir, no puede centrarse únicamente en escalas, que si bien son un insumo importante, deben acompañarse de interpretaciones y análisis de tipo cualitativo así como de juicios de valor. Esto adquiere particular importancia si se orientan a una autoevaluación que permita que el implicado, el asesor, tome conciencia y decisiones para su mejora.

Otra recomendación que yo haría es que la evaluación docente (de asesores, tutores o profesores) debe ser un proceso abierto. Esto quiere decir que debe llevarse a cabo desde el inicio del programa, con criterios claros y conocidos por todos los actores. De igual forma, es necesario que los resultados sean conocidos y discutidos con los implicados. Esta es una condicionante de otro principio básico en la evaluación de profesores: su orientación hacia la mejora de los procesos de manera sistemática y permanente.

Por otro lado, es recomendable que la evaluación tenga consecuencias. Si bien no necesariamente asociada a estímulos o acciones punitivas, sí debe reflejarse al menos, en el compromiso para realizar los ajustes necesarios a la práctica de la tutoría.

En cualquier caso, lo importante es la retroalimentación, de nada sirve la evaluación si no tiene un sentido de ida y vuelta, si no está orientada a la mejora de los procesos y de las prácticas que se llevan a cabo.

La ventajas que dan los ambientes educativos en línea, soportados por plataformas tecnológicas para la evaluación de la práctica de la tutoría son muchas: El trabajo que se genera se encuentra en una caja de cristal, donde a diferencia del aula presencial, los procesos, las interacciones y las informaciones quedan registradas y esto da cuenta del historial del curso y del trabajo que el asesor lleva a cabo. Adicionalmente, permiten la distribución y procesamiento automático de encuestas de fácil aplicación. Con esto, el ambiente de la educación en línea, permite llevar a cabo múltiples procesos que van mucho más allá de la enseñanza y el aprendizaje mismos, facilita la gestión y con ello, los procesos de evaluación de la tutoría.

Miguel Morales, director del Área de e-Learning de la Universidad Galileo: Es muy común ver que los tutores son evaluados únicamente por el aspecto cuantitativo; por cantidad de respuestas que brinda el tutor o por el tiempo que demora en responder una pregunta. Es importante que consideremos aspectos de socialización, generación de comunidad, forma de dirigirse al grupo y otros elementos que garanticen el éxito de una implementación y la reducción del porcentaje de deserción. Para mí, uno de los aspectos que son difíciles de replicar en la virtualidad, es la convivencia y comunicación que puede existir en un salón presencial.

Gisselle Antuanet Castro Velasquez, jefa de la Unidad de Educación Virtual de la Facultad de Educación de la Universidad Peruana Cayetano Heredia (UPCH):

• Es importante estar comunicados, pero estar comunicados todos, en ese sentido es importante manejar un directorio básico de nombres completos, departamento o grupo que esta tutoriando y correos electrónicos. Dicho documento se comparte o se reenvía a todo el grupo.
• Capacitar al equipo de tutores o reunirse para revisar las funciones es básico.
• Los objetivos de la tutoría deben estar claros y deben ser planteados desde el inicio. Es importante notar que estos objetivos deben ser simples y alcanzables.
• Usar alguna herramienta que permita hacer seguimiento masivo y de inmediato, por ejemplo crear la lista de cotejo en google drive compartirla con el tutor y explicarle que puede ver en cualquier momento como va su evaluación, incluso a partir de ella puede pedir o brindar  información al coordinador de tutores.
• Importante tener un espacio de intercambio de experiencias entre tutores, como un foro café, donde podamos intercambiar trucos o estrategias para agilizar procesos o para plantear algo que nos estaba planificado pero que es necesario.
• El seguimiento individual a los tutores debe ser continuo, porque si un grupo no camina bien,  puede traer problemas para todos.
• Finalmente, lo más importante, escuchar al tutor, que sienta y conozca un medio donde pueda plantear sus problemas y dificultades, pero que también exista el espacio donde nos cuente sus éxitos y logros para poder felicitarlo y motivarlo.

Febrero 2014