AMERiCA LEARNiNG MEDiA

¿Qué datos pueden ser analizados en un proceso de aprendizaje, y cómo aprovecharse esa información para aumentar el conocimiento de los estudiantes y lograr la mejora continua de las experiencias de aprendizaje? ¿Cómo calcular el ROI de los proyectos de e-learning? Para obtener respuestas a estas preguntas, entrevistamos a los especialistas Wendy Kirkpatrick y Patti Phillips, speakers de ATD 2015, y al experto Jim Kirkpatrick.

Patti Phillips es presidente y CEO del ROI Institute, Inc., y ayuda a las organizaciones a implementar la metodología ROI en más de 60 países, desempeñándose como Principal Research Fellow de The Conference Board y miembro del board del Center for Talent Reporting. Patti también colabora con la facultad de la UN System Staff College en Turín (Italia), y con la University of Southern Mississippi, en el programa de Desarrollo de Capital Humano. Su trabajo fue presentado en CNBC, Euronews y más de una docena de revistas de negocios.

Jim Kirkpatrick es un referente en evaluaci{on de procesos de capacitación, creador del New World Kirkpatrick Model y consultor Senior de Kirkpatrick Partners, una empresa fundada por su esposa, Wendy Kirkpatrick, quien se desempeña como presidente de dicha compañía y es una fuerte impulsora a nivel global, del uso y aplicación del Modelo de Kirkpatrick, que permite a las organizaciones lograr éxitos mensurables a través de la formación y la evaluación. Ambos han escrito tres libros, incluyendo ‘Training on Trial’, y también trabajaron como expertos en la materia para la United States Office of Personnel Management’s Training Evaluation Field Guide: demostrando el valor de la formación en todos los niveles.

¿Cómo se pueden lograr mediciones eficaces en los procesos de aprendizaje?

Jim y Wendy Kirkpatrick, Kirkpatrick Partners: Los profesionales del ámbito de la formación a menudo siguen la tradición en la medición de sus procesos de aprendizaje, utilizando métodos y herramientas que ya están establecidos, sin considerar lo que podría ser eficaz. Utilice la utilidad y credibilidad como guía en la determinación de qué evaluar, y en qué grado o hasta que punto.

La información útil es la que se reune para asistir a la función de aprendizaje en la averiguación sobre si los programas de formación imparten a los participantes el nivel deseado de conocimientos y habilidades, y si éstos son convenientemente atractivos. Otra información útil puede estar relacionada con la relevancia del material que se suministra a los participantes, y el grado en que ellos entienden la importancia de su aplicación en el trabajo. Estos datos se refieren principalmente a los niveles 1 y 2 del Modelo Kirkpatrick.

La información para validar la credibilidad de la función de aprendizaje y los programas de aprendizaje (a sí mismos), es la que es presentada por las partes interesadas, como los ejecutivos y gerentes de quienes participan en los procesos de formación. Las partes interesadas están probablemente más interesadas en los resultados exitosos que se producen después de la capacitación que en el programa de capacitación en sí. Las mediciones que les interesan, por lo general incluyen la mejora del rendimiento (3° Nivel Kirkpatrick) y los consecuentes resultados de negocio (4° Nivel Kirkpatrick), como la reducción de errores, el aumento de la producción, mayores ventas o mejor rentabilidad.

Patti Phillips, Ph.D., presidente & CEO, ROI Institute, Inc.: Las medidas eficaces para el aprendizaje empiezan con un marco que sigue una secuencia lógica. Las que están dentro de este marco son medidas importantes para todos los interesados. El marco de evaluación de cinco niveles que se muestra a continuación, garantiza el resultado de la evaluación de los programas de aprendizaje en outputs importantes para todos los que toman decisiones.

© Copyright ROI Institute, Inc. Phillips five-level framework is the copyright of ROI Institute, Inc. - Used with permission.

El marco también sirve de base para la alineación del programa con las necesidades del negocio. Esto comienza con la clarificación de las necesidades de los interesados al más alto nivel. En el mundo ideal, antes de que un programa de aprendizaje se establezca, la función de aprendizaje y desarrollo identifica oportunidades para la organización que le permitan ganar o ahorrar dinero, evitar un costo o hacer algún bien mayor, en un esfuerzo para lograr la misión y la estrategia de la organización.

Cuando el objetivo final está claro, se identifican las necesidades específicas del negocio, que se alinean con las oportunidades de un mayor nivel. Las necesidades de negocio constituyen medidas específicas de output, calidad, costo, tiempo, satisfacción del cliente, satisfacción laboral, hábitos de trabajo e innovación. Por ejemplo, una medida de output puede ser un aumento en las ventas a nuevos clientes. Una medida de la calidad puede ser una reducción de la cantidad de trabajo que debe volver a realizarse o una reducción de los reclamos de garantía. Una vez que están identificadas las medidas comerciales, el siguiente paso es identificar las necesidades de rendimiento, que son las acciones o comportamientos que precisan cambiarse con el fin de mejorar las mediciones comerciales.

En este punto se deben discutir soluciones potenciales, e identificar los conocimientos, habilidades o información, que permitan un cambio exitoso en las conductas y acciones dadas en las diversas soluciones. A partir de ahí, identificar la mejor manera de distribuir el conocimiento, las habilidades o la información. Este proceso de alineación garantiza que la función de aprendizaje y desarrollo implemente programas dirigidos a medidas específicas que sean importantes para la organización. Los objetivos del programa son una respuesta a las necesidades del proceso de evaluación. Los objetivos son la base para el diseño y ejecución de los programas; también son la base para su evaluación. La siguiente imagen muestra la alineación entre necesidades, objetivos y evaluación.

© Copyright ROI Institute, Inc.  The business alignment model is copyright of ROI Institute, Inc. - Used with permission.

La alineación entre necesidades, objetivos y evaluación, junto con un proceso sistemático y un conjunto de estándares, garantiza nla consistencia en la implementación de la evaluación y la fiabilidad de los resultados. Juntos, los elementos sirven de base para la aplicación de medidas eficaces de aprendizaje.

¿Qué datos pueden ser analizados en un proceso de aprendizaje, y cómo se puede aprovechar esa información para aumentar el conocimiento de los estudiantes y lograr la mejora continua de las experiencias de aprendizaje?

Jim y Wendy Kirkpatrick, Kirkpatrick Partners: The New World Kirkpatrick Model (imagen 2) es una buena guía para determinar qué datos se deben recopilar y analizar durante todo el proceso de aprendizaje y desempeño. Aunque la pregunta indague sólo sobre el aprendizaje, es importante tener en cuenta que formación y conocimiento, en sí mismos, tienen poco o ningún valor para el negocio, a menos que lo que se aprenda sea aplicado en el trabajo, y que esta aplicación contribuya positivamente a los resultados clave de la organización.

Construir elementos de evaluación formativa en los planes de diseño instruccional, implica el seguimiento y la evaluación de los componentes del Nivel 1 (Reaction/ Reacción) y el Nivel 2 (Learning/ Aprendizaje) durante la ejecución del programa de capacitación, cuando todavía se pueden hacer ajustes y maximizar los resultados.

La evaluación formativa puede ser tan simple como pedir a la clase: ‘¿Cómo pueden utilizar esta información en su trabajo?’. Otras técnicas invitan a que los participantes escriban en una tarjeta o en una nota adhesiva cualquier inquietud que tengan acerca de la aplicación de lo que han aprendido, o desarrollar grupos de discusión para analizar cómo se va a aplicar lo aprendido. Cualquier actividad o interacción durante un programa de capacitación puede proporcionar datos al instructor para reaccionar durante el transcurso programa, o para la presentación de informes. Los datos que se recogerán, dependerán de lo que es útil para el departamento de formación, y lo que se necesita para establecer credibilidad po parte de las partes interesadas.

Después del entrenamiento, los métodos de evaluación acumulativa, como las encuestas y entrevistas, pueden incluir preguntas como: ‘¿Qué tan bien la formación brindada lo prepara para llevar a cabo nuevas habilidades en el trabajo?’ y ‘¿Hasta qué punto tiene usted claro que es lo que se espera de usted, cuando vuelva al trabajo?’. Estos datos pueden ser utilizados para asegurar que la futura formación se centre en lo que los participantes deben saber y practicar para lograr un buen desempeño laboral.

Patti Phillips, Ph.D., presidente & CEO, ROI Institute, Inc.: Hay una variedad de tipos de datos que pueden ser analizados en un proceso de aprendizaje. Con demasiada frecuencia, sin embargo, la atención se centra en la actividad de aprendizaje en lugar de los resultados obtenidos a través del aprendizaje. El concepto de niveles de evaluación ha existido durante décadas. En la década de 1950, Don Kirkpatrick, a través de su tesis doctoral, desarrolló un concepto que llamó los cuatro pasos de la evaluación de la formación. Ningún trabajo significativo hacia la implementación se llevó a cabo hasta principios de 1970, cuando Jack Phillips estaba trabajando en la industria aeroespacial y se le pidió demostrar el retorno de la inversión (ROI) en un programa cooperativo de educación. Debido a que había poca información disponible en ese momento para apoyar sus esfuerzos, él construyó sobre los cuatro pasos, para ofrecer una nueva teoría de análisis costo-beneficio, a fin de poder generar el output económico requerido por sus ejecutivos. Jack identificó un grupo de medidas críticas a lo largo de cinco niveles y, para garantizar la fiabilidad de sus resultados, desarrolló un modelo y un conjunto de estándares.

En 1983, Jack puso el concepto de estos cinco niveles de evaluación y su proceso en el mapa, a través de su manual Handbook of Training Evaluation and Measurement Methods (1983, Gulf Publishing). Entre los trabajos iniciales de Don Kirkpatrick y su publicación ‘Four Levels of Training Evaluation’ (1994, Berrett-Koehler), los cuatro niveles de Kirkpatrick (anteriormente, los cuatro pasos) y el marco de cinco niveles de Phillips, el modelo de proceso y los estándares se convirtieron en un pilar para la forma en que se evalúan programas y se categorizan resultados. Ante esto, los cinco tipos de datos que se pueden analizar para determinar la eficacia de un proceso de aprendizaje incluyen:

• Nivel 1: Reacción y Planificación de la Acción. Los datos en este nivel ofrecen a los profesionales del aprendizaje el primer indicador de éxito potencial de un programa. Los participantes deben estar dispuestos a aplicar lo que aprenden y es, a través de la entrega y diseño de un programa, que los profesionales del aprendizaje pueden influenciar al participante para que acepte o se comprometa con ese programa. Las mediciones críticas obtenidas en este nivel son medidas de relevancia, importancia, de intención de uso, cantidad de nueva información, y recomendación a los demás participantes. El éxito con estas medidas está influenciado por la percepción de los participantes del material didáctico y la facilitación.
• Nivel 2: Aprender. Los datos de aprendizaje son importantes porque en cada tipo de programa se produce cierto aprendizaje. Ya sea que se trate de formación en ventas, entrenamiento de habilidades de trabajo o desarrollo de liderazgo; nuevos conocimientos, habilidades e información se obtienen a través del proceso de aprendizaje. Si bien los participantes pueden indicar la voluntad de aplicar lo que aprenden en un programa, si no tienen el conocimiento, la habilidad y la información, serán incapaces de hacerlo. Por lo que capturamos datos de aprendizaje, en un esfuerzo por entender hasta que punto las personas están listas para aplicar lo que han aprendido en un programa. Estos dos niveles de evaluación, niveles 1 y 2, nos dicen la medida en que la gente está dispuesta y es capaz de aplicar los conocimientos, habilidades e información que adquirieron a través de los programas en los que han participado.
• Nivel 3: Aplicación. Los datos del Nivel 3 incluyen no sólo el cambio de comportamiento, sino también las acciones y el rendimiento del sistema. Los datos de aplicación incluyen medidas tales como: frecuencia de uso, eficacia con el uso, porcentaje de contenido aplicado y cambios específicos de comportamiento. Además de recoger los datos en torno a la aplicación real de conocimientos y habilidades, capturamos los datos que describen las barreras y facilitadores para la aplicación. Estos datos nos informan en que medida la organización -como sistema- está apoyando la transferencia del aprendizaje y nos permiten influir en otros (en el sistema), que pueden ser inhibidores de la transferencia del aprendizaje.
• Nivel 4: Impacto en el Negocio. Los datos de este nivel responden una pregunta fundamental: "¿entonces qué?". Mientras que en el nivel 3 el foco está en el cambio de comportamiento y la aplicación del conocimiento, los datos de nivel 4 nos ayudan a entender que mejoras en las medidas comerciales se producen como resultado de ese cambio en el comportamiento. Como me gusta decir en mis talleres: "No invertimos cientos de miles de dólares sólo para cambiar el comportamiento y que todas las personas actuen de la misma manera. Lo hacemos porque hay una razón de negocios para hacerlo”. Esas razones comerciales se clasifican como datos duros o datos blandos. Los datos duros son producción, calidad, costo y tiempo. Los datos blandos se clasifican como: satisfacción del cliente, satisfacción laboral, hábitos de trabajo e innovación. Dentro de cada categoría hay medidas específicas que tomamos en función de las necesidades de la organización. Adicionalmente recogemos datos acerca del cambio o mejora de la medición del negocio. En el nivel 4, también respondemos a una pregunta crítica: "¿Cómo sabes que el programa causó los resultados?". Este es uno de los elementos del proceso de evaluación que Phillips introdujo en la década de 1970, ya que faltaba en el concepto desarrollado por Don Kirkpatrick. Los profesionales del aprendizaje y desarrollo deben ser capaces de responder a esta pregunta si sus esfuerzos han de ser vistos como contribuyentes directos al movimiento de avance de su organización.
• Nivel 5: ROI. El retorno de la inversión, va más allá de los datos de impacto. En el nivel 4, la mejora de las medidas comerciales se considera como medidas intangibles (aquellas no convertibles a dinero). Las medidas tangibles son las que se convierten en dinero. Para el cálculo de retorno de la inversión, hay que convertir las medidas empresariales mejoradas por el programa en valor monetario. Adicionalmente, en el Nivel 5, estamos trayendo un nuevo conjunto de datos: los costos del programa, que incluyen los denominados ‘fully-loaded costs’. Erróneamente, mucha gente asume que el costo de un programa de aprendizaje se basa en el presupuesto. Esa suposición, sin embargo, nos da una falsa sensación de seguridad, ya que en algunos casos las distintas partidas de costos de un programa se presupuestan fuera de la función de aprendizaje; por ejemplo, los costos de mano de obra. Recuerdo trabajar con un cliente al que le pregunté por los costos del programa. Al verlos, quedé muy sorprendida al ver cómo se bajó el coste del programa. Cuando le pregunté al cliente sobre el coste laboral, me dijo que no lo contaban como coste debido a que no estaba en su presupuesto. El concepto erróneo de que el presupuesto representa la inversión es desafortunado. Cuando los stakeholders tomen una decisión para cortar un programa, ellos estarán considerando los costos adicionales asociados con los programas. En el nivel 5, plasmamos los costes totales de un programa, independientemente de que estén contemplados en el proceso de presupuestación.

Estos diferentes tipos de datos nos dan una variedad de maneras en las que podemos medir el éxito de nuestros programas. Ellos representan todos los datos que los interesados necesitarán con el fin de tomar decisiones sobre sus programas. Si un stakeholder está interesado en el cambio de comportamiento, los datos están disponibles. Si está interesado en la adquisición de conocimientos, los datos están disponibles. Y si se está interesado en la contribución económica que un programa aporta a la organización, también se dispone de los datos necesarios. Lo importante a tener en cuenta es que, si bien podemos responder a preguntas críticas en cada nivel individual, cuando tenemos un informe de datos totales (es decir, de todos los niveles en orden lógico), la historia se vuelve convincente.

¿Qué recomiendaciones sugiere para calcular el ROI de proyectos de e-learning?

Jim y Wendy Kirkpatrick, Kirkpatrick Partners: Usted puede seguir los mismos principios para mostrar el valor de cualquier iniciativa, sin importar el medio. Sin embargo, la metodología Kirkpatrick desalienta el cálculo de la rentabilidad de la inversión tradicional. El ROI es estrictamente un enfoque financiero que intenta aislar el impacto del programa de capacitación en sí, el cual, como se señaló anteriormente, produce poco o ningún valor organizacional en sí mismo. Esto lo hace a expensas de todos los demás factores, como el coaching, el aprendizaje en el puesto de trabajo y la motivación de los empleados, que va a maximizar el rendimiento e impacto. Al hacerlo, separa al departamento de formación del negocio al que sirve, lo que es contrario al enfoque de colaboración necesario para la formación y el negocio con el objetivo de alcanzar metas colectivas. Por último, el número de retorno de la inversión, expresada de forma rígida en dólares, por lo general no es relevante o familiar para la mayoría de los ejecutivos fuera del ámbito financiero, y a menudo es mal entendido o descreido, separando aún más la formación del negocio.

Una mejor manera de evaluar el valor de un programa es el uso de un enfoque de colaboración empresarial. Al comienzo de una iniciativa importante: discutir qué objetivos de negocio están en el foco de mejora (Nivel 4 - Resultados), qué áreas de desempeño se requieren para mejorar en el trabajo para alcanzarlos (Nivel 3 - Comportamiento), y qué tipo de formación, en su caso, incrementará ese desempeño (Nivel 2 - Aprendizaje). Cabe destacar que la mayoría de las veces, la formación no es la intervención primaria que aumentará el rendimiento. En ese caso, los profesionales de la formación pueden aplicar su experiencia para colaborar con el negocio para diseñar programas de apoyo en el lugar de trabajo, como los sistemas de mentoring, coaching y responsabilidad.

Una vez establecidos los objetivos del programa, debe definirse un plan orientado a lo que es necesario que se produzca, y los roles y responsabilidades de todas las partes. Al mismo tiempo que el programa de capacitación y otras actividades colaterales, se pueden configurar las métricas acordadas y diseñar métodos para reunir los datos necesarios. Recuerde que en vez de intentar medir de manera rápida y fácil, "¿Cómo funcionó la capacitación?", el enfoque de Kirkpatrick es preguntar y responder primero: "¿Está funcionando?". Para hacer esto, los controles regulares deben definirse de manera que los resultados preliminares del programa puedan ser revisados y, de ser necesario, ajustar el plan para asegurar que el programa produzca el resultado deseado. Con un plan establecido al comienzo, implementar un programa que produzca los resultados deseados es sencillo y crea un ambiente positivo de equipo. Así, en lugar de limitarse a medir lo sucedido después de que el programa se haya completado, usted conducirá el desempeño y los resultados, maximizando los resultados que fueron diseñados para producirse, en primer lugar. Los resultados o conclusiones se deben presentar en las formas en que las partes interesadas lo solicitaron, ppara que haya pocas posibilidades de malentendidos o insatisfacción. En concreto, estas conclusiones se componen de datos cuantitativos y cualitativos que cuentan una historia de valor y la contribución relativa de los factores de éxito más importantes, en lugar de sólo uno. Es así como la formación puede demostrar su valor incuestionable para el negocio y proveer una fórmula que pueda ser replicada para futuros programas de misión crítica.

Patti Phillips, Ph.D., presidente & CEO, ROI Institute, Inc.: El cálculo del ROI del e-Learning requiere los mismos pasos que el cálculo del retorno de la inversión de cualquier tipo de programa, proyecto o iniciativa de aprendizaje. Los cinco niveles de evaluación son tan relevantes para el e-learning como para cualquier otro tipo de iniciativa. Con demasiada frecuencia, las personas asumen que el ROI de un programa de e-learning se desarrolla de manera diferente que los eventos de aprendizaje presenciales. Pero eso no es cierto. La diferencia entre la formación presencial y el e-learning es el modo de distribución.

Por ejemplo, si usted tiene un curso de gestión de proyectos que va a ofrecer presencialmente, probablemente usted tenga objetivos de negocio que giren en torno a un ahorro de tiempo y costes. Si usted ofrece el mismo programa a través de e-learning, los objetivos ahorros de tiempo y costes son los mismos. La diferencia está en el costo de la entrega.

En los primeros días del e-learning, cuando las organizaciones estaban adoptándolo estrictamente por razones de ahorro de costes, encontramos que al comparar la modalidad presencial frente al e-learning, en el mismo programa, el ROI de la formación presencial era generalmente más alto que el del e-learning, a pesar de que tendía a ser más cara. Esto se debía a que había una mejoría mayor en las mediciones de negocio a partir de los programas presenciales que con el e-learning.

El ROI se basa en dos cuestiones: costos y beneficios. Los beneficios residen en el numerador y los costos en el denominador. A mayores beneficios añadidos al numerador, mayor será el ROI. Y a menores costos sumados al numerador, mayor será el retorno de la inversión. La clave con el e-learning es asegurarse que no sólo se puede administrar el costo de la entrega, que es la "e" en el e-learning, sino que el programa genere los beneficios necesarios para superar el costo y lograr el retorno de la inversión esperado. Mientras que el e-learning puede ser la dirección hacia la que está yendo el proceso de aprendizaje, la cuestión del valor se le está pidiendo de forma rutinaria. Muchas de las organizaciones que se suscriben a contenidos de e-learning, como bibliotecas de contenido, están empezando a hacer las siguientes preguntas: "¿por qué?" y "¿estamos realmente consiguiendo valor al ofrecer contenidos de e-learning o necesitamos pensar a través de un enfoque diferente?". Al acercarse a la medición y evaluación del e-learning, al igual que otros tipos de inversiones de aprendizaje, los profesionales del sector pueden asegurarse que tienen el programa más poderoso utilizando la plataforma más eficiente y atractiva, y generar el mayor retorno de la inversión.