Metrics: Are people happy with what they do and how they do it?

¿Se hace evaluación de resultados en la implementación de programas de e-learning? Creo que es parte necesaria en el cierre de todo proyecto de esta índole, y no sé si siempre las organizaciones se ocupan de realizar esta medición de impacto y retorno de la inversión. Me pregunto si saben que tienen que hacerlo; si saben cómo hacerlo, o si son conscientes de la importancia de conocer de qué manera las personas están “aprendiendo” y aplicando los nuevos aprendizajes en la cadena de valor y en el desempeño.

1. ¿Para qué medir resultados?

No sólo para saber si la inversión hecha arroja beneficios financieros con respecto a la tradicionalmente realizada en formación presencial. Dependiendo de la naturaleza del proyecto, y si no se hace un estudio preliminar de los fallos de la formación tradicional, de las necesidades reales del cliente en su cadena de valor y de la solución elearning más adecuada, tal inversión en nuevas tecnologías podría resultar ciega, dispendiosa y en consecuencia, más costosa que la formación tradicionalmente realizada.

La medición de resultados sirve a la organización para conocer el antes y después de la acción formativa, para tener un adecuado control y seguimiento de los objetivos y resultados de la formación y en definitiva, para saber si las personas aplican los nuevos aprendizajes en el puesto de trabajo.

Tal medición permitiría reconocer mejor las necesidades reales de aprendizaje y las estrategias para atenderlas, las cuales no siempre pasan por el formato LMS + cursos + tutores. A veces una buena y sencilla estrategia diseñada para la gestión de conocimiento, inspirada en comunidades de práctica, metodologías de action learning o los denominados círculos de calidad, pueden conducir de forma más apropiada a objetivos específicos de aprendizaje corporativos.

En todo caso, las organizaciones encuentran valor en una estrategia de e-learning (o aprendizaje basado nuevos medios), que resulte integral y esté respaldada por un permanente análisis de información antes, durante y después de cada proyecto.

2. ¿Cómo medirlos?

Una aproximación inicial a esta respuesta podría ser el modelo de 5 niveles de evaluación de Kirkpatrick & Phillips (How to Measure Training Results. 2002):

Nivel 1: Reacción y satisfacción

Focus: Se evalúa aquí el nivel específico de satisfacción y reacción de los participantes ante una acción formativa.
Acción: A través de encuestas de medición de la reacción inicial y de la satisfacción del participante al final de la acción formativa.

Nivel 2: Aprendizaje

Focus: Medición y evaluación del conocimiento, las habilidades o las actitudes desarrolladas o adquiridas.
Acción: Medición del aprendizaje a través de test, simuladores y evaluaciones diseñadas por instructores.

Nivel 3: Aplicación en el trabajo

Focus: Evaluación del nuevo comportamiento de los participantes, reflejado a partir de los nuevos conocimientos y habilidades aplicados (if so) en el puesto de trabajo.
Acción: Diseño y aplicación de herramientas para la detección de nuevas habilidades y cambios en el comportamientos de los empleados, demostrados como resultado de la acción formativa. Se hace necesario identificar barreras y/o factores facilitadores, teniendo cuidado de separar los efectos de la acción formativa de otros factores que también puedan influenciar tales comportamientos.

Nivel 4: Impacto en el negocio

Focus: Medidas específicas del desempeño de la organización o del negocio como resultado de la aplicación de nuevos conocimientos y habilidades por parte de los empleados.
Acción: Medición del impacto / beneficio. Determinar el valor monetario del cambio de comportamientos previamente medido en el nivel 3. Medición de beneficios intangibles: ej. aumento de la satisfacción de los empleados con su trabajo, etc.

Nivel 5: ROI

Focus: Medidas del retorno de la inversión a partir de los resultados derivados de las acciones formativas. Comparación de los costos de la solución elearning y sus beneficios, donde Beneficios netos de la solución = Beneficios totales - costos de la solución.
Acción: Comparación de costos y alcance de la formación tradicional presencial, con los de la nueva formación basada en nuevos medios. A partir de estos cálculos, realizar ajustes necesarios en los objetivos de aprendizaje de futuros programas formativos.

3. ¿Siempre será útil medir el ROI?

No. Parece prevalecer la coincidencia en que este análisis sólo es provechoso en proyectos con las siguientes características:

1. Soluciones con largos ciclos de vida
2. Programas formativos claramente alineados con las estrategias organizacionales
3. Programas que supongan altos costos
4. Programas con un tamaño grande de participantes
5. Programas con alto nivel de visibilidad
6. Programas con alto nivel de interés por parte de los mandos gerenciales.

La formación en las organizaciones adquiere un nuevo semblante. Ya no hablamos de cursos de actualización o reciclaje, presentes cada año en las agendas de Recursos Humanos. Hablamos de una dinámica continua, vinculada estrechamente a las estrategias de negocio o a los objetivos organizacionales, por lo que forma parte de la gestión transversal del desempeño y de la gestión de la calidad. Parece cada vez más difícil para cualquier organización tener alguna ventaja competitiva sin mirar a sus públicos internos como los principales agentes del funcionamiento de la cadena de valor.

Pero mucho más que eso: cualquier programa de gestión del conocimiento, basado en estrategias de aprendizaje, que no evalúe ni tenga en cuenta una cuestión esencial como: “está la gente contenta con lo que hace y con la forma como lo hace”, carecerá del menor efecto en el logro de los objetivos del negocio.