Breaking News

Consideraciones para diseñar un Programa de evaluación


Programa de evaluación

El desarrollo de evaluaciones personalizadas es muy similar en proceso, costo y riesgo al desarrollo de cualquier aplicación de software empresarial personalizado. Es especialmente similar al desarrollo de cursos de aprendizaje electrónico personalizados. Por lo tanto, en ausencia de experiencia en el desarrollo de evaluaciones internas específicas, si tienes acceso a alguien que sea experto en el desarrollo de material didáctico personalizado o aplicaciones comerciales personalizadas, entonces probablemente encontrará que esa persona es una fuente de apoyo valioso para pensar en desarrollar evaluaciones personalizadas y comunicación con los desarrolladores de evaluaciones personalizadas.
Aquí hay un ejemplo de un ciclo de desarrollo de pruebas utilizado por profesionales (y, por lo tanto, probablemente sea un buen enfoque para cualquiera que desarrolle sus propias evaluaciones internamente):

  1. Un experto en la materia (EEM), y posiblemente un diseñador instruccional, describe escenarios de trabajo / trabajo / tareas que requieren la aplicación práctica de las competencias / habilidades / características requeridas. Un EEM es alguien a quien se reconoce que tiene conocimientos y habilidades competentes relacionados con un área temática en particular.
  2. Desarrollar preguntas precisas utilizando la taxonomía de (Benjamin) Bloom para identificar diferentes niveles de habilidad o competencia. Los diferentes tipos de preguntas revelan diferentes niveles de dominio, comenzando con el conocimiento en el nivel inferior y progresando hacia arriba a través de la comprensión, aplicación, análisis y síntesis hasta la evaluación en el nivel superior.
  3. Más EEM y quizás analistas de contenido revisan cada pregunta para verificar su precisión, claridad, adecuación al nivel de habilidad y relevancia laboral.
  4. Un psicólogo industrial revisa la prueba para validar que (a) contiene solo contenido directamente relevante para realizar el trabajo, (b) entregará de manera confiable puntajes de prueba que son indicadores significativos del desempeño laboral probable y (c) no tiene grupo social (por ejemplo, género, raza, grupo étnico).
  5. Comprobar que la prueba identifica con precisión a las personas con niveles de competencia inicial, intermedio y avanzado al administrar la prueba a los empleados que representan a diferentes grupos sociales en diferentes trabajos con diferentes niveles de experiencia. Informe los puntajes altos, bajos y promedio de todos los solicitantes que tomaron la misma prueba y verifique que los empleados que representan a diferentes grupos sociales en diferentes trabajos con diferentes niveles de experiencia obtuvieron correctamente el número esperado de preguntas de nivel básico, intermedio y avanzado.
  6. Ponga en práctica la prueba.
  7. Monitorear y analizar los puntajes reales en la prueba a lo largo del tiempo para asegurar que los puntajes promedio de las pruebas no aumenten y que continúe sin haber un impacto discriminatorio adverso en un grupo social específico.
  8. Monitoree el desempeño y la retención de los empleados a lo largo del tiempo y compare estos resultados con los resultados de las pruebas para asegurarse de que predice de manera consistente y confiable lo que dice predecir.La validación, como se describe en los pasos 4, 5, 7 y 8, es fundamental por dos razones:
1. Quiere asegurarse de que la prueba realmente mide y predice lo que espera que mida y prediga.
2. Debe estar listo para demostrar que la prueba (a) mide solo los factores relevantes para realizar el trabajo requerido, y (b) identifica de manera confiable a las personas que tienen más probabilidades de ser buenos empleados en un puesto.

El mercado

Los proveedores de soluciones de evaluación generalmente se pueden clasificar de acuerdo con:
  •  Si ofrecen evaluaciones psicométricas o de conocimientos / habilidades.
  • ·Si se especializan en industrias específicas, aplicaciones de software o áreas temáticas.
  •  Ya sea que ofrezcan soluciones empaquetadas, personalizables o completamente personalizadas.
  • Ya sea que ofrezcan evaluaciones, motores de administración o herramientas de creación o alguna combinación de los tres.
  • Ya sea que licencian su solución como software para ser instalado en el sitio del cliente o lo alojan ellos mismos y lo entregan bajo demanda en cualquier momento y en cualquier lugar a través de Internet sobre una base ASP.


Capacidades

Es útil pensar en las capacidades de las soluciones de evaluación como pertenecientes a las siguientes tres categorías:
·   Capacidades básicas / avanzadas . Estas son capacidades fundamentales y avanzadas de las soluciones de evaluación. (Algunas capacidades avanzadas adicionales se clasifican como características fundamentales y capacidades críticas ).
·    Capacidades complementarias de gestión del capital humano (GCH) . Estas capacidades no son capacidades de evaluación en sentido estricto. Más bien, son capacidades lógicas extendidas o complementarias que apoyan o aprovechan las capacidades de evaluación de formas valiosas, a menudo estratégicas. Estas capacidades complementarias se pueden entregar en una de tres formas: (1) integradas como parte de la solución estándar, (2) como un módulo adicional propietario opcional a la solución, o (3) como una interfaz opcional para una solución de otro proveedor.
·  Características fundamentales y capacidades críticas. Es útil identificar esta categoría por separado porque una o más de estas capacidades y características a menudo se especifican como requisitos absolutos, pero muchas soluciones de evaluación no las ofrecen. Esto significa que estas capacidades son muy útiles como "criterios" iniciales para determinar rápidamente qué soluciones de evaluación pueden descartarse inmediatamente de una consideración adicional: si una solución no ofrece la combinación necesaria de estas características o capacidades críticas, entonces simplemente no están en el funcionamiento.
Veamos cada una de estas categorías de capacidad con más detalle.


Capacidades de evaluación básicas / avanzadas

Estas son las capacidades fundamentales y avanzadas que ofrecen las soluciones de evaluación.  Su caso comercial puede justificar todas, o solo algunas, de estas capacidades. Estas capacidades se dividen en tres grupos lógicos: evaluación, administración y creación.

Capacidades de evaluación

Las capacidades básicas y avanzadas de los instrumentos de evaluación (es decir, pruebas y cuestionarios) según la experiencia de los examinados pueden incluir:

  • Elementos de evaluación incluyen preguntas de opción múltiple, preguntas de respuesta múltiple, verdadero / falso, preguntas para completar en blanco y de redacción.
  • Elementos de evaluación incluyen simulación y otras actividades medibles.
  • "Soporte de ruta completo" para probar las habilidades de software de escritorio y aplicaciones que permite usar cualquiera de las opciones alternativas del software en vivo .Y rutas de navegación para realizar una tarea, de modo que los examinados puedan usar las opciones y métodos que conocen con.
  • La evaluación toma el control exclusivo de toda la pantalla, por lo que los examinados no pueden obtener ayuda charlando con otras partes o cargando simultáneamente una copia en vivo de la aplicación de software para la que se están probando.
  • Versiones en lengua extranjera.
  • Validación por psicólogos industriales.

Capacidades de gestión de evaluaciones

Las capacidades básicas y avanzadas que controlan cómo se entregan / administran las evaluaciones y cómo se informan los resultados pueden incluir:
·   Una interfaz de usuario administrativa es lo suficientemente fácil de usar para que los no administradores puedan compartir la responsabilidad de las pruebas sin una orientación importante.
·      Opciones para:
§         Ordenar las preguntas al azar.
§         Entregar subconjuntos aleatorios de preguntas sobre cada tema.
§         Informar inmediatamente si las respuestas son correctas o incorrectas.
§         Presentar respuestas correctas a preguntas incorrectas.
§         Vincular respuestas incorrectas con recursos de aprendizaje relevantes.
·      Establecer una puntuación mínima para aprobar.
·      Controlar la navegación a través de la prueba, reiniciar una prueba y cronometrar.
·      Personalizar la evaluación para que coincida con la apariencia de su empresa.
·      Agrupar las pruebas en "baterías" que se entregarán.
·  Capacidades de "activación de eventos" que notifican automáticamente a los responsables de contratación, personal de recursos humanos, supervisores, etc. cuando se han completado las pruebas.
·   Hacer que los informes de puntuación estén disponibles en línea o envíarlos por correo electrónico a las partes interesadas.
·      Resultados detallados de las pruebas para examinados específicos.
·      Informes que comparan los resultados de las pruebas entre todos los examinados.
·      Gráficos y rankings percentiles en informes de puntuación.
·      Informar los niveles de uso de las pruebas en toda la empresa.
 ·      Enviar notificaciones por correo electrónico de pruebas nuevas o actualizadas.
·      Opción de distribuir y administrar evaluaciones a través de USB o Internet.
·    Iniciar evaluaciones en línea automáticamente en respuesta a las preguntas de perfil durante la solicitud en línea en el sitio de trabajo corporativo.
·  Realizar evaluaciones sin conexión en modo desconectado mientras los evaluadores viajan o cuando el acceso a Internet / intranet no está disponible.
·      Vinculado a un título de curso y ejecutable desde un Sistema de Gestión de Aprendizaje.
·      Exportar los resultados de las pruebas al sistema de gestión de contratación, sistemas de gestión de aprendizaje, hojas de cálculo, etc.


Capacidades de creación y modificación de evaluaciones

Las capacidades básicas y avanzadas relacionadas con la creación y modificación de evaluaciones pueden incluir:
·      Crear nuevas evaluaciones.
·  Personalizar conjuntos de preguntas estándar / predeterminadas para que se ajusten a las descripciones y calificaciones específicas del trabajo de su empresa.
·      Crear y modificar una variedad de tipos de elementos de evaluación que incluyen:
§         Preguntas de opción múltiple
§         Preguntas de respuesta múltiple
§         Preguntas de verdadero / falso
§         Preguntas para rellenar en blanco
§         Preguntas de ensayo
§         Simulaciones
§         otras actividades mensurables.
·  Guardar los elementos de evaluación (es decir, preguntas o actividades medibles) en una biblioteca de preguntas para su posterior reutilización.


Capacidades complementarias de GCH

Estas capacidades complementarias pueden ser rudimentarias o avanzadas, y pueden entregarse de una de estas tres formas: (1) incorporadas e integradas como parte de la solución estándar, (2) como un módulo adicional propietario opcional de la solución, o (3) como una interfaz opcional para una solución de otro proveedor.  Ejemplos de estas capacidades complementarias incluyen:
·   Gestión de competencias para mantener la biblioteca de competencias básicas y conocimientos / habilidades para cada puesto.
·    Sistema de Administración del Aprendizaje (SAA) que presenta y lanza (o entrega) el pre-test y post-test apropiados asociados con un curso en particular.
·   Sistema de gestión de contenido de aprendizaje (SGCA) que vincula preguntas individuales con objetos de aprendizaje específicos para que las personas puedan estudiar y evaluar únicamente los conocimientos o habilidades específicos que les faltan.
·    Repositorio de Data Warehouse o Data Mart que combina datos de evaluación con datos de otros sistemas GCH, sistemas financieros y otras aplicaciones de TI para monitorear y evaluar el impacto de los sistemas de evaluación en los resultados comerciales. Un Data Mart o Data Warehouse se puede utilizar para:
§        Combinar datos de evaluación con datos del Sistema de información de recursos humanos (SIRRHH) para realizar un seguimiento de las tasas de retención, promoción y compensación posteriores por prueba de evaluación y puntaje.
§    Combinar los datos de la evaluación con los datos de la evaluación del desempeño (del sistema de Gestión de Desempeño o Evaluación de 365) para determinar qué tan bien los puntajes de las pruebas de evaluación predicen el comportamiento en el trabajo.
Si estas capacidades complementarias se incorporan como estándar o se ofrecen como módulos complementarios patentados, las preguntas importantes que debe plantearse incluyen:
·      ¿Se comparan las capacidades y los costos de manera suficientemente favorable con las mejores soluciones alternativas de terceros que deberían integrarse de manera personalizada?
·      ¿Fue desarrollado internamente o adquirido de otra empresa? 
·      ¿Qué tan consistente es la interfaz de usuario entre los diferentes módulos? 
·      ¿Qué tan fluida y en tiempo real es la integración?
·   ¿En qué casos (si hay alguno) los datos ingresados ​​por un usuario no están disponibles de inmediato para ser vistos o reportados por todos los demás usuarios autorizados a ver esos datos? 
·      ¿En qué casos es necesario introducir los mismos datos por separado en cada sistema?
·      ¿Se almacenan los datos en varias bases de datos? Si es así, ¿qué tan fácil es dibujar los informes personalizados deseados de las múltiples bases de datos?
Si estas capacidades complementarias se ofrecen a través de una interfaz empaquetada a una solución de terceros, entonces las preguntas importantes que debe plantearse incluyen:
·      ¿Qué tan fluida y en tiempo real es la integración?
·      ¿En qué casos los datos ingresados ​​por un usuario no están disponibles inmediatamente para ser vistos o reportados por todos los demás usuarios autorizados a ver esos datos?
·      ¿En qué casos es necesario introducir los mismos datos por separado en cada sistema?
·      ¿Qué tan fácil es dibujar los informes personalizados deseados de las múltiples bases de datos?
·      ¿Cuál es la historia de los dos proveedores trabajando juntos con éxito?
·    ¿Cómo se verán afectadas la relación y la solución integrada si el competidor del otro socio adquiere cualquiera de los dos socios?

Características fundamentales y capacidades críticas

Una o más de estas capacidades y características a menudo se especifican como requisitos absolutos por los “patrocinadores ejecutivos”, TI y otras partes interesadas clave, sin embargo, muchas soluciones de evaluación no las ofrecen. Por lo tanto, estas capacidades pueden servir como "criterios" iniciales para identificar rápidamente las soluciones de evaluación que pueden eliminarse inmediatamente de una consideración adicional. 
Tales características fundamentales y capacidades críticas pueden incluir:
·   Soporte para uso sin conexión o desconexión. Esto se refiere a la capacidad de descargar evaluaciones a una computadora portátil para que el usuario pueda ser productivo mientras viaja o esta desconectado de Internet. La próxima vez que el usuario se conecte a Internet, los resultados de la evaluación se cargan automáticamente en el sistema central.
·   Grado en el que la interfaz de usuario se puede personalizar para reflejar la "marca" de la empresa, la terminología, etc. (esto generalmente depende de si las pantallas están codificadas en HTML y del grado en que las etiquetas de los campos de la pantalla se almacenan en tablas de bases de datos accesibles).
·      Una interfaz de usuario que cumple con los estándares de Accesibilidad  debe ser accesible para las personas con discapacidades. La tecnología afectada incluye software de aplicación y sitios web. 
·      Globalizado para múltiples idiomas para que diferentes administradores y examinados puedan operar simultáneamente el sistema usando un idioma diferente. Tenga en cuenta que el japonés, el chino y algunos otros idiomas asiáticos tienen un requisito especial para los "caracteres de doble byte".
·  Desempeño satisfactorio (especialmente "tiempo de respuesta") utilizando las velocidades de conexión a Internet (es decir, "ancho de banda") disponibles para la mayoría de los usuarios.
·      Medidas de seguridad adecuadas que eviten el acceso no autorizado a sistemas y datos a través del “firewall” corporativo.
·  “Escalabilidad” o capacidad de crecimiento. La pregunta aquí es "¿Qué inversión en infraestructura de TI se requiere para que esta solución atienda satisfactoriamente a una cantidad proyectada de usuarios, procese una cantidad proyectada de evaluaciones, almacene volúmenes proyectados de datos actuales e históricos y genere volúmenes proyectados de consultas e informes?" Las arquitecturas de software más escalables se promocionan como arquitecturas de “múltiples niveles”, “n niveles” o “3 niveles”. Brevemente, los múltiples "niveles" se refieren a los 3 "niveles" especializados separados en los que se divide la programación. Estas capas de programación cooperan entre sí para hacer el trabajo. El software de la "capa de presentación" se ejecuta en un servidor web y presenta la solución a los usuarios y sus navegadores web. La capa de “lógica empresarial” se ejecuta en un servidor de aplicaciones y realiza la lógica y los cálculos que asociamos principalmente con hacer que el programa haga lo que debería. La "capa de datos" se ejecuta en un servidor de base de datos y consiste principalmente en la base de datos subyacente que almacena y recupera todos los datos. Esta arquitectura tiende a ser la más escalable porque (a) cada capa se puede ejecutar en una o más computadoras separadas que están optimizadas para realizar la tarea específica, y (b) la potencia de cálculo optimizada se puede agregar gradualmente casi infinitamente (un poco exagerado ) en cada capa a medida que crecen las necesidades y se desarrollan cuellos de botella de diferentes tipos.
·      Compatibilidad con soluciones específicas de eLearning o Gestión de competencias de terceros.
·      Compatibilidad (es decir, se integra y posiblemente opera de manera similar) con sistemas ERP / financieros específicos.
·      Compatibilidad con PC basadas en Windows, Mac, Linux, Unix o todas.
·      Compatibilidad con el navegador Chrome, Firefox, Opera, Edge entre otros o con todos.
·   Compatibilidad con el resto de la infraestructura de software y hardware de TI existente y planificada.
·      Compatibilidad del sistema de gestión de bases de datos (DBMS) subyacente con los estándares de TI corporativos.
·      Requisitos de software / hardware de la PC del usuario. Por ejemplo, las evaluaciones entregadas por Internet que requieren poca interacción pueden requerir solo un "cliente ligero" sin programas adicionales de "complemento" de navegador. Las evaluaciones realizadas por Internet que requieren más interacción pueden requerir programas de "complemento" de navegador. Su audiencia marca la diferencia: es posible que pueda dictar y controlar qué configuración de PC y complementos tienen sus empleados, pero no qué pueden tener los solicitantes de empleo.
·    Una aplicación “nativa” basada en la Web que se crea desde cero para ejecutarse en la Web, ofrece una funcionalidad completa mediante un navegador y se integra más fácilmente con otras aplicaciones basadas en la Web; o una aplicación cliente / servidor que puede estar habilitada opcionalmente para la Web (usando el servidor Citrix o algún otro medio) y ofrece acceso al navegador a la funcionalidad seleccionada; o una aplicación cliente / servidor o de escritorio a la que no se puede acceder a través de la Web.
·  La entrega de ASP (Application Service Provider) es obligatoria o está expresamente descartada. En resumen, los ASP (también denominados a veces "proveedores de servicios alojados") son proveedores de soluciones que instalarán y alojarán el software en su sitio (en lugar de tener que instalarlo y mantenerlo en sus computadoras en su sitio) y "alquilar" su acceso a él a través de Internet. El alquiler de la solución sobre una base ASP puede ser un requisito porque (a) la estrategia comercial requiere la subcontratación de funciones tácticas tanto como sea posible, (b) un mínimo de personal de TI no está equipado para respaldar esta solución, o (c) el personal de TI El personal simplemente no tiene el tiempo ni los recursos disponibles para comprometerse con esta solución en este momento. Por otro lado, TI, RR.HH. u otras partes interesadas clave pueden haber descartado absolutamente las soluciones basadas en ASP debido a su preocupación (racional o no) por la confiabilidad. 

·   Soporte para estándares HR-XML. Probablemente sea demasiado pronto para considerar esto como un requisito actual absoluto, pero es importante ser consciente de ello. XML significa eXtended Markup Language y es un sucesor emergente de HTML (que es el lenguaje de programación utilizado para desarrollar páginas web). Cerca de 100 proveedores de soluciones de GCH han formado un organismo de estándares independiente llamado HR-XML Consortium. El Consorcio ha comenzado a publicar especificaciones para formatos estandarizados de documentos comunes relacionados con los recursos humanos (por ejemplo, hojas de vida, descripciones de puestos, etc.). Estos formatos estandarizados harán que sea más fácil (es decir, menos costoso) que las diferentes soluciones de HCM intercambien información directamente ya través de Internet. Las soluciones de HCM que están diseñadas para "hablar" HR-XML no requerirán interfaces personalizadas para intercambiar datos con otros HCM, ERP, Soluciones SCM o CRM que leen y escriben HR-XML. HR-XML aún no es un estándar ampliamente implementado, pero tiene un potencial importante y al menos vale la pena averiguar cuáles son los planes de un proveedor al respecto.
·  Valor agregado disponibles. Dependiendo de los requisitos de recursos (por ejemplo, experiencia, personas, tiempo) impuestos por la complejidad de la solución que se está considerando, y de la disponibilidad actual de los recursos necesarios dentro de la empresa, puede ser crítico que la solución se adquiera de un proveedor que ofrezca (ya sea directamente oa través de socios establecidos) los servicios complementarios de consultoría, gestión, técnicos, capacitación y apoyo necesarios para asegurar el éxito del proyecto.
·      Calendario de ejecución. Si es inminente una fecha límite estricta para estar operativa, entonces simplemente no será posible que algunos proveedores y soluciones cumplan con la fecha límite.




QUIERES RECIBIR EN TU CORREO LAS NUEVAS PUBLICACIONES?

Ingresa tu email:

Por FeedBurner

No hay comentarios