Actualización: La medición de la habilidad de adaptación es ahora el coeficiente intelectual.
Las habilidades cambian, sin importar la industria o el papel que desempeñes. Eso es un hecho. Lo que se necesitaba para tu trabajo hace cinco años, o tal vez sólo hace seis meses, podría no ser tan válido hoy.
Como profesional de la tecnología o líder de equipo, nadie entiende esto mejor que tú. Con el ritmo de cambio acelerado, ¿cómo no sólo te mantienes al día, sino que también mides con precisión y facilidad tus habilidades? ¿Cómo puede tu equipo mantenerse al día? Empiece con nuestra medición de habilidades de adaptación, que – en tan sólo 20 preguntas y cinco minutos – proporciona una calificación de su nivel de habilidad y señala las lagunas de conocimiento, para que usted sepa dónde empezar a aprender.
Nos sentamos con dos de los mentes maestras, Mike Kowalchik, VP de Arquitectura de Productos, y Krishna Kannan, Director de Productos y Evaluaciones, para descubrir la ciencia detrás de nuestras medidas de habilidad de adaptación y lo que las hace diferentes a todo lo que la industria ha visto.
¿Qué hace que nuestra tecnología de medición de habilidades sea «adaptable»?
(K): Las preguntas que ves se adaptan a tu nivel de habilidad, y la siguiente pregunta que recibes se basa en cómo respondiste a la anterior. Así que no hay una duración fija o un tema fijo de cobertura, sino más bien una experiencia altamente personalizada y dinámica.
Entonces, ¿cómo se determina la primera pregunta que hay que hacer a alguien?
(K): El sistema hace un par de suposiciones. Primero, asume que la población de personas que saben que la habilidad está normalmente distribuida, lo cual es una suposición bastante segura de hacer. Así que imagina eso, y dos tercios de las personas van a estar en el medio, y luego todos los demás están fuera de la cola. Así que, empezamos con la suposición de que vas a estar en esa área promedio, y empezamos con una pregunta intermedia. Una vez que empiezas a responder, es cuando las preguntas se hacen más fáciles o más difíciles. Y para facilitar esta naturaleza inteligente y adaptable, empleamos la Teoría de la Respuesta al Objeto y las técnicas Bayesianas.
La Teoría de la Respuesta al Ítem es un concepto de prueba existente en el que se examinan las preguntas individuales y se caracterizan en base a cuántas personas las harán bien o mal. Y el Teorema de Bayes te permite aproximar la probabilidad de un resultado dado que algo más ha ocurrido.
¿Por qué decidió aplicar la Teoría de la Respuesta al Objeto y las técnicas bayesianas a estas mediciones de habilidades?
(K): Si las habilidades cambian tan rápido, ¿cómo podemos evaluar las habilidades de alguien rápida y fácilmente? Y si el tema cambia, ¿reflejar ese cambio tanto en su puntuación como en las sesiones futuras? Aquí es donde la Teoría de la Respuesta al Ítem y la Bayesiana entraron en juego. La Teoría de la Respuesta al Ítem ya se usa en las pruebas de adaptación, pero el inconveniente es que es un proceso lento. Tienes que escribir el test, validarlo y luego darlo. ¿Y qué pasa si algo cambia durante ese proceso? Tienes que conseguir a tus autores y validadores y volver a sacarlo.
Así que usamos el marco de la Teoría de Respuesta al Objeto, y le aplicamos la aproximación Bayesiana. Entonces tenemos una nueva pregunta, y no sabemos cuán fácil o difícil es, pero asumiremos el medio. La lanzamos en la medida de la habilidad, pero no dejamos que afecte mucho el puntaje de nadie. Luego, a medida que obtenemos datos sobre esa pregunta, calificamos su dificultad y hacemos que cuente más… y ahí es donde entra en juego la pieza bayesiana.
Nuestras medidas de habilidad adaptativa han sido diseñadas para usar tanto la Teoría de Respuesta al Elemento como los métodos Bayesianos en conjunto para crear esta nueva, precisa y completamente revolucionaria medida de habilidad, juntos.
¿Cómo exactamente estas mediciones de habilidad «evolucionan» con la tecnología?
(K): Volvamos a la Teoría de la Respuesta al Objeto por un momento. Una de las cosas que no hacemos, que es realmente diferente, es típicamente calificar a los examinandos. Tratas de averiguar cuán hábil es un examinador, pero en paralelo tratamos de calificar cuán difícil es una pregunta. Así que nos aproximamos a la dificultad de la pregunta con un margen de error, y luego cada vez que una persona la responde, ajustamos nuestras suposiciones.
Cuando escribamos por primera vez la medición de la habilidad de adaptación, la pondremos en un modo de validación con los alumnos para calificar las preguntas. Así que cada vez que responden a una pregunta, nuestra suposición sobre esa pregunta sube y baja y se vuelve más segura. La medición de la habilidad puede evolucionar a medida que se añaden nuevas preguntas, y a medida que las personas cambian la forma en que responden a una pregunta (es decir, a medida que evolucionan las habilidades).
¿Qué otros métodos utilizamos para determinar si las preguntas se están volviendo obsoletas?
(K): La parte más manual de nuestras mediciones de habilidades de adaptación es recoger la retroalimentación de los alumnos en las preguntas. Pueden decirnos si una pregunta es errónea, tiene una errata o algún problema con ella. Tal vez ya no sea relevante. Tenemos un equipo que maneja los datos, mira estas banderas que llegan y toma decisiones sobre cómo acomodarlas.
También tenemos una aplicación interna que usamos para monitorear las mediciones de las habilidades y la calidad general que proporciona tanto estadísticas de nivel de prueba como estadísticas de nivel de pregunta. Así, si una medida de habilidad de adaptación está funcionando mal, podemos perforar y decir: Oh, son estas cinco preguntas las que son el problema. Tal vez necesitemos tirar de ellas, cambiarlas, algo.
¿Quién escribe las preguntas?
(K): Nuestros autores y otros expertos que hemos investigado extensamente. Conocemos su experiencia y hemos invertido mucho en las herramientas de escritura de preguntas para obtener un gran contenido.
No le damos puntaje a la gente. Les damos calificaciones. Explica esto.
(K): Con nuestro sistema, en realidad no te estamos dando puntos; te estamos calificando. Tenemos este gran rango de lo que su calificación podría ser, y tenemos una mejor idea de dónde cae en el rango a medida que sigue respondiendo más preguntas.
Así que si ahora tomo una medida de la habilidad de adaptación y obtengo mi calificación, ¿cómo será?
(K): Tienes tres piezas: un rating, una etiqueta y un percentil. Las calificaciones están en una escala de 0-300, donde 150 se considera una calificación promedio, pero competente. Las etiquetas explican tu calificación, ¿eres novato, competente o experto? Y luego se da un percentil.
Mostramos toda esta información con un gráfico de curva de campana ligeramente modificado que ilustra cómo funcionan esas cosas juntas. Así que si estás arriba y a la derecha, eso es bueno; abajo y a la izquierda, no tan bueno.
¿Cómo te compara la medición de la habilidad de adaptación con tus compañeros y el resto de la industria?
(K): Nuestras medidas de habilidades de adaptación te comparan con tus compañeros porque se basan en la distribución normal de los usuarios de una habilidad (lo que discutimos anteriormente). Para cada habilidad, creamos una curva con una media y una desviación estándar. Y cada calificación es un punto en esa curva.
(M): Una forma de pensar en esto: es casi como un análogo de cómo funciona una prueba tradicional, ¿verdad? Cada ítem no es un puntaje de habilidad, pero agregas suficientes ítems y dices: Bien, nos damos cuenta de lo bueno que es alguien en base a la proporcionalidad de cómo respondió a esa colección.
¿Por qué estas mediciones de habilidad son tan importantes para la industria tecnológica específicamente?
(K): Te da una buena indicación de si puedes tener éxito o no, si puedes conseguir el trabajo que quieres, el proyecto en el que quieres estar, esas son las macro preocupaciones de nuestra comunidad. A un nivel más pequeño: ¿Cuánto mejor te estás llevando? ¿Cómo se están desarrollando tus habilidades? ¿Qué necesitas aprender? Esto es importante para los profesionales de la tecnología y las empresas. Suma esas cosas, y aborda este tema macro de la vida media de las habilidades tecnológicas.
¿Cómo cambiará esto la forma en que los profesionales piensan en las pruebas?
(M): En realidad hace que las pruebas sean más divertidas. La mayoría de la gente no piensa que las pruebas sean divertidas, pero como somos adaptables, siempre estamos tratando de encontrar preguntas que te desafíen. La mayoría de la gente hará una prueba y habrá una sección entera de preguntas super fáciles, y te aburrirás. O viceversa, te metes en una sección en la que no tienes ni idea de cuáles son esas preguntas y es súper frustrante. Mientras que con nuestras medidas de habilidades de adaptación, estamos tratando de concentrarnos en su nivel de habilidad, por lo que está constantemente desafiado, pero no frustrado o aburrido.
Queremos obtener la máxima cantidad de información en el mínimo tiempo, así que somos respetuosos, eficientes y precisos. Y de esta manera, puedes volver a lo que es realmente importante: aprender lo que realmente necesitas.
¿Listo para una experiencia de adaptación? Evalúa tus habilidades ahora.