A partir del 18 de diciembre de 2017, (ISC)2 puso en funcionamiento las Pruebas Adaptativas Computarizadas (Computerized Adaptive Testing o CAT) al examen CISSP, inicialmente en los exámenes ofrecidos en idioma inglés e introduciendo de forma paulatina la misma técnica a los demás idiomas en los que se puede presentar la prueba a lo largo del primer trimestre de 2018.
Este es uno de los cambios más significativos en el examen de esta certificación, luego de que en 2012 el examen migró de su modelo de presentación en papel (Paper Based Testing – PBT) a la presentación por ordenador (Computer-Based Testing – CBT).
¿En qué consiste la tecnología de pruebas adaptativas computarizadas?
Actualmente, el examen de la certificación CISSP (Certified Information Systems Security Professional) se realiza a través de un examen compuesto de 250 preguntas fijas y lineales que el candidato debe contestar en un tiempo máximo de 6 horas. Al finalizar la prueba, se computan los resultados y si se obtiene una calificación superior a 700 puntos sobre 1000, el candidato aprueba.
Mediante las pruebas adaptativas computarizadas el criterio de presentación de las preguntas al candidato varía de forma considerable respecto al modelo lineal. Ahora, cada pregunta es seleccionada con base en la respuesta de la pregunta anterior, maximizando la precisión del examen de acuerdo con el siguiente algoritmo iterativo:
- Se busca la pregunta óptima entre una base de datos de preguntas disponibles, de acuerdo con la estimación actual de la capacidad del candidato.
- La pregunta seleccionada es presentada al candidato, quien la responde de forma correcta o incorrecta.
- La estimación de la capacidad se actualiza, con base en todas las respuestas anteriores.
- Los pasos 1 al 3 se repiten hasta que se cumple un criterio de finalización.
Los criterios de finalización se aplican en el siguiente orden:
- Regla de intervalo de confianza: una vez que se cumple la duración mínima del examen (100 preguntas), el examen finalizará cuando la estimación de capacidad del candidato excluya el punto de aprobación con una confianza estadística del 95%. Para los candidatos con estimaciones de capacidad que excedan estadísticamente el estándar de aprobación, el examen estará aprobado. Para los candidatos que tienen estimaciones de capacidad que estén estadísticamente por debajo del estándar, el examen será reprobado.
- Regla de la longitud máxima del examen: si no se ha invocado previamente la regla de intervalo de confianza antes de llegar a las 150 preguntas, entonces la estimación de la capacidad del candidato se evaluará con respecto al estándar de aprobación. Si durante los últimos setenta y cinco (75) elementos operacionales respondidos la estimación de la capacidad del candidato está constantemente por encima del estándar de aprobación para cada elemento, entonces el resultado del examen es aprobado. Si en algún punto sobre los últimos setenta y cinco (75) elementos operacionales la estimación de la capacidad del candidato cae por debajo del estándar de aprobación, el resultado será reprobado. La evaluación de la estimación de capacidad con relación al estándar de aprobación no tiene en cuenta el intervalo de confianza.
- Regla Run-out-of-time (R.O.O.T.): si la regla de intervalo de confianza no se ha invocado antes del tiempo máximo del examen (3 horas), la estimación de la capacidad del candidato se evaluará con respecto al estándar de aprobación. Si durante los últimos setenta y cinco (75) elementos operacionales respondidos la estimación de la capacidad del candidato está constantemente por encima del estándar de aprobación, entonces el resultado del examen es aprobado. Si en algún punto sobre esos setenta y cinco (75) ítems la estimación de la capacidad del candidato cae por debajo del estándar de aprobación, el resultado es un error. Si el candidato no responde setenta y cinco (75) elementos operacionales dentro del tiempo máximo del examen (3 horas), el candidato automáticamente suspenderá el examen.
¿Cuáles son las ventajas del nuevo modelo de CAT?
Los criterios de elección de un examen tipo CAT sobre un examen lineal son los siguientes:
- Confiabilidad: Los exámenes del tipo CAT permiten una forma más precisa y eficiente de evaluar las capacidades del candidato, ya que permite la adaptación de las preguntas a cada individuo en particular.
- Optimización del tiempo: En vez de emplear 6 horas para responder la totalidad de las preguntas del examen, se requerirán solamente 3 horas (como máximo) y solamente respondiendo un subconjunto de preguntas escogidas de acuerdo a la capacidad del candidato.
- Seguridad en las preguntas: En un examen lineal, el candidato estaba expuesto a 250 preguntas. Si no aprobaba, era muy probable que en un segundo intento muchas de esas preguntas volvieran a aparecer en su examen. Con el nuevo modelo CAT, la probabilidad de repetición es mínima, ya que la exposición de preguntas al candidato se minimiza dependiendo de sus capacidades.
¿Cuáles son las diferencias entre el modelo CAT y el modelo lineal?
A continuación, se presentan las principales diferencias entre ambos modelos:
¿Cómo debo prepararme para presentar el examen de la certificación CISSP en formato CAT?
La preparación del candidato no debe variar respecto a la presentación del examen en formato lineal. No obstante, si es importante tener en cuenta algunos puntos:
- Debido a que no se permite la revisión de preguntas ya contestadas (ya que el algoritmo ajusta la pregunta futura con base en la respuesta inmediatamente anterior) el candidato deberá estar completamente seguro de su respuesta antes de avanzar.
- Ya que la adaptación de las preguntas a la capacidad del candidato es la característica clave de este nuevo modelo, el estudio se debe focalizar en aquellos dominios del CBK en los que el candidato se siente con menos confianza.
- Debido a que el tiempo de presentación del examen y la cantidad de preguntas se acortan, es importante gestionar muy bien el tiempo y no bloquearse en una pregunta.
¿En dónde puedo obtener más información al respecto?
El (ISC)2 ha publicado una guía y preguntas de uso frecuente (FAQ) en su sitio web, con relación al cambio del examen al formato CAT. Esta información puede ser consultada en la siguiente URL: https://www.isc2.org/Certifications/CISSP/CISSP-Cat
Finalmente, ¿el examen en formato CAT es más difícil que en formato lineal?
En principio, no. Como tal, en ambos formatos se parte de la premisa en la que se debe superar un umbral de aprobación. Este umbral en el formato lineal se evalúa al final de las 250 preguntas, mientras que en el formato CAT se va evaluando en cada pregunta con base en un estándar de aprobación.
Por otro lado, tanto las preguntas del examen lineal como del examen CAT provienen del mismo banco global de preguntas. Es decir: no se tendrán preguntas exclusivas para ninguno de los dos formatos del examen.
Fuente: David E. Acosta
