Análisis de las Evaluaciones
Este análisis se refiere a las evaluaciones realizadas sobre los ejemplos, así como a aquellas que se han hecho durante la fase de evaluación de la tarea por parte de los compañeros. Pretende seleccionar las mejores evaluaciones del conjunto de las realizadas por profesor y compañeros. Estas evaluaciones "buenas" se utilizan luego para el cálculo de la calificación final.
Este análisis se hace con más facilidad cuando se dispone de evaluaciones hechas por el profesor. Tales evaluaciones pueden actuar como una referencia contra la cual se pueden juzgar las evaluaciones de los estudiantes. El profesor no necesita evaluar cada ejemplo y cada envío, pero para que el análisis resulte significativo es mejor disponer de más evaluaciones realizadas por el profesor que el número promedio de evaluaciones realizadas por cada estudiante. Y mientras más evaluaciones realice el profesor, más podrá éste confiar en los resultados del análisis.
El análisis normalmente se lleva a cabo un número de veces, cada una de ellas cambiando una o más de las opciones. El análisis es controlado por las tres opciones que aparecen en la parte superior de la página.
- La Carga de las Evaluaciones del Profesor establece la ponderación dada a las evaluaciones del profesor comparada con las de los estudiantes en el estadio de análisis de errores. Si el profesor quiere que su propia estrategia de calificación domine la forma en que los estudiantes califican los envíos, entonces deberá ser el evaluador que tenga el error promedio más reducido en la "Tabla de Errores". Si el profesor no figura en el primer lugar de la lista, entonces la carga de las evaluaciones del profesor se incrementa hasta que consiga el error promedio más bajo. Esto implica entonces que las evaluaciones del profesor están dominadas y los estudiantes que califican como el profesor figurarán también en la parte superior de la Tabla de Errores. Los estudiantes que aparecen en la parte inferior de la tabla están calificando de forma que no se ajusta a las evaluaciones realizadas por el profesor (ni, obviamente, a las realizadas por los estudiantes que figuran en la parte superior de la tabla). Mientras más numerosas sean las evaluaciones del profesor disponibles, más probable será que esta opción no deba usarse para forzar al profesor a figurar en la cabecera de la tabla. Note que esta opción no aplica un factor de ponderación a las evaluaciones del profesor cuando éstas se utilizan en el cálculo de las calificaciones finales. En ese cálculo las evaluaciones del profesor tienen el mismo peso que las de los estudiantes. Así, por ejemplo, si el envío de un estudiante es calificado con 41% por el profesor y con 45% y 55% por sus compañeros, la calificación final de ese trabajo será (41% + 45% + 55%) / 3, esto es, 47%.
- El Peso para la Calificación de las Evaluaciones se usa en el cálculo de la Calificación Final. Se utiliza una simple fórmula para calcular el "Desempeño en Calificación" del estudiante. Es la proporción de evaluaciones "buenas" que el estudiante ha hecho comparadas con el número máximo de evaluaciones abiertas. Así, si por ejemplo la tarea pide a los estudiantes que realicen 3 evaluaciones del envío de ejemplo y 5 evaluaciones de los compañeros, y el estudiante hace 7 evaluaciones y una de ellas es desechada del análisis (véase más abajo), entonces su desempeño en calificación es (7 - 1)/8, es decir, 75%. La calificación final de la tarea es una combinación ponderada de este desempeño en calificación y de la calificación otorgada al trabajo enviado (o de la mejor calificación obtenida en el caso de que se permita enviar el trabajo más de una vez). La calificación del envío siempre tiene un peso de 1. Así, si se ajusta esta opción, digamos, a 0.5, esto significa que las dos calificaciones se añaden una a la otra en una proporción 0.5:1 (i.e., 33%) del desempeño en calificación y 66% de la calificación del trabajo enviado.
- El Porcentaje de Evaluaciones a desechar determina el número de las
evaluaciones que serán excluidas en el momento de calcular las calificaciones
finales. Este número puede ajustarse de dos formas.
- Puesto que la forma en que se calcula el Desempeño en Calificación para cada estudiante podría, si evaluaran todo el trabajo que se les ha encomendado, alcanzar las marcas totales (para este elemento) en el caso de que no se deseche ninguna evaluación. Si el profesor desea tener una calificación promedio más razonable, el ajustar esta opción al 30% resultaría en un Desempeño en Calificación de aproximadamente 70% (de nuevo en el caso de que todos los estudiantes calificaran todas las evaluaciones que se les encomendaran)
- Alternativamente, el número de evaluaciones a desechar podría ajustarse de modo que las restantes evaluaciones dieran como resultado que los Errores Promedio se restringieran a algún valor razonable. Estos valores son los porcentajes que aparecen en la cuarta columna de la Tabla de Error. Por ejemplo, podría pensarse que todas las evaluaciones de los estudiantes pudieran situarse dentro de un rango del 20%. En ese caso, se repite el análisis un número de veces ajustando el número de evaluaciones a desechar, hasta que todas las cifras de la columna se sitúen dentro de un límite particular.
Además de la Tabla de Error el análisis lista las calificaciones de todas las evaluaciones y las calificaciones finales otorgadas a los estudiantes. Esta tabla debería inspeccionarse con el fin de comprobar si los resultados son razonables. En particular, si se desechan muchas evaluaciones, entonces algunos de los trabajos enviados pueden quedar sin evaluar y la calificación final del estudiante puede ser muy baja. El análisis proporciona el número de envíos en la parte superior de la página y otra vez justo antes de la Tabla de Calificaciones. Estos dos números deberían coincidir. Si hay uno o más trabajos enviados sin evaluar y el profesor no desea que disminuya el número de evaluaciones desechadas, entonces tales trabajos deberían ser evaluados por el profesor, y el análisis debería repetirse. Es importante que todos los envíos sean evaluados al menos una vez en la fase final del análisis, esto es, cuando se calculan las calificaciones finales.
Existe un equilibrio entre el número de evaluaciones desechadas y la calificación final global. Mientras más evaluaciones se desechen, más bajas tienden a ser las calificaciones finales. Sin embargo, si las evaluaciones pobres no se desechan, entonces los estudiantes pueden quejarse acerca de la calidad de las evaluaciones que determinan la calificación de su trabajo. Suponiendo que se disponga de suficientes evaluaciones realizadas por el profesor para dominar el análisis sin forzar demasiado, parece razonable desechar entre el 15% y el 30% de las evaluaciones.
Note que este análisis consume mucho tiempo puesto que implica un proceso iterativo. Es de esperar, pues, que se produzcan retrasos más o menos prolongados.
