1. Introducción

Un equipo docente de la Facultad de Ingeniería de la Universidad Nacional de Misiones (FIUNaM) comenzó a realizar investigaciones piloto sobre diferentes formas de implementar un modelo de Formación por Competencias en carreras de ingeniería. A partir del año 2011 se formalizó una serie de proyectos de investigación. Como resultado de uno de estos proyectos se desarrollaron dos modelos, uno conceptual y otro operativo, los cuales se fueron perfeccionando a través de sus aplicaciones en diferentes espacios de formación, la revisión constante de bibliografía actualizada y el análisis de producciones de docentes. El modelo conceptual actual para ser aplicado en un espacio curricular se apoya sobre tres pilares: la redacción de unidades menores operativas de competencias (UMOC), la mediación pedagógica y el sistema de evaluación de competencias. En el centro de los tres pilares, como foco principal, se encuentra el aprendizaje y la evaluación centrados en el estudiante.

A partir del año 2018 se comienza un proceso de transferencia del modelo, mediante cursos de posgrado, certificados por la FIUNaM y avalados por el Consejo Federal de Decanos de Ingeniería (CONFEDI), destinados a docentes de otras unidades académicas del país. En este marco se crea el Laboratorio MECEK, un laboratorio de innovación educativa, que se propone 8 objetivos estratégicos de los cuales el primero es: Generar nuevo conocimiento sobre los procesos de transición en la migración hacia un Modelo de Formación por Competencias en carreras de Ingeniería. Atendiendo a este objetivo estratégico, uno de los proyectos de investigación en curso se denomina: Hacia la Evaluación de Competencias con los Estándares de Segunda Generación en las Ingenierías.

De los proyectos de investigación anteriores, además de los modelos conceptuales y operativos, se han obtenido procedimientos sistemáticos tanto para la redacción de las UMOC como para la selección de los distintos tipos de mediaciones pedagógicas. En tanto, en el proyecto actual se ha puesto énfasis en obtener buenas prácticas para la elaboración de rúbricas analíticas, elemento central del sistema de evaluación de competencias.

Algunos referentes como, por ejemplo, Tobón Tobón (2013), sostienen que la evaluación de competencias sigue siendo uno de los puntos más débiles, aún en sistemas educativos muy avanzados en la formación por competencias. Un aspecto de dicha debilidad reside en las dificultades en torno a la elaboración de rúbricas, particularmente en el establecimiento de los criterios de evaluación.

Generalmente las dificultades devienen de que los marcos procedimentales que proponen diferentes referentes teóricos son muy generalistas en algunos aspectos, o bien tienen algunas diferencias conceptuales entre ellos. El objetivo del presente trabajo es presentar algunos procedimientos que contribuyan a generar un marco procedimental destinado a docentes de carreras que no tienen formación pedagógica. Cabe aclarar que el capítulo de la revisión teórica que sigue, incluye resultados previos de las investigaciones de los autores, así como algunos presupuestos básicos del modelo que deben ser expuestos para una interpretación adecuada de los procedimientos.

2. Revisión teórica

Con respecto al primer pilar del modelo conceptual (Kowalski et al, 2016), la redacción de las UMOC, es necesario que éstas sigan un formato de redacción para estar alineadas con las competencias de egreso (Agencia Nacional de Evaluación y de la Calidad y Acreditación, 2013; Kennedy, 2007; Pimienta Prieto, 2012; Universidad del Bío Bío – Vicerrectoría Académica, 2013; Sarmiento y Espejo, 2017; Tobón, 2017): [verbo] [objeto de conocimiento] [finalidad(es)] [condición(es)]. Si las competencias de egreso, sean específicas o genéricas, están adecuadamente desagregadas en UMOC, y éstas tienen un genuino carácter conceptual de competencia, al evaluar las UMOC se estarán evaluando las competencias de egreso (Kowalski, Erck y Enriquez, 2020). De los cuatro componentes de la UMOC, interesa aclarar aquí las consideraciones que deben hacerse para seleccionar el verbo y establecer el objeto de conocimiento.

Sobre el verbo, son cuatro los criterios más significativos (Jérez, Hasbún y Rittershaussen, 2015): significado, contexto, disciplina y complejidad. La complejidad alude a la demanda cognitiva que implica al estudiante desarrollar cierta actividad para demostrar el alcance del desarrollo de la UMOC. Para ello, es corriente valerse de diferentes taxonomías desarrolladas para este objetivo: Dominio Afectivo de Krathwohl, Bloom, Masia, Psicomotora de Dave, Psicomotora de Simpson, S.O.L.O., Bloom revisada por Anderson y Krathwohl, Niveles de Profundidad del Conocimiento (DOK) de Webb, Aprendizaje Significativo de Fink, Marzano y Kendall y Socioformativa, entre otras. Si bien cada taxonomía tiene su propio marco teórico, una característica intrínseca en todas ellas, es que cada categoría, desde el primero al último nivel, implica una complejidad cada vez mayor en las acciones que representan los verbos.

En tanto, sobre el establecimiento del objeto de conocimiento, es pertinente aclarar aquí que, en el caso de la redacción de las UMOC dentro de carreras en funcionamiento siempre es una tarea de alta demanda cognitiva para el docente. Ello se debe fundamentalmente a que se parte de un programa analítico o programa de contenidos vigente, el cual suele ser un desagregado bastante extenso de los contenidos mínimos que figuran en un plan de estudios. Debido a que la cantidad de UMOC por espacio curricular debe estar comprendida entre 2 y 4 (de acuerdo con diferentes autores, como Universidad del Bío Bío – Vicerrectoría Académica, 2013; Jérez et al., 2015), con algunas excepciones, la tarea de establecer los objetos de conocimiento implica un proceso de síntesis muy profundo, sobre todo partiendo de un modelo de contenidos donde la fragmentación de los saberes es muy habitual. Es en este proceso donde se debe tener presente que cuando se establezcan los criterios de evaluación, el estudio del objeto de conocimiento de la UMOC deberá ser abordado en sus partes constituyentes, diferenciando adecuadamente sus objetos componentes esenciales. Serán esenciales porque no se puede perder de vista la integración de recursos que debe prevalecer en la evaluación. Sea el objeto de conocimiento o la UMOC en general, la cuestión del abordaje por partes subyace en lo que sostienen Stevens y Levi (2005): “Las rúbricas dividen una tarea en sus componentes y proporcionan una descripción detallada de lo que constituyen niveles de rendimiento aceptables o inaceptables para cada una de las partes”.

Sobre el segundo pilar del modelo conceptual, es preciso reconocer que hay momentos para enseñar recursos (en el sentido que propone Le Boterf, 2010) y debe haber momentos en los cuales se debe enseñar a integrar los saberes conocer, hacer y ser en situaciones de integración (Roegiers, 2007).

En tanto, sobre el tercer pilar del modelo, el sistema de evaluación de competencias, las rúbricas analíticas “aparecen como un recurso imprescindible” (Fernández March, 2010). Éstas, en términos simples, son matrices de doble entrada donde en las filas se ubican los criterios de evaluación y en las columnas los niveles de dominio (Tobón Tobón, Pimienta Prieto y García Fraile, 2010; Brookhart, 2013). En la tabla siguiente se muestra un ejemplo básico de una rúbrica analítica con tres criterios de evaluación y cuatro niveles de dominio (Principiante, Básico, Competente, Avanzado):

Tabla 1. Ejemplo básico de rúbrica analítica con tres criterios y cuatro niveles de dominio.

Fuente: elaboración propia

Lo que figura en cada intersección de una fila (criterio) con una columna (nivel) son los descriptores: los D_ij. Para una rúbrica que contenga i criterios y j niveles, habrá que redactar una cantidad de i x j descriptores. También se observa que a cada criterio de evaluación se le ha asignado un peso relativo en términos porcentuales, y que a cada nivel de dominio se le ha asignado un puntaje. Los pesos de los criterios y los puntajes de los niveles de dominio se utilizan para asignar finalmente una calificación (en este caso en una escala a 0 a 10).

Si bien existen diversas propuestas para la elaboración de rúbricas analíticas expresadas como secuencias de pasos (Tobón Tobón et al., 2010; Fernández March, 2010, Brookhart, 2013; Tobón, 2017b, entre otras), desde Laboratorio MECEK se propone la siguiente, desarrollada a partir de los referentes indicados:

1. Analizar la UMOC a evaluar

2. Establecer los criterios de evaluación

3. Establecer las evidencias

4. Establecer los niveles de dominio

5. Redactar los descriptores de desempeño

6. Determinar los descriptores obligatorios

7. Ponderar los criterios y asignar puntaje a los niveles de dominio

8. Confeccionar la rúbrica analítica

9. Revisar el alineamiento de la rúbrica con la UMOC y la mediación pedagógica

10. Involucrar al estudiante para la retroalimentación

11. Implementar la rúbrica analítica

12. Revisar y continuar con la mejora continua

Una diferencia a señalar entre las diferentes propuestas de los autores mencionados es que, por ejemplo, Tobón (2017b) y Fernández March (2010) plantean que la determinación del producto o proceso a evaluar debe ser un paso previo al establecimiento de los criterios de evaluación, lo cual implica partir de las evidencias de desempeño, pero sujetas ya a una actividad propuesta a los estudiantes. Los autores del presente trabajo proponen primero establecer los criterios y luego seleccionar cuáles serán las actividades más adecuadas que deberán desarrollar los estudiantes para el conjunto de los criterios de evaluación.

Analizada la UMOC que se pretende evaluar, inmediatamente se deben establecer los criterios de evaluación, ya que en ese momento es posible obtener una primera retroalimentación sobre la redacción de la misma. Los criterios de evaluación “se definen como un referente conceptual que permite establecer el tipo y el nivel de aprendizaje que deben alcanzar los estudiantes en cada uno de los hitos declarados de un proceso formativo” (Cabrera Pommiez e Inostroza, 2015). El formato más adecuado para redactar un criterio de evaluación es el siguiente (Universidad del Bío Bío – Vicerrectoría Académica, 2013): [verbo] [objeto de conocimiento] [condición(es)]. No se incluye la finalidad ya que ésta está contemplada en la UMOC y, además, no forma parte del desempeño a observar. Luego, en cuarto lugar, se deben establecer las evidencias, las cuales: “Son pruebas concretas y tangibles de que se está aprendiendo una competencia” (Tobón Tobón et al., 2010).

Los niveles de dominio, según Tobón (2017b): “representan la forma cómo las personas afrontan y resuelven los problemas del contexto a partir de la gestión del conocimiento”. También son denominados simplemente Indicadores, o Indicadores de Logro. Más allá de las denominaciones que se puedan utilizar, lo más importante es qué significa cada uno de ellos, en el contexto del criterio, y particularmente de la UMOC que se está evaluando.

Por cada criterio de evaluación y por cada nivel de dominio se debe redactar un descriptor. Éste caracteriza, en la forma más objetiva “posible”, el desempeño del estudiante con relación a los criterios de evaluación en cada uno de los niveles de dominio. Es decir, debe dar cuenta del nivel alcanzado para cada criterio. Es uno de los aspectos más difíciles de abordar, dificultad que generalmente está asociada a un mal establecimiento de los criterios. En tanto, los descriptores obligatorios para acreditar una UMOC, son aquellos que, si al final del proceso los estudiantes no cumplen no pueden ser acreditados ni promovidos, independientemente del puntaje obtenido (Tobón Tobón et al., 2010).

Los criterios de evaluación, según proponen Tobón Tobón et al. (2010) al respecto: “Son las pautas o parámetros que dan cuenta de la competencia y posibilitan valorarla de acuerdo con los retos del contexto social, laboral, profesional, investigativo y/o disciplinar actuales y futuros”. En tanto, Brookhart (2013) presenta un conjunto de seis características muy claras que deben cumplir los criterios de evaluación: pertinencia, claridad, observable, independencia, integralidad y gradualidad. Tomando este listado como base y, en función de la experiencia, los autores del presente trabajo proponen un listado ampliado con los aportes de Jérez et al. (2015), Universidad del Bío-Bío, Vicerrectoría Académica (2013), Cabrera Pommiez e Inostroza (2015), Tobón Tobón et al. (2010) y Tobón 2017). Como estas características son parte de los resultados parciales de la investigación se presentan en el siguiente capítulo en la Tabla 2.

Si bien en el presente trabajo no se presenta el procedimiento de redacción de los descriptores de las rúbricas, resulta necesario conceptualizar el vocablo desempeño, muy ligado al establecimiento de los criterios de evaluación. Además de ser un término polisémico en sí mismo en la lengua española, la polisemia se complejiza en el marco de la formación por competencias, particularmente en los diferentes referentes. Brookhart (2013) afirma que las rúbricas tienen como finalidad evaluar desempeños, los cuales pueden ser, por ejemplo, observar cómo un estudiante realiza la conexión de ciertos instrumentos, o bien, cómo participa en un debate. Sin embargo, también se puede observar el desempeño a través de las producciones de un estudiante, como puede ser un dispositivo terminado o un informe técnico. En esta dirección, esta autora habla de dos tipos principales de desempeños: de procesos y de productos. De esta manera se asume aquí al desempeño como una actuación observable del estudiante, teniendo en claro que se lo observa en acción, a través de sus producciones u otro modo que resulte pertinente a la UMOC. También Brookhart (2013) pone énfasis en que cualquier actuación de un estudiante generalmente es una de tantas posibles a través de las cuales se puede verificar el desarrollo de cierto UMOC, en tanto se comporte como un indicador de éstas. Dicho esto, debe quedar claro que es el docente quien debe establecer dicho desempeño, pudiendo ser diferente para otro, aún evaluando la misma UMOC. Por otra parte, esta multiplicidad de desempeños que se pueden establecer para una UMOC, remite a la cuestión de considerar solamente los desempeños esenciales, según proponen Tobón Tobón et al. (2010). Sin embargo, aún queda por determinar cuáles serían los elementos básicos de un desempeño. A partir de cómo presentan, por ejemplo, Brookhart (2013) y Tobón (2017b), la unidad elemental está constituida por el par [verbo] + [objeto de conocimiento]. En tanto, desde lo conceptual, Roegiers (2007) entiende el concepto de objetivo específico como: “la intención que tenemos de llevar al alumno o estudiante a ejercer una capacidad sobre un contenido”. Sostiene este autor que la capacidad (generalmente se manifiesta a través de un verbo: identificar, observar, etc.,): “es el poder, la aptitud para hacer algo”, y el contenido es un “objeto del saber” (el saber en su estado bruto). De esta manera se puede asociar al desempeño con el concepto de objetivo específico de Roegiers, teniendo muy en claro que esta terminología no alude bajo ninguna circunstancia a la idea de objetivos específicos de espacios curriculares o de proyectos, entre otros contextos.

3. Aspectos metodológicos

En este segmento del proyecto de investigación el enfoque fue cualitativo. De acuerdo con Hernández-Sampieri y Mendoza Torres (2018), este tipo de investigación se enfoca en comprender los fenómenos desde la perspectiva de quienes los viven, buscando patrones y diferencias en las experiencias y sus significados, valorar procesos y generar teorías fundamentadas en las perspectivas de los participantes. Según Mertens (2015), la investigación cualitativa implica el uso de una variedad de materiales empíricos, como estudios de caso, experiencias personales, introspección, entrevistas, entre otras producciones y observaciones. Para la misma autora, las palabras clave asociadas a los métodos cualitativos son: complejidad, contexto, exploración, descubrimiento y lógica inductiva.

También la metodología usada es la investigación participativa cooperativa (Mertens, 2015); implica que los co-investigadores: identifican un problema para investigar juntos; implementan sus procedimientos de investigación en la vida cotidiana y el trabajo; revisan e interpretan los datos y sacan conclusiones para el cambio en la práctica o la necesidad de investigaciones adicionales. En este segmento del proyecto, los autores han revisado sus propios procedimientos para la elaboración de rúbricas en cursos de grado y posgrado, además de las producciones de los participantes de las capacitaciones desarrolladas por el Laboratorio MECEK. Asimismo, el trabajo realizado constituye la primera validación del procedimiento.

A partir del objetivo propuesto para este trabajo, se formuló la siguiente pregunta de investigación ¿Puede sistematizarse un procedimiento de elaboración de rúbricas a partir de los procedimientos de los propios autores y las producciones de los participantes de las capacitaciones desarrolladas por el Laboratorio MECEK? Siguiendo el proceso que describen Hernández-Sampieri y Mendoza Torres (2018), se recurrió a una muestra por conveniencia, con la participación de docentes de diferentes terminales de ingeniería, Unidades Académicas, jerarquía y experiencia. Se comenzó con una muestra tentativa inicial y conforme avanzó el estudio se realizaron ajustes, incorporando otras unidades muestrales, realizando la recolección y análisis de los datos casi en simultáneo. Los datos cualitativos se obtuvieron por medio de la recolección de documentos, tomándose como unidad de análisis rúbricas realizadas por los autores y las rúbricas realizadas por los participantes en los cursos de posgrado de formación por competencias y aprendizaje centrado en el estudiante, desarrollados por Laboratorio MECEK entre 2019 y 2020. Dichas rúbricas debían servir para la evaluación de una UMOC en las asignaturas de los participantes. Entre las ventajas de los documentos como instrumentos de recolección de datos cualitativos, puede mencionarse que constituyen formas no invasivas para con los participantes, pueden ser consultados en cualquier momento y las veces que se desee, y no requieren transcripción (Hernández-Sampieri y Mendoza Torres, 2018). Siguiendo con las recomendaciones de Hernández-Sampieri y Mendoza Torres (2018), se consideró conveniente la triangulación en la recolección de datos, incorporando procedimientos o lineamientos propuestos por los diferentes referentes en la literatura consultada.

Para el análisis de los datos cualitativos, se comenzó con una codificación abierta o cualitativa (Hernández-Sampieri y Mendoza Torres, 2018), a partir de la comparación de las unidades de análisis, para tratar de descubrir categorías respecto al establecimiento de los criterios de evaluación, niveles de dominio, redacción de los descriptores de desempeño, determinación de los descriptores obligatorios, y la confección de la rúbrica. Luego se realizaron comparaciones, identificando similitudes y diferencias, buscando categorías más relevantes para los elementos considerados en la elaboración de rúbricas. Finalmente, del análisis de las categorías identificadas se concluyó en un procedimiento para dar respuesta al planteamiento del problema de investigación.

4. Establecimiento de los criterios de evaluación

Los criterios de evaluación en el modelo operativo de Laboratorio MECEK, para la formación de competencias en una asignatura, deben ser establecidos a continuación de la redacción de las UMOC porque, como ya se mencionó, en ese momento se puede, y se debe, hacer una retroalimentación previa al diseño de la rúbrica. Esta retroalimentación, en numerosas oportunidades, indefectiblemente conduce a una nueva redacción de las UMOC. Los criterios de evaluación deben seguir el formato: [verbo] [objeto de conocimiento] [condición(es)]. Además, se recomienda entre dos y cuatro (o cinco, como máximo) criterios por cada UMOC. Si se supera este número tal vez la UMOC es muy compleja y deba ser dividida, o los criterios están muy desagregados sin considerar los desempeños esenciales, lo cual implica revisarlos. No obstante, esta recomendación es bastante general, ya que en numerosas oportunidades se puede (y se debe) recurrir a una mayor cantidad de criterios dependiendo de las características de la UMOC. Si se emplea un solo criterio, la UMOC debería ser parte de otra más integral. Por esta razón es que es conveniente revisar la redacción de la UMOC inmediatamente luego del establecimiento de los criterios de evaluación. Sin embargo, esta cantidad, en definitiva, debe surgir de la aplicación del procedimiento que han establecido los autores del presente trabajo, el cual se presenta seguidamente, por medio de una serie de pasos:

Determinar los objetos componentes esenciales

2. Seleccionar los verbos pertinentes para cada objeto de conocimiento

3. Redactar el desempeño general de cada criterio verificando su coherencia

4. Listar los posibles desempeños específicos de cada desempeño general y verificar

5. Establecer las condiciones para cada criterio

6. Redactar los criterios considerando la coherencia gramatical

7. Verificar características de suficiencia, completitud, independencia e integralidad

8. Seleccionar el o los desempeños específicos de cada criterio

9. Verificar características de pertinencia y especificidad

10. Validar los criterios con los estudiantes y con otros docentes

Antes de proceder a explicar cada uno de estos pasos, cabe aclarar que si bien se incluyen revisiones intermedias esto no implica una estricta linealidad en la secuencia. Además, estos pasos deberán verificar el conjunto de características o cualidades que se proponen en la siguiente Tabla:

Tabla 2. Características a cumplir por los Criterios de Evaluación.

Características	Descripción sintética
Coherencia Objetual	El objeto de conocimiento de cada criterio debe ser parte componente del objeto de conocimiento de la UMOC
Coherencia Verbal	El nivel cognitivo del verbo de cada criterio debe ser coherente con el de la UMOC
Perceptibilidad	Cada criterio implica uno o más desempeños que deben ser observables en forma directa o a través de producciones y procesos
Coherencia de condiciones	Las condiciones de los criterios en su conjunto darán cuenta de las condiciones de la UMOC
Coherencia gramatical	Cada criterio debe estar redactado en un lenguaje claro de manera de sea comprendido por estudiantes y docentes, sin ambigüedades
Suficiencia	El conjunto de criterios no incluye todos los desempeños; solamente los esenciales y necesarios
Completitud	El conjunto de los criterios describe el conjunto de los desempeños de la UMOC que se pretende evaluar
Independencia	El o los desempeños de un criterio deben ser diferentes a los desempeños de los otros criterios
Integralidad	El conjunto de criterios debe dar cuenta de la integración de los saberes involucrados en la UMOC
Gradualidad	Cada criterio debe describirse mediante descriptores en un rango de niveles de dominio secuenciados de menor a mayor complejidad
Pertinencia	Cada criterio debe representar un propósito de aprendizaje de la UMOC
Especificidad	Cada criterio debe ser más concreto y específico que la UMOC, delimitando su alcance, sin caer en la fragmentación
Orientación	Cada criterio representa una guía para el estudiante sobre cómo ejecutar la UMOC dimensionando las cualidades más importantes

Fuente: elaboración propia a partir de los aportes de diferentes autores

Paso 1. Implica desagregar el objeto del verbo en los objetos componentes esenciales del mismo, es decir aquellos que para ser observados en un producto o proceso requieran observaciones independientes. Esto es, cumplir con la característica de coherencia objetual

Paso 2. Consiste en seleccionar los verbos de acción para cada objeto de conocimiento, considerando una complejidad acorde con la del verbo de la UMOC. En principio, los verbos de los criterios deberían estar en el mismo nivel de la taxonomía utilizada que el verbo de la UMOC. No obstante, dependiendo del caso, el verbo de un criterio puede estar en un nivel inferior, pero por lo menos uno de los criterios debe contener un verbo del mismo nivel que el de la UMOC. También, dependiendo del caso, puede ocurrir que el verbo de uno de los criterios se encuentre en un nivel superior, siempre y cuando el desempeño asociado al criterio no implique un desempeño que exceda a lo que se pretende con la UMOC. Esto es cumplir con la característica de coherencia verbal.

Paso 3. Si bien este paso simplemente consiste en ubicar cada verbo con su objeto de conocimiento, es necesario que exista coherencia gramatical y conceptual. Por ejemplo, si el verbo es aplicar y el objeto de conocimiento son los campos escalares (caso de Matemática), la frase [aplicar] [campos escalares] no tiene coherencia conceptual. Reemplazarla por [aplicar] [propiedades de los Campos Escalares], que es coherente, limita al objeto de conocimiento. Una alternativa sería el reemplazo de la denominación del objeto de conocimiento, por ejemplo: [aplicar] [funciones reales de varias variables reales] que tiene mejor coherencia. Otro tipo de incoherencia se puede suscitar utilizando un verbo no adecuado como, por ejemplo: [resolver] [las leyes de Newton] (caso de Física). Éstas se pueden usar, aplicar, interpretar, etc., pero no resolver. Esto es dar cumplimiento parcial de la característica de coherencia gramatical.

Paso 4. Cada desempeño general puede tener más de un desempeño específico, los cuales pueden ser observados en diferentes productos y/o procesos del estudiante (cumplir con la característica de perceptibilidad). Por ejemplo, si el desempeño general que se pretende observar es [atender] [la dinámica de un debate], son posibles desempeños específicos: administrar las propias intervenciones, administrar las intervenciones ajenas, tomar decisiones que integren diferentes puntos de vista, disponerse corporalmente (gestos y contacto visual). Una primera revisión debe arrojar por lo menos un producto o proceso para cada desempeño. Si esto no se cumple, indefectiblemente se deberán revisar los desempeños generales propuestos, o inclusive la UMOC, realizando los ajustes pertinentes. Siguiendo con el ejemplo, para los desempeños: administrar intervenciones (propias y ajenas) y tomar decisiones que integren distintos puntos de vista, se pueden utilizar debates orales, que implicarán el uso de la técnica de observación, ya sea que se trate de una heteroevaluación, una coevaluación o una autoevaluación. También pueden utilizarse debates a través de un foro, un chat, u otro medio que implique la escritura. Cabe acotar que este tipo de actividad facilita el análisis de las evidencias. En cambio, si el desempeño es: disponerse corporalmente, se refiere explícitamente a debates orales. De todas formas, cumple que hay por lo menos una actividad donde puede observarse el desempeño. En principio, cualquiera de los desempeños específicos podría utilizarse para valorar el desempeño general: atender aspectos de la dinámica del debate. No obstante, otro aspecto que se debe considerar para seleccionar el o los desempeños específicos a observar, es el nivel en el que se encuentra el verbo del desempeño general. Para el ejemplo analizado, “tomar decisiones que integren diferentes puntos de vista” estaría en un nivel superior de complejidad y por lo tanto no sería consistente con el desempeño general. Cabe aclarar que considerar en este paso el producto o proceso no significa que sea aún el momento de definir o seleccionar los mismos. Es deseable que existan varias alternativas de productos y/o procesos del estudiante y, en consecuencia, el desempeño general del criterio sea observable en todos ellos, a través de desempeños específicos. Luego, la condición del criterio podría aportar mayor especificidad para la selección del producto o proceso específico.

Paso 5. Se realiza a partir de las condiciones de la UMOC. Cada criterio indefectiblemente deberá tener por lo menos una condición. Puede darse el caso de que sean las condiciones de la UMOC tal como figuran en ésta, o bien puede suceder que sean diferentes aspectos de una o más condiciones de la UMOC. Respecto a esto último, las condiciones de los criterios, en su conjunto, darán cuenta de la condición de la UMOC. Por todo lo expuesto, debe quedar claro que las condiciones de los criterios surgen de las condiciones de las UMOC, cumpliendo de esta manera con la característica de coherencia de condiciones. Al momento de establecer las condiciones del criterio se debe revisar que sean pertinentes a cada par [verbo] [objeto]. Luego, la condición puede servir para diferenciar calidades adicionales de los descriptores entre, por ejemplo, dos niveles de dominio. A continuación, se presenta un ejemplo, a partir del cual se analiza el procedimiento seguido que surge de considerar los aspectos arriba mencionados. Se parte de la siguiente UMOC: [Propone] [situaciones de integración] [para el logro de los resultados de aprendizaje] [considerando las características de los mismos y las particularidades del referencial teórico de integración utilizado]. Para el establecimiento de los criterios, las duplas [verbo] [objeto] a los que se han arribado son las cuatro siguientes: [diseña] [una situación de integración]; [explica] [las características de una situación de integración]; [explica] [los constituyentes de una situación de integración]; [argumenta] [el carácter significativo de la situación de integración]. Considerando solamente el criterio de la UMOC, [considerando las características de los mismos y las particularidades del referencial teórico de integración utilizado], se observa que existen dos condiciones, la primera es la característica de los resultados de aprendizaje. Esta condición se relaciona con la primera dupla, [diseña] [una situación de integración], puesto que es en el diseño donde debe considerarse las características del resultado de aprendizaje. Así, la redacción del primer criterio es: [diseña] [una situación de integración] [teniendo en cuenta las características del resultado de aprendizaje]. Puede observarse que la condición de la UMOC solamente se ha repetido en la condición del criterio. Siguiendo con las otras duplas, se relacionan específicamente con el referencial utilizado, acotando a la utilización de uno en particular que es el referencial de Roegiers (2007). Entonces no sería consistente especificar en cada dupla como condición la transcripción de la segunda condición de la UMOC: [las particularidades del referencial teórico de integración utilizado]. Cada dupla se relaciona con algún aspecto del referencial considerado. Las condiciones que se proponen para la segunda, tercera y cuarta dupla respectivamente son: [teniendo en cuenta la integración de saberes y la producción esperada del estudiante], [teniendo en cuenta el soporte, la tarea y la consigna] y [a partir de su representación para al estudiante]. Estas tres condiciones son diferentes aspectos de una condición de la UMOC. Finalmente, todas las condiciones de la UMOC se encuentran representadas en las condiciones de los criterios. Una como transcripción y la otra a partir de diferentes aspectos. Una última consideración a tener en cuenta es que, en el caso particular de que la condición del criterio limite la observación de ciertos desempeños específicos no puede ser la única condición en todos los criterios. Ello amerita considerar agregar una condición adicional a la UMOC.

Paso 6. Por más que se sigan los pasos anteriores adecuadamente, ello no es garantía de que se obtenga como producto una oración clara y coherente, que represente lo que el docente tiene en la mente. En primer lugar, no está demás señalar que el sujeto de la oración es el estudiante, pero se encuentra en carácter de sujeto implícito (morfológico, tácito o elíptico). Este sujeto se deduce por medio de la conjugación del verbo, que es el presente del indicativo. Otro aspecto del verbo es que éste debe ser de tipo transitivo, al igual que en el caso de la UMOC. Es decir, son aquellos que requieren de la presencia del objeto directo para que su significado sea completo, función que es cumplida por el objeto de conocimiento, precedido generalmente por un artículo. Por otra parte, la condición se incorpora a la oración que representa el criterio de evaluación por medio de conectores gramaticales (también llamados conectores discursivos o conectores del discurso), que pueden ser palabras o un conjunto de ellas. Generalmente, la frase que representa la condición puede comenzar con un conector, como ser: con base en o de acuerdo con, entre otros. Sin embargo, en la mayoría de los casos la condición actúa como una oración subordinada adverbial, donde el adverbio suele ser el gerundio de un verbo. Son ejemplos: cumpliendo, considerando, minimizando, respetando, distinguiendo, analizando, incluyendo, linealizando, validando, empleando, jerarquizando, entre otros. También suelen utilizarse nexos gramaticales (los cuales no deben confundirse con los conectores) como ser según, u otros tipos de enlaces: locuciones verbales en gerundio (teniendo en cuenta), locuciones preposicionales (a partir de, a través de), etc. En síntesis, el paso 6 es dar cumplimiento a la característica de coherencia gramatical.

Paso 7. Este paso es el primer momento crítico en el establecimiento de los criterios de evaluación. La verificación del cumplimiento de las características de suficiencia, completitud, e integralidad es esencial para determinar si se ha avanzado en el camino correcto desde lo conceptual. En tanto la característica de independencia refiere a las buenas prácticas para continuar con la elaboración de la rúbrica y finalmente la aplicación de la misma, sin por ello menospreciar el cumplimiento de las características anteriores. La suficiencia, la integralidad y la completitud son transcendentales en tanto que darán cuenta de la evaluación de una competencia. Esta última implica integración de saberes y la integración debe permanecer en los criterios (integralidad). Luego, el foco de la observación son los desempeños esenciales y no cada uno de los saberes (suficiencia). Finalmente, la totalidad de criterios permiten evaluar el desempeño general de la UMOC (completitud). La independencia de los criterios, como se ha mencionado, refiere a las buenas prácticas para la posterior redacción de los descriptores y la aplicación de la rúbrica, puesto que se pretenden evaluar desempeños independientes. Esto evita la sobreevaluación de desempeños, por un lado, y por otro, posibilita eventualmente, establecer estrategias remediales teniendo en cuenta solamente los logros de los desempeños que faltan.

Paso 8. En el paso 4 se habían listado los posibles desempeños específicos de cada criterio. Ahora corresponde seleccionar uno de ellos por cada criterio. Puede ocurrir que tal vez se precisen dos desempeños específicos para dar cuenta del desempeño general. En caso que se requiera más de dos, habría que considerar la posibilidad de desdoblar el criterio de evaluación. Es imprescindible que el desempeño específico sea susceptible de la característica de gradualidad, considerando una graduación adecuada entre un máximo y un mínimo (graduar, en el sentido que propone el Diccionario RAE como “dar a algo el grado o calidad que le corresponde”).

Paso 9. El cumplimiento de las características de pertinencia y de especificidad es poner una mirada aún más global respecto de la que se puso en el paso 7. Estas características, en estrecha relación con las de integralidad, suficiencia y completitud son las que dan sentido a la evaluación de las competencias. La pertinencia y especificidad, aseguran el alineamiento conceptual entre la UMOC y la evaluación. En tanto, el cumplimiento de estas características, facilitará el diseño de la actividad que deberán realizar los estudiantes para dar cuenta del logro de la UMOC.

Paso 10. Validar los criterios con los estudiantes es uno de los ejes principales de la evaluación centrada en el estudiante. Está relacionado con la característica de la coherencia gramatical, pero va más allá. Se trata, por un lado, de la comprensión desde la mirada de los estudiantes, cuestión fundamental puesto que son los estudiantes los que deben comprender los desempeños que deben demostrar para el logro de la UMOC. Esto no solo hace más objetiva la evaluación, sino que orienta el estudio para sus aprendizajes. En tanto, validarlo con otros docentes, particularmente de otras asignaturas, aporta retroalimentaciones que también hace menos subjetivo todo el proceso y además abre puertas para el trabajo interdisciplinario y transdiciplinario, necesario para la articulación entre espacios curriculares y la inclusión de problemas del contexto profesional.

A modo de cierre del presente capítulo se expone un posible producto final consecuente de la aplicación del procedimiento. La explicación del detalle de cada criterio de evaluación, así como de los desempeños específicos excede las limitaciones de espacio. La UMOC que se pretende evaluar es la siguiente: [Identifica] [actitudes de comunicación, valores y respeto por las diferencias personales] [para consensuar ideas comunes al grupo] [a través de debates orales]. Se trata de una UMOC que contribuye a la formación de la competencia para el trabajo en equipo, pensada para ser desarrollada en un nivel de primer año de una carrera. Los criterios de evaluación y los desempeños específicos propuestos, son los siguientes:

● Criterio 1: [Acepta] [los puntos de vista de los demás integrantes del equipo] [teniendo en cuenta las diferencias personales]

o Desempeño específico 1a: [Escucha] [a los otros integrantes del grupo]

o Desempeño específico 1b: [Manifiesta] [actitudes de respeto]

● Criterio 2: [Socializa] [sus propios puntos de vista e ideas] [con la claridad adecuada]

o Desempeño específico 2a: [Aporta] [puntos de vista e ideas]

o Desempeño específico 2b: [Expresa] [puntos de vista de ideas]

● Criterio 3: [Atiende] [aspectos de la dinámica del debate] [efectuando intervenciones pertinentes en tiempo y forma]

o Desempeño específico 3: [Administra] [intervenciones propias y ajenas]

6. Conclusiones

Si bien el procedimiento presentado ya tiene su primera validación, la experiencia de los autores del presente trabajo indica que seguramente se podrán realizar ajustes y mejoras a medida que se lo aplique en una diversidad aún mayor de espacios curriculares. Por otra parte, la propuesta debe ser completada con el procedimiento de redacción de descriptores (PRD). El PRD, junto con el establecimiento de los niveles de dominio, podrán ser temas para futuras publicaciones. Con estos dos últimos elementos se puede diseñar la rúbrica analítica completa y, recién en ese momento, proceder a revisar el alineamiento constructivo entre los tres pilares del modelo, lo cual puede conducir eventualmente a revisar la UMOC, la rúbrica o ambas. Un tema para destacar es que el orden de los pasos del procedimiento, facilita tener criterios de evaluación más permanentes, ya que la mediación pedagógica es la que se adaptará a los criterios de evaluación en cada una de las aplicaciones de la rúbrica a lo largo de diferentes cohortes. Por otra parte, se puede observar que en todo momento se ha “jugado” con tres de los cuatro componentes de la UMOC (verbo, objeto, condición), buscando definir, establecer y redactar criterios y desempeños en términos de duplas o triadas de dichos componentes. Este modo de trabajo, más allá de lo conceptual, facilita el diseño de rúbricas, particularmente para aquellos docentes que recién comienzan a transitar este camino. Las rúbricas tienen una finalidad muy específica. Por ello, los procedimientos no deben condicionar su diseño, sino facilitar esta tarea. Sea con el procedimiento propuesto o con otro, si la rúbrica resultante no cumple con la finalidad de evaluar competencias, no se puede dar garantías de la formación de éstas.

Referencias consultadas

Agencia Nacional de Evaluación y de la Calidad y Acreditación. (2013). Guía de apoyo para la redacción, puesta en práctica y evaluación de los resultados de aprendizaje. Madrid, España: ANECA.

Brookhart, S. M. (2013). How to create and use rubrics for formative assessment and grading. Alexandria, USA: ASCD.

Cabrera Pommiez, M., & Inostroza, F. L. (2015). Guía para orientar la evaluación educativa en UDLA [Documento]. Recuperado el 10 de noviembre de 2021, de Universidad de las Américas: https://docencia.udla.cl/wp-content/uploads/sites/60/2019/11/guia-para-orientar-evaluacion-educativa.pdf

Fernández March, A. (2010). La evaluación orientada al aprendizaje en un modelo de formación por competencias en la educación universitaria. Revista de Docencia Universitaria. Vol.8, n.1, (pp.11-34). Santiago de Compostela, España.

Hernández-Sampieri, R., & Mendoza Torres, C. P. (2018). Metodología de la investigación: las rutas cuantitativa, cualitativa y mixta. Ciudad de México, México: McGraw-Hill.

Jérez, O., Hasbún, B., & Rittershaussen, S. (2015). El diseño de syllabus en la educación superior: una propuesta metodológica. Santiago, Chile: Ediciones Universidad de Chile.

Kennedy, D. (2007). Redactar y utilizar resultados de aprendizaje. Cork, Irlanda: University College Cork.

Kowalski, V. A., Posluszny, J. A., Lopez, J. L., Erck, M. I., & Enriquez, H. D. (2016). Formación por competencias en ingeniería: ¿camino o destino? Revista Argentina de Ingeniería. Vol. 7, n.5, mayo, (pp 130-141), Ciudad de Buenos Aires, Argentina.

Kowalski, V. A., Erck, M. I., & Enriquez, H. D. (2020). La acción tutorial en la evaluación de competencias en carreras de ingeniería [En prensa]. Tutorías en Educación Superior. Mar de Plata, Argentina.

Le Boterf, G. (2010). Professionnaliser. Construire des parcours personnalisés de professionnalisation. Sexta edición. Paris, Francia: Éditions d’Organisation Groupe Eyrolles

Mertens, D. M. (2015). Research and evaluation in education and psychology: integrating diversity with quantitative, qualitative, and mixed methods. Cuarta edición. Thousand Oaks, USA: Sage.

Pimienta Prieto, J. H. (2012). Las competencias en la docencia universitaria: preguntas frecuentes. Naucalpan de Juárez, México: Pearson Educación.

Roegiers, X. (2007). Pedagogía de la integración: competencias e integración de los conocimientos en la enseñanza. San José, Costa Rica: Coordinación Educativa y Cultural Centroamericana y AECI. Colección IDER (Investigación y desarrollo educativo regional).

Sarmiento, R., & Espejo, R. (2017). Manual de apoyo docente: Orientaciones para el diseño y rediseño de programas de formación con enfoque de competencias. Santiago: Dirección de Calidad Educativa, Vicerrectoría Académica, Universidad Central de Chile.

Simpson, E. J. (1972). The classification of educational objectives in the psychomotor domain. Washington, USA: Gryphon House.

Tobón Tobón, S. (2013). Formación basada en competencias: pensamiento complejo, diseño curricular y didáctica. Segunda edición. Bogotá, Colombia: Ecoe.

Tobón Tobón, S. (2017) Ejes esenciales de la sociedad del conocimiento y la socioformación. Mount Dora, USA. Kresearch.

Tobón Tobón, S. (2017b) Evaluación socioformativa. Estrategias e instrumentos. Mount Dora, USA. Kresearch.

Tobón Tobón, S., Pimienta Prieto, J. H., & García Fraile, J. A. (2010). Secuencias Didácticas: Aprendizaje y Evaluación de Competencias. Naucalpan de Juárez, México: Pearson Educación.

Stevens, D. D., & Levi, A. J. (2005). Introduction to rubrics: an assessment tool to save grading time. Sterling, USA: Stylus Publishing

Universidad del Bío-Bío. Vicerrectoría Académica. (2013). Manual de elaboración de programas de asignaturas: material de apoyo para la implementación del modelo educativo en el marco del proceso de renovación curricular en la Universidad del Bío-Bío. Concepción, Chile: Universidad del Bío-Bío.