VALIDEZ Y CONFIABILIDAD DE INSTRUMENTOS DE EVALUACIÓN
VALIDEZ
DE INSTRUMENTOS DE EVALUACIÓN
Las conceptualizaciones acerca de la
validez han pasado por un proceso de transformación y adaptación a lo largo del
tiempo. La primera definición, o definición clásica de validez, es la
desarrollada por Ruch (1924; citado en AERA, APA y NCME, 2014), quien indica
que la validez es el grado en que un test mide aquello que se propone medir. En
los años cincuenta, emerge el concepto de validez de constructo, que enfatiza el
hecho de que la medición psicológica y educacional busca dar cuenta de
atributos no directamente observables, sino que son medidos a partir de sus
manifestaciones.
Luego en el año de 1985 se logra establecer
por primera vez un concepto unitario sobre validez, entendiéndola como la
adecuación, significación y utilidad de las inferencias hechas a partir de los
puntajes de un test. La validación de un test se entiende, entonces, como el
proceso de acumular evidencia para apoyar tales inferencias (APA, AERA y NCME, 1985;
citado en AERA, APA y NCME, 2014).
En base al desarrollo anterior, en la
siguiente revisión de los estándares ya se distinguen y agregan tres tipos de
validez a la validez de constructo: la de contenido, la concurrente y la
predictiva. En estos estándares la conceptualización es la que sigue (APA, AERA
y NCME, 1999; citado en AERA, APA y NCME, 2014):
•
Validez de contenido: Se evalúa analizando si el contenido de la prueba es una
buena muestra de las situaciones o el contenido sobre el que se pretende sacar
conclusiones. Los estándares explícitamente indican que este tipo de validez es
especialmente importante en casos de mediciones de logro.
•
Validez concurrente: Se evalúa analizando qué tan bien los resultados de la
prueba corresponden a otras pruebas tomadas al mismo tiempo.
• Validez predictiva: Se evalúa analizando qué tan bien se confirman las predicciones basadas en la prueba por evidencia recolectada después de dicha prueba. Se menciona explícitamente el uso predictivo en casos de inteligencia, vocacionales y resultados terapéuticos.
CONFIABILIDAD
DE INSTRUMENTOS DE EVALUACIÓN
La confiabilidad de una medición es la
propiedad más importante de un test, siendo un requisito para alcanzar los
otros dos pilares fundamentales: validez e imparcialidad. Conceptualmente, la
confiabilidad se opone al concepto de error de una medición, es decir, una
medición que entrega resultados afectados por error de medición no puede ser argumentada
como válida ni como imparcial (AERA, APA y NCME, 2014).
Los estándares de AERA, APA y NCME (2014),
advierten que el término confiabilidad ha sido usado de múltiples maneras,
confundiéndose con los distintos procedimientos de estimación que se han
desarrollado, y aludiendo a las distintas facetas de la medición en las cuales
tal propiedad se puede analizar. Para unificar esta noción, los estándares
proponen conceptualizar la confiabilidad como precisión de la medición a nivel
de los examinados. Esto enfatiza la noción de replicabilidad de los puntajes a
nivel individual que entrega un determinado instrumento. Así, un buen análisis
de confiabilidad permite estudiar las posibles amenazas a la replicabilidad de
un test.
************************Video Resumen
Tomando en cuenta lo antes
descrito, tomemos un tiempo para reflexionar sobre el tema;
¿Cómo se puede garantizar la
validez y la confiabilidad de una evaluación? (Ejemplifique).
¿Puede una evaluación ser
confiable pero no ser válida? (Justifique su respuesta).
¿Puede una evaluación ser válida
pero no ser confiable? (Justifique su respuesta).
La entidad evaluadora debe cumplir con un mínimo de requerimientos que garanticen su confiabilidad; tales como, experiencia comprobada en esa actividad, el personal, que en ese momento este ejecutando esa labor evaluativa tenga solidos conocimientos demostrables, que generen suficiente confianza como para dar por sentado que su dictamen es confiable, por ejemplo: debo verificar los antecedentes de esa entidad realizando esa labor, los comentarios de quienes previamente han usado sus servicios, y la calificación al respecto, lo cual me podría generar confianza para solicitar su intervención.
ResponderEliminarCiertamente, un autor destacado en el campo de la evaluación educativa y psicométrica es Robert L. Linn. En su libro "Educational Measurement" (Medición Educativa), Linn aborda ampliamente los conceptos de validez y confiabilidad en la evaluación, así como las estrategias para garantizarlos. Otro autor relevante es Paul E. Newton, conocido por sus contribuciones a la comprensión de la validez y la confiabilidad en la evaluación educativa.
EliminarPor ejemplo, en un proceso de selección de personal, se podrían aplicar pruebas psicométricas, entrevistas estructuradas y ejercicios de simulación de trabajo. Luego, se compararía los resultados de cada método para garantizar que todos apunten a las mismas conclusiones sobre las habilidades y capacidades de los candidatos, lo que aseguraría la validez de la evaluación. Para garantizar la confiabilidad, se podrían capacitar a los evaluadores en técnicas de calificación, establecer estándares claros para la evaluación y realizar análisis estadísticos de consistencia en las puntuaciones de los candidatos.
EliminarSi, porque la puede realizar una entidad con mucha experiencia en el ramo, lo cual garantiza que está bien hecho el trabajo, pero puede no ser válida, ya que a pesar de ser confiable, puede estar no diseñada para el propósito que se persigue
ResponderEliminarComparto su opinión, ya que: Sí, es posible que una evaluación sea confiable pero no válida, debido a que a confiabilidad se refiere a la consistencia de los resultados de una evaluación, es decir, si la evaluación produce resultados consistentes cuando se administra en condiciones similares. Cabe señalar que, la validez, se refiere a si la evaluación mide lo que se supone que debe medir.
EliminarPor ejemplo, si se diseña una prueba para medir la comprensión matemática, pero en realidad evalúa más la capacidad de lectura que las habilidades matemáticas, la prueba podría ser confiable en el sentido de que los puntajes de los estudiantes son consistentes cada vez que se administra. Sin embargo, no sería válida, ya que no está midiendo lo que se pretende evaluar.
Tal y como se describe en el Blog, una prueba puede ser válida pero no confiable, pues la validez se refiere a si la prueba está debidamente orientada al constructo, en otras palabras, no se debe evaluar contenido que no se ha abordado
EliminarConsidero que son aspectos importantes aun que cuando se va a evaluar puede que uno aplique y otro no dejando entender una vez que siempre que se procede a evaluar se debe realizar obligatoriamente una planificación, con pasos a seguir, ya que son los que como guía nos llevaran al cumplimiento canal de una óptima evalucion.
Eliminarsi, en el sentido de que cierto tipo de evaluación se requiere para determinar ciertos características en el ente evaluado, pero la entidad que la realiza puede no ser confiable por muchos aspectos, como, equipos, personal, procedimientos, etc.
ResponderEliminarCómo lo trasladaría al ámbito educativo?
EliminarAsí es, acá le comparto esta lo que dice: Messick, un autor relevante que ha abordado este tema, influyente psicólogo educativo conocido por su trabajo en evaluación educativa, quien argumentó que la validez es el aspecto fundamental de la evaluación, y que la confiabilidad es un componente crucial pero subordinado de la misma. Según Messick, una evaluación puede ser considerada válida incluso si no es completamente confiable. Además , propuso que la confiabilidad es un componente importante de la validez, pero no es suficiente por sí sola para garantizar la validez de una evaluación. En su enfoque, la validez se extiende más allá de la consistencia de los resultados y abarca la relevancia de la evaluación para la interpretación y toma de decisiones asociadas.
EliminarEn el ámbito educativo sería por ejemplo, si una universidad o cualquier entidad educativa, quisiera saber si el estudiante logro los objetivos en el área de matemáticas, específicamente en el tema de Derivadas, pero en la evaluación que le hace al estudiante no realiza las preguntas claves que nos puedan dar una idea de si el estudiante aprendió o no
EliminarAdemás es vital entender que no es igual hablar de la validez y la confiabilidad cuando de las evaluaciones aplicadas en una escuela se trata o cuando hablamos de pruebas censales estandarizadas, ya que el promedio de
Eliminarevaluados, la finalidad de su uso y los reportes entre
otros elementos, varían completamente
Por lo anterior, aunque estemos seguros que una prueba ha sido construida bajo los parámetros de confiabilidad y validez requeridos, siempre se deben tener en cuenta los factores que la pueden afectar al momento de aplicarla y extraer los resultados.
ResponderEliminarPara controlar esos factores se deben usar herramientas, estadísticas que puedan predecir, formular y medir.
Ok al igual que en el tópico anterior, ¿Qué hay de los instrumentos de evaluación cualitativa? ¿Qué hacemos con ellos para estimar validez, confiabilidad o fiabilidad?
ResponderEliminarUn instrumento de evaluación cualitativa normalmente es una persona que cumple la labor de docente, entonces para estimar su confiabilidad o fiabilidad, se deberían revisar sus antecedentes como evaluador, su honestidad, su honradez, su ética , y todas estas cualidades van a determinar si este instrumento es confiable o no.
EliminarSi pero allí te estarías refriendo al evaluador como instrumento, pero yo me refiero a como hacer un instrumento para la evaluación cualitativa de un participante. Por ejemplo, una lista de cotejo de aptitudes y habilidades y a través de la observación verificar si se ha dado la transformación esperada en el proceso de formación, realmente no es algo tan complicado. en mi opinión es incluso más simple que un examen escrito sobre contenido...
EliminarOk, debería ser un instrumento que tenga en cuenta el interés del estudiante, su receptividad para adquirir conocimientos, su trabajo cooperativo, sus sugerencias que estimulen la investigación, todo estos parámetros nos podrían dar una conclusión de si ha habido una transformación o cambio en el estudiante
EliminarEs fundamental adoptar enfoques reflexivos, transparentes y sistemáticos que se adapten a la naturaleza cualitativa de los datos y los procesos de evaluación. Esto implica una atención cuidadosa a los procedimientos de recopilación, análisis e interpretación de datos, así como a la documentación y la reflexión constante sobre los desafíos y limitaciones del proceso de evaluación.
EliminarQuien puede hablarme sobre lo que sería fiabilidad por criterio del evaluador y cómo se sustenta eso...
ResponderEliminarPodemos determinar la confiabilidad de una evaluación cuando existe Estabilidad: los resultados permanecen semejantes cada vez que se administra la prueba. Exactitud: la evaluación distingue los aspectos que mide de otros
Eliminarirrelevantes.
La fiabilidad está relacionad con la fe o la confianza que tengamos en algo, si yo le presto dinero a alguien, es porque tengo confianza en esa persona , y se que mi dinero no esta en peligro, y digo es una persona fiable, entonces una persona fiable es aquella persona que se ha ganado ese prestigio por su forma de actuar, ya que todo lo que hace lo hace con responsabilidad , honestidad y veracidad, entonces un docente que actúa en forma similar es un docente evaluador fiable, porque su formación moral así lo constituye
EliminarPero entonces ¿qué pasa con los intereses de un evaluador o un investigador si en el contexto donde se pretende evaluar no existen estándares?
EliminarLo que quiero que consideren es que lo propuesto por ustedes es correcto, pero enmarcado en un contexto institucional prácticamente cerrado. Y si su evaluación debiera ser mas allá de un aula, en un contexto digamos comunal, sobre una circunstancia nueva y no estandarizada. recuerden que la evaluación incluso la evaluación educativa no se limita solo al contexto escolar o universitario..
EliminarCUANDO ESTOS ESTANDARES CLAROS NO EXISTEN EN UN CONTEXTO DEEVALUACION LOS INTERESES DEL EVALUADOR PUEDEN INFLUIR EN GRAN MEDIDA EN LOS RESULTADOS . ESTA SITUACION PONDRA AL DESCUBIERTO LA SUBJETIVIDAD Y LOS SESGO DE LA VALIDEZ Y CONFIABILIDAD.
EliminarDonde no existen estándares establecidos, es crucial abordar conscientemente la influencia de los intereses del evaluador. La transparencia, la participación de partes interesadas, la consistencia interjueces y la reflexión constante son elementos clave para reducir los riesgos asociados con la subjetividad y garantizar un proceso de evaluación más objetivo y válido.
Eliminar¿Cómo se puede garantizar la validez y la confiabilidad de una evaluación? (Ejemplifique). SI DISEÑO UN EXAMEN DE MATEMATICA Y QUISIERA ASEGURAR QUE EL INSTRUMENTO SEA VALIDO DEBO ALINEAR EL EXAMEN CON LOS OBJETIVOS DE APRENDIZAJE DEL CURSO , OSEA LOS CONCEPTOS Y HABILIDADES IMPORTANTES QUE LOS ESTUDIANTES DEBIERON HABER ADQUIRIDO.
ResponderEliminarREVISAR QUE LAS PREGUNTAS DEL EXAMEN ABORDEN LOS TEMAS CENTRALES DEL CURSO Y NO CENTREN EN ASPECTOS TANGENCIALES O IRRELEVANTES.
APLICAR VARIABILIDAD DE TIPOS DE PREGUNTAS COMO CONCEPTUALES APLICADOS A LA VIDA REAL, EJERCICIOS NUMERICOS.
Entonces, que tipo de instrumento harías?
EliminarLOS INSTRUMENTOS PODRIAN SER CLASES PARTICIPATIVAS Y LLEVAR EL CONTENIDO A LA VIDA REAL.
EliminarLOS EXAMENES ESCRITOS QUE SEAN VARIABILIDAD ENTRE MARCOS TEORICOS DE COMPLETAR , SELECCION SIMPLE Y PRACTICOS CON APOYOS GRAFICOS.
De mi parte puedo opinar que para mantener la confiabilidad de los datos, se debe establecer y seguir de cerca un método uniforme para recopilar y procesar todo tipo de datos. Para la validez de los datos, deben existir protocolos rigurosos de validación de datos. Se dice que un examen es válido cuando evalúa efectivamente aquello que pretende evaluar (por ejemplo, la motivación de un individuo o su competencia comunicativa en una lengua). La validez, por tanto, consiste en el grado de adecuación de una prueba -o de una de sus partes- a lo que se considera que mide. Para mantener la confiabilidad de los datos, se debe establecer y seguir de cerca un método uniforme para recopilar y procesar todo tipo de datos. Para la validez de los datos, deben existir protocolos rigurosos de validación de datos. Para la lograr la validez y la confiabilidad es importante el objetivo propuesto por el docente y que sea alcanzada mediante este método o los métodos utilizados.
ResponderEliminarSegún Hopkins (1985), la validez y confiabilidad de la evaluación, consiste en reunir las pruebas y evidencias suficientes para garantizar la credibilidad de la evaluación. Un instrumento es válido cuando mide realmente aquello que intenta medir, es decir, es el grado con que el instrumento es capaz de lograr ciertos objetivos. La validez se mide en grados, no de manera excluyente, sino en términos de alta, media o baja validez y esta debe de ser demostrada y comprobada.
ResponderEliminarLa validez de la evaluación asegura que el instrumento mida adecuadamente el contenido que se supone que está evaluando. Para ser válido, el instrumento debe abarcar de manera representativa los conceptos y habilidades importantes en el ámbito educativo superior.
ResponderEliminarSe debe examinar si el instrumento mide correctamente el constructo teórico o la habilidad que se supone evaluar. Este tipo de validez se establece a través de la correlación entre los resultados del instrumento y la teoría subyacente.
Además hay que considerar la validez de cada criterio, esto implica la comparación de los resultados del instrumento con un criterio externo para evaluar si el instrumento predice o correlaciona adecuadamente con el comportamiento o desempeño esperado. Puede ser concurrente o predictiva.
La confiabilidad y validez de los instrumentos deben ser consideradas al proporcionar retroalimentación a los estudiantes, asegurando que los resultados reflejen con precisión su desempeño. Garantizar la validez y confiabilidad de los instrumentos de evaluación en la educación superior es esencial para obtener resultados precisos y significativos que respalden la toma de decisiones educativas y el desarrollo estudiantil.