Indice Anterior Siguiente
Rev Cubana Educ Med Super 2002;16(4)


Escuela Nacional de Salud Pública


Análisis de confiabilidad del Test de habilidades múltiples para el ingreso a las carreras de Ciencias Médicas

Lic. Silvio Soler Cárdenas,1 Lic. Raúl Rodríguez Fontes2 Lic. Bertha Fernández Oliva3 y Lic. Mirna del R. Moreno Lazo4

Resumen

Se realizó un estudio de confiabilidad del Test de Habilidades Múltiples (THM) que se aplica a los aspirantes a ingreso en las Carreras de Ciencias Médicas, como parte de las pruebas de aptitud utilizadas durante el proceso selectivo. Para ello se estudió el universo conformado por la totalidad de los estudiantes de los preuniversitarios de la provincia de Pinar del Río que aspiraron a ingresar al XX Contingente del Destacamento "Carlos J. Finlay", los que fueron procesados en el curso 2000-2001 para su ingreso en el siguiente año académico. Los datos se obtuvieron de las calificaciones que alcanzaron los optantes en dicho instrumento, en las dos baterías aplicadas. En esta investigación se tuvieron en cuenta dos magnitudes mínimas de confiabilidad: 0,80 aceptada internacionalmente y 0,60 utilizada por la Comisión Nacional de Evaluación y Desempeño Profesional del Sistema Nacional de Salud. En ambos casos, el instrumento resultó confiable en las dos baterías y para todos los tipos de preuniversitarios. Estos resultados permiten seguir trabajando en la selección de los estudiantes sobre bases científicamente fundamentadas. Este estudio fue el primero de su tipo en el país.

DeCS: TESTS DE APTITUD; ESTUDIANTES PREMEDICOS; PRUEBA DE ADMISION ACADEMICA; CRITERIOS DE ADMISION ESCOLAR; ESCUELAS MEDICAS.


Durante la última década, el Ministerio de Salud Pública (MINSAP) y específicamente la Dirección Nacional de Docencia Médica Superior mediante el Departamento de Ingresos y Formación Vocacional han hecho esfuerzos sistemáticos con el propósito de elevar el rigor y las exigencias del proceso selectivo de los aspirantes a las carreras de Ciencias Médicas, que permitan garantizar el ingreso de estudiantes a Medicina, Estomatología y Licenciatura en Enfermería, con sólidas bases vocacionales, cognitivas y socio-políticas, como sustento al proceso formativo para egresar profesionales integralmente preparados. Un ejemplo concreto de lo anterior, como parte del perfeccionamiento de dicho proceso, fue la introducción del Test de Razonamiento Verbal (RV),1 el cual contribuyó en gran medida a obtener una evaluación más integral de los aspirantes, pues hasta ese momento, solo se seleccionaba a partir de la entrevista y el examen médico, con un bajo poder discriminatorio que no alcanzaba el 3 % en cada proceso.

Posteriormente se sustituyó el RV por el Test de Habilidades Múltiples (THM), instrumento éste más integrador, por cuanto incluye otras habilidades del proceso lógico-intelectual de los estudiantes, y se rediseñó la entrevista con un mayor nivel de profundidad para el análisis y evaluación de la trayectoria integral del aspirante, a la que se le concede un peso importante en este proceso.

El THM se aplica en todas las Facultades de Ciencias Médicas desde el año 1993, como parte de los instrumentos del proceso selectivo. Está diseñado con la finalidad de medir habilidades básicas que permitan crear y dar soluciones a problemas nuevos partiendo del cúmulo de experiencias previamente adquiridas y se estructura en 4 series que exploran las siguientes áreas: la tendencia orientadora hacia las carreras de la salud, el razonamiento verbal, el matemático y la ingeniosidad de los aspirantes. Estos conocimientos y habilidades pueden representar una medida específica para predecir el éxito académico,2 lo que obviamente destaca la importancia de la aplicación de este instrumento en el referido proceso de selección para el ingreso a las carreras de la Educación Médica Superior y su perfeccionamiento.

Teniendo en cuenta los elementos anteriormente planteados y la necesidad de continuar trabajando sobre bases científicamente sustentadas, se decidió realizar un estudio de confiabilidad del THM, tomando como base los resultados de su aplicación en la Facultad de Ciencias Médicas de Pinar del Río, con la cohorte de ingreso del curso académico 2000-2001, aspirantes a los que se les aplicaron todos los instrumentos del proceso y en particular, el THM. Con ese propósito se utilizaron dos baterías uniformes en cuanto a estructura y niveles de complejidad.

Métodos

Para el desarrollo de este trabajo se utiizaron datos generales y los resultados de la aplicación del THM al universo constituido por 885 alumnos de los preuniversitarios, aspirantes al ingreso a las carreras de Medicina, Estomatología y Licenciatura en Enfermería para cursos diurnos, correspondientes al XX Contingente del Destacamento de Ciencias Médicas "Carlos J. Finlay" de la Facultad de Ciencias Médicas "Dr. Ernesto Che Guevara" de Pinar del Río.

Se confeccionaron 2 baterías de idéntica estructura, con items equivalentes y se aplicaron a los aspirantes previa separación de éstos en dos grupos aproximadamente iguales en número. Para dicha aplicación se creó un equipo de 4 profesores entrenados anteriormente con el propósito de lograr homogeneidad en el acto de aplicación de los instrumentos.

Cada batería constó de 50 items distribuidos en 4 series, 3 de las cuales la integraron 15 items y una con 5. A cada uno de ellos se les asignó una puntuación de "2" para la respuesta correcta y "0" para las incorrectas, de modo que la puntuación máxima a alcanzar por el aspirante era de 100 puntos.

Además, de cada aspirante se registraron los siguientes datos: municipio donde se encuentra el preuniversitario, tipo de preuniversitario: Instituto Preuniversitario Vocacional de Ciencias Exactas (IPVCE), Instituto Preuniversitario en el Campo (IPUEC), Instituto Preuniversitario Militar (IPUM) y Escuela de Perfeccionamiento Atlético (ESPA), así como el sexo y la aceptación o no en el proceso en general (aceptado o no aceptado).

El análisis de confiabilidad se basó en el cálculo del coeficiente a de Cronbach3 el más usado en los estudios contemporáneos de calidad de instrumentos evaluativos.4-6 Para el cálculo de la longitud óptima del test se aplicó la fórmula de Spearman Brown.3

Los datos se procesaron con el software estadístico SPSS for Windows, versión 8.0

Resultados

De los 885 aspirantes procesados, 448 respondieron la batería I y 437 la II. Por tipo de preuniversitario, las cifras fueron las siguientes: 171 estudiantes procediían del IPVCE y respondieron las baterías I y II, 87 y 84 respectivamente; 609 correspondían al IPUEC, 316 hicieron la batería I y 293, la batería II; 89 correspondieron al IPUM, 29 realizaron la batería I y 60 la batería II; los 16 restantes de la ESPA respondieron todos la batería I.
Las tablas 1 y 2 presentan el análisis de confiabilidad basado en el cálculo del coeficiente a de Cronbach para las baterías I y II.

Como se aprecia en la última fila de ambas tablas, el valor del coeficiencte a es superior a 0,80 lo que permite aceptar que las dos baterías del THM son confiables, pues según Daniel Bain y Gianreto Pini,7 el valor 0,80 es la magnitud mínima para declarar la fiabilidad de un instrumento. Es conveniente mencionar que la Comisión Nacional de Evaluación de la Competencia y el Desempeño Profesional (CNECDP) del Sistema Nacional de Salud ha establecido 0,60, como valor mínimo para declarar un instrumento evaluativo como confiable.8 Obviamente, ambas baterías satisfacen esta exigencia.


Tabla 1. Análisis de confiabilidad para la batería I

Tipo de Pre
Serie 1
Serie 2
Serie 3
Serie 4
Total
IPVCE
0,33
0,41
0,37
0,43
0,.61
IPUEC
0,52
0,51
0,65
0,58
0,79
IPUM
0,25
0,06
0,70
0,63
0,78
ESPA
0,40
0,19
0,76
0,59
0,80
Total
0,55
0,57
0,72
0,64
0,83


Tabla 2. Análisis de confiabilidad para la batería II

Tipo de Pre
Serie 1
Serie 2
Serie 3
Serie 4
Total
IPVCE
0,41
0,32
0,65
0,52
0,65
IPUEC
0,53
0,47
0,72
0,60
0,81
IPUM
0,66
0,60
0,71
0,24
0,83
ESPA
----
-----
-----
-----
-----
Total
0,55
0,57
0,72
0,64
0,83

La última columna de ambas tablas muestra los valores del coeficiente a para los diferentes tipos de preuniversitarios. Se aprecia que en todos los casos los resultados son superiores a 0,60, es decir que si se adopta, el punto de corte establecido por la CNECDP, ambas baterías también resultan confiables para todos los tipos de preuniversitarios.

Discusión

El THM es un instrumento de selección relativamente nuevo en los procesos selectivos que se desarrollan en el país para ingresar a las carreras de Ciencias Médicas, por lo que la literatura de investigaciones realizadas sobre este tema, prácticamente no existe. Sobre confiabilidad del THM es el primer estudio que se realiza. Por esta razón, no se pueden hacer comparaciones con otros trabajos. Haber demostrado que es un test confiable para todo tipo de preuniversitario, aunque con la limitación de que el universo estudiado abarca una sola provincia, constituye una importante motivación para continuar investigando y realizando esfuerzos para su perfeccionamiento. La máxima aspiración futura debe ser poder estudiarlo a nivel del país y que siga ganando en objetividad y calidad.

Los resultados obtenidos en este estudio apuntan hacia la confirmación de que los esfuerzos y experiencias acumuladas por el Departamento de Ingresos del Ministerio de Salud Pública han posibilitado, con la colaboración de un grupo multidisciplinario de expertos, que hoy se disponga de un Test de Habilidades Múltiples (THM) confiable, al menos en las baterías estudiadas, para todos los tipos de preuniversitario de la provincia de Pinar del Río, pues los niveles de confiabilidad del a de Cronbach obtenidos en el universo estudiado fueron superiores a los estándares aceptados, tanto en el orden nacional como internacional.


Agradecimientos

Agradecimiento especial al Lic. Michel Martínez Ramos por su valioso aporte en la recolección de la información.

Summary

Reliability analysis of the Multiple Abilities Test applied to enter medical sciences careers
It was conducted a reliability study of the Multiple Abilities Test (MAT), which is applied as part of the aptitude tests during the selective process of the aspirants. To this end, all the students from the preuniversity institutes of the the province of Pinar del Río that wanted to enter the XX Contingent of "C.J. Finlay" Pedagogical Detachment and that were processed during the course 2000-2001 in order to be admitted on the next academic year were studied. Data were obtained from the marks given to the examinees in the 2 batteries of this instrument. 2 minimum reliability magnitudes: 0.80, internationally accepted, and 0.60, used by the National Commission of Evaluation and Professional Performance of the National Health System, were taken into account in this research. In both cases, the 2 batteries of this instrument proved to be useful and it was demonstrated that it can be used in all types of preuniversity institutes. These results allow to continue working on the selection of the students on scientifically founded bases. This study was the first of its kind in the country.

Subject headings: APTITUDE TESTS; STUDENTS PREMEDICAL; COLLEGE ADMISSION TEST; SCHOOL ADMISSION CRITERIA; SCHOOLS, MEDICAL.


Referencias bibliográficas

  1. Universidad Autonóma Metropolitana (UAM) de Méjico. Manual de Información para el Examen de Admisión. Méjico. DF. Casa abierta al tiempo; 1984: 23-8.
  2. Dieppa J. La medición de la aptitud y el aprovechamiento: teoría y aplicaciones". Puerto Rico: College Entrance Examination; 1971.
  3. Crocker L, Algina J. Introduction to classic and modern test theory. University of Florida, 1986.
  4. Brailovsky C A, Grand Maison P, Lescop J. Large-scale Multicenter Objective Structured Clinical Examination for Licensure. Acad Med Rim 1992;67(10):537-9.
  5. Handfield Jones R, Belle J, Rainsberry P, Brailovsky CA. Certification examination on the college of family physician of canada. Part 3. Short-answer management problems. Can Fam Phys 1996;42(7):1353-61.
  6. Lescop J, Grand Maison P, Brailovsky CA. Large scale multicenter OSCE used for Provincial Licensure. En: Harden RM, Hart IR, Malholand H(eds). Approaches to the Assessment of Clinical Competence. Norvich: Page Brothers; 1992 p. 54-7.
  7. Bain D. Y Pini G. La Généralisabilite: Mode D'emploi. Genéve: Centre De Recherches Psychopédagogiques; 1996.
  8. Indicaciones Metodológicas para el planeamiento, diseño y control de la calidad de los exámenes escritos, para la evaluación de competencias y desempeño profesionales. (Anteproyecto). Documento metodológico de la Comisión Nacional de Evaluación de la Competencia y Desempeños profesionales en el Sistema Nacional de Salud. MINSAP, Cuba.

Recibido. 2 de noviembre del 2002. Aprobado: 16 de noviembre del 2002.
Lic. Silvio Soler Cárdenas. Escuela Nacional de Salud Pública, I No. 2002 esq. a Línea, El Vedado. Ciudad de La Habana, CP 10400, Cuba.

 

1 Profesor Escuela Nacional de Salud Pública.
2 Jefe Dpto. Actividades Educativas Complementarias. Facultad de Ciencias Médicas de Pinar del Río.
3 Profesora Escuela Nacional de Salud Pública.
4 Metodóloga de Ingreso. Facultad de Ciencias Médicas de Pinar del Río.

Indice Anterior Siguiente