Los Tipos de Diseño en la Teoría de la Generalizabilidad

Los Tipos de Diseños en la Teoría de la Generalizabilidad

Arturo Chow

                                                                                                                               

I.-Introducción.

De acuerdo al número y características de las facetas que interesan al investigador se pueden desarrollar múltiples diseños para el análisis de generalizabilidad, sin embargo se puede decir que existen dos diseños básicos: el factorial completamente cruzado y el jerárquico o anidado.

II.-El diseño factorial completamente cruzado: En los diseños factoriales completamente cruzados se debe disponer al menos un dato para cada combinación de niveles de un factor, con los niveles de otros factores (Martínez Arias, 1995, pp.173), el ejemplo clásico de un diseño cruzado es el de p x i, en el que “p” son los sujetos e “i” la faceta “instrumentos de evaluación” o “ítems”, este diseño implica que todos los sujetos serán evaluados con todos los instrumentos de evaluación elegidos.

Este tipo de diseño es el más recomendado, puesto que es el que más información brinda, se pueden determinar claramente los componentes principales de varianza de cada una de las facetas y el de las interacciones. El modelo lineal general para este tipo de diseños es el siguiente:

X_pi = m +  (m_p  -  m)  + (m_i  - m) + (X_pi - m_p - m_i  + m)

Donde:

m : Es la media general (de rendimiento, p. ej.) de toda la población de individuos (N_p) dadas las condiciones N_i.

(m_p  -  m): es la diferencia de rendimiento del individuo con respecto a la media general o lo que es llamado el efecto del individuo sobre la media general de rendimiento, donde  m_p  es la puntuación universo del individuo, que se define como la esperanza matemática de las puntuaciones observadas:

m_p  = E (X_pi)

(m_i  -  m): Este es el efecto de la condición i, es la media de rendimiento de los individuos para la condición iésima, menos la media general del rendimiento m_i,  la que está definida como el valor esperado de X_pi , para todas las personas y donde:

m_i = E(X_pi)

(X_pi - m_p - m_i  + m): Este término es el efecto de interacción de todos los factores involucrados en el estudio de generalizabilidad, considerándose el efecto no explicado por la suma de los efectos de las personas y de la condición. Esta interacción se confunde con los efectos del error aleatorio e_pi.

Se puede escribir los términos anteriores en función de los efectos:

X_pi = m + a_p  + b_i  + (ab)_pi,e

Martínez Arias indica que m_p ,  m_i  ,  m   no son observables, puesto que las respuestas de un individuo a todas las condiciones de un universo es imposible conseguirlas y tampoco las de todas las personas a una condición de la faceta, por ello lo que se hace es una “estimación” de los parámetros de estas respuestas.

Para llevar a cabo la estimación de los parámetros mediante el ANOVA se deben establecer ciertas condiciones, en primer lugar todos los efectos del modelo presentado anteriormente son aleatorios, excepto la media general de rendimiento de la población, m, ahora dado que N_p y N_i  son poblaciones infinitas y condiciones de la faceta I, respectivamente:

a_p  Es una variable aleatoria  N (0, s²_p).

b_i   Es una variable aleatoria N (0, s²_i).

(ab)_pi,e Es una variable aleatoria N (0, s²_pi,e).

III.-Diseños anidados: Otro tipo de diseños son los jerárquicos o anidados, una jerarquía consiste en observaciones de bajo nivel anidadas dentro de niveles superiores, en este caso deben cumplirse dos condiciones (M. Arias, 1995, pp. 174): a) niveles múltiples de un factor están asociados con cada nivel de otro factor y b) diferentes niveles de un factor están asociados con cada uno de los niveles de otro factor.

El planteamiento teórico que sustenta el análisis de diseños anidados parte de la idea que todos los datos están organizados en jerarquías anidadas, como indican Moelleng y Tolber (1972) es decir que están organizados de manera natural.

Un ejemplo de jerarquías estructuradas en dos niveles puede ser:

-Alumnos en una escuela

-Pacientes en una clínica.

-Votantes en un distrito.

-Casas en un vecindario.

-Indicadores de sectores económicos.

Un ejemplo de jerarquías estructuradas en tres o más niveles puede ser:

-Alumnos en clases de escuelas.

-Pacientes en clínicas de hospitales de provincias.

-Casas en vecindarios de ciudades.

En cada nivel podemos tener para el análisis de  variables referidas a las características de ese nivel.

Las estructuras de datos anidados son muy comunes en las ciencias sociales y del comportamiento. Los individuos pueden pertenecer a varios tipos de grupos. Por ejemplo, datos recogidos sobre estudiantes en escuelas pueden contener variables que describen a estos tales como: estatus socio-económico, actitud hacia el trabajo en casa, género y etnicidad, y también variables que describen la escuela como: sector (público o privado) y el tipo de escuela, definido a partir de los estudiantes que la integran (Ita Kreft y Jan de Leeuw, 1998).

Los investigadores de la eficacia escolar necesitan recolectar datos como los anteriores, para realizar el análisis en dos o más niveles, con el objetivo de encontrar la influencia de estos factores o variables, tanto sobre el logro de los estudiantes como de su escuela. El manejo de los datos escolares recolectados, con el fin detallado anteriormente, necesita técnicas que puedan simultáneamente tomar medidas a diferentes niveles de jerarquía.

III.1.-Interacciones de niveles cruzados: Las interacciones de niveles cruzados son definidas como interacciones entre variables, medidas en diferentes niveles de una estructura jerárquica de datos. Un ejemplo es la interacción entre el contexto y los estudiantes, tal como las características de un estudiante a nivel individual, como el género y las características del profesor, como su actitud hacia los asuntos de género. Cronbach y Webb (1975) (citados por Kreft y Leeuw, 1998) fueron los primeros en abordar el tema de las interacciones de niveles cruzados en la literatura de investigación educativa.

La hipótesis de Cronbach y Webb era que los profesores eficaces solo lo eran para cierto tipo de estudiantes y no necesariamente para todos los estudiantes en general. Si ciertos profesores son, por ejemplo, más efectivos con estudiantes brillantes que con otro tipo de estudiantes, esto significa que las relaciones entre las actitudes de este tipo de estudiante y sus logros escolares son reforzadas por tal tipo de profesores. Dicho de otra forma, tal tipo de profesor tiene un estilo de enseñanza que refuerza el mérito de los estudiantes.

Por otro lado, si el profesor es más efectivo con estudiantes lentos, la relación entre actitudes y logros de los mismos puede ser débil y podemos decir que este tipo de profesor tiene un estilo de enseñanza más igualitario. El primer tipo de profesor amplía la brecha entre altos y bajos rendimientos, mientras el segundo tipo la reduce. En la literatura de investigación educativa esto es llamado Aptitud-Tratamiento-Interacción (ATI). Definiendo estudiantes como el micro nivel y profesores como el macro nivel; en tal interacción de nivel cruzado se establecen una micro y macro interacción. La fuerza de esta micro-macro interacción, es decir la fuerza del efecto del profesor sobre un tipo específico de estudiante actúa de una forma positiva o negativa.

III.2.-Los diseños confundidos: En caso que solo se cumpla la condición a),  de los diseños anidados, es decir que solo “niveles múltiples de un factor están asociados con cada nivel de otro factor”, entonces se habla de “diseños confundidos”, este caso es parecido al de los diseños anidados, sin embargo aquí el investigador no puede separar las fuentes de variación en algunas facetas de su diseño, sea por las condiciones de medición o por la disponibilidad de información.

IV.-Las facetas: Con respecto a los factores o más bien facetas en la TG estas pueden ser fijas o aleatorias, el hecho que una faceta sea considerada fija implica que en ella se toman en cuenta todos los valores posibles de una población, en el caso contrario una faceta es aleatoria cuando se considera que sus valores son tomados como una muestra aleatoria de un universo más amplio de valores. De lo anterior se puede concluir que en dependencia de escoger facetas fijas o aleatorias para el análisis de T.G. se podrá generalizar resultados a un universo o población restringido o más amplio.

Kreft y Leeuw (1998) exponen que hay mucha confusión asociada con los términos ‘aleatorio’ y ‘fijo’. En el contexto de los modelos lineales, estos términos se aplican a tres diferentes entidades: efectos aleatorios o fijos, variables aleatorias o fijas y coeficientes aleatorios o fijos. El concepto de coeficientes aleatorios o fijos es comúnmente usado en la investigación experimental, donde el tratamiento y los grupos de tratamiento están relacionados y para el análisis de los datos se utiliza el análisis de varianza.

Un factor se dice que tiene un efecto fijo si todos los posibles tratamientos, en los cuales el investigador se encuentra interesado, están presentes en el experimento. El efecto aleatorio se define cuando se considera resultado de una muestra del universo de todos los tratamientos relevantes. Según Kreft y Leeuw las referencias clásicas en esta área son las de Scheffé (1956) y Wilk y Kempthorne (1955).

La distinción entre efectos fijos y aleatorios es muy útil para la inferencia y la generalización de los resultados. Por ejemplo, los efectos fijos solamente permiten hacer inferencias con respecto a los tratamientos usados en el experimento. Los efectos son considerados como constantes y sin medida de error.

En el modelo de efectos aleatorios, las inferencias se extienden más allá de las escuelas dentro de la muestra. El intento es generalizar los resultados a la población de escuelas y no solamente a la escuela sometida al tratamiento. Este efecto no se asume como constante porque se encuentra en una escala diferente y es medido con un término de error muestral. Este es resultado directo del hecho que se utiliza una muestra de escuelas, el que se quiere generalizar al resto de la población. Es de esperar más o menos diferentes resultados si el mismo experimento se repite en otra muestra de escuelas.

Los mismos conceptos ‘constante’  y ‘aleatorio’ son usados como prefijo para variables. De nuevo la idea de medida del error se aplica aquí. El concepto de aleatoriedad no es relevante en el caso de los modelos de coeficientes aleatorios. Estos modelos asumen variables fijas. Las variables aleatorias son discutidas solamente para clarificar la distinción entre éstas y los coeficientes aleatorios.

El concepto de variables fijas y aleatorias es un concepto de la teoría estadística y una aproximación suficiente del mismo es que “son aquellas cuyos valores son seleccionados de una distribución de probabilidad”. De esta forma una variable aleatoria tiene un valor esperado (la media) y una varianza (valores que pueden ser, ambos o cualquiera de los dos, desconocidos). En general asumimos que las variables aleatorias son medidas con un margen de error y difieren de medida a medida. Un ejemplo de ello pueden ser las mediciones del Coeficiente Intelectual (IQ).

La inteligencia de una persona puede ser probada muchas veces, bajo las mismas condiciones obteniendo diferentes resultados cada vez. Una variable fija es una cuyos valores son conocidos y fijos, un ejemplo de ello es el género. En el análisis de varianza las variables son generalmente consideradas como variables fijas, cuando se especifica en el diseño del análisis. De nuevo, el interés en los resultados de las variables fijas es el valor que presenta. En las variables aleatorias interesan principalmente los parámetros definidos de la probabilidad de distribución.

La idea de coeficientes fijos y aleatorios es un concepto relativamente nuevo, introducido en relación con los modelos de coeficientes aleatorios. El concepto es aplicado a las características de los parámetros de los modelos lineales. En los modelos de regresión ordinarios, los parámetros estimados que especifica la línea de regresión son el intercepto y la pendiente. Tradicionalmente estos coeficientes se asumen como fijos y sus valores son estimados a partir de los datos que se obtienen. Para los coeficientes aleatorios se asume que sus  valores se distribuyen como una función de probabilidad.

V.-Estudios de Generalizabilidad y Estudios de Decisión:

En la teoría de la generalizabilidad se hace una distinción entre dos tipos de análisis, el de generalizabilidad (G) y el de decisión (D). El primero sería como el estudio básico, descriptivo. En la fase de estudio G primero se organizan los datos en un “plan de recogida de información”, se eligen las facetas que se tomarán en cuenta para el estudio, se precisan sus interacciones y el rol que jugarán en el estudio, sea de facetas de generalización o instrumentación. Al mismo tiempo se deciden el número de niveles muestreados, esto es la cantidad de sujetos, ítems, centros, p/ej.  que se asumirán como muestra del estudio.

Luego de haber organizado los datos se procede a efectuar el análisis de varianza para calcular las sumas, medias cuadráticas y los estimadores de los componentes de varianza, mediante los cuales se conoce la magnitud y probable origen de los errores de medición.

En el segundo tipo de análisis o estudio D (decisión), el investigador centra su interés en la resolución de un problema específico, utilizando los datos resultantes del estudio G. En este momento, de acuerdo al plan de estimación elegido, con el que se designa de previo el rol que jugará cada faceta en la medición, se atribuyen los componentes de varianza resultantes, sea a la varianza verdadera o de error y se hacen los ajustes necesarios para minimizar al máximo los errores de medida, para garantizar la generalizabilidad de los resultados.

El objetivo del estudio D está en encontrar el plan de medida más adecuado dadas una serie de condiciones de decisión, entre las cuales estará claro el costo que implica una mayor o menor precisión o fiabilidad en la obtención de los resultados. 

VI.-BIBLIOGRAFÍA

G. G. Kreft, Ita; de Leewn, Jan (1998): Introducing Multilevel Modeling, Sage Publications Ltd; 1 edition

Martínez, Arias, R (1995): Psicometría. Teoría de los test psicológicos y educativos. Síntesis, Madrid, cap. 16-17.

Muñiz Fernández, José (1998): Teoría Clásica de los Test, Madrid, Pirámide.