Dr C. Rafael Avilés Merens,1 Dr C. Melvyn Morales Morejón,2 Lic. Augusto Sao Avilés3 y Lic. Rubén Cañedo Andalia4
Se realiza una aproximación al análisis, síntesis e integración
sistémica de la información, que ocurre durante el transcurso
de la investigación metanalítica desde la perspectiva de los procesos
de producción de información. Se establecen los antecedentes y
las formas de clasificación de los metanálisis. Se estudia cada
una de las 6 etapas por las que transcurre la investigación metanalítica,
a saber: formulación del problema, búsqueda de la literatura,
codificación de los estudios, medida de los resultados, análisis
e interpretación y publicación del informe final. Se exponen los
diferentes tipos de sesgos que pueden perjudicar la calidad de la revisión
metanalítica y se repasan los conceptos estadísticos necesarios
para la correcta comprensión de esta clase de estudios.
Palabras clave: metanálisis
An approach to analysis, synthesis and systemic integration of information that occurs during meta-analytical research from the perspecive of information production processes were carried out. The antecedents and classification features of meta-analysis were established. The six meta-analytical research stages were studied to clear up: problem formulation, literature review, studies code, results measurements, analysis, interpretation and publicaction of the final results. The different types of bias that can interfere with meta-analytical review quality and statistical concepts for a better comprehension of these studies were reviewed.
Keywords: meta-analysis.
Un rasgo distintivo del desarrollo alcanzado por la humanidad en los procesos cognoscitivos, investigativos y de toma de decisión frente a la incertidumbre informacional es la velocidad siempre creciente de la transmisión de la información, que genera:
Ello, en conjunto, origina, en los marcos de la llamada Sociedad de la Información,
un reto formidable: extraer el conocimiento relevante de la información
existente.
En tal sentido, y en el entorno clínico, CD Mulrow planteó:
"En esta era de proliferación y abundancia de las publicaciones
..., la capacidad personal de lectura y absorción de información
sigue siendo la misma. Reducir la gran masa de información a piezas masticables
es asunto esencial para la digestión".1
Y sentenció más adelante: "Necesitamos revisiones sistemáticas
para integrar eficientemente toda la información válida y proporcionar
una base para tomar decisiones de manera racional".2
"En estos tiempos, el poder no lo determina la posesión de grandes
volúmenes de información, sino poseer información de valor,
es decir, información evaluada y analizada, precisa, relevante, confiable,
simple y válida. La ignorancia de la existencia de información
de valor o la forma de obtener dicha información y, además, la
información tardía, lejos de proporcionar poder a una organización,
puede conducirla a caminos marcadamente erróneos".3
Tanto el empleo de las nuevas tecnologías de la información y
la comunicación ofrece, como resultado directo, la posibilidad de acceder
a grandes volúmenes de información, que rebasan las posibilidades
de análisis y asimilación de los individuos, como el hecho de
que la información no se ensamble (y presente) en forma útil para
aquellas personas que toman decisiones (a cualquier nivel), mediante una adecuada
síntesis, evaluación y resumen de las opciones disponibles ha
generado la búsqueda de métodos para analizar, sintetizar e integrar
sinérgicamente la información recuperada.4
Las revisiones cuantitativas, sistemáticas y metanalíticas constituyen
una respuesta relevante y significativa a esta situación en los marcos
de la atención sanitaria.
Los metanálisis no representan sólo un cambio cuantitativo, ellos,
a partir de la acumulación, evaluación e integración de
la información disponible, generan un cambio cualitativo en los acervos
de conocimientos existentes sobre determinado objeto de estudio.
La generalización de las investigaciones metanalíticas tiene lugar dentro de la tendencia mundial que concede al desarrollo de la ciencia y de la tecnología, una función decisiva en el logro del bienestar de la sociedad, como vía para solucionar los problemas actuales y futuros y el desarrollo de la sociedad en su conjunto.
Se realizó una búsqueda bibliográfica sobre la metodología metanalítica en diversas bases de datos: Medline, Science Citation Index, entre otras. Para la búsqueda en Medline, se utilizó el descriptor Meta-analysis que indica el MeSH, el tesauro de la Biblioteca Nacional de Medicina de los Estados Unidos. Se emplearon, también, términos afines utilizados por el Institute of Scientific Information, asi como sinónimos o cuasi-sinónimos, obtenidos a partir de las estrategias probadas por los propios autores en las diferentes búsquedas realizadas y del intercambio con otros autores en el tema. Se emplearon diversas técnicas para la localización y posterior recuperación de la información. La participación de los autores en los colegios/académias invisibles, contituyó una fuente esencial para la obtención de información actualizada y, en no pocas ocasiones, información inédita.
El primer intento por agrupar los resultados de las investigaciones mediante
el uso de técnicas formales, según M Egger y D Smith,
se realizó en 1904 por Karl Pearson en: "Report on certain
enteric fever inoculation statistics". Dichos autores opinan, además,
que el trabajo titulado "The powerful placebo" de HK Beecher,
publicado en 1955 en la revista JAMA, constituye "el primer metanálisis".5
Por su parte, K Dickersin y JA Berlin JA, señalaron, además
del trabajo citado de Pearson, los siguientes trabajos: en 1931, LHC Tippett
LHC, "The methods for statistics"; en 1932, RA Fisher, "Statistical
methods for research workers"; en 1938, F Yates y WG Cochran,
"The analysis of groups of experiments"; en 1954, F Mosteller F
y R Bush R, "Selected quantitative techniques"; así
como los publicados por WG Cochran, "Problems arising in the analysis
of series of similar experiments" y "The combination of estimates
from different experiments" en 1937 y 1954 respectivamente.6
Aunque dicho mérito también puede atribuirse a Cohen J, que,
en 1962, realizó un "estudio de agregación" (pooling)
de los trabajos publicados en la "Journal of Abnormal and Social Psychology".7
Al respecto, Gómez Benito J, refiere: "los conceptos básicos
que subyacen en el meta-nálisis fueron empleados por Thorndike en 1933
y Ghiselli en 1949; sin embargo, no es hasta los trabajos de Light & Smith
en 1971, que aparece planteado, en forma específica, el problema de integrar
cuantitativamente los resultados de diferentes estudios".8
La mayor parte de la literatura consultada señala que el estudio titulado:
"Accumulating evidence: procedures for resolving contradictions among different
research studies", publicado en 1971 por RJ Light y PV Smith,
constituyó la propuesta metodológica más cercana al meta-nálisis.
Denominada "método de recuento o método de recuento de votos
(voting method o vote-counting method)", se basa en reunir primero, "...
todos los estudios que aportan datos sobre la(s) variable(s) objeto de estudio
y, a partir de los resultados de su análisis estadístico"
y clasificar después "los informes en tres clases: 1- Resultados
estadísticamente significativos a favor de la hipótesis, 2- Resultados
estadísticamente significativos en contra de la hipótesis y 3-Resultados
estadísticamente no significativos. La clase que contenga la mayor cantidad
de estudios (votos) se considera como la de mejor estimación o la de
mejor explicación a las contradicciones detectadas".9
Por su simplicidad, se ha utilizado con gran frecuencia y no es de extrañar
que aún se emplee.
Dicho trabajo constituyó el primer intento por agrupar los resultados
de las investigaciones mediante el uso de técnicas formales.
Hedges y Olkin han señalaron un grupo de limitaciones a esta
clase de estudios, entre ellas:10
Por su parte, J Cohen, lo califica como: "el torpe y sobre todo
inválido método del recuento de las revisiones de la literatura,
basado en los valores p (probabilidad asociada al estadígrafo calculado)"11
y R Schwarzer, como: "un intento inadecuado de cuantificación".12
El "método de recuento de votos" no puede considerarse una revisión metanalítica, porque posee además de las limitaciones antes señaladas, las siguientes:
La totalidad de los trabajos referidos anteriormente, sólo utilizan,
en forma aislada, procedimientos estadísticos, adolecen de una estructura
o instrumento metodológico que guíe el procesamiento de la información
y, por tanto, no permiten la réplica del trabajo realizado. Sin embargo,
ellos constituyeron las bases teóricas y de procesamiento cuantitativo
necesarias para el nacimiento del metanálisis.13
E Garfield, al respecto, planteó: "la idea general del metanálisis
existía en los años ´30, o, tal vez, antes; sin embargo,
el término no se acuñó hasta el año 1976, cuando
Gene V Glass, un especialista de la Universidad de Arizona, elaboró
y aplicó un instrumento metodológico para describir sus estudios
en psicoterapia y educación: el matanálisis; desde entonces, se
han publicado numerosos libros sobre el tema".14
Los procedimientos estadísticos utilizados en la metodología
metanalítica para combinar los resultados primarios, como se ha señalado
con anterioridad, se desarrollaron en forma paralela en la década del
30 por: Tippett en 1931, Fisher en 1932, Pearson en 1933 y Cochran
en 1937.15- 38. En la década de los años 60, R Rosenthal publicó
el libro titulado "Meta-analytic procedures" que tuvo una especial
repercusión.16
Los trabajos catalogados como "el primer metanálisis" no emplearon un instrumento metodológico, y menos aún, como el desarrollado por Gene V Glass en la década de los años 70. El mérito del primer estudio metanalítico corresponde a este científico.
La revisión o el artículo de revisión, según la
definición que ofrece E Garfield en el trabajo titulado "Reviewing
Review Literature. Part 1. Definitions and Uses of Reviews"
es: "un estudio bibliográfico en el que se recopila, analiza, sintetiza
y discute la información publicada sobre un tema y puede incluir un examen
crítico del estado de los conocimientos que aparecen en la literatura".17
Una revisión es un tipo de investigación que se realiza bajo
los principios del método científico, cuya unidad de análisis
está constituida por los resultados de las investigaciones científicas
publicadas o no, los que se analizan, sistematizan, sintetizan e integran con
el objetivo de conocer el acervo de punta (state of the art) existente en el
tema objeto de estudio, y para ello emplea una metodología que posibilite
su réplica con la situación actual y las tendencias de desarrollo.
Una revisión cualitativa o tradicional constituye el primer acercamiento,
aún sin una estructura definida, -metodología- a la solución
del problema del gran volumen de la información científico-técnica
y su dispersión; en ella, se trata de resumir y condensar la gran cantidad
de información y explicar las contradicciones detectadas en los resultados
de los artículos primarios recuperados.
Dichas revisiones no emplean explícitamente un instrumento metodológico
para su elaboración no utilizan métodos cuantitativos (estadístico-matemáticos)
para el manejo y el procesamiento de la información.
En esta clase de revisión predomina lo empírico sobre la ciencia,
es "más el arte, que ciencia"; debido a la carencia de una
metodología explícita, basada en los principios del método
científico que guíe su ejecución; ello hace imposible que
otros investigadores reproduzcan una revisión cualitativa concluida.
"A menudo son descripciones cronológicas de resultados no pocas
veces contradictorios, las que no aportan más que un matiz histórico-anecdótico
al corpus de conocimientos científico."
8
Para elaborar una revisión de este tipo, el autor reúne los trabajos
recuperados sobre el tema de interés y "trata" de sintetizar
e integrar los resultados de los distintos estudios. Las decisiones que se toman,
a menudo son arbitrarias y han provocado fuertes críticas por su subjetividad,
imprecisión y frecuente omisión de información relevante
contenida en los estudios primarios. 8,18
En este sentido, CD Murlow afirmó: "El método para
identificar y seleccionar la información pocas veces se expone. La información
recogida se revisa de cualquier manera, sin evaluar sistemáticamente
su calidad. En estas circunstancias, la elaboración de un resumen plausible
es una tarea difícil, cuando no imposible." 1
Egger y Smith agregaron: "La revisión clásica cualitativa:
es subjetiva y por consiguiente, propensa al sesgo y al error".15
Cuando el número de artículos recuperados y posibles a integrar
rebasa la capacidad de los revisores -algo muy común en nuestro tiempo-,
se utiliza una (o ambas) de las siguientes opciones:
Variante I. Ponderar los trabajos según:
Cuando se emplea alguno de estos criterios, pueden desecharse trabajos o información de valor, al primar criterios subjetivos. Como consecuencia, se incrementa la probabilidad de ocurrencia de diferentes tipos de sesgos y errores.
Variante II. Integrar la totalidad de la información recuperada.
Al respecto, GV Glass, señaló "... es una revisión
donde las sinopsis verbales de los estudios se ensartan en listas zigzagueantes...",13
ello origina que, en el informe final de la investigación, se proponga
la necesidad de realizar una nueva investigación.16,18
En tal sentido, si se pretende que una nueva investigación pueda solucionar
las contradicciones encontradas, es muy probable que al terminar el nuevo proyecto,
se llegue a igual conclusión al emplear iguales criterios -ausencia de
sistematicidad- en su ejecución. Se está entonces, ante un círculo
cerrado sin posibilidades reales de encontrar una explicación objetiva
a las contradicciones detectadas en la literatura revisada.
Por su parte, la Colaboración Cochrane plantea: "Lamentablemente,
la calidad de las revisiones (cualitativas) deja mucho que desear. Esto se debe
a que la mayoría de los editores de estas publicaciones no acometen su
tarea sistemáticamente con respeto a los principios científicos,
en especial el control de los sesgos y errores aleatorios. La pobre calidad
de muchas revisiones ha supuesto que la recomendación sobre algunas formas
de atención altamente efectivas se demore durante muchos años,
y que otras prácticas asistenciales se recomendaran durante mucho tiempo
después de que estudios controlados hubieran demostrado que eran inefectivas
o incluso perjudiciales".20
Es sólo válida y viable el empleo de la revisión cualitativa
cuando el número de estudios sobre un tema en particular es escaso.8,13,18
Por su parte, las revisiones cuantitativas, muchos autores coinciden en catalogarla
como: "la solución científicamente más acertada frente
a la sobrecarga de información"; 8,16,18,21,22,23
Gómez Benito, justifica su empleo en: "la necesidad
de emplear el mismo procedimiento (método) en el proceso de revisión
que el utilizado en la ejecución de los estudios primarios".8
Por su parte, P Nony y sus colegas la catalogan, como: "la
forma moderna de la revisión en general".24
Se caracteriza por el empleo explícito de métodos cuantitativos
(estadísticos-matemáticos) en el análisis, síntesis
e integración sistémica de la información. Es precisamente,
la aplicación de los métodos cuantitativos (como herramienta)
el rasgo distintivo en relación con la revisión cualitativa"
[Sánchez Meca J. Metanálisis en ciencias de la salud. Observaciones
no publicadas].18
El metanálisis es un exponente de la revisión cuantitativa.
Desde 1971, RJ Light y PV Smith utilizaron el término metanálisis
para referirse al método de recuento o método de recuento de votos.9
Sin embargo, esta propuesta carece de una estructura metodológica, que
sólo se logra con el trabajo y los aportes posteriores del psicólogo
estadounidense Gene V Glass, que en 1976, publica el trabajo "Primary,
secondary, and meta-analysis of research". Es entonces cuando el término
metanálisis adquirió su connotación actual como instrumento
metodológico de investigación y procesamiento de las fuentes de
información y contenido.
Glass define brevemente el término metanálisis como el
análisis de los análisis y lo precisa como: el análisis
estadístico de una gran colección de resultados de trabajos individuales
con el propósito de integrar los hallazgos obtenidos.13
Al referirse a la definición anterior, J Sánchez Meca y M
Ato García puntualizaron: más que un mero conjunto de técnicas
estadísticas, representa una nueva perspectiva en la acumulación
del conocimiento, que se caracteriza por su reproducibilidad, un principio inherente
de la investigación científica [Sánchez Meca J.
Metanálisis en ciencias de la salud. Observaciones no publicadas].18
Por su parte J Gómez Benito planteó: el metanálisis
no puede considerarse una técnica, sino una perspectiva de investigación
que emplea técnicas de medición y análisis estadístico.8
Su objetivo es realizar un análisis sistémico e integral de la
información, como un todo único, sobre el conjunto de resultados
de las investigaciones empíricas que analizan un mismo problema, en pos
de hallar un resultado sinérgico -conocimiento relevante- o conclusiones
factibles de generalizarlas, para prfeccionar el proceso cognoscitivo e investigativo
y de toma de decisiones, frente a la incertidumbre informacional en cualquier
entorno organizacional, sea científico, empresarial, educacional, social,
etcétera.
Así, se delimita el alcance y propósito de la investigación
metanalítica de otros dos tipos de investigación científica
(primaria y secundaria) que emplean métodos y técnicas estadísticos
para analizar los datos.
En palabras de SB Thacker: "... la revisión sistemática
y cuantitativa de la experiencia acumulada en un campo de investigación
es fundamental para la buena práctica científica. El metanálisis
es una metodología que puede someterse a prueba y evaluación empírica.
La importancia de su estudio es evidente en un campo como la medicina en el
que la información científica se incrementa de forma exponencial
y el potencial para la aplicación de estos hallazgos de investigación
no tiene procedentes".25
El empleo del metanálisis se ha extendido a casi todos los campos del
saber, con diferentes denominaciones, según la rama del saber donde se
aplique, entre otras: "revisión cuantitativa o metanálisis",
"revisión sistemática", "revisión de la
literatura", "investigación-revisión bibliográfica",
"revisión crítica de la bibliografía", "artículo
de revisión", "revisión de investigación",
"análisis cuantitativo de dominios de investigación",
"síntesis cuantitativa", "revisión integradora
de investigación" e "investigación integradora".
No obstante, la mayoría apuesta por el término metanálisis.
En inglés, son comunes "overview", "quantitative síntesis",
"meta-analysis", "pooling" y "systematic review"
[Morales Morejón M. Una tipología de servicios de información
en el marco del enfoque servuccional: propuesta de instrumento gerencial para
la concepción y producción de servicios y focalización
de factores de calidad. Observaciones no publicadas].8,13,14,15,16,
17,18,21,23,25,27,28,29,30,31,32,33,34,35
En sus inicios, el desarrollo de la metodología metanalítica
tenía un matiz positivista; sin embargo, lo trascendió y se insertó
en la corriente neopositivista, con el empleo de métodos y técnicas
cualitativas y cuantitativas, en el análisis, síntesis e integración
sinérgica de la información, por ello que se cataloga como una
metodología de carácter cualitativa y cuantitativa.
Desde esta óptica, la revisión metanalítica rebasa las limitaciones de la revisión bibliográfica cualitativa o narrativa predominante hasta su surgimiento, al permitir la réplica de una investigación bibliográfica, una cuestión poco factible cuando se realiza una revisión cualitativa, sobre todo, en áreas del conocimiento que generan una gran cantidad de información científica.
Según la escuela estadística:
1.- Metanálisis frecuentista
Se basa en los postulados de la escuela estadística frecuentista o fisheriana,
predominante en la actualidad. Se utilizan los conocidos modelos estadísticos
basados en el contraste de una hipótesis nula y una alternativa, a partir
de las frecuencias "esperadas" y "observadas"; en la actualidad
predomina el "metanálisis a lo fisheriano".
2.- Metanálisis bayesiano
Se basa en la "nueva" escuela estadística bayesiana, aunque
los modelos generales de dicha escuela se desarrollaron antes; sus cálculos
engorrosos han frenado su introducción y aceptación; esta situación
debe cambiar (ya está cambiando) motivado por el incesante desarrollo
de la informática. Esta escuela y la aplicación de sus instrumentos
estadísticos para la realización del meta-análisis, constituye
el futuro mediato de las revisiones.
3.- Metanálisis basado en redes neuronales
Este tipo de revisión está aún por llegar; no obstante,
si se considera el desarrollo actual y futuro de los métodos estadísticos
y su creciente utilización, apoyados por el desarrollo de la informática,
constituyen, una posible vía de perfeccionamiento para las futuras metodologías
metanalíticas.
Según los estradígrafos empleados en la integración:
A partir de la "Definición del problema de investigación" -la primera etapa de la metodología metanalítica-, se seleccionan las fuentes de información documental, identificadas en la etapa de "Búsqueda de la información" para localizar y recuperar los trabajos primarios (originales) objetos de análisis (figura 1 y 3). Las flechas dobles (figura 2) indican que cada trabajo localizado puede, a su vez, convertirse en una fuente de información para identificar y localizar otros. Dicho ciclo se repite hasta que no sea posible identificar nuevos trabajos (publicados o inéditos). Los trabajos recuperados se someten a un proceso de análisis; la destilación que ocurre, se realiza según los criterios de selección prestablecidos.
Fig. 1. Flujo tecnológico del procesamiento informacional metanalítico
Fig. 2. Etapas principales de la metodología metanalítica.
Aquellos estudios que cumplen con los criterios de selección
pasan a la etapa de "Codificación". En este momento, se identifican
y codifican las características (bibliográficas y de contenido)
y se se registran en un libro de codificación con el objetivo de controlar,
reducir y, si es posible, eliminar, las amenazas de sesgos que dicho análisis
puede presentar.
En el registro de codificación, se recogen todas las variables presentes
en los estudios, así como las diferentes definiciones conceptuales y
operacionales utilizadas (subyacentes) en los trabajos primarios. Como resultado,
se seleccionan las contribuciones que se emplearán en el estudio; entonces
se procede a codificar sus características.
En la "Medida de los resultados de los estudios", se determina si
se utilizaran las probabilidades o el tamaño del efecto en la etapa de
"Procesamiento estadístico"; en esta, a partir de los resultados
de las pruebas estadísticas a que se someten las características
(bibliográficas y de contenido) llevadas a una métrica común,
se determina, si es posible comparar y combinar la información. Tras
concluir este proceso, se procede a la "Integración de los resultados"
y como producto informacional, se obtiene una "Revisión integradora
de investigación", que contiene los resultados del metanálisis
para su diseminación.
El análisis, síntesis e integración sistémica de
la información comprende una mayor complejidad y gasto de trabajo intelectual
socialmente útil, que corresponde con la "Elaboración de
reseñas e informes con variantes de solución" perteneciente
al "Procesamiento informacional" (anexo 1). Por su objetivo, difiere
del "Procesamiento documental" y a la vez, el tipo de "Análisis
de contenido" que dentro de dicho procesamiento ocurre, difiere del que
tiene lugar en los otros tipos de análisis. Morales Morejón
M ha establecido algunas interrelaciones y distinciones entre ambos tipos
de procesamiento [Morales Morejón M. Una tipología de servicios
de información en el marco del enfoque servuccional: propuesta de instrumento
gerencial para la concepción y producción de servicios y focalización
de factores de calidad. Observaciones no publicadas], (anexo 2).
La mayoría de los estudiosos coinciden en señalar 6 etapas para
la realización del metanálisis (figura 2).8,13,14,15,16,17,18,29,30
Existe un marcado paralelismo entre las etapas de una revisión metanalítica
y las etapas por las que transcurre la investigación primaria.18
Fig. 3. La búsqueda de los estudios primarios.
Estas etapas, al constituir un sistema, la definición y modificación de una de ellas, influye en las restantes, por lo que la coherencia y sistematicidad en su definición (a priori) facilita la ejecución de la investigación metanalítica. Aunque existen otras propuestas de etapas, éstas no presentan diferencias significativas, mas bien constituyen formas extendidas o detalladas de las 6 etapas anteriores (anexo 3).
Etapa 1. Formulación del problema.
Comprende:
Pueden definirse (al menos) en tres momentos:
Etapa 2. Búsqueda de la literatura (los estudios primarios).
Una frase de Glass y sus colaboradores, al referirse a esta etapa, en pocas
palabras, expresa su importancia capital, cuando plantea:
"El modo en que se busca; determina lo que se encuentra; y lo que se encuentra
es la base de las conclusiones de la integración de estudios".36
Como solución paliativa a los problemas que presenta la búsqueda
de la información, se recomienda utilizar las siguientes técnicas
de identificación y localización -ampliado y modificado de B
Gómez:8
Consiste en localizar nuevas investigaciones a partir de las referencias bibliográficas
de estudios recuperados previamente; comprende el uso de técnicas de
análisis de citas que permiten ampliar la red de fuentes documentales
sobre un tema específico mediante las referencias bibliográficas
relacionadas, que de forma explícita ofrecen las bases de datos del Institute
for Scientific Information de Philadelphia, como es la BD Science Citation Index.
Consiste en localizar los estudios subsecuentes que citan a un documento recuperado;
para ello, se utilizan los índices de citas, por ejemplo, "Social
Science Citation Index", "Science Citation Index"- ISI y revistas
como la British Medical Journal (BMJ), (http://www.bmj.com).
El empleo de palabras claves y descriptores puede constituir el punto de partida para la búsqueda bibliográfica en un tema determinado. Posteriormente, la aplicación de las técnicas de análisis de citas permitiría recuperar documentos no recuperables por materias, en particular cuando la búsqueda se apoya, básicamente en las palabras clave en los títulos.
El empleo de las tecnologías de la información y la comunicación
(TIC) actuales posibilita la combinación de dos o más de los procedimientos
anteriores. Los "colegios invisibles" tradicionales, alcanzan una
nueva dimensión, al valerse de las TIC en las "listas de discusión",
"grupos de discusión" o "foros de debate" u otras
formas virtuales de intercambio de experiencia (información). No obstante
el desarrollo y empleo de estas tecnologías, las búsquedas computarizadas
no siempre son específicas, coherentes y exhaustivas porque además,
las bases de datos sobre un mismo tema no son mutuamente excluyentes. Estas
limitaciones en su uso, aconsejan al menos por ahora, no desechar la búsqueda
manual.
Una vez recuperada la información (identificada y localizada), es necesario destilarla; para ello, en la fase de diseño de la investigación, se deben establecer los "Criterios de selección".
El establecimiento de los criterios de selección es un paso crucial
en una revisión cuantitativa. Definir los criterios de selección
debe constituir un objeto de especial atención.
La participación activa de especialistas con profundos conocimientos
sobre el tema objeto de revisión, posibilita definir los criterios de
selección de forma clara y precisa. Ante la posibilidad de la ocurrencia
de un sesgo en la selección, se deberá someter la propuesta realizada
a consulta externa.
Los criterios de selección forman parte del informe final de la revisión,
esto posibilita que los lectores puedan evaluar su cobertura, alcance, fiabilidad,
validez y pertinencia.
En este acápite, "Criterios de selección", se agrupan
los criterios de inclusión, exclusión y eliminación.
Se refiere a: - las características mínimas necesarias que deben presentar los estudios primarios para que sen valore su inclusión en una revisión cuantitativa -se deben definir a priori-, aquellos que cumplan con los presupuestos mínimos constituyen la población objetivo (diana); - los trabajos pertenecientes a la población objetivo que cumplen con las características suficientes necesarias para incluirse en la revisión -es deseable definirlos a priori, su modificación es factible-, forman la población objeto de investigación -en el "meta-análisis prospectivo", definir las características suficientes a priori, evita posibles sesgos, así como su control.
Ejemplo de características mínimas necesarias:
Algunos autores proponen la evaluación de la calidad de los datos (estudios)
como criterio de inclusión. Según Strube y Hartman, el examen
de la calidad de los datos requiere considerar tres tipos de validez:37
El examen de la validez conceptual afecta a las decisiones sobre el ajuste
entre las definiciones operativas y el constructo subyacente.
La valoración de la validez metodológica implica determinar la
calidad del contraste de hipótesis, que incluye la evaluación
de las amenazas clásicas de la validez interna, así como las variables
metodológicas de un área particular.
La validez de la conclusión estadística se refiere a la adecuación de los procedimientos estadísticos aplicados.
Se refiere a las características que, si están presentes en los
estudios primarios, justifican su exclusión de una revisión cuantitativa,
es decir, que conduce a no incluirlos en la población objeto.
Ejemplo: Cuando la unidad de estudio dentro de una investigación (primaria) no cumple los requisitos definidos en los criterios de inclusión.
Aunque este criterio, no se recoge explícitamente en bibliografía
especializada y consultada sobre la metodología objeto de estudio, la
experiencia de los autores, como miembros de grupos de investigación
en ciencias médicas y afines, lleva a afirmar que la inclusión
explícita de los criterios de eliminación, constituye una garantía
para proceder frente a situaciones que invalidan el análisis de las unidades
de observación que cumplen con los criterios de inclusión, pero
que, después de un análisis más profundo, se les detectan
insuficiencias, que aconsejan su rechazo y eliminación.
En tal sentido, no todos los estudios que en su inicio se incluyeron en la
población objetivo, formarán parte de la revisión, solo
aquellos que cumplan con las características suficientes pasan a formar
parte de la población objeto.
En el caso de un metanálisis prospectivo, los criterios de eliminación
pueden ser:
En la literatura, es posible hallar la repercusión de los criterios
de selección en los resultados de la revisión. En un estudio realizado
por AD Oxman y GH Guyatt, detectaron "en dos revisiones cuidadosas
y sólidas desde el punto de vista metodológico, en las que se
investigó si los corticosteroides se asocian con la úlcera péptica,
que los autores de cada una de las revisiones utilizaron distintos criterios
para seleccionar los estudios que incluirían en cada uno de sus estudios;
la diferencia fue la razón principal para que los resultados (llamativos)
de las dos revisiones fueran diametralmente opuestos respecto a la existencia
de la asociación investigada".38
La población objetivo se conforma con elementos del universo de fuentes
de información documentales que contienen o responden a los propósitos
de la investigación y a las características cualitativas (criterios
de inclusión).
La población objeto se obtiene como resultado del análisis individual de cada uno de los estudios considerados relevantes y pertinentes. La población objeto responde a los requerimientos cualitativos de la investigación.
Cálculo del "Indice de tolerancia a resultados nulos".
R Rosenthal desarrolló una fórmula para el cálculo de
la tolerancia de un estudio metanalítico a resultados nulos. La fórmula
permite determinar la cantidad aproximada de estudios necesarios (y que deben
estar guardados en las editoriales) a partir del análisis de los niveles
de significación, su interpretación es: "Si el número
de resultados nulos necesarios para refutar la significación media de
los resultados de los estudios analizados es grande, se concluye que el sesgo
de publicación relativo a la amenaza que pueden representar los estudios
no recuperados (inéditos) es posible ignorarla".16,39
La fórmula es la siguiente:16,39
donde:
N - número de resultados nulos no recuperados.
2.706 - el cuadrado de la puntuación típica correspondiente a
un nivel de significación del 5 %.
K - el número de estudios integrados en la revisión y
Zk - la puntuación típica media.
Por su parte RG Orwin, propuso (por analogía) una fórmula que
utiliza el tamaño del efecto TE (Effect size).40
Ambas fórmulas calculan el llamado "Indice de tolerancia a resultados
nulos" -N (file-safe number).
El Indice de tolerancia a resultados nulos sólo se aplica cuando se
combinan niveles de probabilidad.
Cuando se utiliza el "Tamaño del efecto", se emplea un índice
análogo, que considera la diferencia media tipificada:40
donde:
N - número de resultados nulos no recuperados.
K - número de estudios integrados en la revisión
d - es la media del tamaño del efecto de los estudios integrados.
dc - es el valor criterio seleccionado del tamaño del efecto de los estudios
integrados.
(efectos pequeños = 0,20; efectos medios = 0,50 y efectos grandes = 0,80.
En dependencia del rigor del criterio que se establezca, serán necesarios más o menos estudios contradictorios con los tratados para modificar el sentido de los resultados.
Etapa 3. Codificación de los estudios.
En esta etapa, de identifican las características metodológicas,
sustantivas y extrínsecas de los estudios primarios. Tiene como objetivo
conocer si los resultados de los estudios primarios cumplen ciertos requisitos.
Como parte de la metodología metanalítica, pretende responder
a las críticas referidas a la heterogeneidad de los estudios ("el
problema de las manzanas, las naranjas... y algún que otro limón").8,18,36
En la codificación, debe evaluarse la validez y la fiabilidad de los
informes.16,36,41 36-51,16-116,41-137 La validez
se relaciona con la claridad de las definiciones, la adecuación de la
información recogida, el desempeño del codificador en la identificación
de las características; en relación a la fiabilidad de las medidas
codificadas, la principal fuente de error se origina en los posibles desacuerdos
entre codificadores, por lo que se requiere la confección de una "Guía
o libro de codificación" donde se plasmen las características
objetos de codificación[Sánchez Meca J. Metanálisis
en ciencias de la salud. Observaciones no publicadas].8,18,36
JE Hunter y sus colegas, citado por R Schwarzer , plantea: "la codificación
puede constituir el 99 por ciento del trabajo en el proceso de la integración.
Aún este trabajo puede enteramente derrocharse". Si la variación
(heterogeneidad) es debido únicamente al error de muestreo, todo el esfuerzo
(en la codificación) será inútil".12
La codificación de los estudios precisa de la creación de un
grupo de codificadores.
Las características de los informes se dividen en: metodológicas, sustantivas y extrínsecas [Sánchez Meca J. Metanálisis en ciencias de la salud. Observaciones no publicadas].18,36 Otros autores prefieren agrupar las características objeto de estudio en: metodológicas (incluyen la extrínsecas) y sustantivas.
Se refiere a los aspectos generales de la investigación: deben caracterizarse aquellas que impliquen un riesgo, por ejemplo [Sánchez Meca J. Metanalisis en ciencias de la salud. Observaciones no publicadas]:18,36
El objetivo del estudio de las características metodológicas es que "puede decir algo sobre la coherencia del proceso científico en una determinada área de investigación."18
Son específicas del área y tema (tópico) de la investigación.
Debe existir una gran coincidencia entre los estudios que se analizan.
Pueden ser:
Algunos autores unifican las características metodológicas y
extrínsecas en una sola categoría llamada características
metodológicas.18
Se deben "leer como variables independientes las características
de los estudios analizados, y los resultados de los estudios son las variables
dependientes".8
Se propone llamar a las características objeto de estudio del procesamiento documental: características bibliográficas y a las restantes, que se estudian en la metodología meta-analítica: características de contenido.
Etapa 4. Medida de los resultados.
Su objetivo es llevar a una métrica común (a una misma escala)
los resultados de los estudios. Se emplean el nivel de significación
"p-calculado" y el tamaño del efecto-TE (Effect Size) de cada
estudio.
Aunque el empleo de cada una de ellas, conduce a diferentes cálculos y proporcionan diferente información, ambas medidas están relacionadas, por lo que es factible transformar, por ejemplo: el tamaño del efecto en su correspondiente valor del nivel de significación y viceversa.
El nivel de significación "p-calculado" alcanzado por cada
estudio, es la probabilidad asociada al estadígrafo calculado, aunque
es común escribir en los informes finales (de investigación) el
nivel de significación "a" crítico (tabulado o teórico),
por ejemplo p<0.05;42 para integrar los resultados de los estudios y en las
fórmulas subsiguientes, se necesita conocer su valor calculado exacto
-por lo general todos los software lo ofrecen con varias cifras decimales.
"El nivel de significación establece si los resultados obtenidos han ocurrido por azar".37-136
En el esquema de la estadística frecuentista, el tamaño del efecto
resulta poco conocido, pero brinda más información que el nivel
de significación.
"El tamaño del efecto indica la intensidad de la relación
o del efecto de interés".37
El precursor moderno del estudio del tamaño del efecto, Jacoh Cohen,
refiere las ventajas de su empleo frente al nivel de significación cuando
expresa: "Resulta conveniente utilizar el término "tamaño
del efecto" para indicar el grado en que el fenómeno está
presente en la población o el grado en que la hipótesis nula es
falsa....Cuando la hipótesis nula es falsa, lo es en algún grado
específico, es decir, el tamaño del efecto es un valor concreto,
distinto de cero, de la población." Cuanto mayor es este valor,
tanto mayor es el grado en que se manifiesta el fenómeno bajo estudio".18
En otras palabras, el tamaño del efecto, expresa el grado en que el fenómeno está presente en la población objeto de estudio.
Tipos de tamaños de efecto.
Se han desarrollado diferentes índices del tamaño del efecto,
tanto paramétricos, para las variables expresadas en una escala de medición
cuantitativa o cuasi-cuantitativa (discretas o continuas) como no-paramétricos,
para las variables expresadas en una escala de medición cualitativa (nominal
u ordinal). En el primer grupo, los más utilizados se basan en la diferencia
de medias entre dos condiciones experimentales (tratamientos o intervención)
y los basados en el coeficiente de correlación.
HM Cooper, cuando se refiere el empleo de una u otra medida del resultado de
los estudios (nivel de significación o tamaño del efecto), plantea:
"El nivel de significación estadística sólo permite
determinar si un efecto experimental es distinto de cero. Por el contrario,
el tamaño del efecto es capaz de responder a la pregunta: ¿en
qué medida es distinto de cero?" y agrega: "y, por ende, la
información que proporciona es más cabal para los propósitos
perseguidos".43
Etapa 5. Análisis e interpretación de los resultados.
En esta etapa, una vez cuantificados los resultados de los estudios mediante
los niveles de significación o los tamaños de los efectos y transformados
a una métrica común, se sintetizan para obtener un índice
global y representativo del conjunto de los resultados que se deben acompañar,
además de estadígrafos de la estadística exploratoria,
como desviación típica, los cuartiles, rangos, etcétera.8,18
Los resultados obtenidos rara vez son homogéneos como para suponer que
la medida global es representativa de todos los estudios. En estas situaciones
es precisamente cuando el meta-análisis ofrece su máxima utilidad
al facilitar la búsqueda de las causas que pueden explicar (si las hay)
los resultados contradictorios y detectar las lagunas en el conocimiento en
una determinada área del saber, que sugieran futuras investigaciones,
con el objetivo de encontrar sus causas.
La variabilidad entre los resultados de los estudios puede tratarse eficazmente
cuando se analizan los efectos de determinadas características metodológicas,
sustantivas y extrínsecas (codificadas previamente) que influyen sobre
los tamaños de los efectos; en este caso los tamaños de los efectos
actúan como variables dependientes, mientras que las características
de los estudios son las variables independientes.
La metodología metanalítica propone diferentes procedimientos
(a partir de los métodos estadísticos).
GV Glass y sus colegas proponen el uso de diferentes estadísticos
descriptivos para sintetizar los resultados globales del metanálisis.
En este sentido, son de gran utilidad los métodos exploratorios propuestos
por Tukey: histograma digital (stem-and leaf) y los gráficos de
cajas (Boxplot), así como la estadística con el desarrollo
de los métodos exploratorios (el enfoque exploratorio de Tukey
- exploratory data analysis).36
Etapa 6. Publicación del estudio.
Como toda investigación científica, la útlima fase de
la investigación metanalítica es la divulgación (publicación)
de los resultados obtenidos.
Por su importancia, es objeto de especial atención. No son pocos los
autores, instituciones y organizaciones que han realizado esfuerzos significativos
con el objetivo de elevar la calidad, tanto de la investigación metanalítica
propiamente dicha como de los informes de ellas. La calidad de la publicación
es una resultante de la suma de la calidad de la investigación más
la calidad del informe. Y son muchos los problemas que es necesario resolver
durante la investigación metanalítica (anexo 4).
En 1996, por ejemplo, un grupo de investigadores, revisores y lectores del
área de las ciencias médicas se reunieron en la "Conferencia
sobre la calidad de la elaboración de los informes de metanálisis
(QUOROM por sus siglas en inglés)." En dicho encuentro, se abordó
"la mejora de la calidad en la elaboración de los informes de los
metanálisis de ensayos clínicos controlados." Además,
se realizó la declaración QUOROM, consistente en un "protocolo
de control de calidad" y un "diagrama de flujo" (anexo ).44
El protocolo de control de calidad describe la mejor forma de presentar el
resumen, la introducción, los métodos, los resultados y la discusión
del informe de un metanálisis (anexo 5 y 6).
El diagrama de flujo (flujo del proceso) describe las etapas (mínimas)
necesarias para la realizar un metanálisis de ensayos clínicos
controlados (ECC).
QUOROM plantea: "la calidad del informe no es igual a la calidad (validez
interna) del meta-análisis. Esto depende más de la valía
"intrínseca" del científico que de la medida en que
se explicitan los métodos empleados (a lo que se dedica principalmente
la declaración QUOROM). Para lo primero, hay que conocer tanto las técnicas
de la revisión sistemática, como el tema de estudio y tener experiencia
en investigación. Ello no se consigue simplemente con guías o
recomendaciones, aunque algo puedan ayudar".44
La calidad de la información primaria y su heterogeneidad son elementos
que propician frecuentemente las críticas fundamentales que reciben los
metanálisis. Los sesgos constituyen un peligro constante para el correcto
desenvolvimiento de la investigación metanalítica y el uso de
las estadísticas una fuente de divergencias entre sus conocedores (anexo
7 y 8).
La estructura típica de un informe de revisión metanalítico, con ciertas modificaciones realizadas por los autores, es como sigue [Sánchez Meca J. Metanálisis en ciencias de la salud. Observaciones no publicadas]:18,45,46
Es importante indicar, tanto las fuentes formales como informales utilizadas,
así como los modelos y estrategias de búsqueda empleados. Si se
encuentran revisiones metanalíticas realizadas se deberá incluir
una reseña lo más completa posible de ellas.
Codificación de las variables.
3. Análisis y discusión de los resultados.
Los resultados obtenidos en el procesamiento estadístico de los niveles de significación o de los tamaños del efecto por cada estudio y de forma global, las pruebas de dócimas utilizadas en la estadística confirmatoria (inferencial). Estos deben ir acompañados de los correspondientes gráficos.
4. Lista de trabajos integrados.
Por su parte, la estructura del resumen (estructurado-informativo), debe comprender:
La hiperinflación informacional existente exige el empleo de herramientas
que posibiliten el re-análisis científico del contenido de la
información -literatura blanca y gris-, con el objetivo de "separar
la información sustantiva de la general", "identificar el conocimiento
público desconocido", así como establecer "el papel
y lugar de cada equipo de investigación", con el objetivo de estructurar
sistemas de vigilancia científica y tecnológica. El metanálisis
es una de ellas.
La gerencia de la información en pos del conocimiento y el desarrollo
de una medicina basada en la evidencia, como sustrato filosófico y paradigmático
del desarrollo de la sociedad, la organización y la clínica moderna,
exige de la asimilación y aplicación de los métodos, técnicas,
software y herramientas apropiadas para el análisis de la información.
La asimilación y el desarrollo de las llamadas "Tecnologías
blandas", en este caso, las "Tecnologías de los contenidos",
permitirá atender las demandas propias del progreso del país y
de la competencia en los difíciles entornos internacionales.
El progreso y expansión de las tecnologías de los contenidos es,
de hecho, punto de atención por los países altamente industrializados,
ellos han destinado no pocos recursos para estos fines.
Anexo 2. Procesamiento documental e informacional: interrelaciones y distinciones.
| Documental | Informacional |
| Continente | Contenido |
| Formal | Contenido |
| Análisis individual de cada documento | Análisis de las tesis de contenido del documento y valoración crítica para su posible integración. |
| Elementos que simbolizan o describen el documento. | Elementos que simbolizan o describen el contenido que puede integrarse o no, y que pueden dar lugar al estado actual y tendencias (state of the art) de la ciencia, la tecnología, etcétera., |
| Revelación de la información explícita relativa sólo al conocimiento conocido. | Descubrimiento del conocimiento en las bases de datos a partir de la identificación de regularidades y otros fenómenos con la aplicación de técnicas de análisis cuantitativo y cualitativo, por ejemplo: hallazgo del conocimiento público desconocido, entre otros tipos de conocimiento. |
| Organización de las fuentes de información y creación de los cimientos para otros procesos, por ello, su importancia capital para el ulterior trabajo de inteligencia informacional; cuando adolece o no tiene la calidad necesaria se origina un caos como el de Internet. | Pérdida de ventajas competitivas cuando no se aplica con sistematicidad, integridad, en particular, por objetivo. |
| Información colectada, procesada y organizada, básicamente, para almacenarla en sistemas de información. | Información recopilada, procesada, organizada, diseminada y utilizada para reforzar la acción y la capacidad competitiva de la organización y de sus miembros |
| Transformación de las características bibliográficas en signos (descriptores, palabras clave, epígrafes, índices, etc.). | Transformación de la información en conocimiento y de éste último en decisiones estratégicas. |
| Herramientas: tesauros y diccionarios, enciclopedias, epigrafiarios, sistemas de clasificación, manuales instructivos, normas, reglas de catalogación, etcétera. | Herramientas: métodos y técnicas bibliométricas, informétricas y cienciométricas; minería de datos; minería de textos; gestión del conocimiento; vigilancia tecnológica; vigilancia económica; descubrimiento del conocimiento en bases de datos; método de palabras asociadas para la generación de clusters (conglomerados) y la mapificación; así como otros métodos de las ciencias afines. |
| Área tradicional de desempeño profesional | Área de reciente creación en proceso de expansión |
| Algunas denominaciones de los especialistas que intervienen en el procesamiento: catalogador, indicador, bibliotecario, documentalista, archivero, traductor, etcétera. | Algunos especialistas que intervienen en el procesamiento: informacionista; gestor de información; gerente de información; analista de información; infonomista; consultor; etcétera. |
| Mayor grado de desarrollo alcanzado por experiencia acumulada. | Menor grado de desarrollo por experiencia acumulada. |
| Procesamiento dicotómico | Procesamiento de carácter continuo. |
| Conocimiento público del know-how y show-how del procesamiento, es decir, ambos se encuentran socializados. | Poco conocimiento público del know-how y show-how del procesamiento; es decir, por su importancia estratégica (comercial, científica, tecnológica, comercial, industrial, política, etc.) presenta un bajo grado de socialización. |
| Carácter público de los resultados y del procesamiento. | Carácter semipúblico o privado de los resultados y del procesamiento. |
| Aparato téorico-conceptual bien definido. | Aparato téorico-conceptual en proceso de desarrollo o de redefinición en algunos casos. |
| Las definiciones del especialista pasan al usuario gradualmente. | Alianzas estratégicas entre diferentes especialistas y tipos de usuarios. |
Fuente: Morales Morejón M. Una tipología de servicios de información
en el marco del enfoque servuccional: Propuesta de instrumento gerencial para
la concepción y producción de servicios y focalización
de factores de calidad. Trabajo presentado en el evento ICOM´2000, del
4 al 8 de diciembre de 2000, Facultad de Comunicación, Universidad de
La Habana, La Habana, Cuba.
Anexo 3. El metanálisis por etapas.
Anexo 4. Problemas pertinentes a cada una de las etapas de una revisión
metanalítica.
1. Formular la(s) pregunta(s) de la investigación(s).
(a) ¿Las preguntas de la investigación: son específicas,
las hipótesis formales y las variables de mayor importancia se han definido?
¿Descansan sus formulaciones en un trabajo previo en el área?
(b) ¿Se definió la bibliografía a revisar?
¿La definición de la literatura a revisar contempla los trabajos
más importantes en el tema?
(c) ¿Son razonables los criterios de inclusión y exclusión
definidos?
2. Búsqueda de la literatura.
(a) ¿Es representativa e insesgada la muestra de estudios identificados?
(b) ¿Se estima la amenaza (potencial) de "sesgo de publicación"
de incluir en la muestra estudios no-publicados?
(c) ¿Se han utilizado métodos diferentes para la búsqueda
de la literatura?
(d) ¿El número de estudios pertinentes excede el número
de estudios no utilizados?
(e) ¿El índice n-(estudios nulo) calculado para evaluar la robustez
de hallazgos obtenidos amenaza los resultados de los estudios recuperados?
(f) ¿Se analizaron todos los estudios relacionados o disponibles?
3. Procedimiento de codificación.
(a) ¿Se describieron los problemas de la codificación?
(b) ¿El sistema de codificación está disponible y contiene
los criterios para evaluar (codificar) un estudio potencialmente "confunsing"?
(c) ¿Se validó la codificación utilizando revisores (expertos)
externos?
4. Índice del tamaño del efecto.
(a) ¿La desviación estándar ponderada se calculó
a partir de los efectos individuales "en meta-análisis" de
grupos diferentes?
(b) ¿Se describen todos los métodos utilizados para el cálculo
del tamaño de efecto?
(c) ¿Se explicitan los procedimientos utilizados para evaluar los "resultados
no significativos"
¿Se describen los hallazgos y su incidencia con el campo del conocimiento?
¿Y las implicaciones de "los resultados de no significativos",
en relación con las conclusiones y generalizaciones del meta-análisis?
5. Análisis estadísticos.
(a) ¿Los efectos se han ajustado para el sesgo de muestras pequeñas?
(b) ¿Se examinaron los datos "outliers" identificados por su
potencial beneficio heurístico?
(c) ¿Es apropiado el análisis utilizado?
¿El calculo del efecto consideró el diseño de cada estudio
y la pregunta de investigación, para evitar mezclar diferentes constructos
en los análisis?
(d) ¿Son apropiados los procedimientos de ponderación utilizados
en los análisis?
(e) ¿Es sistemático y defendible el análisis de las diferencias
de los tamaños de efecto?
(f) ¿Se usaron las hipótesis definidas a priori en la exploración
de las diferencias obtenidas en los tamaños de los efectos en los estudios?
(g) ¿Se atendió suficientemente la influencia potencial de los
rasgos (las características) metodológicas?
(h) ¿El meta-analista propone un modelo estadístico que específica
(explica) correctamente los datos obtenidos?
6. Conclusiones e interpretaciones.
(a) ¿Relaciona el metanalista el problema de la potencia de los hallazgos
estadísticos?
(b) ¿Se restringen las conclusiones a la literatura repasada?
(c) Se emplearon tablas para describir las características de los estudios
repasados y se estableció la información faltante de importancia?
(d) ¿Es apropiada la calidad del acervo de punta (estado del arte) obtenido
en la revisión?
Fuente: Durlak Joseph A, Lipsey Mark W. En: Garfield E. Meta-analysis and the
metamorphosis of the scientific literature review. Serie: Arts & Humanities.
Current Comments 1991; oct 28;13(22):5-8.
Anexo 5. Informe propuesto por autores, editores y críticos del metanálisis de estudios observacionales. Grupo metanalítico de estudios observacionales en Epidemiología (MOOSE por sus siglas en inglés)
Un informe de metanálisis debe incluir:
En la definición del problema:
En las estrategias de la búsqueda:
En los métodos:
En los resultados:
En la discusión:
En las conclusiones:
Anexo 5. Informe propuesto por autores, editores y críticos del metanálisis
de estudios observacionales. Grupo metanalítico de estudios observacionales
en Epidemiología (MOOSE por sus siglas en inglés)
Un informe de metanálisis debe incluir:
En la definición del problema:
En las estrategias de la búsqueda:
En los métodos:
En los resultados:
En la discusión:
En las conclusiones:
Anexo 6. Protocolo de control de calidad en la presentación de resultados del metanálisis.
| Categoría | Subcategoría | Ítem | ¿Incluido en informe? (s/n) | Nº págs. |
| Título | Identificar el trabajo como un metanálisis (o revisión sistemática)
de ensayos clínicos controlados (ECC) Resumen Utilizar un formato estructurado |
|||
| Describir | ||||
| Objetivos | La cuestión clínica explícitamente | |||
| Fuentes de datos | Las bases de datos (es decir, una relación) y otras fuentes de información | |||
| Métodos de revisión | Los criterios de selección (es decir, población, intervención, resultado y diseño del estudio); los métodos de valoración de la validez, análisis de datos y características del estudio, una síntesis de datos cuantitativos suficientemente detallada para permitir la repetición. | |||
| Resultados | Características de los ECC incluidos y excluidos: hallazgos cualitativos y cuantitativos (estimaciones puntuales e intervalos de confianza); y análisis de subgrupo | |||
| Conclusión | Resultados principales | |||
| Describir | ||||
| Introducción | El problema clínico concreto; los fundamentos biológicos de la intervención y los fundamentos de la revisión | |||
| Métodos | Búsqueda | Las fuentes de información, con detalle (p.e. bases de datos, registros, ficheros personales, expertos, agencias, búsqueda manual) y cualesquier restricción (años considerados, situación de publicación, idioma de la publicación) | ||
| Selección | Los criterios de inclusión y exclusión (relativos a la población, la intervención, los resultados principales y el diseño del estudio) | |||
| Evaluación de la validez | Criterios y proceso utilizados (p.e. condiciones encubiertas, valoración de la calidad y sus hallazgos) | |||
| Análisis de datos | Proceso o procesos utilizados (p.e. completados independientemente, en duplicado) | |||
| Características del estudio | Tipo de diseño del estudio, características de los participantes, detalles de la intervención, definiciones de los resultados, etc., y cómo se evaluó la heterogeneidad clínica. | |||
| Síntesis de datos cuantitativos | Principales medidas de efecto (p.e. riesgo relativo), el método de combinación de los resultados (pruebas estadísticas e intervalos de confianza), tratamiento de resultados missing; evaluación de la heterogeneidad clínica; fundamento para cualesquier análisis de sensibilidad y subgrupo a priori; y cualesquier sesgo de publicación. | |||
| Resultados | Flujo de resultados | Ofrecer un perfil del metanálisis que resuma el flujo de resultados. | ||
| Características del estudio | Descripción de cada resultado (p.e. edad, tamaño de la muestra, intervención, dosis, duración, período de seguimiento) | |||
| Síntesis de datos cuantitativos | Selección y evaluación de la validez; presentar un resumen sencillo de los resultados (para cada grupo en cada resultado, para cada resultado primario); presentar los datos necesarios para calcular los tamaños del efecto y los intervalos de confianza en los análisis (p.e. tablas 2x2, medias y DE, proporciones) | |||
| Discusión | Resumir los hallazgos clave; discutir las inferencias clínicas basadas en la validez interna y externa; interpretar los resultados a la luz de la totalidad de la evidencia disponible; describir los sesgos potenciales en el proceso de revisión (p.e. sesgo de la publicación); y sugerir un futuro plan de investigación | |||
| Calidad de la elaboración de los informes de los metanálisis |
||||
Anexo 7. Tipos principales de sesgos en la elaboración de la revisión
metanalítica.
El Manual de la Colaboración Cochrane define el sesgo como: "Un
error o desviación sistemática en los resultados o inferencias
de un estudio" y aclara: "Los sesgos no necesariamente suponen una
imputación de prejuicio, como podrían ser las preferencias de
los investigadores acerca de unos resultados concretos, y en ello, difiere del
uso convencional de esta palabra para hacer referencia a un punto de vista partidario".1
RK Riegelman y RP Hirsch definen el sesgo, como un "factor que produce
la desviación sistemática de un resultado en una dirección,
en relación con los valores reales".2
Los sesgos o errores sistemáticos amenazan por igual a cualquier tipo
de revisión, sea cualitativa o cuantitativa; sin embargo, es en la revisión
cuantitativa donde existe mayor conciencia sobre su existencia y se le dedica
mayor atención a su estudio, eliminación y control, y esto precisamente
es un elemento distintivo entre ambos tipos de revisión.
Es menester puntualizar que, en la revisión cualitativa no se emplea
un método explícito para controlar, eliminar o minimizar los sesgos,
y por ello es más propensa a errores.
Sobre el tema de los sesgos y su control, pueden consultarse diversos materiales
desde la óptica de la revisión cuantitativa.3,4,5,6,7
En la literatura consultada, se describen múltiples variantes de sesgos
(errores sistemáticos) que amenazan la fiabilidad y validez de los resultados
de la revisión.
"Los sesgos más importantes en el meta-análisis se derivan
de dos fuentes: la inclusión de los estudios en el meta-análisis
y la combinación de los resultados de esos estudios para producir una
estimación de efecto sumaria".5
A continuación, se describen los sesgos fundamentales que se producen
en el proceso de elaboración de cualquier tipo de revisión:
Es el sesgo más estudiado, bajo este nombre se agrupan otros de igual
naturaleza (selección, información, etc.), pero que tienen diferente
repercusión y control. 4,5,6,7,8,9,10,11,12,
13,14
R Rosenthal, le llama "file-drawer problem" (problema del sesgo de publicación).12,13 116, 117 Por su parte, M Blettner y sus colegas lo denominan como el "fenómeno del iceberg".8
Es la "tendencia a aceptar resultados positivos y rechazar los negativos" por el proceso de arbitraje científico (peer-review).14
Se genera cuando la publicación de los resultados de estudios se basa
en la dirección o en la significación de los resultados del estudio.2,7,10
Así, los estudios positivos -estudios que demuestran diferencias significativas
estadísticamente- con frecuencia se someten a publicación y se
publican más fácilmente que los estudios negativos -estudios que
no demuestran diferencias significativas estadísticamente.5
Al no publicarse las investigaciones que no aceptan la hipótesis nula
-no detectan la existencia de diferencias significativas-, se elimina una gran
cantidad de información, dicho conjunto formará parte de la llamada
"literatura gris".
K Dickersin, al estudiar este sesgo, afirma: "Es importante prevenir
éste, tanto desde una perspectiva científica (de difusión
completa del conocimiento), como desde el punto de vista de quienes combinan
resultados de varios estudios similares (meta-análisis)".10
Un ejemplo, tal vez extremo, lo relata LC Silva cuando, al referirse a las dificultades o tropiezos que tiene el arbitraje científico, expone: "el sistema no está exento, sin embargo, de aristas conflictivas, así lo demuestran algunos tropiezos dramáticos como el que tuvo lugar en 1937 con el trabajo de Hans Krebs sobre el ciclo del ácido cítrico, originalmente rechazado por la revista Nature, y que más tarde sería la pieza clave para que el autor fuese galardonado con el Premio Nobel".15
Los documentos escritos, por ejemplo, originalmente en idioma inglés, tienen mayor posibilidad de publicarse, recuperarse y, por ende, tienen mayor probabilidad de citarse en comparación con los trabajos escritos en otro idioma, ello no significa necesariamente que tengan mayor calidad o sean mejores. Este sesgo se refiere a que cualquier estudio metanalítico que considera sólo los trabajos publicados en un idioma, es propenso al sesgo.
Consiste en la inclusión selectiva de los trabajos basados en criterios
subjetivos del revisor (sobre la calidad de los estudios). Origina diferencias
subjetivas en el peso de los estudios. La muestra puede, independientemente
de los factores externos al grupo de revisores, sesgarse a favor de los coauspiciadores
de la investigación y en ese caso, la falta de ética científica,
es manifiesta.
Por ejemplo, P Knipschild y sus colaboradres, citado por T Greenhalgh T,19 describieron cómo el Premio Nobel, el bioquímico Linus Pauling, utilizó citas selectivas de la literatura médica para "demostrar" su teoría de que la vitamina C ayudaba a sentirse mejor y vivir más tiempo. P Knipschild y sus colegas, realizaron una investigación sistemática en la literatura para encontrar evidencias y contrastar los resultados alcanzados por Linus Pauling, y hallaron que, aun cuando uno o dos ensayos sugirieron fuertemente que la vitamina C podría prevenir el ataque catarro-gripe, había más estudios que no mostraron dicho efecto beneficioso.
Tipo de sesgo de publicación que se refiere a "... la tendencia de todo investigador a dar crédito y llamar la atención de los demás sobre las experiencias que dan apoyo a su punto de vista, y desechar o desacreditar a las que no lo apoyan. En consecuencia, cuando los datos constituyen una novedad o son impopulares, tienden a ser subnotificados en la literatura publicada".2
Frecuentemente se citan más los estudios positivos, es más fácil identificarlos que los negativos. Puede relacionarse con la tendencia a la autocita.
Se origina cuando los resultados de una investigación (de forma parcial
o total) se publican en más de una ocasión. Muchas veces los autores
cambian ligeramente los textos (no los datos) y envían el trabajo a más
de una revista para publicar "los nuevos trabajos".
Carencia de información sobre las variaciones en la magnitud de los tamaños del efecto; no se analizan las posibles variables moderadoras, además de la inadecuada información sobre las muestras, medidas y estadísticos utilizados en los estudios, lo que origina errores en la interpretación de los resultados.
Las instituciones privadas y empresas mantienen en secreto los resultados
de sus investigaciones y por ello, es difícil su recuperación
y estudio. Esto influye en que en la elaboración de las revisiones tenga,
relativamente, poco peso.
Es probable que cualquier búsqueda restringida a bases de datos electrónicas esté sujeta a sesgo. La intensidad de este sesgo puede estimarse aproximadamente, como la proporción del inverso del número de procedimientos diferentes, mencionado por los autores, cuando buscaron trabajos inéditos.
Error sistemático que amenaza a la fiabilidad de los resultados de la
revisión (sistemática), que se origina cuando los documentos más
accesibles tienen mayor probabilidad de incorporarse a la revisión. Este
sesgo se relaciona con la representatividad de los estudios recuperados. El
sesgo de accesibilidad se relaciona con las posibilidades reales (de recursos)
para acceder a la información, en la dimensión de Internet, este
sesgo es consecuencia de la llamada brecha digital.
M Sánchez y A García, agrupan las principales amenazas
en 3 clases:21
Por su parte JA Hattle, citado por SB Thacker, al referirse a
las limitaciones de las revisiones de la literatura, señala: "Cualquier
enfoque para la revisión de la literatura tiene limitaciones que pueden
resumirse en:
a) Sesgo de selección debido a las costumbres de presentación
y publicación de los informes.
b) Falta en los estudios publicados de datos específicos requeridos para
la revisión.
c) Sesgo de exclusión debido a las preferencias del investigador.
d) Calidad heterogénea de los datos primarios.
e) Interpretación sesgada de los resultados".22
Y concluye: "Estos problemas son aplicables a cualquier tipo de revisión
de la literatura". SB Thacker SB, al referirse a ello, explica:
" El revisor ha de preocuparse por dos tipos de sesgo en la literatura
publicada:22
Anexo 8. La estadística en la revisión metanalítica.
La estadística más conocida y empleada en la actualidad es la
resultante de la escuela frecuentista (fisheriana), unida a los aportes de Neyman-Pearson,
que aplican procedimientos cuantitativos a la "inducción".
En el esquema fisheriano de inferencia estadística, no existía
la hipótesis alternativa (Ha,); esta se introdujo en dicho modelo por
Neyman-Pearson. La controversia suscitada entre el padre y fundador de
la estadística moderna y Neyman-Pearson, además de motivar
el desarrollo de procedimientos más exactos, condujo a la confusión
en ciertos conceptos que aún hoy subsiste, tal es el caso de la probabilidad
asociada al estadígrafo calculado "p"; para algunos, tasa de
error; para otros, nivel de significación.1
En el modelo de Fisher, p - es "una medida racional y bien definida
de la renuncia a aceptar la hipótesis sometida". Si este valor era
pequeño, se podía "rechazar" la hipótesis nula
como hipótesis improbablemente verdadera.
En primer lugar, el valor p no debía interpretarse como frecuencia hipotética
del error, si se repetía el experimento. Era una medida del carácter
probatorio en un solo experimento, que debía emplearse para reflexionar
sobre la credibilidad de la hipótesis nula en función de los datos.
En segundo lugar, lo consideraba, como medida de carácter probatorio,
el valor de p debía combinarse con otras fuentes de información
sobre el fenómeno objeto de estudio. Si se empleaba un umbral de "significación",
no debía ser un umbral rígido y debía depender del conocimiento
previo respecto al fenómeno analizado.1
Es conocido, que emplear, a ultranza, estos procedimientos, implica viciar
los resultados de un estudio, así como su interpretación; surgen,
entonces, conclusiones que frenan el empleo de los resultados positivos e introducen
resultados de "dudosa" calidad.
Las investigaciones realizadas con el objetivo de detectar los errores que
se cometen al aplicar las técnicas estadísticas en los artículos
publicados en las revistas, no siempre se aceptan para su publicación
en las mismas, al evidenciar deficiencias en sus procesos de arbitraje, ello
es responsabilidad de los árbitros de cada revista.
En una investigación publicada en 1996, se analizó el uso de
los métodos estadísticos utilizados en los artículos publicados
por la revista "American Journal of Obstetric and Gynecology", entre
enero y junio de 1994. Sus autores identificaron 145 artículos en los
que se emplearon procedimientos estadísticos, sólo en 58 artículos
su uso se consideró "apropiado" o "se asumió un
uso apropiado" para un 40 %; los 87 artículos restantes representan
el 60% de las contribuciones estudiadas; en ellos, el empleo de los procedimientos
estadísticos se calificó como de "uso cuestionado" y
"uso inadecuado". En otras palabras, el 60% de los resultados en los
estudios publicados son cuestionables y debe evitarse su introducción
en la práctica social.2
La "American Journal of Obstetric and Gynecology" es una revista
"núcleo" en su especialidad, se indiza en múltiples
bases de datos internacionales, como Science Citation Index y Medline y goza
de gran visibilidad y popularidad entre los ginecólogos, obstetras y
clínicos en general.
El metanálisis no puede corregir las deficiencias de diseño que subsisten en un área de investigación primaria (y que, además, no forma parte de sus objetivos), pero esta situación propicia inconsistencias en las revisiones metanalíticas. Por tal motivo, se propone prestar especial atención a la evaluación de la aplicación de los procedimientos estadísticos en los trabajos que se procesan, es decir, al diseño estadístico de la investigación.
Uso de medidas objetivas en el proceso de codificación de las características
de los estudios.
La evaluación y codificación de los estudios (etapa 3 de la metodología) se realiza por un grupo de codificadores (expertos).
Consiste en asignar puntuaciones a las características (metodológicas
y sustantivas, es decir, bibliográficas y de contenido) que son de interés.
Esto se realiza, a partir de las definiciones conceptuales de dichas características
previamente establecidas y para ello, se emplea una escala definida con tal
objetivo.
La identificación y codificación de las características
revisten diferentes grados de complejidad, por ejemplo, al evaluar la calidad
de la información (de los trabajos), suele asignarse puntuaciones desde:
0-baja calidad hasta 10-mayor calidad, otros acortan el intervalo de la escala
(0-baja hasta 5-alta), en tal sentido, según sea el rango del intervalo
(amplitud) puede variar la puntuación (calificación) que recibe
cada documento. Existen estudios que señalan la baja consistencia de
tal proceder, pero muchos revisores no aceptan esto. Las amenazas por diferentes
tipos de errores sistemáticos (sesgos) y criterios subjetivos, constituyen
una amenaza latente en la fiabilidad y validez del resultado final de una revisión.
Como alternativa a la evaluación de la calidad de los trabajos por medio del procedimiento anterior, se propone el análisis de la potencia estadística a posteriori de los estudios como criterio métrico de la calidad metodológica de la información.
Potencia estadística.
Desde el punto de vista estadístico, se conoce la existencia de 2 posibles errores (Error Tipo I y Error Tipo II).
Ocurre cuando se rechaza la hipótesis nula (Ho) siendo verdadera; es
decir, cuanto más probable es que Ho sea rechazada equívocamente,
este valor no brinda ninguna información en cuanto a la probabilidad
de que la hipótesis nula sea verdadera.
J Cohen J. plantea: "A pesar de los extendidos equívocos, el rechazo
de una determinada hipótesis nula Ho no aporta ninguna base para estimar
la probabilidad de que una réplica de la investigación de nuevo
dé lugar a un rechazo de esa hipótesis nula".1
Ocurre cuando se acepta la hipótesis nula Ho, siendo falsa. No debe
confundirse esta concepción del error tipo beta, es decir, de aceptar
la Ho siendo falsa, con el concepto de potencia (1 menos beta), que significa
incrementar la fortaleza (robustez) de las conclusiones de la investigación
(docimacia, es decir, la prueba de hipótesis).
Estos dos errores son inversamente proporcionales, cuando aumenta uno, el otro disminuye; es decir, si se desea tener mayor certeza (probabilidad) de rechazar correctamente la hipótesis nula, aumenta entonces el otro error. Buscar un equilibro entre ambos errores es una decisión del investigador.
Aunque, por lo general, sólo se emplea para el contraste de la hipótesis nula (Ho) el nivel de significación crítico (teórico) a vs. probabilidad asociada (calculada) al estadígrafo calculado, dicho de otra forma, se compara el estadígrafo calculado versus el estadígrafo teórico, J Cohen plantea que se debe contrastar la hipótesis nula, según 4 parámetros, a saber:1
Nivel de significación Tamaño del efecto
Tamaño muestral Potencia del contraste
En cualquier prueba estadística, uno de ellos estará en función de los restantes tres parámetros, por lo que entonces puede llegarse a un arreglo en cuanto a definir sus valores y sus consecuencias, según:
A continuación se explican los 4 parámetros arriba señalados:
Es la probabilidad del error en que incorrectamente se rechaza una hipótesis nula que es en realidad verdadera; es decir, se comete el Error de Tipo I. Se representa con la letra griega a (alfa)
Tamaño muestral
Número de unidades objeto de análisis.
Tamaño del efecto
Según J Cohen J es la distancia entre la hipótesis nula y la hipótesis alternativa, en otras palabras, es el efecto del tratamiento o intervención. 1,3
La clasificación de los tamaños del efecto según la prueba estadística es (tabla 1):
Tabla 1. Clasificación del tamaño del efecto según J Cohen.1,3
| Dócimas |
Índice
|
Bajo
|
Medio
|
Alto
|
| Test de diferencias medias-t. |
d
|
0.20
|
0.50
|
0.80
|
| Test de Correlaciones t. |
r
|
0.10
|
0.30
|
0.50
|
| Test F (ANOVA). |
f
|
0.10
|
0.25
|
0.40
|
| Test F (MCR). |
f2
|
0.02
|
0.15
|
0.35
|
| Test Chi-cuadrado. |
w
|
0.10
|
0.30
|
0.50
|
Potencia del contraste- (Análisis de Potencia)
Es el grado de certeza o la probabilidad de que se acepte una hipótesis nula cuando realmente es verdadera; es decir, la fortaleza (probabilidad) o potencia de los resultados (conclusiones en términos estadísticos) de la investigación, al rechazar correctamente la hipótesis nula, cuando es falsa.
En otros términos, significa que las conclusiones obtenidas en términos
estadísticos presenten una alta tasa de fiabilidad para tomar una decisión
correcta para: aceptar o rechazar la Ho.
La siguiente fórmula puede ayudar a entender el concepto:
Potencia = 1 - ß, mientras que el error tipo II es sólo ß.
(Existen fórmulas específicas para cada prueba de hipótesis,
implementadas en los paquetes estadísticos para facilitar su cálculo).
[Sánchez Meca J. Metanálisis en ciencias de la salud. Observaciones
no publicadas].
La Potencia Estadística (1 - ß) es la probabilidad conceptuada
como: directamente proporcional al tamaño muestral; si se desea aumentar
la probabilidad de tomar la decisión correcta (rechazar la hipótesis
nula siendo falsa), se debe aumentar la muestra o variar algunos de los restantes
estadígrafos señalados anteriormente.16
Esto no siempre es posible, la razón fundamental es el elevado costo
de las investigaciones que esto supone; no obstante, en la etapa del diseño
teórico de la investigación se debe calcular el tamaño
muestral requerido para obtener resultados fiables - la potencia deseada-.
Desde el punto de vista del diseño de la investigación, es aconsejable
el cálculo de la potencia estadística deseada en los resultados
a priori; este concepto (potencia estadística) se introdujo por Neyman
y Pearson a principios del 1900; no obstante, por lo cálculos engorrosos
que implica, hasta el desarrollo de las computadoras, se le prestó poca
atención.1
Ya desde los años 60 del pasado siglo (XX), J Cohen 15,16
llamó la atención sobre los peligros de su desatención.
Sin embargo, aún es insuficiente el tratamiento que recibe en el diseño
teórico de la investigación. Las causas de esta desatención,
además de las mencionadas, son los cálculos engorrosos que implica,
pero ¿por qué no se hace en estos momentos, si se dispone de equipos
de cómputos y programas -software- al efecto? Para esta interrogante,
no existe una respuesta clara.
Cuando no se controla la potencia estadística a priori en la fase de
diseño de la investigación, se pueden "encontrar diferencias
significativas" cuando no las hay y viceversa.
Sobre esto es oportuno traer a colación una anécdota, contada
por J Cohen sobre, en relación con las muestras estadísticas
con menos de 30 casos: "... uno de mis compañeros de doctorado realizó
una tesis cuya característica peculiar era el tamaño muestral
de sólo 20 casos por grupo, así podría demostrar su destreza
con los estadísticos para muestras pequeñas. No fue hasta hace
algunos años después, cuando descubrí (adviértase
que no digo "inventé") el análisis de potencia, uno
de cuyos frutos fue la revelación de que, para una comparación
entre dos medias de grupos independientes con n = 30 por grupo al santificado
nivel bilateral del .05, la probabilidad de que un tamaño de efecto medio
pueda etiquetearse como significativo por los métodos más modernos
(una prueba t), era tan sólo de .47. De esta forma, obtener un resultado
significativo sería aproximadamente como lanzar una moneda al aire, incluso,
aunque en realidad, el tamaño del efecto fuera importante. La potencia
de mi amigo para n = 20 fue bastante peor (.33), aunque obviamente él
no podía saberlo, y alcanzó resultados no significativos con los
que procedió a demoler nada menos que una importante parte de la teoría
psicoanalítica".1
Por supuesto, esa decisión desacertada se tomó sobre la base
de un tamaño muestral pequeño (n menor que 30), para lo cual se
aplican estadígrafos para muestras pequeñas. El colega de Cohen,
además, no atendió la potencia estadística a priori en
la fase de diseño de la investigación y es por eso, que las conclusiones
a que arribó, no tenían la fortaleza necesaria que avalar la inferencia
que realizó. En todo caso, el rechazo de la hipótesis nula con
una baja potencia estadística, no asegura que dichas conclusiones sean
replicables.
La potencia estadística a posteriori calculada por Cohen fue
de 0,33 (con los datos reales de su colega), lo que indica el carácter
espurio de las inferencias que su amigo-doctorante arribó; además,
J Cohen calculó la potencia estadística a posteriori bajo
la suposición de que su colega trabajase con un tamaño muestral
de 30, en lugar del tamaño muestral de 20 con el que trabajó,
y obtuvo, una potencia ligeramente superior, 0,47. Obtener un resultado significativo
sería aproximadamente como lanzar una moneda al aire, incluso, aunque
en realidad, el tamaño del efecto fuera importante.
Sin embargo, en el ejemplo anterior se utiliza para contrastar la hipótesis
con un nivel de significación no adecuado para ese tamaño muestral,
ello conduce a trabajar con una potencia de contraste ínfima y, por ende,
los resultados obtenidos presentan poca robustez, credibilidad y fiabilidad
y esto, sin dudas, influye en el análisis de las restantes características.
Dichas variables actúan como perturbadoras o de confusión.
En este caso, debido al tamaño muestral y al nivel de significación
inadecuados, los resultados obtenidos fueron poco fiables, creíbles y
robustos y, debido a esto, el amigo de Jacoh Cohen, obtuvo en su investigación
resultados que contradecían la teoría existente, sin tener hechos
reales para esto. De haberse calculado la potencia estadística a priori,
se hubiera trabajado con una investigación correctamente diseñada.
Para controlar, a priori, la fiabilidad de los resultados que se alcancen y
obtener, por tanto, una mayor robustez, es necesario calcular (a priori) el
tamaño muestral adecuado, seleccionar el nivel de significación
más apropiada en función de la potencia deseada, y de esta forma,
poder detectar si existen realmente diferencias en el tamaño de efecto
del tratamiento o intervención.
Nótese que la aplicación del análisis de potencia aquí
no se vincula aún al metanálisis. Esta situación se encuentra
en la totalidad de la literatura consultada referente al meta-análisis
y al análisis de potencia; el análisis clásico de potencia
estadística a posteriori sólo está dirigido a calcular
y demostrar la robustez de las conclusiones estadísticas alcanzadas,
no así, al contenido que éstas encierran; las que pudiesen catalogarse
dentro de las técnicas de minería de datos, es decir, hacia otro
tipo de análisis de información complementario a lo que se hace
hasta el momento.
El uso del análisis de potencia a posteriori en el meta-análisis eleva su eficacia.
Clasificación de la potencia estadística según el momento
de su cálculo.
La clasificación de la potencia estadística, según el momento de su cálculo es (tabla 2):4
Tabla 2. Clasificación de la potencia estadística.
| Tipos de análisis de la potencia estadística | Momento del cálculo |
| Análisis de potencia estadística a priori. | Antes y durante el diseño metodológico de la investigación y antes de recoger el primer dato. |
| Análisis de potencia estadística de compromiso. | En el cálculo de la potencia de compromiso, se condicionan los valores admisibles de los Errores Tipo I y Tipo II, con el objetivo de obtener mejor consistencia o robustez de los resultados. |
| Análisis de potencia estadística a posteriori. | Una vez concluida la investigación, y por lo general publicada, se calcula la potencia estadística de los resultados. |
Este tipo de análisis de potencia se utiliza en la fase de diseño
(previa a la ejecución de la investigación) para calcular cuántos
sujetos (unidades de observación) se necesitan (el tamaño de la
muestra total), ello se determina a partir de valores extremos de alfa y beta,
escogidos por el investigador con anterioridad.
Si se obtienen "tamaños muestrales prohibitivos", demasiado grandes (según la experiencia del investigador en el campo objeto de estudio), que gravitan negativamente en los costos de la investigación que se desea realizar, se debe calcular la "Potencia estadística de compromiso".
Análisis de potencia estadística de compromiso (compromise power
analysis).
Este análisis se refiere al valor crítico óptimo que puede
considerarse como un compromiso racional entre las demandas de un riesgo de
cometer Error Tipo I (a) y una potencia estadística grande, a partir
de un tamaño muestral prefijado. Este análisis ofrece una solución
de compromiso que posibilita calcular tamaños de muestras "razonables",
porque constituye una solución con respecto a los valores que se obtienen
a partir del análisis de potencia a priori.
¿Cuándo se utiliza el análisis de potencia de compromiso?
Se utiliza cuando no puede aumentarse deliberadamente el tamaño muestral (N) (ejemplo, cuando se trabaja con pacientes), y no es posible ni ético su aumento, y N es demasiado pequeño para satisfacer los niveles convencionales de a y b debido a su tamaño de efecto.
Datos necesarios para su cálculo. Interpretación.
El análisis de potencia de compromiso se calcula a partir de:
El problema consiste en: calcular un valor crítico óptimo mediante la prueba estadística que satisfaga beta/alpha = q. Este valor crítico óptimo puede considerarse como un compromiso racional entre las demandas de un "bajo riesgo alfa" y un "nivel de potencia grande", establecido un tamaño de muestra fijo.
Análisis de la potencia estadística a posteriori (Post-hoc
power analyses- A posteriori power analysis).
El análisis de potencia a posteriori es el que se calcula después de realizar la investigación por lo general, la investigación ya se ha publicado y tiene como objetivo verificar el poder del contraste que alcanza la investigación concluida y cuán fiable son los resultados y su interpretación. En otras palabras, verificar si el tamaño muestral utilizado es el adecuado y se respaldan los resultados obtenidos, su interpretación y conclusiones.
Recibido: 3 de julio del 2004.
Aprobado: 18 de julio del 2004
Dr C. Rafael Avilés Merens
Facultad de Ciencias Agropecuarias.
Universidad de Camagüey, Cuba.
Carretera Circunvalación Norte km 5½
Camagüey 74 650, Cuba.
Correo electrónico: raviles@cag.rduc.edu.
1
Doctor en Ciencias de la Información. Profesor Titular. Universidad de
Camagüey, Cuba.
2 Doctor en Ciencias de la Información.
Profesor Titular Adjunto a la Facultad de Comunicación, Universidad de
La Habana, Cuba. Investigador del Centro de Investigación
e Informática del Deporte (CINID), INDER, Cuba.
3 Licenciado en Economía. Departamento
de Computación. Facultad de Ciencias Médicas "Mariana Grajales
Crello". Holguín
4 Licenciado en Información Científico-Técnica
y Bibliotecología. Centro Nacional de Información de Ciencias
Médicas
¿Cómo citar esta contribución según el estilo Vancouver?
Avilés Merens R, Morales Morejón M., Sao Avilés Augusto
y Cañedo Andalia Rubén. La Colaboración Cochrane en Cuba.
Los metanálisis: aproximaciones útiles para su comprensión.
Acimed 2004; 12(4). Disponible en: http://bvs.sld.cu/revistas/aci/vol12_4_04/aci04404.htm
Consultado: día/mes/año.
Términos sugeridos para la indización
Según DeCS 1
METANALISIS; CONTROL ANALITICO DE LA CALIDAD.
META-ANALYSIS; ANALYTICAL QUALITY CONTROL.
Según DeCI 2
METANALISIS/ clasificación; VIGILANCIA DE LA CALIDAD.
META-ANALYSIS/ classification; QUALITY SERVEILLANCE.
1 BIREME.
Descriptores en Ciencias de la Salud (DeCS). Sao Paulo: BIREME, 2004.
Disponible en: http://decs.bvs.br/E/homepagee.htm
2 Díaz del Campo S. Propuesta de términos
para la indización en Ciencias de la Información. Descriptores
en Ciencias de la Información (DeCI). Disponible en: http://cis.sld.cu/E/tesauro.pdf