Revisão Sistemática, Bibliometria e Meta‑análise Introdução A produção acadêmica e científica cresce exponencialmente. Diariamente, centenas de artigos, teses e relatórios são publicados em todo o mundo. Para que pesquisadores, gestores públicos e profissionais possam tomar decisões baseadas em evidências, é necessário sintetizar o conhecimento disponível de forma rigorosa e transparente. A revisão sistemática, a meta‑análise e a bibliometria são ferramentas metodológicas que cumprem esse papel, cada uma com seus objetivos e procedimentos específicos. A revisão sistemática responde a uma pergunta específica, coletando e avaliando todos os estudos relevantes sobre o tema. A meta‑análise combina estatisticamente os resultados de múltiplos estudos, produzindo uma estimativa geral de efeito. A bibliometria analisa quantitativamente a produção científica, identificando padrões de autoria, periódicos, citações e redes de colaboração. Esta aula aborda os fundamentos, as etapas e as aplicações dessas três abordagens, com ênfase nas áreas de educação e cultura. Tipos de revisão da literatura Nem toda revisão é sistemática. É fundamental distinguir as diferentes modalidades, pois cada uma atende a propósitos distintos. 2.1. Revisão narrativa (tradicional) Características: síntese ampla sobre um tema, sem protocolo explícito de busca e seleção. O autor escolhe os estudos que considera mais relevantes. Vantagens: rápida, útil para introduzir um campo, contextualizar um problema ou construir marco teórico. Limitações: suscetível a viés de seleção; não garante reprodutibilidade; não permite afirmar que todos os estudos relevantes foram considerados. 2.2. Revisão sistemática Características: segue um protocolo pré‑definido (registrado publicamente), com estratégia de busca explícita, critérios de inclusão/exclusão transparentes e avaliação da qualidade metodológica dos estudos incluídos. Objetivo: responder a uma pergunta específica, geralmente sobre efeitos de intervenções, fatores de risco ou acurácia de testes. Produto típico: pode ou não ser seguida de meta‑análise. Quando não há possibilidade de combinação estatística, a síntese é narrativa (revisão sistemática qualitativa). 2.3. Revisão integrativa Características: mais ampla que a sistemática, permite incluir estudos com diferentes delineamentos (experimentais, quase‑experimentais, qualitativos, teóricos). Objetivo: sintetizar o conhecimento sobre um conceito, uma teoria ou um problema de forma abrangente. Aplicação comum: áreas de educação, enfermagem, administração, políticas públicas. 2.4. Scoping review (revisão de escopo) Características: mapeia a extensão e a natureza da literatura sobre um tópico, identificando lacunas e tipos de evidência disponíveis. Não avalia a qualidade metodológica dos estudos. Quando usar: quando o tema é amplo, pouco explorado ou quando se deseja identificar conceitos, fontes e tipos de estudo. Referência metodológica: diretrizes PRISMA‑ScR (Preferred Reporting Items for Systematic Reviews and Meta‑Analyses extension for Scoping Reviews). 2.5. Síntese comparativa | Tipo | Pergunta típica | Protocolo explícito | Avaliação de qualidade | Combinação estatística | |----------|----------------------|-------------------------|----------------------------|----------------------------| | Narrativa | Ampla, exploratória | Não | Não | Não | | Sistemática | Específica (PICO) | Sim | Sim | Opcional (meta‑análise) | | Integrativa | Ampla, mas focada | Sim (flexível) | Sim (adaptada) | Não | | Scoping | Mapeamento | Sim | Não | Não | Revisão sistemática: etapas detalhadas Uma revisão sistemática deve ser planejada e conduzida com o mesmo rigor de uma pesquisa primária. As etapas abaixo seguem as recomendações do Cochrane Handbook e do PRISMA. 3.1. Formulação da pergunta de pesquisa A pergunta deve ser clara, específica e responder a uma necessidade de conhecimento. Na área da saúde, utiliza‑se a estratégia PICO (Population, Intervention, Comparison, Outcome). Nas ciências humanas e sociais, adaptações como PICo (Population, Interest, Context) são comuns. Exemplo (educação): P (população): alunos do ensino médio público. I (intervenção): programa de mentoria entre pares. C (comparação): ausência de mentoria. O (outcome): taxa de evasão escolar. Pergunta final: “Qual o efeito de programas de mentoria entre pares sobre a evasão escolar em alunos do ensino médio público?” 3.2. Registro do protocolo Para evitar duplicação e aumentar a transparência, o protocolo da revisão deve ser registrado publicamente antes do início da coleta de dados. Plataformas como PROSPERO (especializada em saúde) ou OSF (Open Science Framework) são utilizadas. O protocolo includes: pergunta, bases de dados, estratégia de busca, critérios de inclusão/exclusão, métodos de extração e síntese. 3.3. Estratégia de busca bibliográfica A busca deve ser abrangente e reprodutível. Envolve: Seleção de bases de dados: PubMed, Scopus, Web of Science, ERIC (educação), SciELO, BDTD, LILACS, PsycINFO, etc. Descritores (palavras‑chave): utilização de tesauros como MeSH (Medical Subject Headings) ou DeCS (Descritores em Ciências da Saúde). Operadores booleanos: AND (intersecção), OR (união), NOT (exclusão). Filtros: período de publicação, idioma, tipo de estudo. 3.4. Triagem (seleção) dos estudos Primeira etapa: leitura de títulos e resumos por dois revisores independentes, aplicando critérios de inclusão/exclusão. Segunda etapa: leitura do texto completo dos artigos pré‑selecionados. Divergências: resolvidas por consenso ou arbitragem de um terceiro revisor. Fluxograma PRISMA: documento que registra o número de referências identificadas, removidas (duplicatas), triadas, excluídas (com justificativa) e incluídas na síntese final. 3.5. Avaliação da qualidade metodológica Cada estudo incluído deve ser avaliado quanto ao risco de viés (bias) e à qualidade geral. Existem ferramentas específicas para cada delineamento: RoB 2 (Risk of Bias 2) – para ensaios clínicos randomizados. ROBINS‑I – para estudos não randomizados. CASP (Critical Appraisal Skills Programme) – checklist para estudos qualitativos, coorte, caso‑controle. JBI (Joanna Briggs Institute) – ferramentas para quase‑experimentos, estudos de prevalência, revisões de escopo. 3.6. Extração dos dados Os dados relevantes são extraídos para uma planilha padronizada. Incluem: Características do estudo (autores, ano, país, delineamento). Características da população (tamanho da amostra, idade, sexo, critérios de inclusão). Intervenção/Exposição (descrição, duração, intensidade). Comparação (quando houver). Desfechos (medidas de efeito: médias, proporções, odds ratio, risco relativo, diferença de médias, etc.). Informações sobre qualidade (risco de viés). 3.7. Síntese dos resultados Síntese narrativa: descrição qualitativa dos achados, organizada por tema, tipo de estudo ou qualidade. Meta‑análise: combinação estatística (detalhada na seção 4). Tabela de resumo de achados (SoF – Summary of Findings): apresenta o efeito estimado, a qualidade da evidência (GRADE) e o número de participantes/estudos. 3.8. Relato – Checklist PRISMA O PRISMA (Preferred Reporting Items for Systematic Reviews and Meta‑Analyses) é um checklist com 27 itens que devem ser relatados no artigo, incluindo título, resumo estruturado, introdução, métodos, resultados, discussão e financiamento. O fluxograma PRISMA é a figura que resume o processo de seleção. Meta‑análise A meta‑análise é a combinação estatística dos resultados de dois ou mais estudos que respondem à mesma pergunta. Ela aumenta o poder estatístico e a precisão da estimativa do efeito. 4.1. Pressupostos e pré‑requisitos Os estudos devem ser suficientemente homogêneos quanto à população, intervenção, desfecho e delineamento. Devem reportar medidas de efeito comparáveis (ou que possam ser convertidas). A revisão sistemática deve ter sido conduzida rigorosamente. 4.2. Medidas de efeito comuns Variáveis contínuas: diferença de médias (MD) ou diferença de médias padronizada (SMD – quando os estudos usam escalas diferentes). Variáveis dicotômicas: odds ratio (OR), risco relativo (RR), diferença de risco (RD). Correlações: coeficiente de correlação de Pearson transformado (Fisher’s z). 4.3. Modelo de efeitos fixos vs. efeitos aleatórios Efeitos fixos: assume que todos os estudos compartilham um efeito verdadeiro comum. A variabilidade entre os estudos é apenas amostral. Utiliza o método de Mantel‑Haenszel ou inverso da variância. Efeitos aleatórios: assume que o efeito verdadeiro pode variar entre os estudos (devido a diferenças em populações, intervenções, contextos). A variabilidade tem dois componentes: amostral + heterogeneidade. Utiliza o método de DerSimonian‑Laird ou restrições de máxima verossimilhança (REML). Regra prática: se a heterogeneidade for baixa ($I^2 < 40\%$), os modelos fixos e aleatórios produzem resultados semelhantes. Se a heterogeneidade for substancial ($I^2 > 75\%$), o modelo de efeitos aleatórios é preferível, mas a interpretação deve ser cautelosa. 4.4. Heterogeneidade A heterogeneidade refere‑se à variabilidade entre os resultados dos estudos. Pode ser: Clínica: diferenças em pacientes, intervenções, desfechos. Metodológica: diferenças no delineamento, qualidade, análise. Estatística: variação nos efeitos medida por $I^2$ e $Q$ de Cochran. Interpretação do $I^2$ (Higgins & Thompson): $0\% – 40\%$: heterogeneidade irrelevante. $30\% – 60\%$: heterogeneidade moderada. $50\% – 90\%$: heterogeneidade substancial. $75\% – 100\%$: heterogeneidade considerável. Quando a heterogeneidade é alta, o pesquisador deve investigar suas causas por meio de análise de subgrupos ou meta‑regressão. 4.5. Forest plot (gráfico de floresta) É a representação gráfica padrão da meta‑análise. Cada estudo é representado por um quadrado (tamanho proporcional ao peso) e uma linha (intervalo de confiança). O losango no final representa o efeito combinado (centro do losango = estimativa pontual; largura = intervalo de confiança). 4.6. Viés de publicação e gráfico de funil (funnel plot) O viés de publicação ocorre quando estudos com resultados positivos e estatisticamente significativos têm maior probabilidade de serem publicados do que estudos nulos ou negativos. O gráfico de funil (funnel plot) ajuda a detectar esse viés: em ausência de viés, os pontos se distribuem simetricamente ao redor do efeito combinado, com maior dispersão para estudos pequenos. Testes estatísticos complementares incluem o teste de Egger e o teste de Begg. Bibliometria A bibliometria aplica métodos quantitativos ao estudo da produção, disseminação e uso da literatura científica. É amplamente utilizada para avaliação de pesquisa, mapeamento de áreas do conhecimento e identificação de tendências. 5.1. Leis bibliométricas clássicas | Lei | Autor | Enunciado | Aplicação | |---------|-----------|---------------|----------------| | Lei de Bradford | Samuel Bradford (1948) | Núcleo de periódicos: um pequeno número de periódicos publica a maioria dos artigos relevantes de uma área. | Identificar periódicos‑núcleo para indexação, assinatura ou submissão. | | Lei de Lotka | Alfred Lotka (1926) | Produtividade de autores: poucos autores produzem muitos artigos; muitos autores produzem poucos artigos (distribuição inversa). | Estudar distribuição de produtividade; identificar autores mais prolíficos. | | Lei de Zipf | George Zipf (1949) | Frequência de palavras: poucas palavras aparecem muitas vezes; a maioria das palavras aparece poucas vezes. | Análise de texto, construção de tesauros, indexação automática. | 5.2. Indicadores bibliométricos Fator de impacto (JIF – Journal Impact Factor): calculado pela Clarivate Analytics (Journal Citation Reports). Mede a média de citações recebidas por artigos publicados em um periódico nos dois anos anteriores. Críticas: favorece áreas de citação rápida; pode ser manipulado. Índice H (h‑index): proposto por Jorge Hirsch (2005). Um pesquisador tem índice $h$ se $h$ de seus artigos receberam pelo menos $h$ citações cada. Combina produtividade e impacto. Índice i10: número de artigos com pelo menos 10 citações (métrica do Google Scholar). CiteScore: métrica da Elsevier (Scopus), baseada em 4 anos. Altmetrics: métricas alternativas baseadas em menções em redes sociais, notícias, blogs, etc., que capturam impacto social mais rápido que as citações. 5.3. Análise de redes científicas Coautoria: rede de colaboração entre pesquisadores. Indicadores: densidade, centralidade, clusters. Cocitação: dois artigos são cocitados quando ambos aparecem na lista de referências de um terceiro artigo. Mede similaridade temática. Acoplamento bibliográfico: dois artigos compartilham referências em comum. Também mede similaridade, mas considera documentos recentes. Análise de palavras‑chave: coocorrência de termos em títulos, resumos ou palavras‑chave; identifica temas e tendências. Ferramentas: VOSviewer, CiteSpace, Bibliometrix (pacote R), Gephi. 5.4. Aplicações em educação e cultura Educação: mapeamento da produção sobre ensino híbrido, avaliação da produtividade de programas de pós‑graduação (Qualis), identificação de referências teóricas na área de currículo. Cultura: análise de redes de coautoria em políticas culturais, identificação de periódicos‑núcleo em economia da cultura, evolução de palavras‑chave nos anais de congressos de cultura. Exemplo prático integrado (educação) Cenário: uma secretaria estadual de educação quer saber se programas de mentoria entre pares reduzem a evasão escolar no ensino médio. Etapas: Revisão sistemática: - Pergunta PICO. - Busca em ERIC, Scopus e SciELO com descritores “mentoring”, “peer mentoring”, “school dropout”, “high school”. - Critérios de inclusão: estudos quase‑experimentais ou randomizados; população de 14‑18 anos; desfecho evasão. - Avaliação de qualidade com ROBINS‑I e CASP. - Extração de dados. Meta‑análise (se possível): - Cinco estudos reportam odds ratio (OR) para evasão. - Heterogeneidade moderada ($I^2 = 54\%$). - Modelo de efeitos aleatórios: OR combinado = 0,72 (IC95%: 0,62–0,84), indicando redução de 28% na chance de evasão. - Forest plot mostra consistência da direção do efeito. - Gráfico de funil simétrico, sem evidência forte de viés de publicação. Bibliometria (para contexto): - Análise de coautoria: identifica grupos de pesquisa ativos no tema. - Coocorrência de palavras‑chave: “mentoring” associado a “retention”, “academic achievement”, “at‑risk students”. - Índice H dos principais autores do campo. Resultado final: a secretaria recebe um relatório com evidência robusta de que programas de mentoria reduzem a evasão, além de recomendações sobre desenho do programa (com base nos estudos de maior qualidade). Quadro‑resumo | Método | Objetivo | Produto típico | Ferramentas | |------------|--------------|--------------------|------------------| | Revisão sistemática | Responder pergunta específica com base em todos os estudos relevantes | Síntese narrativa ou meta‑análise, fluxograma PRISMA | PROSPERO, EndNote/Zotero, Rayyan | | Meta‑análise | Combinar estatisticamente resultados de estudos | Forest plot, estimativa de efeito combinado, $I^2$ | RevMan, R (meta), Stata (metan), JASP | | Bibliometria | Analisar quantitativamente a produção científica | Gráficos de rede, tabelas de produtividade, mapas de ciência | VOSviewer, Bibliometrix, CiteSpace | Para a prova Revisão sistemática: protocolo explícito, pergunta estruturada (PICO/PICo), busca abrangente, seleção por dois revisores, avaliação de qualidade, síntese transparente. PRISMA: checklist com 27 itens e fluxograma obrigatório para relato. Meta‑análise: combinação estatística; modelos de efeitos fixos (efeito verdadeiro único) vs. aleatórios (efeito varia entre estudos); $I^2$ mede heterogeneidade; forest plot e gráfico de funil. Viés de publicação: detectado por assimetria no gráfico de funil; testes de Egger e Begg. Leis bibliométricas: Bradford (periódicos‑núcleo), Lotka (produtividade de autores), Zipf (frequência de palavras). Índice H: um autor tem h se h artigos receberam pelo menos h citações cada. Fator de impacto: média de citações por artigo em dois anos (JCR). Observação final: Revisões sistemáticas, meta‑análises e análises bibliométricas são ferramentas indispensáveis para a ciência contemporânea, especialmente em áreas aplicadas como educação, cultura e políticas públicas. O domínio desses métodos permite sintetizar evidências de forma confiável, identificar lacunas de conhecimento e orientar a tomada de decisão com base no que há de melhor disponível na literatura. Servidores públicos que atuam na gestão de programas ou na avaliação de políticas serão cada vez mais demandados a compreender e a utilizar esses instrumentos. Exercícios: Qual é a principal característica da revisão sistemática em comparação com outros tipos de revisão da literatura? Qual técnica estatística é utilizada para combinar os resultados de múltiplos estudos sobre uma mesma questão e fornecer uma estimativa de efeito mais precisa? A estratégia PICO é amplamente utilizada na formulação de questões de pesquisa. O que significa o acrônimo PICO? Qual das seguintes leis bibliométricas descreve a distribuição da produtividade dos autores, indicando que poucos autores produzem muitos artigos e muitos autores produzem poucos? Segundo as diretrizes PRISMA, qual é um dos elementos essenciais do relatório de uma revisão sistemática? Qual das seguintes aplicações exemplifica o uso de revisões sistemáticas e bibliometria em pesquisas educacionais e culturais?