Análise de Dados e Evidências para Políticas Públicas Política Baseada em Evidência (EBP) A política baseada em evidência (evidence‑based policy — EBP) é uma abordagem que preconiza a integração sistemática das melhores evidências disponíveis (científicas, administrativas e experienciais) com a discricionariedade dos formuladores e a participação dos cidadãos, visando decisões públicas mais eficazes, transparentes e responsáveis. Sua origem remonta ao movimento da medicina baseada em evidências (Evidence‑Based Medicine), impulsionado por David Sackett e pela Colaboração Cochrane nos anos 1990. No Reino Unido, o governo de Tony Blair abraçou a ideia com o Modernising Government (1999), e a OCDE difundiu o conceito como pilar da boa governança pública. Três pilares da EBP (segundo a Evidence‑Based Policymaking Collaborative): Evidência rigorosa: dados de pesquisas, avaliações de impacto, revisões sistemáticas, estatísticas oficiais. Expertise e julgamento profissional: conhecimento tácito de gestores, analistas e burocratas de nível de rua. Valores e preferências da sociedade: participação social, equidade, direitos humanos e aceitabilidade política. É importante frisar que EBP não significa tecnocracia. A evidência informa, mas não substitui a política. O ideal é uma evidence‑informed policy (política informada por evidências), que articula fatos, valores e interesses. Hierarquia de Evidências A robustez de uma evidência depende do delineamento da pesquisa que a produziu. Séries históricas do Banco Mundial e da Campbell Collaboration organizam os tipos de estudo do mais ao menos robusto: Revisões sistemáticas com meta‑análise de ensaios clínicos randomizados (RCTs). Ensaios controlados randomizados (RCTs) individuais. Estudos quasi‑experimentais (diferenças‑em‑diferenças, regressão descontínua, pareamento por escore de propensão). Estudos observacionais (coorte, caso‑controle, transversais analíticos). Estudos descritivos e séries de casos. Opinião de especialistas e relatos de experiência. Nas políticas públicas, frequentemente não é possível realizar RCTs por questões éticas, financeiras ou políticas. Por isso, complementa‑se a hierarquia com a pergunta: “O que funciona, para quem, em que contexto?” (abordagem realista de Pawson e Tilley), valorizando métodos mistos e estudos de caso. Avaliação de Políticas Públicas Avaliar é julgar, com base em critérios explícitos, o mérito, o valor ou a importância de uma intervenção governamental. 3.1 Por momento de realização Avaliação ex ante: antes da implementação. Estima a viabilidade, os custos e os benefícios esperados. Embasa a Análise de Impacto Regulatório (AIR) e a seleção de alternativas. Avaliação in itinere / formativa: durante a execução. Fornece feedback para correções de rumo e aprimoramento contínuo. Avaliação ex post / somativa: após a conclusão. Mede os resultados e impactos alcançados, com foco em efetividade e prestação de contas. 3.2 Por foco da análise Avaliação de processo: examina a qualidade da implementação — se as atividades foram realizadas conforme o plano, se os recursos foram bem empregados e se houve desvios. Pergunta central: “como a política está sendo executada?”. Avaliação de resultado (outcome): verifica se os objetivos imediatos foram atingidos. Ex.: quantos alunos se alfabetizaram, quantos domicílios receberam saneamento. Foco no cumprimento de metas. Avaliação de impacto: isola o efeito líquido atribuível à política, comparando o que ocorreu com o que teria ocorrido na ausência da intervenção (contrafactual). Exige modelagem estatística robusta. Avaliação econômica: compara custos e benefícios (custo‑benefício), custos e resultados não monetizados (custo‑efetividade) ou custos e utilidade (custo‑utilidade, como QALY em saúde). Modelo Lógico e Teoria do Programa Modelo lógico (logic model): representação gráfica da cadeia causal da política: insumos → atividades → produtos → resultados → impactos. Cada elo é acompanhado de indicadores e pressupostos. Facilita o desenho, o monitoramento e a avaliação. Teoria do programa (theory of change): explicitação mais detalhada dos mecanismos pelos quais se espera que as ações gerem os resultados. Responde “por que” e “como” a intervenção funcionará. Modelos Clássicos de Avaliação 5.1 Modelo CIPP (Stufflebeam) Daniel Stufflebeam propôs quatro dimensões: Contexto: diagnóstico da situação, identificação de necessidades e oportunidades. Input (insumos): análise dos recursos, estratégias e planos disponíveis. Processo: monitoramento da implementação. Produto: julgamento dos resultados alcançados. O CIPP é amplamente utilizado na avaliação educacional e de programas sociais no Brasil. 5.2 Modelo de Kirkpatrick (avaliação de treinamento) Desenvolvido por Donald Kirkpatrick, organiza a avaliação de capacitações em quatro níveis: Reação: satisfação dos participantes com o treinamento. Aprendizagem: aquisição de conhecimentos, habilidades e atitudes. Comportamento: transferência da aprendizagem para o local de trabalho. Resultados: impacto na organização (produtividade, qualidade, redução de custos). 5.3 Outros modelos Modelo de Tyler: focado na congruência entre objetivos previamente definidos e resultados observados. Avaliação responsiva (Stake): coloca os stakeholders no centro, respondendo às suas perguntas e preocupações. Avaliação participativa: envolve atores locais e beneficiários em todas as etapas, fortalecendo o empoderamento e a legitimidade. Análise de Impacto Regulatório (AIR) no Brasil A AIR é um processo sistemático de análise baseada em evidências, que busca informar a tomada de decisão sobre a edição de atos normativos. Foi institucionalizada no Brasil por: Lei nº 13.874/2019 (Lei da Liberdade Econômica), que em seu art. 4º, §1º, determina que a edição de atos normativos de interesse geral de agentes econômicos seja precedida de AIR. Decreto nº 10.411/2020, que regulamenta a AIR no âmbito do Poder Executivo Federal, definindo as etapas: identificação do problema, definição dos objetivos, mapeamento das alternativas (regulatórias e não regulatórias), análise dos impactos, comparação das alternativas e estratégia de implementação e monitoramento. Lei nº 13.848/2019 (Lei das Agências Reguladoras), que tornou a AIR obrigatória nas agências reguladoras. A jurisprudência do STF, no julgamento da ADI 6.421/DF (Rel. Min. Roberto Barroso, Plenário, julgado em 10/05/2023, DJe de 03/07/2023), consolidou a importância da AIR ao declarar que a ausência de análise de impacto regulatório pode configurar violação ao princípio da proporcionalidade e ao devido processo legal substantivo, sobretudo quando o ato normativo restringe direitos ou afeta a concorrência. A decisão sinaliza que o poder público deve demonstrar que a medida adotada é adequada, necessária e proporcional, e a AIR é o instrumento técnico por excelência para essa demonstração. Métodos de Avaliação de Impacto 7.1 Experimentais Ensaio controlado randomizado (RCT): considerado padrão‑ouro para inferência causal. A aleatorização elimina viés de seleção. Ex.: sorteio de famílias para receber transferência de renda. Limitação: custo, questões éticas e validade externa (contextos muito específicos). 7.2 Quasi‑experimentais Diferenças‑em‑diferenças (DiD): compara a evolução de um grupo tratado e um grupo controle antes e depois da intervenção, controlando tendências temporais. Regressão descontínua (RDD): explora limites de elegibilidade (ex.: municípios com menos de 10 mil habitantes recebem um programa, e os com 10.001 não), comparando grupos próximos ao ponto de corte. Variáveis instrumentais (IV): utiliza uma variável correlacionada com a participação no programa, mas não diretamente com o resultado, para corrigir endogeneidade. Pareamento por escore de propensão (PSM): emparelha cada unidade tratada com uma ou mais unidades de controle com características observáveis similares. Controle sintético: constrói um “contrafactual artificial” combinando dados de unidades não tratadas, usado muito em avaliações de impactos macrorregionais. Análise Custo‑Benefício e Custo‑Efetividade Análise custo‑benefício (ACB): converte custos e benefícios em unidades monetárias. Utiliza indicadores como Valor Presente Líquido (VPL) e Taxa Interna de Retorno (TIR). Permite comparar políticas de setores distintos. Análise custo‑efetividade (ACE): relaciona custos a uma unidade de resultado não monetizada (ex.: custo por ano de vida salvo, custo por aluno alfabetizado). Muito comum em saúde e educação. Análise custo‑utilidade: utiliza medidas de utilidade, como o QALY (anos de vida ajustados pela qualidade). Retorno social do investimento (SROI): metodologia participativa que incorpora valores sociais e ambientais, indo além do retorno financeiro. Utilizada no terceiro setor e em projetos de desenvolvimento. Big Data e Ciência de Dados no Setor Público O governo brasileiro acumula volumes imensos de dados administrativos (CadÚnico, CAGED, SIAFI, SIAPE, DataSUS, Censo Escolar, Nota Fiscal Eletrônica). A ciência de dados permite ir além da análise descritiva: Analítica descritiva: o que aconteceu? (dashboards, relatórios). Analítica diagnóstica: por que aconteceu? (mineração de dados, correlações). Analítica preditiva: o que pode acontecer? (modelos de machine learning para prever evasão escolar, focos de criminalidade, surtos de doenças). Analítica prescritiva: o que devemos fazer? (otimização de rotas, alocação de recursos). Aplicações concretas: Robô Alice do TCU (análise de redes em licitações para detectar cartéis), Victor do STF (IA para triagem de processos), Painéis de Monitoramento do PPA e os sistemas de alerta precoce da CGU. A Lei Geral de Proteção de Dados (LGPD) e a Lei 14.129/2021 (Governo Digital) impõem salvaguardas para o uso ético, a segurança e a transparência dos algoritmos no setor público. Marcos Brasileiros de Dados e Evidências Lei de Acesso à Informação — LAI (Lei nº 12.527/2011): garante a transparência ativa e passiva, tornando os dados governamentais acessíveis a pesquisadores e cidadãos. Lei de Responsabilidade Fiscal — LRF (LC nº 101/2000): exige a demonstração de impacto orçamentário‑financeiro e a avaliação de riscos fiscais, estimulando o uso de projeções e evidências. Decreto nº 9.203/2017: inclui a melhoria regulatória e a tomada de decisão baseada em evidências entre os princípios da governança pública federal. Decreto nº 10.411/2020: regulamenta a AIR. Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP) e Comitê de Monitoramento e Avaliação dos Gastos Diretos (CMAG): instâncias interministeriais que coordenam a agenda avaliativa. Limites e Críticas à EBP Política não é um laboratório: decisões públicas são tomadas sob pressão temporal, com conflitos de valores e interesses. A janela de oportunidade de Kingdon (problemas, soluções e política) nem sempre espera a conclusão de uma pesquisa robusta. Risco de tecnocracia: a pretensão de que a evidência dita a decisão pode despolitizar debates legítimos e marginalizar a participação social. A abordagem evidence‑informed é mais realista que a evidence‑based estrita. Assimetria de capacidade: órgãos com menor capacidade analítica podem ficar à margem, enquanto grandes ministérios e agências acumulam núcleos de avaliação. Wicked problems: problemas públicos complexos (desigualdade, violência) não têm solução técnica única; a evidência é útil, mas insuficiente sem negociação política e construção de consensos. Considerações éticas: a aplicação de desenhos experimentais a políticas de proteção social pode gerar questionamentos sobre a negação de benefícios a grupos de controle. Para a prova EBP: política baseada em evidência integra evidência + expertise + valores sociais. Avaliação por momento: ex ante, in itinere, ex post. Avaliação por foco: processo, resultado, impacto, econômica. AIR: Lei 13.874/2019 + Decreto 10.411/2020; obrigatória nas agências reguladoras (Lei 13.848/2019). STF, ADI 6.421: falta de AIR pode violar proporcionalidade. Avaliação de impacto: RCT (padrão‑ouro), DiD, RDD, PSM, variáveis instrumentais, controle sintético. Custo‑benefício × custo‑efetividade × SROI. Marcos: LAI (12.527/11), LRF (LC 101/00), Decreto 9.203/17, Decreto 10.411/20, CMAP. Limites da EBP: wicked problems, janela de Kingdon, incrementalismo de Lindblom, risco de tecnocracia.