Avaliação de Políticas Públicas de Educação e Cultura Por que avaliar políticas públicas? A avaliação de políticas públicas é o processo sistemático de investigação empírica sobre o desenho, a implementação, os resultados e os impactos de uma intervenção governamental, com o propósito de gerar informações que possam ser utilizadas no aprimoramento da decisão pública e na prestação de contas à sociedade. Avaliar não é apenas controlar: é aprender. A função primordial da avaliação está diretamente vinculada ao conceito de accountability. Trata‑se de um instrumento que permite: Aumentar a eficiência do gasto público, identificando desperdícios e realocando recursos para programas mais efetivos. Aprimorar o desenho das políticas, corrigindo falhas de concepção antes ou durante a implementação. Fortalecer a transparência, oferecendo evidências sobre o que funciona e o que não funciona. Subsidiar o controle social, permitindo que a sociedade civil e os órgãos de fiscalização acompanhem os resultados. No entanto, a avaliação não substitui o juízo político. Ela oferece evidências, mas a decisão sobre manter, alterar ou encerrar uma política cabe aos gestores e representantes eleitos, considerando também valores, viabilidade política e recursos disponíveis. Diferença entre monitoramento e avaliação Embora muitas vezes tratados como sinônimos, monitoramento e avaliação são processos distintos e complementares. Enquanto o monitoramento acompanha a implementação de forma contínua, a avaliação faz um julgamento pontual sobre o mérito, o valor ou o significado da política. | Critério | Monitoramento | Avaliação | |--------------|-------------------|----------------| | Quando ocorre | Durante toda a execução, de forma contínua. | Em momentos específicos (antes, durante ou depois da implementação). | | Foco principal | Produtos e processos (outputs). | Resultados e impactos (outcomes e impacts). | | Perguntas típicas | "O que está sendo feito?"; "Os produtos estão sendo entregues?". | "O que mudou?"; "A mudança é atribuível à política?". | | Periodicidade | Rotineira, integrada aos sistemas de gestão. | Esporádica, geralmente associada a ciclos de planejamento. | | Destinatário principal | Gestores e equipes de implementação. | Tomadores de decisão, legisladores, financiadores, sociedade. | | Instrumentos | Painéis de indicadores, sistemas de informação, relatórios de gestão. | Desenhos experimentais, quase‑experimentos, estudos de caso, análises de custo‑efetividade. | Na prática, um bom sistema de gestão integra monitoramento e avaliação: o monitoramento identifica desvios e gera hipóteses, e a avaliação testa essas hipóteses com métodos rigorosos, produzindo recomendações que retroalimentam o planejamento. Tipos de avaliação quanto ao momento 3.1. Avaliação ex ante Realizada antes do início da implementação, com o objetivo de analisar a consistência, a viabilidade e os potenciais efeitos da política proposta. É uma avaliação prospectiva, que simula o que pode acontecer se a intervenção for adotada. Exemplo: antes de lançar um programa de mentoria para redução da evasão escolar, a secretaria de educação pode conduzir uma análise ex ante para verificar se o desenho está coerente com a literatura, se o orçamento é suficiente e se existem experiências similares bem‑sucedidas em outros contextos. 3.2. Avaliação de processo (ou formativa) Realizada durante a implementação, com o foco em verificar se as atividades estão sendo executadas conforme o planejado, se os recursos estão sendo usados adequadamente e se o público‑alvo está sendo alcançado. Diferentemente da avaliação ex post, a avaliação de processo não busca atribuir causalidade, mas sim descrever a operação da política e seus desvios. Exemplo: no meio do ano letivo, uma avaliação de processo de um programa de formação continuada de professores pode identificar que apenas 40% dos docentes participaram das oficinas porque o horário conflitava com suas atividades em sala de aula – informação crucial para redesenhar a oferta. 3.3. Avaliação de resultado (outcome evaluation) Mede os efeitos diretos e de curto/médio prazo da política sobre o público‑alvo. Geralmente ocorre após a conclusão de um ciclo de implementação e utiliza indicadores mais próximos dos objetivos imediatos da intervenção. Exemplo: a avaliação de resultado de um programa de mentoria escolar pode medir a taxa de aprovação dos alunos participantes, comparando‑a com a taxa de aprovação antes do programa ou com a de alunos não participantes (com os devidos controles). 3.4. Avaliação de impacto É o tipo mais rigoroso de avaliação. Seu objetivo é estimar o efeito líquido atribuível à política, isolando‑o de outros fatores que também poderiam explicar as mudanças observadas (sazonalidade, tendências econômicas, outras políticas concomitantes). A pergunta central da avaliação de impacto é: "O que teria acontecido com os beneficiários se eles não tivessem participado do programa?" – o chamado contrafactual. Marcos metodológicos da avaliação 4.1. Modelo lógico (logic model) e teoria do programa O modelo lógico é uma representação visual da cadeia causal subjacente a uma política pública. Ele explicita, de forma sequencial, como os insumos (recursos humanos, financeiros, materiais) são transformados em atividades, geram produtos (outputs), produzem resultados (outcomes) e, no longo prazo, contribuem para impactos sociais mais amplos. A teoria do programa é a formulação explícita das hipóteses que conectam cada elo dessa cadeia. Um modelo lógico bem construído: Torna transparentes as premissas sobre as quais a política se assenta. Facilita a identificação de indicadores para cada etapa. Orienta a escolha dos métodos de avaliação mais adequados. Permite que a avaliação teste não apenas os resultados finais, mas também a plausibilidade das relações causais intermediárias. Exemplo (educação): Insumos → professores capacitados, material didático, horas de tutoria. Atividades → realização de oficinas de leitura no contraturno. Produtos → número de alunos que frequentaram as oficinas. Resultados → aumento da proficiência em leitura ao final do ano. Impacto → melhoria da empregabilidade e da renda na idade adulta. 4.2. Critérios de avaliação (CAD/OCDE) A Rede de Avaliação do Comitê de Ajuda ao Desenvolvimento da OCDE (CAD/OCDE, também referido como DAC-OCDE) fixou originalmente, em 1991, cinco critérios de avaliação. Em 2019, no contexto da Agenda 2030 e dos Objetivos de Desenvolvimento Sustentável, esses critérios foram revisados e passou a integrá-los um sexto elemento — a coerência —, chegando à formulação atual usada como referência para formular perguntas avaliativas e interpretar achados: | Critério | Pergunta central | |--------------|----------------------| | Relevância | A política responde às reais necessidades do público‑alvo e aos contextos institucional e político? | | Coerência | A política é compatível com outras intervenções do governo, evitando duplicações e contradições? | | Eficácia | A política atingiu seus objetivos declarados, na medida do esperado? | | Eficiência | Os resultados foram obtidos com o menor custo possível? Há desperdício de recursos? | | Impacto | Quais foram os efeitos de longo prazo, intencionais ou não, positivos ou negativos, da política? | | Sustentabilidade | Os benefícios da política tendem a perdurar após o término do financiamento ou da implementação? | Vale destacar que nem toda avaliação precisa abordar os seis critérios com igual profundidade: avaliações de meio-termo tendem a priorizar relevância, eficácia e eficiência (a política ainda está em curso), enquanto avaliações finais dão mais peso a impacto e sustentabilidade, que só podem ser plenamente aferidos em estágios mais avançados. 4.3. Métodos quantitativos de avaliação de impacto Os métodos quantitativos buscam estabelecer relações causais entre a política e os desfechos observados. O padrão‑ouro é o ensaio clínico randomizado (RCT), mas nem sempre é viável ou ético. Por isso, os quase‑experimentos são amplamente utilizados na avaliação de políticas educacionais e culturais. 4.3.1. RCT – Ensaio controlado aleatorizado Os participantes são aleatoriamente designados para um grupo de tratamento (que recebe a política) ou para um grupo de controle (que não recebe). A aleatorização garante que, em média, os dois grupos sejam equivalentes em todas as características observáveis e não observáveis, de modo que qualquer diferença no desfecho possa ser atribuída à política. Exemplo na educação: sortear escolas para receber um novo programa de alfabetização, enquanto outras escolas (controle) continuam com o programa tradicional. Exemplo na cultura: sortear artistas ou grupos para receber um edital de fomento (tratamento), enquanto outros candidatos igualmente qualificados ficam na lista de espera (controle). 4.3.2. Diferenças em diferenças (DiD) Compara a evolução do desfecho entre o grupo tratado e um grupo de comparação antes e depois da implementação da política. O efeito da política é capturado pela diferença das diferenças: (após – antes) no tratado menos (após – antes) no controle. Essa técnica repousa sobre o pressuposto de tendências paralelas: na ausência da política, tratado e controle teriam evoluído de forma semelhante ao longo do tempo — premissa que deve ser justificada, e não apenas assumida, em qualquer avaliação rigorosa. Exemplo na educação: municípios que adotaram uma reforma curricular são comparados com municípios que não a adotaram, medindo‑se a evolução do Ideb antes e depois da reforma. Exemplo na cultura: Estados que implementaram leis de incentivo à leitura são comparados com Estados sem essas leis, analisando‑se a variação nas taxas de empréstimo de bibliotecas públicas. 4.3.3. Regressão descontínua (RDD) Explora um ponto de corte em uma variável de elegibilidade. Os indivíduos imediatamente acima do corte (tratamento) são comparados com aqueles imediatamente abaixo do corte (controle), assumindo que são similares em características não observáveis. Exemplo na educação: alunos com nota em um exame classificatório acima de um limite recebem uma bolsa. A RDD compara os que ficaram pouco acima do limite com os que ficaram pouco abaixo, atribuindo a diferença de desempenho subsequente ao efeito da bolsa. 4.3.4. Pareamento por escore de propensão (PSM) Constrói um grupo de controle artificial a partir de dados observacionais, selecionando para cada indivíduo tratado um indivíduo não tratado que seja o mais semelhante possível em características relevantes (renda, escolaridade, localização, etc.). Após o pareamento, compara‑se o desfecho entre os dois grupos. Diferentemente do RCT, o PSM só neutraliza o viés decorrente de características observáveis — permanece o risco de viés por variáveis não observadas que afetem simultaneamente a participação no programa e o desfecho. 4.3.5. Ameaças à validade Para a banca, é importante distinguir dois tipos de validade que qualquer desenho de avaliação de impacto deve perseguir: Validade interna: o grau de confiança de que o efeito medido é realmente causado pela política, e não por outros fatores concorrentes (viés de seleção, regressão à média, maturação natural dos participantes, atrito diferencial entre grupos). Validade externa: o grau em que os resultados encontrados podem ser generalizados para outros contextos, públicos ou períodos além daquele avaliado. Um desenho pode ter alta validade interna (por exemplo, um RCT bem executado) e baixa validade externa (se a amostra não representar a população-alvo real da política em escala nacional). 4.4. Métodos qualitativos e mistos A avaliação de políticas não se resume a números. Métodos qualitativos são fundamentais para compreender os mecanismos que explicam por que uma política funciona (ou não funciona), bem como os contextos locais que afetam a implementação. Estudo de caso: análise aprofundada de uma única experiência, com múltiplas fontes de evidência (entrevistas, documentos, observação). Análise de conteúdo: sistematização de atas, relatórios e registros administrativos. Grupos focais e entrevistas semiestruturadas: captação das percepções de beneficiários, gestores e demais atores. Métodos mistos: combinam técnicas quantitativas (ex.: RCT) com qualitativas (ex.: entrevistas) para responder tanto à pergunta "quanto mudou" quanto à pergunta "por que mudou". Avaliação de políticas educacionais no Brasil O Brasil possui um dos sistemas de avaliação educacional mais abrangentes da América Latina, com forte tradição em avaliações em larga escala e uso de indicadores compostos. 5.1. Saeb – Sistema de Avaliação da Educação Básica O Saeb, coordenado pelo Inep, é um conjunto de avaliações externas que medem o desempenho de estudantes da educação básica em Língua Portuguesa e Matemática, além de coletar informações contextuais sobre escolas, professores e diretores por meio de questionários. O sistema foi reestruturado em 2005 (Portaria Ministerial nº 931/2005), passando a ser composto pela Avaliação Nacional da Educação Básica (Aneb, amostral) e pela Avaliação Nacional do Rendimento Escolar (Anresc), popularmente conhecida como Prova Brasil (censitária para as redes públicas). Em 2013, agregou-se a Avaliação Nacional da Alfabetização (ANA). A partir da reestruturação conduzida pela Portaria Inep nº 366/2019 — alinhada à Base Nacional Comum Curricular (BNCC) —, as siglas Aneb, Anresc/Prova Brasil e ANA deixaram de existir separadamente: todas as avaliações passaram a ser identificadas unicamente pelo nome Saeb, acompanhado da etapa, área de conhecimento e tipo de instrumento envolvido. O Saeb estrutura-se atualmente em duas frentes de aplicação: Aplicação Censitária: voltada para as escolas públicas de ensino fundamental (5º e 9º anos) e de ensino médio (3ª e 4ª séries), permitindo a geração de resultados estatísticos por escola, município, estado e território nacional. Aplicação Amostral: direcionada para redes privadas de ensino e para o diagnóstico de áreas ou etapas específicas (como a Educação Infantil, o 2º ano do Ensino Fundamental, e as matrizes de ciências humanas e da natureza em anos selecionados). 5.2. Ideb – Índice de Desenvolvimento da Educação Básica O Ideb foi criado em 2007 pelo Inep, no âmbito do Plano de Desenvolvimento da Educação (PDE) e do "Compromisso Todos pela Educação", instituído pelo Decreto nº 6.094/2007. É um indicador composto que combina: Taxa de aprovação (fluxo escolar) – obtida do Censo Escolar. Média de proficiência em Língua Portuguesa e Matemática – obtida do Saeb, padronizada em escala de 0 a 10. A fórmula do Ideb é dada por: $IDEB = \text{Proficiência padronizada (0 a 10)} \times \text{Taxa de aprovação (0 a 1)}$ O índice varia de 0 a 10. A meta nacional de 6,0 — patamar equivalente à qualidade média dos sistemas educacionais dos países desenvolvidos da OCDE — foi estipulada originalmente para os anos iniciais do ensino fundamental até 2021 e depois incorporada como Meta 7 do Plano Nacional de Educação (Lei nº 13.005/2014), que também fixou metas de 5,5 para os anos finais (até 2025) e 5,2 para o ensino médio (até 2028). Em razão dos efeitos da pandemia de Covid-19 sobre o fluxo escolar e a aprendizagem, a meta de 6,0 para os anos iniciais só foi efetivamente alcançada na edição de 2023 do Ideb. Em 2024, o Inep instituiu um grupo técnico (GT Novo Ideb) para reavaliar a metodologia e as metas do índice a partir do encerramento desse primeiro ciclo. O Ideb é amplamente utilizado como indicador de resultado (outcome) para a educação básica, servindo de referência para os ciclos de planejamento do Estado — mas, como qualquer indicador de resultado, não estabelece por si só relações de causalidade. 5.3. Enem – Exame Nacional do Ensino Médio Criado em 1998, o Enem desempenha funções primordiais na engrenagem de avaliação e acesso à educação superior: Avaliação individual: afere o desempenho acadêmico e as competências do estudante ao término da escolaridade básica. Mecanismo de acesso unificado: funciona como critério central de seleção para universidades públicas (via Sisu) e concessão de incentivos governamentais (Prouni e Fies). (Nota para exames públicos: a divulgação do "Enem por Escola" — praticada desde 2005 — foi encerrada pelo Inep a partir da edição de 2016, com anúncio formal em 2017, em razão do uso inadequado dos dados para rankings escolares e de sua judicialização, já que o exame, por seu desenho metodológico e caráter voluntário, não foi concebido para medir a qualidade da escola. Atualmente, a avaliação da qualidade e do desempenho das unidades escolares de Ensino Médio concentra-se nos instrumentos do Saeb e do Ideb). 5.4. PISA – Programme for International Student Assessment O PISA é uma avaliação internacional coordenada pela OCDE, aplicada a cada três anos a estudantes de 15 anos, em três domínios: leitura, matemática e ciências. O Brasil participa, na condição de convidado (por não ser país-membro da OCDE), desde a primeira edição, realizada em 2000. Os resultados do PISA são utilizados para: Comparar o desempenho da educação brasileira com outros países. Identificar pontos fortes e fracos do currículo e do ensino. Subsidiar reformas educacionais, como a Base Nacional Comum Curricular (BNCC). 5.5. Desafios da avaliação educacional Apesar dos avanços, a avaliação educacional brasileira enfrenta desafios persistentes: Baixa capacidade de atribuição causal: o Ideb é um indicador de resultado, mas não estabelece relações causais por si só. Sabemos que o Ideb de um município aumentou, mas não sabemos se isso se deve a uma política específica (ex.: formação de professores) ou a fatores externos (ex.: melhoria do nível socioeconômico). Foco excessivo em proficiência de Língua Portuguesa e Matemática, com pouca ou nenhuma medida de competências socioemocionais, criatividade, educação artística e cidadania. Desigualdades regionais: as avaliações capturam as desigualdades, mas não oferecem, por si mesmas, soluções para superá‑las. Avaliação de políticas culturais A avaliação de políticas culturais apresenta desafios específicos que a distinguem da avaliação em educação, saúde ou assistência social. O principal deles é a dupla natureza dos bens e serviços culturais: eles têm valor econômico (geram emprego e renda), mas também valor simbólico, identitário e estético, que não pode ser plenamente traduzido em números. 6.1. Desafios metodológicos Multidimensionalidade: a cultura envolve criação, produção, difusão, acesso, preservação do patrimônio e participação – cada uma dessas dimensões exige indicadores distintos. Invisibilidade estatística: muitos agentes culturais atuam na informalidade, sem registro em bases administrativas. Dificuldade de atribuição causal: o impacto de uma política cultural na "coesão social" ou na "autoestima de uma comunidade" é difícil de isolar de outros fatores. Defasagem entre a ação e o efeito: os efeitos de políticas culturais podem levar décadas para se manifestar plenamente (ex.: preservação do patrimônio imaterial). 6.2. Fontes de dados e indicadores culturais No Brasil, as principais fontes para avaliação de políticas culturais incluem: SNIIC (Sistema Nacional de Informações e Indicadores Culturais): instituído pela Lei do Plano Nacional de Cultura (Lei nº 12.343/2010), com respaldo constitucional desde a Emenda Constitucional nº 71/2012 (que incluiu o art. 216-A na Constituição) e reafirmado pelo Marco Regulatório do Sistema Nacional de Cultura (Lei nº 14.835/2024). Tem por missão reunir, organizar e difundir dados sobre o campo cultural brasileiro para subsidiar políticas públicas. Após período de baixa atividade, o sistema passou por processo de reconstrução a partir de 2025, sob condução do Ministério da Cultura. MUNIC (Pesquisa de Informações Básicas Municipais): módulo de cultura com dados sobre infraestrutura cultural nos municípios (teatros, cinemas, museus, bibliotecas, pontos de cultura), realizado pelo IBGE. Suplemento de Cultura da PNAD: pesquisa amostral sobre hábitos culturais da população (frequência a eventos, leitura, acesso digital). Mapeamento da Indústria Criativa (FIRJAN): estimativa da contribuição da economia criativa para o PIB e o emprego formal. Conta Satélite de Cultura: metodologia internacional de sistematização de dados econômicos setoriais (emprego, renda, produção, faturamento), que permitiria mensurar o peso da cultura nas Contas Nacionais. No Brasil, sua construção vem sendo articulada desde 2012 por meio de parceria entre o IBGE e o órgão federal de cultura, mas o instrumento ainda não está plenamente implementado nem gera série histórica consolidada e divulgada regularmente — um ponto frequentemente cobrado em provas por representar uma lacuna real do sistema estatístico cultural brasileiro. 6.3. Tipos de indicadores para políticas culturais A construção de indicadores culturais segue as mesmas propriedades gerais (validade, confiabilidade, sensibilidade, etc.), mas adaptadas à realidade do setor. | Tipo | Exemplo | |----------|-------------| | Insumo | Orçamento executado em editais de fomento (Lei Paulo Gustavo, Política Nacional Aldir Blanc, PNAB). | | Processo | Número de projetos culturais submetidos, número de pareceres emitidos. | | Produto | Número de apresentações realizadas, número de pessoas alcançadas por oficinas. | | Resultado | Percentual da população que frequentou museus ou teatros no último ano (PNAD). | | Impacto | Variação do Índice de Desenvolvimento Humano (IDH) Cultural – ainda em construção metodológica. | 6.4. Avaliação de programas culturais específicos Exemplo 1 – Pontos de Cultura: um estudo de caso múltiplo com métodos mistos pode selecionar cinco pontos de cultura em diferentes regiões, aplicar questionários fechados para coordenadores e realizar entrevistas semiestruturadas com artistas da comunidade. Os dados quantitativos medem o número de oficinas e de participantes; os dados qualitativos captam mudanças percebidas no fortalecimento da identidade local e na geração de renda. Exemplo 2 – Lei Rouanet: uma avaliação de impacto pode usar a regressão descontínua (RDD) comparando projetos que ficaram pouco acima ou pouco abaixo da nota de corte na seleção. O desfecho pode ser o número de empregos gerados, a arrecadação de impostos ou a distribuição geográfica dos recursos. Exemplo 3 – Leis emergenciais de fomento (Lei Aldir Blanc e Lei Paulo Gustavo): por terem sido desenhadas como transferências de recursos federais a Estados e Municípios com prazos de execução definidos, essas leis são objeto típico de avaliação de processo (ritmo de execução orçamentária, número de editais publicados) combinada com avaliação de resultado (número de agentes culturais atendidos, distribuição territorial dos recursos), servindo de base para os debates hoje conduzidos no âmbito do próprio SNIIC. 6.5. Desafios éticos na avaliação cultural A avaliação de políticas culturais não pode ignorar questões éticas sensíveis: Não impor critérios quantitativos que sejam estranhos à lógica da produção cultural (ex.: número de visitantes como único indicador de sucesso de um museu comunitário). Respeitar a autonomia dos fazedores de cultura, especialmente de comunidades tradicionais e indígenas. Evitar o viés de "projeto favorito": avaliadores externos podem superestimar o impacto de intervenções que julgam "bonitas" ou "inovadoras". Exemplo integrado: avaliação de um programa de leitura na educação básica Cenário: a Secretaria de Educação de um Estado implementou o "Programa Leitura para Todos", que distribui kits literários e forma professores em mediação de leitura, com duração de dois anos. O objetivo é aumentar a proficiência em leitura e o hábito de ler por prazer. Desenho de avaliação (métodos mistos, sequencial explanatório): Fase quantitativa (avaliação de impacto por RCT): 200 escolas são sorteadas para participar do programa; outras 200 escolas, com características semelhantes, ficam no grupo de controle. Após dois anos, aplica‑se a prova padronizada de leitura do Saeb (5º ano) e um questionário sobre frequência de leitura. Fase qualitativa (avaliação de processo): selecionam‑se escolas com alto e baixo desempenho dentro do grupo de tratamento para realizar: - Observações de oficinas de formação. - Entrevistas com diretores, professores e alunos. - Análise dos diários de leitura. Integração: os resultados do RCT indicam um ganho médio de 15 pontos na proficiência, mas com grande variação. A análise qualitativa revela que o fator crítico foi a existência de um bibliotecário dedicado na escola. Escolas sem bibliotecário, mesmo recebendo o programa, apresentaram ganhos marginais. Recomendações: - Investir na contratação/formação de bibliotecários escolares. - Manter o programa para todas as escolas, mas condicionar o repasse de recursos à comprovação de infraestrutura mínima. Considerações finais A avaliação de políticas públicas de educação e cultura é um campo em franca expansão no Brasil, impulsionado pela exigência de eficiência do gasto público e pela cultura de accountability. O servidor público que atua nessas áreas precisa: Conhecer a diferença entre monitoramento e avaliação, e saber quando aplicar cada um. Dominar os critérios de avaliação da OCDE (relevância, coerência, eficácia, eficiência, impacto, sustentabilidade). Ser capaz de interpretar estudos de avaliação de impacto, reconhecendo as limitações de cada método (RCT, DiD, RDD, PSM) e os conceitos de validade interna e externa. Utilizar o modelo lógico como ferramenta de planejamento e comunicação da teoria do programa. Integrar métodos quantitativos e qualitativos para responder tanto a perguntas de magnitude quanto a perguntas de mecanismo. Aplicar esses conhecimentos a políticas concretas, como o Saeb/Ideb, o Enem, o PISA, a Lei Rouanet, os Pontos de Cultura e o SNIIC. Quadro‑resumo para a prova | Tópico | Conteúdo essencial | |------------|-------------------------| | Monitoramento vs. avaliação | Contínuo (monitoramento) vs. pontual (avaliação). | | Avaliação ex ante | Antes da implementação; analisa consistência e viabilidade. | | Avaliação de processo | Durante a implementação; foco em atividades e produtos. | | Avaliação de resultado | Após a implementação; efeitos diretos e de curto prazo. | | Avaliação de impacto | Atribui causalidade; usa contrafactual. | | Modelo lógico | Representa cadeia insumos → atividades → produtos → resultados → impactos. | | Critérios CAD/OCDE | Relevância, coerência (incluída em 2019), eficácia, eficiência, impacto, sustentabilidade. | | RCT | Padrão‑ouro para causalidade; aleatorização elimina viés. | | Diferenças em diferenças (DiD) | Compara evolução antes/depois entre tratado e controle; pressupõe tendências paralelas. | | Regressão descontínua (RDD) | Explora ponto de corte em variável de elegibilidade. | | Pareamento (PSM) | Constrói controle artificial a partir de observáveis. | | Validade interna x externa | Confiança na atribuição causal x possibilidade de generalização. | | Saeb | Avaliação externa unificada desde 2019 (extinção de Aneb/Anresc-Prova Brasil/ANA). | | Ideb | Combina aprovação e proficiência do Saeb; Decreto 6.094/2007; meta 6,0 (Meta 7 do PNE) alcançada em 2023. | | Enem | Avaliação individual do ensino médio; ferramenta de seleção unificada; Enem por Escola extinto em 2016/2017. | | PISA | Avaliação internacional (OCDE); Brasil participa como convidado desde 2000. | | SNIIC | Sistema Nacional de Informações e Indicadores Culturais (Lei 12.343/2010; reafirmado pela Lei 14.835/2024). | | Conta Satélite de Cultura | Instrumento ainda em construção no Brasil desde 2012, sem série consolidada. | Observação final: Avaliar políticas públicas não é um fim em si mesmo – é um meio para construir um Estado mais eficiente, transparente e comprometido com o bem‑estar da população. O servidor que domina as ferramentas e os conceitos da avaliação torna‑se um agente de melhoria contínua, capaz de transformar evidências em decisões e decisões em resultados concretos para a sociedade. Exercícios: Qual é a principal característica de uma avaliação ex ante em políticas públicas? O modelo lógico, frequentemente utilizado na avaliação de políticas públicas, organiza os elementos de um programa em qual sequência? Qual técnica é considerada o padrão-ouro para avaliação de impacto causal devido à eliminação de viés de seleção? No contexto brasileiro, o SAEB é diretamente relacionado à avaliação de qual aspecto da educação? Qual é um dos principais desafios na avaliação de políticas culturais, conforme destacado na aula? Sobre o IDEB, é correto afirmar que ele é calculado com base em qual combinação de fatores? O critério de coerência, incorporado oficialmente em 2019 à matriz de avaliação do Comitê de Ajuda ao Desenvolvimento da Organização para a Cooperação e Desenvolvimento Econômico (CAD/OCDE), visa aferir a sinergia e a compatibilidade de uma determinada política pública com outras intervenções governamentais correlatas, mitigando sobreposições ou contradições institucionais. O Pareamento por Escore de Propensão (Propensity Score Matching - PSM) constitui uma abordagem quase-experimental que, ao construir um grupo de controle estatisticamente equivalente a partir de dados observacionais, neutraliza integralmente tanto o viés decorrente de características observáveis quanto o viés de seleção derivado de variáveis não observáveis. O Índice de Desenvolvimento da Educação Básica (Ideb) adota uma estrutura metodológica expressa pela formulação $IDEB = N \times P$, em que $N$ representa a média de proficiência em Língua Portuguesa e Matemática padronizada em uma escala de 0 a 10, e $P$ indica a taxa de aprovação obtida por meio do Censo Escolar, variando entre 0 e 1. Com o advento da Portaria Inep nº 366/2019, que promoveu o alinhamento das matrizes de avaliação à Base Nacional Comum Curricular (BNCC), as nomenclaturas históricas Aneb, Anresc/Prova Brasil e ANA foram formalmente extintas, passando todas as avaliações a serem identificadas de forma unificada sob o acrônimo Saeb. A divulgação anual dos dados do 'Enem por Escola' pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) permanece ativa como o principal indicador oficial de resultado para o monitoramento e a classificação qualitativa das unidades escolares de Ensino Médio no país. A validade interna da estimativa causal obtida por meio do método de Diferenças em Diferenças (DiD) repousa sobre o pressuposto de tendências paralelas, o qual postula que, na ausência do tratamento, a trajetória temporal do indicador de resultado do grupo de tratamento teria sido idêntica à trajetória observada no grupo de comparação. O desenho de Regressão Descontínua (RDD) baseia-se na premissa de que os indivíduos situados nos extremos opostos e mais distantes em relação ao ponto de corte da variável de elegibilidade compartilham de características observáveis e não observáveis idênticas, permitindo a mensuração do efeito causal médio da intervenção. A Conta Satélite de Cultura, desenvolvida no Brasil por meio de parceria contínua entre o IBGE e o órgão gestor federal da cultura desde 2012, constitui um instrumento plenamente implementado que disponibiliza séries históricas regulares e consolidadas sobre a participação macroeconômica exata do setor cultural nas Contas Nacionais. O Sistema Nacional de Informações e Indicadores Culturais (SNIIC), instituído formalmente pela Lei nº 12.343/2010 e dotado de respaldo constitucional pela Emenda Concentual nº 71/2012, teve suas diretrizes reafirmadas pela Lei nº 14.835/2024, que instituiu o Marco Regulatório do Sistema Nacional de Cultura. No modelo lógico estruturado para a avaliação do fomento cultural de um município, o repasse financeiro direto de R\$ 50.000,00 a coletivos artísticos por meio de editais da Lei Paulo Gustavo é classificado conceitualmente como um resultado (outcome), dado o seu caráter imediato de transformação socioeconômica na comunidade. Complete a frase: Enquanto o monitoramento acompanha a implementação de uma política pública de forma contínua, a avaliação faz um julgamento pontual focado em resultados e impactos, cabendo ao monitoramento a ênfase primordial sobre os _____ Complete a frase: Realizada antes do início da implementação, com o objetivo de analisar a consistência, a viabilidade e os potenciais efeitos de uma intervenção governamental proposta, a avaliação _____ caracteriza-se como uma análise essencialmente prospectiva. Complete a frase: A pergunta central de uma avaliação de impacto busca estimar o efeito líquido de um programa por meio da construção teórica do chamado _____, que define o que teria acontecido aos beneficiários caso a intervenção não existisse. Complete a frase: Alinhada à Agenda 2030 e aos Objetivos de Desenvolvimento Sustentável, a revisão dos critérios de avaliação realizada pela OCDE em 2019 introduziu uma nova dimensão analítica denominada _____, cuja finalidade é analisar a compatibilidade da intervenção com outras ações governamentais. Complete a frase: A robustez metodológica da técnica quase-experimental de Diferenças em Diferenças (DiD) depende estritamente da validação do pressuposto de _____, assumindo que a trajetória temporal dos grupos de tratamento e controle seria idêntica na ausência da política. Complete a frase: Em desenhos de pesquisa avaliativa, a certeza de que as alterações observadas nos indicadores de resultado foram geradas unicamente pela execução da política pública, e não por variáveis espúrias ou fatores concorrentes, define a _____ Complete a frase: O Índice de Desenvolvimento da Educação Básica (Ideb), que une indicadores de rendimento escolar e proficiência, foi formalmente instituído no ordenamento jurídico brasileiro pelo _____ no âmbito do Plano de Desenvolvimento da Educação. Complete a frase: O Inep encerrou oficialmente a divulgação pública dos dados do chamado _____, iniciativa que vigorava desde 2005 e cujo término em 2016 decorreu de distorções na criação de rankings comerciais e da excessiva judicialização das métricas. Complete a frase: A ferramenta estatística construída internacionalmente para integrar as atividades produtivas do setor cultural ao sistema de contas nacionais, cuja implementação no Brasil é discutida desde 2012 mas ainda não possui série histórica consolidada, chama-se _____ Complete a frase: O Sistema Nacional de Informações e Indicadores Culturais (SNIIC), voltado à consolidação de dados para subsidiar o ciclo de planejamento setorial, teve sua relevância técnico-política expressamente reafirmada pela aprovação do Marco Regulatório do Sistema Nacional de Cultura, instituído pela _____