Monitoramento e Avaliação de Políticas Públicas A última fase do ciclo de políticas públicas não é um ponto final, mas um ponto de inflexão. O monitoramento e a avaliação (M&A) constituem o sistema nervoso central da gestão pública baseada em evidências, permitindo que governos, parlamentos e a sociedade saibam se as políticas estão funcionando, para quem estão funcionando e a que custo. A negligência histórica dessa fase é uma das principais causas da perpetuação de políticas ineficazes e do desperdício de recursos públicos. A institucionalização do M&A é, portanto, um dos pilares da moderna governança pública e um tema onipresente nos concursos da área, especialmente no Concurso Nacional Unificado (CNU), nos blocos ligados à gestão governamental. Vale situar o M&A dentro do arcabouço orçamentário-constitucional: o art. 165 da Constituição Federal de 1988 estrutura o planejamento governamental em três leis — o Plano Plurianual (PPA), a Lei de Diretrizes Orçamentárias (LDO) e a Lei Orçamentária Anual (LOA) —, e é justamente sobre a execução dessas peças que incidem os instrumentos de monitoramento e avaliação tratados a seguir. Conceitos e Distinções Fundamentais Monitoramento e avaliação são termos frequentemente usados em conjunto, mas designam atividades de natureza, periodicidade e propósito distintos. Monitoramento: é o processo contínuo e sistemático de coleta e análise de informações sobre a execução física e financeira de uma política, programa ou projeto. Baseia-se em indicadores predefinidos e tem a finalidade de gerar alertas em tempo real para que os gestores possam identificar desvios, gargalos e adotar medidas corretivas durante a implementação. O monitoramento responde à pergunta: a política está sendo executada conforme o planejado? Exemplos: acompanhar o número de famílias cadastradas, a execução orçamentária mensal de um programa ou a entrega de equipamentos. Avaliação: é um exame pontual, sistemático e objetivo do desenho, da implementação ou dos resultados de uma política. É um mergulho profundo, metodologicamente rigoroso, que busca atribuir valor e mérito à intervenção estatal. A avaliação responde a perguntas como: a política resolveu o problema? Foi eficiente? Produziu efeitos não previstos? Deve continuar? Diferentemente do monitoramento, a avaliação é conduzida em momentos específicos e frequentemente por equipes externas ou independentes da gestão cotidiana do programa. Cai em prova: o monitoramento é contínuo e opera com indicadores de acompanhamento; a avaliação é pontual e busca julgar mérito e valor. Bancas costumam trocar essas características entre si como pegadinha. Tipologia de Avaliação por Momento de Realização A classificação mais comum das avaliações leva em conta o momento do ciclo da política em que são realizadas. Avaliação Ex-Ante: realizada antes da implementação da política. Consiste na análise prospectiva da viabilidade, da relevância e da relação custo-benefício esperada. Seu principal objetivo é subsidiar a decisão sobre qual alternativa adotar. É a etapa típica da Análise de Impacto Regulatório (AIR), regulamentada no âmbito federal pelo Decreto nº 10.411/2020, que disciplina o procedimento de avaliação prévia à edição de atos normativos de interesse geral, com base nos arts. 5º da Lei nº 13.874/2019 (Lei da Liberdade Econômica) e 6º da Lei nº 13.848/2019 (Lei das Agências Reguladoras). Avaliação In Itinere (ou Formativa): realizada durante a implementação da política. Seu foco é o processo: as atividades estão sendo executadas? Os insumos estão sendo alocados corretamente? A população-alvo está sendo efetivamente alcançada? Seu objetivo é fornecer feedback aos gestores para aperfeiçoar a implementação em curso. Ela se aproxima do monitoramento, mas possui maior profundidade analítica e normalmente é conduzida em momentos específicos, não de forma contínua. Avaliação Ex-Post (ou Somativa): realizada após a política ter sido implementada por um período razoável. Seu foco são os resultados e impactos, e é ela que julga o sucesso ou fracasso da intervenção. Pode assumir três formas: - Avaliação de Processos: reconstrói a cadeia de implementação para entender como e por que os resultados foram produzidos. - Avaliação de Resultados: verifica se os objetivos imediatos (produtos e resultados de curto prazo) foram atingidos. - Avaliação de Impacto: busca estabelecer uma relação causal rigorosa entre a política e as mudanças observadas na realidade social. É o padrão-ouro metodológico, mas também o mais caro e exigente. A Lógica de Intervenção e a Teoria do Programa Antes de medir qualquer coisa, é indispensável explicitar a teoria do programa (também chamada de theory of change ou modelo lógico): a cadeia causal hipotética que explica como os recursos alocados se transformarão nos resultados desejados. A pergunta central é: por que acreditamos que a intervenção X levará ao resultado Y? A ferramenta mais comum para representar essa lógica é a Matriz Lógica (ou Quadro Lógico), que organiza a intervenção em uma hierarquia de objetivos: | Elo da cadeia | Definição | Exemplo (programa educacional hipotético) | |---|---|---| | Insumos (inputs) | Recursos financeiros, humanos, materiais e tecnológicos alocados | Orçamento aprovado, professores contratados, material didático adquirido | | Atividades (processos) | Ações realizadas com os insumos | Realização de oficinas de formação continuada, distribuição de livros | | Produtos (outputs) | Entregas diretas e imediatas da política | Professores capacitados, livros distribuídos, escolas equipadas | | Resultados (outcomes) | Mudanças de curto e médio prazo no comportamento, nas habilidades ou nas condições dos beneficiários | Melhoria na prática pedagógica, aumento na proficiência dos alunos | | Impactos | Transformações de longo prazo na sociedade às quais a política contribuiu | Aumento da escolaridade média da população, redução da desigualdade educacional | É crucial não confundir produto com resultado, armadilha conhecida como a "falácia do produto" (ou output fallacy). Inaugurar uma escola (produto) não garante que o aluno aprenderá (resultado); comprar equipamentos hospitalares (produto) não garante melhora nos indicadores de saúde (resultado). Essa distinção é um dos tópicos mais cobrados em provas de políticas públicas. Indicadores: As Bússolas da Gestão Pública Os indicadores são as medidas quantitativas (ou, em menor grau, qualitativas) que operacionalizam a lógica de intervenção, permitindo verificar se os objetivos estão sendo alcançados. Um bom indicador deve atender aos critérios SMART — Específico (Specific), Mensurável (Measurable), Alcançável (Achievable), Relevante (Relevant) e Temporal (Time-bound) — e possuir os seguintes atributos: Validade: mede exatamente o que se propõe a medir, e não outro fenômeno correlato. Confiabilidade: produz resultados consistentes quando medido por pessoas diferentes ou em momentos diferentes. Sensibilidade: é capaz de captar mudanças ao longo do tempo. Custo-efetividade: o custo da coleta de dados é compatível com o benefício da informação gerada. Disponibilidade e periodicidade: os dados estão disponíveis e são atualizados com a frequência necessária para a tomada de decisão. Os indicadores se distribuem ao longo da cadeia de valor da política, cada um medindo um aspecto diferente: Indicadores de Insumo: medem os recursos alocados (ex.: gasto público per capita em saúde, número de leitos hospitalares por mil habitantes). Indicadores de Processo: medem o esforço e a qualidade da execução das atividades (ex.: proporção de escolas com Projeto Pedagógico implantado, tempo médio de espera para uma consulta especializada). Indicadores de Produto: medem as entregas diretas (ex.: número de matrículas realizadas, quilômetros de estrada pavimentada, doses de vacina aplicadas). Indicadores de Resultado: medem as mudanças de curto e médio prazo (ex.: taxa de abandono escolar, cobertura vacinal da população infantil). Indicadores de Impacto: medem as mudanças estruturais de longo prazo (ex.: Índice de Gini, mortalidade infantil, PIB per capita). As Dimensões do Desempenho de uma Política: os 5 (e os 6) Es A avaliação não se limita a verificar o alcance de uma meta; ela julga o desempenho da política em múltiplas dimensões complementares. A literatura de direito financeiro e controle externo consagrou o modelo dos 5 Es: Economicidade: aquisição de insumos ao menor custo, sem sacrificar os padrões de qualidade exigidos. É um conceito ex ante, focado no processo de compra e contratação. Eficiência: relação entre produtos gerados e insumos consumidos. A política é eficiente quando gera o máximo de produtos com o menor custo. Indicador típico: custo médio por beneficiário. Eficácia: grau de cumprimento das metas e objetivos previamente definidos. A política é eficaz se entregou o que prometeu, no prazo e na quantidade esperados. Indicador típico: percentual da meta atingida. Efetividade: a dimensão mais nobre e mais difícil de medir. É a capacidade da política de transformar a realidade, de resolver ou mitigar o problema público que lhe deu origem. Equidade: análise da distribuição dos custos e benefícios da política entre diferentes grupos sociais (gênero, renda, região). Uma política pode ser eficaz, mas profundamente regressiva, beneficiando apenas os mais favorecidos. Atenção — modelo alternativo: parte da literatura de gestão pública (a exemplo do antigo Programa Gespública) e referenciais do próprio TCU trabalham com um modelo de 6 Es, que reorganiza as dimensões de esforço (economicidade, execução e excelência) e as dimensões de resultado (eficiência, eficácia e efetividade). Nesse modelo, "execução" mede a relação entre o que foi planejado e o que efetivamente foi realizado (física e financeiramente), e "excelência" mede a conformidade a padrões de qualidade reconhecidos, para além do simples cumprimento de metas. É importante reconhecer as duas nomenclaturas, pois bancas de concurso alternam entre elas conforme a referência bibliográfica adotada no edital. A Avaliação de Impacto e o Desafio do Contrafactual A avaliação de impacto busca responder à pergunta mais difícil: a mudança observada foi realmente causada pela política pública? Para isso, é necessário comparar a situação dos beneficiários com a situação em que eles estariam caso a política não tivesse existido — o contrafactual. O desafio é que o contrafactual não é observável; é preciso estimá-lo. Os principais métodos são: *Experimento Randomizado (RCT — Randomized Controlled Trial): considerado o padrão-ouro. Indivíduos ou comunidades são alocados aleatoriamente em um grupo de tratamento (recebe a política) e um grupo de controle (não recebe). A aleatorização garante que os grupos sejam estatisticamente equivalentes em suas características observáveis e não observáveis, isolando o efeito causal da política. Métodos Quase-Experimentais: utilizados quando a randomização é impossível por razões éticas, políticas ou logísticas. Incluem a Diferenças em Diferenças (DiD) (compara a evolução do grupo tratado e do controle antes e depois da intervenção), a Regressão Descontínua (RD) (explora pontos de corte em regras de elegibilidade, comparando quem ficou logo acima e logo abaixo da linha de corte) e o Propensity Score Matching (PSM) (cria um grupo de controle estatisticamente pareado com o grupo tratado, com base em características observáveis). Avaliação Qualitativa de Impacto: baseada em estudos de caso, entrevistas em profundidade e grupos focais, busca compreender os mecanismos causais que explicam como e por que a política produziu (ou não) os impactos observados. Não busca medir o efeito com precisão numérica, mas entender o processo. A Institucionalização do M&A no Brasil O Brasil desenvolveu, nas últimas décadas, um arcabouço institucional relevante de monitoramento e avaliação. Os principais espaços e instrumentos são: Tribunal de Contas da União (TCU): com fundamento no art. 71, inciso IV, da CF/88, o TCU realiza, por iniciativa própria ou por solicitação do Congresso Nacional, inspeções e auditorias de natureza contábil, financeira, orçamentária, operacional e patrimonial nas unidades dos Poderes Legislativo, Executivo e Judiciário. As auditorias operacionais (também chamadas de auditorias de desempenho) são o instrumento específico voltado à avaliação da economicidade, da eficiência e da eficácia de programas de governo, gerando recomendações e determinações encaminhadas ao Congresso Nacional e à sociedade. Controladoria-Geral da União (CGU): órgão central do sistema de controle interno do Poder Executivo Federal, responsável por fiscalizar a execução dos programas de governo e prevenir a corrupção. No campo específico do M&A, a CGU conduz a Avaliação da Execução de Programas de Governo (AEPG), metodologia própria que oferece uma visão integrada da política pública, focada em resultados, benefícios financeiros e não financeiros e no acompanhamento das recomendações emitidas. Instituto de Pesquisa Econômica Aplicada (IPEA): fundação pública federal vinculada ao Ministério do Planejamento e Orçamento, é o principal centro de pesquisa e avaliação de políticas públicas do governo federal. Produz estudos, diagnósticos e avaliações de impacto, e mantém plataformas de dados e indicadores socioeconômicos. Sistema Integrado de Planejamento e Orçamento (SIOP): plataforma que estrutura os processos de planejamento e orçamento do governo federal, sendo utilizada na elaboração do PPA, da LOA e no registro do monitoramento físico e financeiro dos programas — reunindo, assim, os dados de execução de todas as ações orçamentárias federais. Decreto nº 9.203/2017 (Política de Governança Pública Federal): estabeleceu formalmente a ligação entre governança e avaliação ao prever, entre suas diretrizes (art. 4º, III), o dever de "monitorar o desempenho e avaliar a concepção, a implementação e os resultados das políticas e das ações prioritárias" dos órgãos e entidades da administração federal direta, autárquica e fundacional. O decreto também criou o Comitê Interministerial de Governança (CIG), responsável por articular essas diretrizes entre os diferentes órgãos. Avaliações Específicas de Programas: programas emblemáticos como o Programa Bolsa Família e o Programa Nacional de Alimentação Escolar (PNAE) foram objeto de inúmeras avaliações — muitas delas de impacto — que geraram um lastro de evidências sobre sua eficácia e subsidiaram ajustes de desenho ao longo dos anos. A carreira de Especialista em Políticas Públicas e Gestão Governamental (EPPGG): instituída pela Lei nº 7.834/1989, é a carreira transversal do governo federal voltada justamente à formulação, implementação e avaliação de políticas públicas, além de funções de direção e assessoramento em escalões superiores da administração direta, autárquica e fundacional. É uma das carreiras mais associadas, na prática profissional, à consolidação de uma cultura de M&A no setor público brasileiro. A Cultura de Evidências e Seus Desafios O movimento internacional por uma governança orientada por evidências (evidence-based policy*) defende que as decisões sobre políticas públicas sejam, sempre que possível, informadas por avaliações rigorosas. No Brasil, esse movimento se materializou na criação de Núcleos de Evidências em diferentes órgãos — como os vinculados à Rede EVIPNet, especialmente na área da saúde, e as estruturas de avaliação institucionalizadas em instituições como o IPEA e a Escola Nacional de Administração Pública (ENAP) — além do fortalecimento da carreira de EPPGG como vetor técnico dessa cultura. Contudo, a consolidação de uma cultura de avaliação enfrenta barreiras formidáveis: a resistência de gestores que temem a exposição de fragilidades; a temporalidade da política versus a temporalidade da pesquisa (gestores precisam de respostas em meses, pesquisadores em anos); a escassez e a baixa qualidade de dados administrativos; o risco da "politização das evidências", em que avaliações são encomendadas, distorcidas ou suprimidas para legitimar decisões já tomadas por outros motivos. O verdadeiro valor do M&A está em sua capacidade de gerar aprendizado institucional. Uma política que não é avaliada pode perpetuar erros indefinidamente. Uma política que é monitorada e avaliada com seriedade pode falhar, mas sua falha produzirá conhecimento valioso, capaz de informar intervenções futuras e romper o ciclo de repetição de fracassos que historicamente marca a administração pública. Quadro-Resumo para Revisão Rápida | Conceito | Pergunta-chave | Momento | |---|---|---| | Monitoramento | A execução está de acordo com o planejado? | Contínuo | | Avaliação Ex-Ante | Vale a pena implementar? | Antes | | Avaliação In Itinere / Formativa | O processo está funcionando bem? | Durante | | Avaliação Ex-Post / Somativa | A política funcionou? | Depois | | Avaliação de Impacto | A mudança foi causada pela política? | Depois (com contrafactual) | | Órgão/Instrumento | Natureza | Base/Instrumento verificado | |---|---|---| | TCU | Controle externo | Art. 71, IV, CF/88 — auditorias operacionais | | CGU | Controle interno | Avaliação da Execução de Programas de Governo (AEPG) | | IPEA | Pesquisa e avaliação | Fundação vinculada ao Ministério do Planejamento e Orçamento | | SIOP | Sistema de planejamento e orçamento | Monitoramento físico-financeiro do PPA/LOA | | Decreto 9.203/2017 | Governança pública | Diretriz de monitorar e avaliar políticas prioritárias | Exercícios: No contexto do monitoramento e avaliação de políticas públicas, qual das alternativas abaixo caracteriza corretamente a avaliação ex-ante? A distinção entre produto, resultado e impacto em uma política pública é fundamental para a avaliação de suas efetividades. Assinale a alternativa que apresenta corretamente essa distinção: Qual dos seguintes aspectos é considerado um requisito fundamental para um bom indicador de monitoramento e avaliação de políticas públicas? Complete a frase: O _____ é o processo contínuo e sistemático de coleta de informações sobre a execução de uma política, visando gerar alertas para correções de rumo em tempo real. Complete a frase: Ao realizar uma análise prospectiva de viabilidade e relação custo-benefício antes do início da implementação de uma política pública, o gestor está conduzindo uma _____. Complete a frase: Na cadeia de valor de uma política de educação, a entrega de livros didáticos e a reforma de salas de aula são classificados tecnicamente como _____, pois representam entregas diretas da intervenção. Complete a frase: A dimensão do desempenho que avalia se a política pública foi capaz de transformar a realidade social e mitigar o problema público que lhe deu origem é denominada _____. Complete a frase: Um indicador que produz resultados consistentes quando medido por pessoas diferentes ou em momentos distintos, independentemente da subjetividade do avaliador, atende ao atributo da _____. Complete a frase: Na avaliação de impacto, o cenário hipotético que descreve o que teria acontecido com os beneficiários caso a política não tivesse existido é tecnicamente chamado de _____. Complete a frase: De acordo com os 5Es do desempenho, a _____ foca na aquisição de recursos financeiros, humanos e materiais ao menor custo possível, mantendo os padrões de qualidade exigidos. Complete a frase: Quando o gestor público avalia a proporção de metas atingidas em relação ao planejamento original, sem entrar no mérito do impacto social profundo, ele está medindo a _____. Complete a frase: No contexto do federalismo brasileiro, o Tribunal de Contas da União realiza _____ de desempenho de programas de governo com base no Artigo 71, IV da CF/88, focando na eficiência e eficácia das ações. Complete a frase: A análise da distribuição dos custos e benefícios de uma política entre diferentes grupos sociais, visando garantir que não haja injustiças ou privilégios, é denominada _____. [UFRGS - 2026 - Vestibvular] Considere a seguinte declaração da Presidente-Executiva do Instituto Trata Brasil, uma Organização da Sociedade Civil de Interesse Público que divulga regularmente informações sobre a situação do saneamento básico no país, por meio de relatórios anuais. Esta edição do Ranking destaca que, além da necessidade de os municípios alcançarem o acesso pleno à água potável e o atendimento de coleta de esgoto, o tratamento dos esgotos é o indicador que está mais distante da universalização nas cidades, mostrando-se o principal gargalo a ser superado. Temos menos de 10 anos para cumprir o compromisso de universalização do saneamento que o país assumiu para com os seus cidadãos. Ainda assim, cinco capitais da região Norte e três da região Nordeste não tratam sequer 35% do esgoto gerado. Disponível em: <https://tratabrasil.org.br/wp-content/uploads/2024/04/Release-Ranking-do-Saneamento-de-2024-TRATA-BRASIL-GO-ASSOCIADOS-V2.pdf>. Acesso em: 04 jul. 2025. No que tange à situação atual do saneamento básico no Brasil e considerando as informações apresentadas na declaração, assinale a alternativa correta.