Monitoramento e avaliação: efetividade, eficiência, eficácia e equidade - Administração Pública | Tuco-Tuco
Aula de Administração Pública (Políticas Públicas (CNU/AdmPub)): Monitoramento e avaliação: efetividade, eficiência, eficácia e equidade. Conceitos de M&A, tipos de avaliação (ex-ante, processo, resultados, impacto), critérios DAC/OCDE, métodos quasi-experimentais e quasi-experimentos brasileiros. Estude gratuitamente para concursos públicos e OAB no Tuco-Tuco.
Monitoramento e Avaliação: Efetividade, Eficiência, Eficácia e Equidade
O estudo do monitoramento e da avaliação de políticas públicas é essencial para compreender como os governos podem aprimorar a gestão pública, garantir a transparência e assegurar que os recursos públicos sejam aplicados de forma eficiente e eficaz. Esta aula aborda desde os conceitos fundamentais até os marcos metodológicos e institucionais no Brasil, com base na literatura especializada, na legislação e na jurisprudência dos Tribunais Superiores.
Conceitos Fundamentais: Monitoramento × Avaliação
Embora frequentemente confundidos, monitoramento e avaliação são atividades distintas e complementares no ciclo de políticas públicas.
1.1. Monitoramento
O monitoramento é o acompanhamento contínuo e sistemático da execução de uma política pública, programa ou projeto. Tem caráter contínuo e visa verificar se as atividades estão sendo realizadas conforme o planejado, se os recursos estão sendo utilizados adequadamente e se os produtos (outputs) estão sendo entregues no prazo e na quantidade previstos.
Características do monitoramento:
Periodicidade: contínua (diária, semanal, mensal).
Objetivo: verificar conformidade, identificar desvios, subsidiar correções imediatas.
Indicadores típicos: insumos, atividades, produtos (outputs).
Responsável: gestores e equipes de implementação.
Destinatário principal: gestores públicos.
1.2. Avaliação
A avaliação é uma análise pontual, aprofundada e sistemática de uma política pública, programa ou projeto, com o objetivo de emitir um juízo de valor sobre seu mérito, relevância, eficácia, eficiência, efetividade e sustentabilidade. Tem caráter pontual (realizada em momentos específicos) e utiliza métodos rigorosos para estabelecer relações causais.
Características da avaliação:
Periodicidade: pontual (ex ante, durante, ex post).
Objetivo: julgar mérito, valor, relevância; identificar lições aprendidas.
Indicadores típicos: resultado (outcome), impacto.
Responsável: avaliadores internos ou externos (especialistas, universidades, IPEA).
Destinatário principal: formuladores de políticas, gestores de alto nível, sociedade civil.
Base Constitucional e Legal
A avaliação de políticas públicas tem fundamento na Constituição Federal de 1988, especialmente nos arts. 37, 70, 71, 74 e 165. A Emenda Constitucional nº 19/1998 introduziu o princípio da eficiência no art. 37, caput, da CF/88, impondo à Administração Pública o dever de atuar com economicidade, eficiência e eficácia.
*CF/88, art. 37, caput: "A administração pública direta e indireta de qualquer dos Poderes da União, dos Estados, do Distrito Federal e dos Municípios obedecerá aos princípios de legalidade, impessoalidade, moralidade, publicidade e eficiência e, também, ao seguinte: [...]"
A Emenda Constitucional nº 109/2021 tornou obrigatória a avaliação de políticas públicas de órgãos e entidades da administração pública, bem como a divulgação dos resultados. A emenda estabeleceu também que as leis orçamentárias (PPA, LDO, LOA) devem considerar os resultados dos processos de avaliação.
Além disso, a Lei Complementar nº 101/2000 (Lei de Responsabilidade Fiscal – LRF), em seu art. 4º, § 1º, exige que a LDO contenha anexo de metas fiscais, no qual serão estabelecidas metas anuais, em valores correntes e constantes, relativas a receitas, despesas, resultados nominal e primário e montante da dívida pública, para o exercício a que se referirem e para os dois seguintes.
LRF, art. 4º, § 1º: "Integrará o projeto de lei de diretrizes orçamentárias Anexo de Metas Fiscais, em que serão estabelecidas metas anuais, em valores correntes e constantes, relativas a receitas, despesas, resultados nominal e primário e montante da dívida pública, para o exercício a que se referirem e para os dois seguintes."
Critérios de Avaliação: Eficiência, Eficácia, Efetividade e Equidade
Os critérios de avaliação de políticas públicas foram sistematizados pelo Comitê de Ajuda ao Desenvolvimento da OCDE (DAC) em 1991, com atualizações posteriores. São eles:
| Critério | Definição | Pergunta-chave |
|----------|-----------|----------------|
| Eficácia | Grau em que os objetivos da política foram alcançados (ou se espera que sejam), considerando a relevância relativa dos objetivos. | "Os objetivos foram alcançados?" |
| Eficiência | Medida da economicidade na transformação de insumos em produtos e resultados. | "Os recursos foram bem utilizados?" |
| Efetividade (Impacto) | Efeitos de longo prazo, diretos e indiretos, intencionais e não intencionais, da política. | "Que diferença a política fez?" |
| Relevância | Grau em que os objetivos da política são consistentes com as necessidades dos beneficiários e com as prioridades do país. | "É a política certa?" |
| Sustentabilidade | Probabilidade de que os benefícios da política continuem após o término do financiamento externo. | "Os benefícios vão durar?" |
| Coerência | Compatibilidade da política com outras políticas no país e com as normas internacionais. | "A política está alinhada?" |
| Equidade | Distribuição justa dos benefícios e custos da política entre os diferentes grupos da sociedade. | "Quem ganha e quem perde?" |
A efetividade (impacto) é o critério mais difícil de medir, pois exige o estabelecimento de uma relação causal entre a política e os resultados observados, controlando-se outros fatores que possam ter influenciado os resultados.
Tipos de Avaliação
4.1. Quanto ao Momento
Avaliação ex ante: realizada antes da implementação da política. Analisa a viabilidade técnica, econômica e financeira, a coerência do desenho, os riscos e as alternativas. Inclui a Análise de Impacto Regulatório (AIR) para atos normativos.
Avaliação in itinere (formativa): realizada durante a implementação. Foca em identificar problemas de implementação e propor ajustes. É orientada para a gestão.
Avaliação ex post (somativa): realizada após a conclusão da política ou após um período suficiente para que os resultados possam ser observados. Julga o mérito e o valor da política, documenta lições aprendidas.
4.2. Quanto ao Foco
Avaliação de processo: examina como a política foi implementada (atividades, produtos, conformidade). Responde a perguntas como: "O que foi feito?", "Como foi feito?".
Avaliação de resultado (outcome): mede os efeitos diretos da política sobre o público-alvo no curto e médio prazo. Responde a perguntas como: "Os objetivos imediatos foram alcançados?".
Avaliação de impacto: mede os efeitos de longo prazo da política, atribuíveis causalmente à intervenção. Responde a perguntas como: "Que mudança de longo prazo a política gerou?".
Avaliação econômica: compara custos e benefícios (análise custo-benefício) ou custos e efeitos (análise custo-efetividade) da política.
Marcos Metodológicos
5.1. Modelo Lógico (Logic Model)
O modelo lógico é uma representação gráfica da cadeia causal da política: insumos → atividades → produtos → resultados → impacto. É uma ferramenta de planejamento e avaliação que ajuda a explicitar as hipóteses sobre como a política deve funcionar.
Componentes:
Insumos (inputs): recursos financeiros, humanos, materiais.
Atividades: ações realizadas com os insumos.
Produtos (outputs): entregas imediatas (bens ou serviços).
Resultados (outcomes): efeitos diretos sobre o público-alvo.
Impacto: efeitos de longo prazo na sociedade.
5.2. Teoria do Programa (Theory of Change)
A teoria do programa (ou teoria da mudança) é uma formulação explícita das hipóteses de mudança subjacentes à política: por que e como a intervenção produzirá os efeitos esperados. Ela descreve os mecanismos causais, as premissas e os fatores contextuais que podem influenciar os resultados.
5.3. Métodos Quantitativos de Avaliação de Impacto
Ensaios clínicos randomizados (RCTs): padrão-ouro para estabelecer causalidade. Os participantes são aleatoriamente designados para um grupo de tratamento (que recebe a política) e um grupo de controle (que não recebe). A diferença nos resultados entre os grupos é atribuída à política. Exemplos no Brasil: avaliações do Programa Bolsa Família, do Programa de Alfabetização na Idade Certa (PAIC) etc.
Quase-experimentos: utilizados quando a randomização não é possível ou é antiética. Incluem:
Diferenças-em-diferenças (DiD): compara a evolução dos resultados entre um grupo tratado e um grupo de controle antes e depois da intervenção.
Regressão descontínua (RDD): explora um ponto de corte (ex.: nota de corte em um exame) para comparar unidades tratadas e não tratadas próximas ao ponto de corte.
Variáveis instrumentais (IV): utiliza uma variável (instrumento) que afeta a participação no programa, mas não o resultado diretamente, para isolar o efeito causal.
Pareamento (PSM – Propensity Score Matching): cria um grupo de controle artificial a partir de unidades não tratadas, pareando-as com unidades tratadas com base em características observáveis.
5.4. Métodos Qualitativos
Estudos de caso: análise aprofundada de uma ou poucas unidades (ex.: municípios, escolas) para compreender os mecanismos de implementação e os fatores contextuais.
Entrevistas em profundidade: com gestores, implementadores e beneficiários para capturar percepções e experiências.
Grupos focais: discussão em grupo para explorar representações coletivas.
Análise documental: de leis, regulamentos, relatórios, atas, etc.
Marcos Brasileiros de Avaliação de Políticas Públicas
6.1. Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP)
O CMAP foi instituído pelo Decreto nº 11.558, de 13 de junho de 2023, que revogou o Decreto nº 9.834/2019. É um conselho interministerial de centro de governo, composto pelos Secretários-Executivos do Ministério do Planejamento e Orçamento, da Casa Civil da Presidência da República, da Controladoria-Geral da União, do Ministério da Fazenda e do Ministério da Gestão e da Inovação em Serviços Públicos.
O CMAP é responsável por conduzir avaliações sistemáticas de políticas públicas selecionadas anualmente, com base no Plano Plurianual (PPA). Sua coordenação cabe ao Ministério do Planejamento e Orçamento (MPO).
O CMAP conta com dois comitês técnicos: o CMAG (Comitê de Monitoramento e Avaliação de Gastos Diretos) e o CMAS (Comitê de Monitoramento e Avaliação dos Subsídios da União). Desde sua instituição, o CMAP já avaliou 74 políticas públicas, totalizando mais de R$ 1 trilhão em gastos diretos ou subsídios. O CMAP conta com o importante apoio da ENAP (Escola Nacional de Administração Pública) e do IPEA (Instituto de Pesquisa Econômica Aplicada).
6.2. Instituto de Pesquisa Econômica Aplicada (IPEA)
O IPEA atua no monitoramento e na avaliação de políticas públicas com rigor, qualidade e independência, utilizando evidências para informar a atuação dos órgãos públicos. O Instituto participou ativamente da elaboração dos guias de análise ex ante e ex post, que constituem os principais referenciais metodológicos para a formulação, monitoramento e avaliação de políticas públicas e programas do governo federal.
6.3. Tribunal de Contas da União (TCU)
O TCU, por meio de suas auditorias operacionais, avalia a eficiência, eficácia e efetividade de políticas públicas. A auditoria operacional é o exame independente e objetivo da economicidade, eficiência e eficácia de organizações, programas ou atividades governamentais. Os resultados das auditorias operacionais do TCU subsidiam o aperfeiçoamento de políticas públicas e a correção de falhas de governança.
Jurisprudência
7.1. STF – Tema 698 da Repercussão Geral (RE 684.612)
RE 684.612, Rel. Min. Teori Zavascki (Redator do acórdão Min. Alexandre de Moraes), Plenário, julgado em 28/06/2019, DJe 20/09/2019.
Tese fixada:
A intervenção do Poder Judiciário em políticas públicas voltadas à realização de direitos fundamentais, em caso de ausência ou deficiência grave do serviço, não viola o princípio da separação dos poderes.
A decisão judicial, como regra, em lugar de determinar medidas pontuais, deve apontar as finalidades a serem alcançadas e determinar à Administração Pública que apresente um plano e/ou os meios adequados para alcançar o resultado.
No caso de serviços de saúde, o déficit de profissionais pode ser suprido por concurso público ou, por exemplo, pelo remanejamento de recursos humanos e pela contratação de organizações sociais (OS) e organizações da sociedade civil de interesse público (OSCIP).
Parâmetros adicionais (constantes da decisão):
Comprovação da ausência ou grave deficiência do serviço público, decorrente da inércia ou excessiva morosidade do Poder Público.
Necessidade de se observar a possibilidade de universalização da providência a ser determinada, considerados os recursos efetivamente existentes.
A decisão deverá determinar a finalidade a ser atingida, mas não o modo como ela deverá ser alcançada.
A decisão judicial deverá estar apoiada em documentos ou manifestações de órgãos técnicos.
Sempre que possível, o órgão julgador deverá abrir o processo à participação de terceiros, com a admissão de amici curiae e designação de audiências públicas.
A decisão reconhece a legitimidade do controle judicial de políticas públicas, mas impõe parâmetros para evitar a substituição do juiz pelo administrador.
7.2. STF – ADPF 478
ADPF 478, Rel. Min. Alexandre de Moraes, julgado em 11/09/2017.
O ministro Alexandre de Moraes suspendeu a eficácia de decisão do TCU que, no âmbito de processo administrativo, havia restringido o acesso de beneficiários a políticas públicas do Programa Nacional de Reforma Agrária (PNRA).
O relator salientou que as providências adotadas pelo TCU "acabaram por extrapolar sua competência constitucional fixada no artigo 71 da Constituição Federal", pois o exercício da competência de controle externo nunca poderia acarretar a paralisação completa de ações governamentais que têm fundamento direto e expresso na Constituição.
Importância do julgado: o STF reafirmou que o TCU não pode, no exercício de suas funções de controle, inviabilizar políticas públicas constitucionalmente garantidas. O controle externo deve respeitar os limites constitucionais e não pode resultar em paralisação injustificada da atividade estatal.
Legislação de Referência
CF/88, art. 37, caput (princípio da eficiência):
"A administração pública direta e indireta de qualquer dos Poderes da União, dos Estados, do Distrito Federal e dos Municípios obedecerá aos princípios de legalidade, impessoalidade, moralidade, publicidade e eficiência e, também, ao seguinte: [...]"
CF/88, art. 70 (controle externo):
"A fiscalização contábil, financeira, orçamentária, operacional e patrimonial da União e das entidades da administração direta e indireta, quanto à legalidade, legitimidade, economicidade, aplicação das subvenções e renúncia de receitas, será exercida pelo Congresso Nacional, mediante controle externo, e pelo sistema de controle interno de cada Poder."
CF/88, art. 71, inciso II (competência do TCU):
"Compete ao Tribunal de Contas da União: II - julgar as contas dos administradores e demais responsáveis por dinheiros, bens e valores públicos da administração direta e indireta, incluídas as contas daqueles que derem causa a perda, extravio ou outra irregularidade de que resulte prejuízo ao erário público."
LRF, art. 4º, § 1º (Anexo de Metas Fiscais da LDO):
"Integrará o projeto de lei de diretrizes orçamentárias Anexo de Metas Fiscais, em que serão estabelecidas metas anuais, em valores correntes e constantes, relativas a receitas, despesas, resultados nominal e primário e montante da dívida pública, para o exercício a que se referirem e para os dois seguintes."
Para a Prova – Pontos de Revisão
Para enfrentar questões sobre este tópico, o aluno deve dominar os seguintes pontos:
Monitoramento = contínuo, foco em conformidade; avaliação = pontual, foco em mérito e valor.
Critérios DAC/OCDE: eficácia, eficiência, efetividade, relevância, sustentabilidade, coerência, equidade.
Eficiência = relação insumo-produto (custo-benefício).
Eficácia = atingimento dos objetivos.
Efetividade (impacto) = efeitos de longo prazo.
Tipos de avaliação: ex ante, in itinere, ex post; processo, resultado, impacto, econômica.
Modelo lógico: insumos → atividades → produtos → resultados → impacto.
RCT = padrão-ouro causal; quase-experimentos (DiD, RDD, PSM) quando a randomização não é possível.
CMAP (Decreto 11.558/2023): conselho interministerial que coordena avaliações de políticas públicas no governo federal.
IPEA: papel de executor das avaliações e elaborador de guias metodológicos.
TCU: auditorias operacionais para avaliar eficiência, eficácia e efetividade.
EC 109/2021: torna obrigatória a avaliação de políticas públicas.
STF Tema 698: legitimidade do controle judicial de políticas públicas com parâmetros (ausência ou deficiência grave, respeito à separação de poderes, determinação de finalidades, não de meios).
ADPF 478: TCU não pode paralisar políticas públicas constitucionais.
Integração com Outros Temas do Edital
O monitoramento e a avaliação de políticas públicas relacionam-se diretamente com:
Ciclo de políticas públicas (a avaliação é sua fase final).
Indicadores de desempenho: são a base para monitorar e avaliar.
Lei de Diretrizes Orçamentárias (LDO): contém anexo de metas fiscais com avaliação do exercício anterior.
Poder Judiciário e políticas públicas: controle judicial (Tema 698) e limites ao controle externo (ADPF 478).
Gestão por resultados (GpR): a avaliação é instrumento central da GpR.
Governança pública (Decreto 9.203/2017): a avaliação é um mecanismo de controle e transparência.
Exercícios:
No contexto da avaliação de políticas públicas, qual das seguintes definições melhor caracteriza o conceito de eficácia?
Qual é a principal diferença entre monitoramento e avaliação, conforme delineado no conteúdo da aula?
Qual das opções a seguir representa um dos critérios atualizados em 2019 pela DAC/OCDE para avaliação de políticas públicas?
No que se refere aos métodos quantitativos de avaliação de impacto, qual a característica que melhor descreve os Ensaios Controlados Aleatorizados (RCTs)?
A avaliação de impacto em políticas públicas pode ser melhor compreendida através de quais tipos de avaliação?
O que caracteriza a equidade no contexto das políticas públicas, conforme discutido na aula?