Monitoramento e Avaliação: Efetividade, Eficiência, Eficácia e Equidade O estudo do monitoramento e da avaliação de políticas públicas é essencial para compreender como os governos podem aprimorar a gestão pública, garantir a transparência e assegurar que os recursos públicos sejam aplicados de forma eficiente e eficaz. Esta aula aborda desde os conceitos fundamentais até os marcos metodológicos e institucionais no Brasil, com base na literatura especializada, na legislação e na jurisprudência dos Tribunais Superiores. Conceitos Fundamentais: Monitoramento × Avaliação Embora frequentemente confundidos, monitoramento e avaliação são atividades distintas e complementares no ciclo de políticas públicas. 1.1. Monitoramento O monitoramento é o acompanhamento contínuo e sistemático da execução de uma política pública, programa ou projeto. Tem caráter contínuo e visa verificar se as atividades estão sendo realizadas conforme o planejado, se os recursos estão sendo utilizados adequadamente e se os produtos (outputs) estão sendo entregues no prazo e na quantidade previstos. Características do monitoramento: Periodicidade: contínua (diária, semanal, mensal). Objetivo: verificar conformidade, identificar desvios, subsidiar correções imediatas. Indicadores típicos: insumos, atividades, produtos (outputs). Responsável: gestores e equipes de implementação. Destinatário principal: gestores públicos. 1.2. Avaliação A avaliação é uma análise pontual, aprofundada e sistemática de uma política pública, programa ou projeto, com o objetivo de emitir um juízo de valor sobre seu mérito, relevância, eficácia, eficiência, efetividade e sustentabilidade. Tem caráter pontual (realizada em momentos específicos) e utiliza métodos rigorosos para estabelecer relações causais. Características da avaliação: Periodicidade: pontual (ex ante, durante, ex post). Objetivo: julgar mérito, valor, relevância; identificar lições aprendidas. Indicadores típicos: resultado (outcome), impacto. Responsável: avaliadores internos ou externos (especialistas, universidades, IPEA). Destinatário principal: formuladores de políticas, gestores de alto nível, sociedade civil. Base Constitucional e Legal A avaliação de políticas públicas tem fundamento na Constituição Federal de 1988, especialmente nos arts. 37, 70, 71, 74 e 165. A Emenda Constitucional nº 19/1998 introduziu o princípio da eficiência no art. 37, caput, da CF/88, impondo à Administração Pública o dever de atuar com economicidade, eficiência e eficácia. *CF/88, art. 37, caput: "A administração pública direta e indireta de qualquer dos Poderes da União, dos Estados, do Distrito Federal e dos Municípios obedecerá aos princípios de legalidade, impessoalidade, moralidade, publicidade e eficiência e, também, ao seguinte: [...]" A Emenda Constitucional nº 109/2021 tornou obrigatória a avaliação de políticas públicas de órgãos e entidades da administração pública, bem como a divulgação dos resultados. A emenda estabeleceu também que as leis orçamentárias (PPA, LDO, LOA) devem considerar os resultados dos processos de avaliação. Além disso, a Lei Complementar nº 101/2000 (Lei de Responsabilidade Fiscal – LRF), em seu art. 4º, § 1º, exige que a LDO contenha anexo de metas fiscais, no qual serão estabelecidas metas anuais, em valores correntes e constantes, relativas a receitas, despesas, resultados nominal e primário e montante da dívida pública, para o exercício a que se referirem e para os dois seguintes. LRF, art. 4º, § 1º: "Integrará o projeto de lei de diretrizes orçamentárias Anexo de Metas Fiscais, em que serão estabelecidas metas anuais, em valores correntes e constantes, relativas a receitas, despesas, resultados nominal e primário e montante da dívida pública, para o exercício a que se referirem e para os dois seguintes." Critérios de Avaliação: Eficiência, Eficácia, Efetividade e Equidade Os critérios de avaliação de políticas públicas foram sistematizados pelo Comitê de Ajuda ao Desenvolvimento da OCDE (DAC) em 1991, com atualizações posteriores. São eles: | Critério | Definição | Pergunta-chave | |----------|-----------|----------------| | Eficácia | Grau em que os objetivos da política foram alcançados (ou se espera que sejam), considerando a relevância relativa dos objetivos. | "Os objetivos foram alcançados?" | | Eficiência | Medida da economicidade na transformação de insumos em produtos e resultados. | "Os recursos foram bem utilizados?" | | Efetividade (Impacto) | Efeitos de longo prazo, diretos e indiretos, intencionais e não intencionais, da política. | "Que diferença a política fez?" | | Relevância | Grau em que os objetivos da política são consistentes com as necessidades dos beneficiários e com as prioridades do país. | "É a política certa?" | | Sustentabilidade | Probabilidade de que os benefícios da política continuem após o término do financiamento externo. | "Os benefícios vão durar?" | | Coerência | Compatibilidade da política com outras políticas no país e com as normas internacionais. | "A política está alinhada?" | | Equidade | Distribuição justa dos benefícios e custos da política entre os diferentes grupos da sociedade. | "Quem ganha e quem perde?" | A efetividade (impacto) é o critério mais difícil de medir, pois exige o estabelecimento de uma relação causal entre a política e os resultados observados, controlando-se outros fatores que possam ter influenciado os resultados. Tipos de Avaliação 4.1. Quanto ao Momento Avaliação ex ante: realizada antes da implementação da política. Analisa a viabilidade técnica, econômica e financeira, a coerência do desenho, os riscos e as alternativas. Inclui a Análise de Impacto Regulatório (AIR) para atos normativos. Avaliação in itinere (formativa): realizada durante a implementação. Foca em identificar problemas de implementação e propor ajustes. É orientada para a gestão. Avaliação ex post (somativa): realizada após a conclusão da política ou após um período suficiente para que os resultados possam ser observados. Julga o mérito e o valor da política, documenta lições aprendidas. 4.2. Quanto ao Foco Avaliação de processo: examina como a política foi implementada (atividades, produtos, conformidade). Responde a perguntas como: "O que foi feito?", "Como foi feito?". Avaliação de resultado (outcome): mede os efeitos diretos da política sobre o público-alvo no curto e médio prazo. Responde a perguntas como: "Os objetivos imediatos foram alcançados?". Avaliação de impacto: mede os efeitos de longo prazo da política, atribuíveis causalmente à intervenção. Responde a perguntas como: "Que mudança de longo prazo a política gerou?". Avaliação econômica: compara custos e benefícios (análise custo-benefício) ou custos e efeitos (análise custo-efetividade) da política. Marcos Metodológicos 5.1. Modelo Lógico (Logic Model) O modelo lógico é uma representação gráfica da cadeia causal da política: insumos → atividades → produtos → resultados → impacto. É uma ferramenta de planejamento e avaliação que ajuda a explicitar as hipóteses sobre como a política deve funcionar. Componentes: Insumos (inputs): recursos financeiros, humanos, materiais. Atividades: ações realizadas com os insumos. Produtos (outputs): entregas imediatas (bens ou serviços). Resultados (outcomes): efeitos diretos sobre o público-alvo. Impacto: efeitos de longo prazo na sociedade. 5.2. Teoria do Programa (Theory of Change) A teoria do programa (ou teoria da mudança) é uma formulação explícita das hipóteses de mudança subjacentes à política: por que e como a intervenção produzirá os efeitos esperados. Ela descreve os mecanismos causais, as premissas e os fatores contextuais que podem influenciar os resultados. 5.3. Métodos Quantitativos de Avaliação de Impacto Ensaios clínicos randomizados (RCTs): padrão-ouro para estabelecer causalidade. Os participantes são aleatoriamente designados para um grupo de tratamento (que recebe a política) e um grupo de controle (que não recebe). A diferença nos resultados entre os grupos é atribuída à política. Exemplos no Brasil: avaliações do Programa Bolsa Família, do Programa de Alfabetização na Idade Certa (PAIC) etc. Quase-experimentos: utilizados quando a randomização não é possível ou é antiética. Incluem: Diferenças-em-diferenças (DiD): compara a evolução dos resultados entre um grupo tratado e um grupo de controle antes e depois da intervenção. Regressão descontínua (RDD): explora um ponto de corte (ex.: nota de corte em um exame) para comparar unidades tratadas e não tratadas próximas ao ponto de corte. Variáveis instrumentais (IV): utiliza uma variável (instrumento) que afeta a participação no programa, mas não o resultado diretamente, para isolar o efeito causal. Pareamento (PSM – Propensity Score Matching): cria um grupo de controle artificial a partir de unidades não tratadas, pareando-as com unidades tratadas com base em características observáveis. 5.4. Métodos Qualitativos Estudos de caso: análise aprofundada de uma ou poucas unidades (ex.: municípios, escolas) para compreender os mecanismos de implementação e os fatores contextuais. Entrevistas em profundidade: com gestores, implementadores e beneficiários para capturar percepções e experiências. Grupos focais: discussão em grupo para explorar representações coletivas. Análise documental: de leis, regulamentos, relatórios, atas, etc. Marcos Brasileiros de Avaliação de Políticas Públicas 6.1. Conselho de Monitoramento e Avaliação de Políticas Públicas (CMAP) O CMAP foi instituído pelo Decreto nº 11.558, de 13 de junho de 2023, que revogou o Decreto nº 9.834/2019. É um conselho interministerial de centro de governo, composto pelos Secretários-Executivos do Ministério do Planejamento e Orçamento, da Casa Civil da Presidência da República, da Controladoria-Geral da União, do Ministério da Fazenda e do Ministério da Gestão e da Inovação em Serviços Públicos. O CMAP é responsável por conduzir avaliações sistemáticas de políticas públicas selecionadas anualmente, com base no Plano Plurianual (PPA). Sua coordenação cabe ao Ministério do Planejamento e Orçamento (MPO). O CMAP conta com dois comitês técnicos: o CMAG (Comitê de Monitoramento e Avaliação de Gastos Diretos) e o CMAS (Comitê de Monitoramento e Avaliação dos Subsídios da União). Desde sua instituição, o CMAP já avaliou 74 políticas públicas, totalizando mais de R$ 1 trilhão em gastos diretos ou subsídios. O CMAP conta com o importante apoio da ENAP (Escola Nacional de Administração Pública) e do IPEA (Instituto de Pesquisa Econômica Aplicada). 6.2. Instituto de Pesquisa Econômica Aplicada (IPEA) O IPEA atua no monitoramento e na avaliação de políticas públicas com rigor, qualidade e independência, utilizando evidências para informar a atuação dos órgãos públicos. O Instituto participou ativamente da elaboração dos guias de análise ex ante e ex post, que constituem os principais referenciais metodológicos para a formulação, monitoramento e avaliação de políticas públicas e programas do governo federal. 6.3. Tribunal de Contas da União (TCU) O TCU, por meio de suas auditorias operacionais, avalia a eficiência, eficácia e efetividade de políticas públicas. A auditoria operacional é o exame independente e objetivo da economicidade, eficiência e eficácia de organizações, programas ou atividades governamentais. Os resultados das auditorias operacionais do TCU subsidiam o aperfeiçoamento de políticas públicas e a correção de falhas de governança. Jurisprudência 7.1. STF – Tema 698 da Repercussão Geral (RE 684.612) RE 684.612, Rel. Min. Teori Zavascki (Redator do acórdão Min. Alexandre de Moraes), Plenário, julgado em 28/06/2019, DJe 20/09/2019. Tese fixada: A intervenção do Poder Judiciário em políticas públicas voltadas à realização de direitos fundamentais, em caso de ausência ou deficiência grave do serviço, não viola o princípio da separação dos poderes. A decisão judicial, como regra, em lugar de determinar medidas pontuais, deve apontar as finalidades a serem alcançadas e determinar à Administração Pública que apresente um plano e/ou os meios adequados para alcançar o resultado. No caso de serviços de saúde, o déficit de profissionais pode ser suprido por concurso público ou, por exemplo, pelo remanejamento de recursos humanos e pela contratação de organizações sociais (OS) e organizações da sociedade civil de interesse público (OSCIP). Parâmetros adicionais (constantes da decisão): Comprovação da ausência ou grave deficiência do serviço público, decorrente da inércia ou excessiva morosidade do Poder Público. Necessidade de se observar a possibilidade de universalização da providência a ser determinada, considerados os recursos efetivamente existentes. A decisão deverá determinar a finalidade a ser atingida, mas não o modo como ela deverá ser alcançada. A decisão judicial deverá estar apoiada em documentos ou manifestações de órgãos técnicos. Sempre que possível, o órgão julgador deverá abrir o processo à participação de terceiros, com a admissão de amici curiae e designação de audiências públicas. A decisão reconhece a legitimidade do controle judicial de políticas públicas, mas impõe parâmetros para evitar a substituição do juiz pelo administrador. 7.2. STF – ADPF 478 ADPF 478, Rel. Min. Alexandre de Moraes, julgado em 11/09/2017. O ministro Alexandre de Moraes suspendeu a eficácia de decisão do TCU que, no âmbito de processo administrativo, havia restringido o acesso de beneficiários a políticas públicas do Programa Nacional de Reforma Agrária (PNRA). O relator salientou que as providências adotadas pelo TCU "acabaram por extrapolar sua competência constitucional fixada no artigo 71 da Constituição Federal", pois o exercício da competência de controle externo nunca poderia acarretar a paralisação completa de ações governamentais que têm fundamento direto e expresso na Constituição. Importância do julgado: o STF reafirmou que o TCU não pode, no exercício de suas funções de controle, inviabilizar políticas públicas constitucionalmente garantidas. O controle externo deve respeitar os limites constitucionais e não pode resultar em paralisação injustificada da atividade estatal. Legislação de Referência CF/88, art. 37, caput (princípio da eficiência): "A administração pública direta e indireta de qualquer dos Poderes da União, dos Estados, do Distrito Federal e dos Municípios obedecerá aos princípios de legalidade, impessoalidade, moralidade, publicidade e eficiência e, também, ao seguinte: [...]" CF/88, art. 70 (controle externo): "A fiscalização contábil, financeira, orçamentária, operacional e patrimonial da União e das entidades da administração direta e indireta, quanto à legalidade, legitimidade, economicidade, aplicação das subvenções e renúncia de receitas, será exercida pelo Congresso Nacional, mediante controle externo, e pelo sistema de controle interno de cada Poder." CF/88, art. 71, inciso II (competência do TCU): "Compete ao Tribunal de Contas da União: II - julgar as contas dos administradores e demais responsáveis por dinheiros, bens e valores públicos da administração direta e indireta, incluídas as contas daqueles que derem causa a perda, extravio ou outra irregularidade de que resulte prejuízo ao erário público." LRF, art. 4º, § 1º (Anexo de Metas Fiscais da LDO): "Integrará o projeto de lei de diretrizes orçamentárias Anexo de Metas Fiscais, em que serão estabelecidas metas anuais, em valores correntes e constantes, relativas a receitas, despesas, resultados nominal e primário e montante da dívida pública, para o exercício a que se referirem e para os dois seguintes." Para a Prova – Pontos de Revisão Para enfrentar questões sobre este tópico, o aluno deve dominar os seguintes pontos: Monitoramento = contínuo, foco em conformidade; avaliação = pontual, foco em mérito e valor. Critérios DAC/OCDE: eficácia, eficiência, efetividade, relevância, sustentabilidade, coerência, equidade. Eficiência = relação insumo-produto (custo-benefício). Eficácia = atingimento dos objetivos. Efetividade (impacto) = efeitos de longo prazo. Tipos de avaliação: ex ante, in itinere, ex post; processo, resultado, impacto, econômica. Modelo lógico: insumos → atividades → produtos → resultados → impacto. RCT = padrão-ouro causal; quase-experimentos (DiD, RDD, PSM) quando a randomização não é possível. CMAP (Decreto 11.558/2023): conselho interministerial que coordena avaliações de políticas públicas no governo federal. IPEA: papel de executor das avaliações e elaborador de guias metodológicos. TCU: auditorias operacionais para avaliar eficiência, eficácia e efetividade. EC 109/2021: torna obrigatória a avaliação de políticas públicas. STF Tema 698: legitimidade do controle judicial de políticas públicas com parâmetros (ausência ou deficiência grave, respeito à separação de poderes, determinação de finalidades, não de meios). ADPF 478: TCU não pode paralisar políticas públicas constitucionais. Integração com Outros Temas do Edital O monitoramento e a avaliação de políticas públicas relacionam-se diretamente com: Ciclo de políticas públicas (a avaliação é sua fase final). Indicadores de desempenho: são a base para monitorar e avaliar. Lei de Diretrizes Orçamentárias (LDO): contém anexo de metas fiscais com avaliação do exercício anterior. Poder Judiciário e políticas públicas: controle judicial (Tema 698) e limites ao controle externo (ADPF 478). Gestão por resultados (GpR): a avaliação é instrumento central da GpR. Governança pública (Decreto 9.203/2017): a avaliação é um mecanismo de controle e transparência. Exercícios: No contexto da avaliação de políticas públicas, qual das seguintes definições melhor caracteriza o conceito de eficácia? Qual é a principal diferença entre monitoramento e avaliação, conforme delineado no conteúdo da aula? Qual das opções a seguir representa um dos critérios atualizados em 2019 pela DAC/OCDE para avaliação de políticas públicas? No que se refere aos métodos quantitativos de avaliação de impacto, qual a característica que melhor descreve os Ensaios Controlados Aleatorizados (RCTs)? A avaliação de impacto em políticas públicas pode ser melhor compreendida através de quais tipos de avaliação? O que caracteriza a equidade no contexto das políticas públicas, conforme discutido na aula?