Através do Programa Paraná Urbano, foram investidos US$ 166,70 milhões, em um período de 5 anos (2202-2006), na promoção da qualidade de vida da população do Estado, incluída a realização de obras de infraestrutura urbana, melhoria e implantação de serviços públicos, aquisição de máquinas e equipamentos, desenvolvimento institucional e geração de emprego e renda. O Programa foi financiado parcialmente pelo Banco Interamericano – BID e executado pela Secretaria de Desenvolvimento Urbano, Paranacidade, Sanepar, Cohapar e Municípios. O objetivo deste estudo foi a preparação dos Relatórios de Avaliação Anual do Programa Paraná Urbano II (período 2004-2006) com base em análises quantitativas e qualitativas dos resultados obtidos. Para a avaliação, foram utilizando os seguintes indicadores, metodologias e instrumentos: (i) IOSP – índice de Oferta de Serviços Públicos; (ii) IEF – índice de Esforço Fiscal; (iii) ICRs – índices de Carência Relativa; (iv) balanced scorecard; e (v) análise SWOT.
I. AVALIAÇÃO QUANTITATIVA DO PROGRAMA
1. Levantamento e Compilação de Dados e Informações
Coleta de dados in loco, realizada em 40 municípios selecionados como amostra representativa para avaliação do Programa, por meio de: visitas técnicas; levantamento e análise de diversos estudos e estatísticas para comporem a base de dados para a geração de indicadores; entrevistas estruturadas com dirigentes municipais e pessoas das comunidades beneficiadas.
Triagem das informações: análise de qualidade, confiabilidade e utilidade do material coletado.
Armazenamento das informações:após a triagem e validação das informações levantadas, procedeu-se à montagem do banco de dados informatizado, composto pelas informações que compõem os indicadores utilizados (IOSP e IEF) e outras informações necessárias para a realização das análises.
Modelo computacional de consultas: foi desenvolvido o Sindica–Sistema de Avaliação de Indicadores; empregado para o cruzamento das variáveis constantes do banco de dados, permitindo a geração automática de tabelas comparativas e a elaboração de planilhas de apoio às análises quantitativas, para diferentes períodos, e, até mesmo, a comparação, para fins de validação e verificação de confiabilidade de dados provenientes de diferentes fontes e em diferentes períodos.
2. Validação de Dados
Confiabilidade das fontes consultadas: foram realizadas diversas consultas, em diferentes períodos, e checadas quanto à conformidade das informações disponibilizadas.
Padronização dos critérios e procedimentos adotados no tratamento de dados, eliminando-se divergências resultantes da possibilidade de diferentes interpretações.
Disponibilidade de dados e constância das fontes: foi elaborada a relação de municípios cujas informações não se encontravam disponíveis e, ainda, os casos em que a informação estava disponível para alguns períodos e indisponível para outros.
Compatibilidade de dados: identificaram-se casos em que foram encontrados valores divergentes para um mesmo dado consultado em diferentes unidades de um mesmo órgão prestador de serviço ou, ainda, entre o órgão prestador de serviço e a Prefeitura; esses dados foram consistidos como condição prévia à sua utilização no cálculo dos indicadores.
3. Recomendações para Aperfeiçoamento dos Procedimentos Adotados no Levantamento e Tratamento dos Dados
Levantamento das dificuldades encontradas no decorrer dos trabalhos e propostas soluções para as metodologias de levantamento, compilação e processamento de dados; detalhamento de propostas de estabelecimento de compromissos e de esforços conjuntos objetivando a uniformização de critérios para obtenção de informações, garantindo bases de dados confiáveis.
4. Cálculo dos Indicadores
Cálculo realizado em planilhas em Excell, de acordo com o estabelecido pelo Edital.
5. Análise dos Índices por Grupos de Municípios
Municípios que tiveram as 20 melhores classificações no IOSP e os outros indicadores (ICR saúde, educação e desenvolvimento urbano).
Municípios que tiveram as 20 piores classificações no IOSP e outros indicadores (ICR saúde, educação e desenvolvimento urbano).
Os 20 municípios que apresentaram as maiores variações no IOSP entre dois anos consecutivos.
Os 20 municípios com as maiores populações do Estado.
Os 20 municípios que apresentaram os maiores PIBs municipais.
Os 40 municípios da amostra.
6. Avaliação do Grau de Inter-Relação entre o Comportamento e a Evolução dos Indicadores e os Montantes de Recursos Financeiros Despendidos
Avaliação das ações em relação ao total dos aportes do Programa e estabelecidas as correlações existentes entre investimentos realizados e indicadores de carência relativa.
Análise do comportamento de cada índice quanto à sua sensibilidade em relação aos investimentos, enumerando-se aqueles que apresentam variações imediatas nos índices ao receberem investimentos e aqueles que respondem a médio e longo prazos ou, ainda, que respondem de forma significativa apenas mediante a realização de atividades e investimentos complementares.
II. AVALIAÇÃO QUALITATIVA DO PROGRAMA
1. Definição da Metodologia
Elaboração de um esquema metodológico com base da combinação de técnicas e instrumentos de medição de desempenho utilizadas no meio empresarial, o balanced scorecard e a análiseSWOT.
Construção do balanced scorecard com os seguintes macroprocessos: (i) visão estratégica; (ii) aprendizado e crescimento; (iii) processos internos; (iv) benefícios à comunidade; (v) perspectiva global do Programa.
Avaliação dos resultados das ações implementadas em cada um dos macroprocessos por meio da avaliação de graus de conformidade, tendo como referência o sistema de avaliação estabelecido pelo marco lógico do Programa, registrando-se, para os macroprocessos analisados, as seguintes condições: (i) avanços observados não significativos para implantação da ação; (ii) avanços observados na implementação de ações, porém nenhum avanço observado nas metas globais do componente; (iii) avanços observados na implementação das ações, já com impactos positivos nas metas globais do componente; (iv) implementação concluída das ações previstas, porém ainda sem atendimento total das metas; (v) ações totalmente implementadas e metas globais atingidas.
Utilização da análise SWOT para análise do ambiente externo (oportunidades e ameaças) e a análise do ambiente interno (pontos fortes e fracos).
2. Procedimentos de Análise
Realização de análise qualitativa considerando-se a capacidade do Programa de manter e aprimorar os procedimentos e a visão estratégica adotados.
Estabelecimento, com o balanced scorecard, da correspondência entre os macroprocessos que estruturam a metodologia com os componentes do Programa: (i) ao macroprocesso de visão estratégica associou-se o objetivo do Programa expresso no marco lógico de “promover a melhoria da qualidade de vida da população do Estado do Paraná”; (ii) ao aprendizado e crescimento vincularam-se os componentes fortalecimento institucional do Programa e fortalecimento institucional dos municípios e suas associações; (iii) aos processos internos corresponderam as ações de caráter instrumental: ações de treinamento e capacitação, certificação do Programa, automação de demonstrativos e registros financeiros e atualização dos critérios de elegibilidade para a seleção de projetos a serem apoiados pelo Programa; (iv) aos benefícios às comunidades relacionaram-se as obras e ações diretamente voltadas à oferta de serviços públicos sociais e urbanos.
Por meio dessa análise, avaliando-se os graus de conformidade com os objetivos e metas estabelecidos no marco lógico do Programa e demais meios de avaliação, foram estudados os avanços obtidos em cada macroprocesso, observando-se: (i) o grau de avanço das ações; (ii) cumprimento das metas contratualmente estabelecidas.
Exame, com a metodologia SWOT, das intervenções do Programa sob duas óticas principais: a ótica específica dos componentes, identificando-se os elementos SWOT individualmente; e a ótica global do Programa, realizando-se a análise para o conjunto e identificando os elementos SWOT do próprio Programa.
III. AVALIAÇÃO FINAL DO PROGRAMA
Avaliação de todo o trabalho, de sua metodologia e dos resultados do Programa.
Análise dos resultados de todas as áreas que receberam investimentos do Programa.
Detalhamento das propostas visando assegurar que o Programa atingisse suas metas, dentro dos conceitos mais atuais de gestão pública eficiente, incluindo participação da sociedade civil no processo e a integração com outros programas setoriais de modo a otimizar os recursos disponíveis.