_arquivos/image002.jpg)
Avaliação da implementação do Consultório na Rua: uma proposta
metodológica
Evaluation of the
implementation of the Consultório na Rua: a methodological proposal
Afrânnia Hemanuelly
Castanho DUARTE*
_arquivos/image004.png){kind=small}
https://orcid.org/0000-0001-5986-9243
Líria Maria Bettiol
LANZA**
https://orcid.org/0000-0003-45983-3762
Resumo: O estudo tem como
objetivo apresentar o processo de elaboração da metodologia avaliativa e dos
indicadores de implementação do Consultório na Rua da região
Sul do país. O trabalho, de caráter misto, estruturou-se em uma pesquisa
documental para análise das normativas do Programa e uma pesquisa de campo, na
qual entrevistamos 42 trabalhadores(as), quatro coordenadores(as) e um
representante do Movimento Nacional da População de Rua. Dentre os resultados,
estão os 16 indicadores elegidos como essenciais para a avaliação. Concluímos
que, para a implementação do objetivo a que o Programa se propõe, é preciso ter
clareza da sua operacionalidade. Por isso, são fundamentais indicadores
alternativos que permitam captar, em termos operacionais, as particularidades
do trabalho em saúde desenvolvido, pois seu desempenho, à luz de seus
objetivos, dependerá da estrutura operacional implementada.
Palavras-chave: Metodologia
de pesquisa avaliativa. Avaliação de implementação. Indicadores. Eficácia. Consultório na Rua.
Abstract:
The study aims to present the elaboration process of the evaluative
methodology and the implementation indicators of the Consultório na Rua in the
southern region of the country. The research, of a mixed nature, was structured
through a documentary research to analyze the
Program's regulations and a field research, in which we interviewed 42 workers,
four coordinators and a representative of the National Population Movement of
Road. Among the results are the 16 indicators chosen as essential for the
evaluation. We conclude that, for the implementation of the objective in which
the Program is proposed, it is necessary to have clarity of its operation. For
this reason, alternative indicators are fundamental to capture in operational
terms the particularities of the work carried out in health, as its performance
in light of its objectives will depend on the
operational structure implemented.
Keywrods:
Evaluative research methodology. Implementation evaluation. Indicators. Effectiveness. Consultório na Rua.
INTRODUÇÃO
|
A |
pesquisa de avaliação de
políticas públicas constitui um campo vasto de diferentes tendências para as
diversas intenções de um desenho investigativo. As escolhas entre as técnicas e
os procedimentos tomados pelo(a) avaliador(a) pesquisador(a), à luz de seus
objetivos, definirão o tipo de avaliação e a metodologia adequada ao processo
investigativo. Independentemente do desenho, entendemos que o objeto da
avaliação é a intervenção em uma dada realidade social a ser desenvolvida nas
diferentes fases (diagnóstico, programação e execução) de uma política ou
programa de caráter público.
O debate público sobre a avaliação de políticas e programas sociais tem
sido cada vez mais emergente frente aos desafios impostos na realidade. O
processo avaliativo pode propiciar conhecimento para tomada de decisões, para
aprimorar o desenvolvimento das políticas, melhorar a aplicação de recursos,
identificar seus impactos, entre outras questões oportunas, sejam de ordem
técnica e política.
De acordo com Aguillar e Ander-Egg (1994), a pesquisa avaliativa busca
acessar os diferentes estágios de condução das políticas e programas sociais
com base em procedimentos metodológicos da pesquisa social, identificando
informações válidas e confiáveis, na busca de estimar e atribuir juízo sobre o
valor e o mérito de algo. O valor está relacionado ao nível da necessidade de
realizar algo, já o mérito tem a ver com o grau da eficiência da realização, ou
seja, se foi bem-feito, independentemente do seu valor. Essa definição
corrobora pensarmos nos fundamentos e na aplicação dos critérios de julgamento
a serem utilizados na avaliação.
Além disso, a literatura também identifica os tipos de avaliação de
acordo com a sua natureza e finalidade: a avaliação de resultados e a avaliação
de processo. De acordo com Draibe (2001), a avaliação de resultados se preocupa
em saber o cumprimento e a qualidade dos objetivos alcançados nos resultados. A
avaliação de processo, porém, tem como objetivo identificar, no processo de
implementação, fatores que facilitam ou dificultam o alcance dos resultados.
Com base nos estudos de Arretche (2007) e Silva (2013), além do rigor
científico, existem alguns recursos analíticos importantes para a avaliação das
políticas públicas, um deles é a distinção entre os critérios de efetividade,
eficácia e eficiência. O critério de efetividade estaria relacionado à
avaliação da implementação de uma política, seus custos e resultados, tendo em
vista seus objetivos e metas. O critério da eficácia se refere à avaliação dos
objetivos e dos instrumentos explícitos e seus resultados, que, segundo
Arretche (2007), é uma avaliação que pode ser direcionada de duas maneiras: com
foco nas metas propostas e alcançadas, ou nos instrumentos previstos e aqueles
realmente aplicados na implementação da política. A avaliação da eficiência, por
sua vez, tem como foco a relação entre a implementação, seus impactos e efeitos
na realidade objeto e para o público-alvo.
Dadas essas dimensões de acompanhamento e avaliação das ações
operacionais das políticas, buscam-se medidas que fundamentem os planejamentos
e os processos decisórios no ciclo das políticas. Essas medidas são pensadas
por meio de dados da realidade, traduzidas em forma de taxas ou índices (dados
estatísticos, dados administrativos, entre outros), que são transformados em
indicadores sociais
Ao se debruçar na discussão a respeito de indicadores sociais, Arregui
(2012) nos chama atenção para os indicadores alternativos. Para autora, é
preciso considerar que a crescente produção de dados quantitativos e
informações no campo da gestão, sob uma lógica instrumental e econômica, não
tem substanciado de modo suficiente o conhecimento sobre a realidade para o
ciclo das políticas sociais, pois não tem manifestado as questões emergentes,
as particularidades da população e o contexto territorial. Desse modo, as
reflexões instigadas pela autora sobre as necessidades de novas formas de
quantificação e de representação da realidade social, por meio de aportes
pluridisciplinares, vão ao encontro da indagação da atual noção de
desenvolvimento por meio do crescimento econômico, todavia insustentável para a
humanidade. Fazem-se necessários indicadores alternativos com aporte de novas
concepções sobre desenvolvimento humano e sustentável, na perspectiva de erigir
socialmente novos olhares sobre a realidade social.
Apesar de a prática da avaliação estar relacionada historicamente a
contextos de controle externo, reduzindo a avaliação em sua dimensão técnica,
como mera medição de resultados das políticas e programas, Tanaka e Melo (2007)
identificam que a avaliação também vem se desenvolvendo a partir de variáveis e
indicadores contextuais, buscando, além dos resultados quantitativos, os
resultados qualitativos, a fim de identificar a efetividade, os efeitos e
impactos das políticas nos grupos e na população alvo.
O acúmulo teórico sobre a avaliação de políticas ao longo das décadas e
as transformações na estrutura institucional do Estado com a redemocratização
do país possibilitaram a emergência de novas reflexões críticas acerca de suas
dimensões e da integração de novos sujeitos no processo avaliativo. Apesar da
reforma neoliberal ainda em curso, os movimentos sociais têm impulsionado o
avanço do controle social, o que envolve também a avaliação das políticas.
As bases de desenvolvimento deste artigo estão na pesquisa elaborada nos
anos de 2021 e 2022 com o objetivo de avaliar a implementação do Consultório na
Rua (CnaR) na região sul do país. Pesquisa que teve dois eixos de análise: a
avaliação do Programa CnaR, com foco na eficácia da implementação, e a
implementação do Programa em diferentes contextos locais[1].
Para o Ministério da Saúde (Brasil, 2012), a implementação do Programa
deve estar em convergência com as diretrizes e fundamentos da Política Nacional
de Atenção Básica (PNAB) e com a lógica da Rede de Atenção Psicossocial (RAPS),
tendo a estratégia de Redução de Danos como proposição transversal a todas as
ações realizadas pela equipe. Sendo parte da RAPS e desenvolvendo ações de
atenção básica, o Programa tem como objetivo garantir o acesso da população em
situação de rua (PSR) à rede de atendimento do Sistema Único de Saúde (SUS) e a
promoção da equidade. Deve ser porta de entrada preferencialmente dessa
população e acolher com resolutividade as necessidades de saúde. De
forma que a equipe multiprofissional, entendida aqui como específica e não
especializada, deve coordenar o cuidado da PSR in loco, trabalhando em parceria com a rede de saúde do território,
favorecendo a atenção integral e longitudinal.
Todavia, o CnaR não tem sido contemplado nas avaliações institucionais,
no âmbito federal, estadual e municipal, e não há indicadores de avaliação,
assim como há escassez de produções científicas sobre o tema. Os objetivos e
desenhos metodológicos dos estudos sobre o CnaR em sua maioria estão voltados
mais para descrição e análise do que para pesquisa de avaliação da
implementação do Programa (Duarte, 2022).
Diante disso, apresentamos a questão da pesquisa que baliza este estudo:
Como construir um processo avaliativo com indicadores de eficácia da
implementação do Programa Consultório na rua? Para tanto, o presente artigo tem
o objetivo de apresentar o processo de elaboração da metodologia avaliativa e
dos indicadores de eficácia da implementação do CnaR realizada na região Sul[2] do país.
Na primeira parte, apresentamos o percurso metodológico do estudo; na segunda,
abordamos os resultados e discussões a respeito da metodologia para a
construção da pesquisa avaliativa e dos indicadores.
PERCURSO METODOLÓGICO DA
PESQUISA
Optamos pela pesquisa de avaliação de processo[3] do tipo
acadêmica, com uso de abordagem mista (Creswell, 2010), com ênfase na pesquisa
qualitativa do processo de implementação do Consultório na Rua dos municípios da região Sul do país, correspondente ao período
entre os anos de 2011, marco jurídico do Programa, até o mês de junho de 2021,
período em que finalizamos a coleta de dados. Com base nos estudos de Silva
(2013); Arretche (2007) e Draibe (2001), nossas escolhas pelo tipo de avaliação
da eficácia do Programa se configuraram com objetivo de responder, de forma
fidedigna, ao problema do estudo e respeitando as particularidades do objeto.
A metodologia se pautou pela pesquisa documental das normativas
nacionais do Programa e pela pesquisa de campo, com uso de questionário e
entrevistas individuais.
No período dessa pesquisa, de acordo com o Cadastro Nacional de Estabelecimento
de Saúde (CNES, 2022), havia 21 equipes localizadas em 16 municípios na região
Sul, com o número aproximado de 100 trabalhadores de nível superior e médio. Os questionários fechados foram direcionados a trabalhadores(as), dos
quais, 42 responderam à pesquisa, correspondendo a 18 CnaR de 15 municípios[4]. As entrevistas foram realizadas com quatro coordenadores(as) de CnaR e
com uma liderança do Movimento Nacional da População de Rua (MNPR) por meio de
roteiro semiestruturado.
Por meio dessa coleta de dados, buscamos identificar como os sujeitos
compreendem o processo de implementação do Programa. Com isso, foi possível
construir e adaptar medidas de suficiência dos instrumentos e dos sistemas
logísticos operacionais previstos, o que possibilitou a concepção de novas
proposições e indicadores alternativos para análise e avaliação do CnaR.
O estudo também se caracteriza pelo uso da técnica de triangulação
(Triviños, 2007), primeiro, pela triangulação clássica: por meio da escuta dos
sujeitos, análise documental e análise de contexto; segundo, pela triangulação
entre os sujeitos: trabalhadores, coordenadores das equipes e representante do
MNPR, favorecendo uma análise multidimensional para a complexidade do problema
de pesquisa, possibilitando a utilização de diferentes técnicas de coleta de
dados. Para análise e interpretação dos dados, seguimos as etapas referenciadas
por Bardin (1979): pré-análise, exploração do material sistematizado e, por
fim, apresentamos nossa interpretação por meio da mediação entre o conteúdo dos
dados e a teoria fundamentada, em direção a uma síntese interpretativa.
O estudo foi aprovado pelo Comitê de Ética da Universidade Estadual de
Londrina (CAAE: 33486220.0.0000.5231).
ANÁLISE E DISCUSSÃO DOS
RESULTADOS
Este tópico traz os procedimentos metodológicos utilizados para a
investigação do problema ora proposto. Para tanto, apresentaremos duas fases
que se inter-relacionam nesse processo. A primeira fase consiste na análise
documental de normativas oficiais, que permitiu identificar a estrutura e os
requisitos mínimos para o funcionamento do Programa. Em seguida, a partir da
pesquisa de campo, foi possível construir e adaptar os atributos, indicadores e
escalas para medição quantitativa e qualitativa do processo de implementação do
Programa, esquematizados no Quadro 1.
Análise documental: desenho e estrutura do
Programa
Por meio da pesquisa documental de materiais de fonte primária
(legislações, manuais orientadores da política e planos de gestão), que
apresentam determinações importantes para a constituição e desenvolvimento do
Programa, buscamos observar principalmente os critérios e requisitos nacionais
para a implementação e o funcionamento nos municípios.
Os documentos analisados respeitaram uma ordem cronológica, iniciando
com o Decreto
nº 7.053 de 23 de dezembro de 2009, que Institui a Política Nacional para a
População em Situação de Rua, indo até o Decreto n°9.761 do ano de 2019
(Brasil, 2019), que apresenta alterações na Política Nacional sobre drogas.
Apesar de esses documentos não serem específicos do CnaR, eles foram analisados
por suas influências significativas no processo de gestão intersetorial das
políticas públicas e no campo da saúde. Os outros documentos[5]
analisados, datados entres os anos de 2009 e 2021, dizem respeito
especificamente, aos de normativas e de consolidação e implementação do CnaR,
além dos Planos Municipais de Saúde, vigentes no período de coleta da pesquisa
nos municípios selecionados.
De acordo com a pesquisa bibliográfica e com base na pesquisa
documental, identificamos que, apesar de o Programa apresentar seu objetivo
para com o cuidado em saúde à PSR, não há clareza sobre a operacionalização do
Programa e qualquer tipo de indicadores de avaliação e monitoramento.
Um dos principais documentos oficiais para a implementação do CnaR é o Manual
sobre o cuidado à Saúde junto a População em Situação de Rua (Brasil,
2012). Para Machado (2021), são inúmeras as expectativas postas nesse manual em
relação às equipes, entretanto, “[...] como são difusas em sua apresentação,
não são apontadas formas concretas para que as equipes de CnaR operem seu
processo de trabalho” (Machado, 2021, p. 63).
O CnaR não esteve
incluso no Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção
Básica (PMAQ-AB) e não está incluso no Previne Brasil, programas com objetivo
de incentivar gestores e equipes a melhorarem a qualidade dos serviços, que,
para tal, propõem um conjunto de critérios para o acompanhamento e
avaliação das equipes da atenção básica. Dado o impasse de não haver
indicadores específicos e de usar ou não os indicadores da atenção básica, em
sua completude, para a avaliação do CnaR, que, até então, não tem sido
contemplado nesses processos avaliativos, nem com os incentivos
disponibilizados às equipes de atenção básica.
De acordo com a fala dos sujeitos da pesquisa, a falta de monitoramento
e avaliação do Programa nas instâncias governamentais tem gerado aspectos
significativos para a implementação. Um deles é a falta de fiscalização do uso
e gerenciamento do recurso federal pelo município destinado ao CnaR. Outro
aspecto é que, sem avaliação, não há esforços para a construção de indicadores
que se aproximem do processo de trabalho do CnaR e das necessidades da PSR.
Isso faz com que o CnaR continue sendo invisibilizado nesses processos de
avaliação e, quando há processos avaliativos, utiliza-se de indicadores que não
condizem com a realidade do Programa.
De acordo com uma das falas dos trabalhadores que responderam ao
questionário, além da falta de incentivos, há uma grande necessidade de
monitoramento e de materiais oficiais do Ministério da Saúde com maior clareza
dos objetivos e metodologia do Programa.
[...]
Maior supervisão do Ministério da Saúde em relação a implementação e manutenção
do serviço, bem como um guia nacional para aproximar as práticas realizadas
pelas equipes, respeitando as singularidades regionais, além de fiscalizar e
acompanhar os processos e terceirização dos equipamentos (Trabalhador 01).
Reafirmada essa inconsistência operacional para o processo de
implementação do Programa nos documentos oficiais, os municípios não têm
encontrado respaldo legal para ajustes locais nem incentivos. Os sujeitos ainda
sugerem, em suas falas, que essa inconsistência também representa uma ameaça
para o Programa, por meio do enfraquecimento dos mecanismos da gestão pública e
do processo de precarização enfrentados nos serviços. Essas falas reafirmam a
formação de um padrão híbrido de gestão pública a partir de distintas propostas
vinculadas a diferentes projetos societários em disputa: a democrática e o
gerencialismo, o que pode levar à aplicação de estratégias não condizentes com
as diretrizes do SUS e atreladas à Reforma do Estado e à terceirização dos
serviços.
Frente a isso, a avaliação no campo da implementação não encontra uma
tarefa fácil, dada à natureza mutável, incerta (Arretche, 2001) e altamente
condicionada, seja pela formação do Estado democrático brasileiro, Reforma do
Estado, dinâmica do contexto local, ou falta de elementos identificada na
formulação do Programa, entre outros. Como esses fatores são determinantes nos
desafios encontrados na implementação das políticas públicas, tais questões
também devem estar no campo de análise da avaliação do programa e na construção
de seus indicadores.
Para Tanaka e Melo (2007), o rigor de especialidade que marca a história
da avaliação das políticas também tem influenciado significativamente a
avaliação em serviços de saúde, assim como a função de controle exercida pelo
Estado. Isso seria um dos fatores para a incipiência das práticas avaliativas
no campo da saúde, pois, além do desconhecimento do processo avaliativo, há uma
ideia de prática ameaçadora apresentada quase sempre através de processos
fiscalizatórios e de capacidade especializada. Essa incipiência se confirma na
análise dos resultados da presente pesquisa, quando 76% dos sujeitos, ou seja,
a maioria dos (as) trabalhadores (as) do CnaR que responderam ao questionário,
afirmaram não participar de nenhum espaço de monitoramento e avaliação de políticas
públicas. Entre os(as) coordenadores(as) entrevistados(as), somente uma afirmou
que realiza o monitoramento e a avaliação dos resultados do Programa a partir
de indicadores já utilizados pela Atenção Básica no município, ou seja, não são
indicadores específicos do CnaR. Os demais entrevistados, incluindo a liderança
do MNPR, afirmaram não ter conhecimento dos processos avaliativos do Programa.
A pouca familiaridade dos coordenadores, trabalhadores e usuários com o
campo conceitual da avaliação também impede um procedimento habitual no campo
das políticas, assim como a falta de informação e de dados que possam
substanciar o processo avaliativo e a construção de indicadores de
acompanhamento da PSR. Ou seja, não basta um espaço instituído para o
monitoramento e a avaliação das políticas juntos aos representantes
governamentais e da sociedade civil, é preciso qualificar esses espaços junto a
esses sujeitos através de capacitações e fomento de dados aprimorados (Tanaka;
Melo, 2007). Portanto, acreditamos que, nesse caminho, é preciso propiciar aos
envolvidos esclarecimentos sobre a polissemia do conceito de avaliação das
políticas, assim como construir os próprios objetivos comuns a serem alcançados
e que atendam as necessidades de saúde da PSR de forma equânime, evitando o uso
irrestrito de indicadores entre diferentes programas e intervenções que levem à
homogeneização das
políticas.
O desenho metodológico do presente estudo vem no caminho de articular
coordenadores, trabalhadores e usuários organizados no processo de avaliação do
programa. Dessa forma, acreditamos que é preciso continuar tensionando os
modelos de controle externos, instituídos historicamente, e avançar na
articulação dos sujeitos e na construção de agendas de formação e avaliações
sistemáticas. Também é preciso intentar a construção coletiva de metodologias e
indicadores de avaliação mais próximos da realidade da PSR, por meio dos
espaços já existentes para isso, como o Previne Brasil, em específico, na
Política de Atenção Básica e no próprio Comitê Intersetorial de
Acompanhamento e Monitoramento da Política Nacional para a população em
situação de rua (CIAMP).
Atributos e indicadores de avaliação
Com base na análise dos documentos evidenciados, foi possível descrever
o desenho e a estrutura do Programa e iniciar a elaboração do Quadro 1 - Quadro metodológico explicativo de
avaliação do Consultório na Rua, composto de atributos, indicadores e
escalas para medição quantitativa e qualitativa do processo de implementação
nos municípios da região. Esse quadro foi sendo construído ao longo do processo
de pesquisa e, inicialmente, auxiliou na construção dos instrumentos,
principalmente do questionário. Posteriormente, com os dados coletados, o
mesmo quadro serviu de referência para avaliação e análise dos dados gerais com
todos os CnaR dos municípios participantes.
Para a construção desse quadro, foi preciso formular medidas de análise
e julgamento, levando em conta variáveis, atributos, indicadores e escalas,
adaptando os critérios dos níveis de suficiência do processo de implementação.
Ou seja, com o intuito de estimar juízo sobre o valor (Aguillar; Ander-Egg,
1994) e ou nível de necessidade da realização dos sistemas logísticos e
operacionais, utilizamos o grupo de variáveis independentes, que são, em sua
maioria, de natureza institucional e refletem as condições prévias das agências
e dos agentes envolvidos na implementação (Pierantoni; Vianna, 2003; Núcleo de
Estudos de Políticas Públicas, 1999). Os indicadores de eficácia estão
referidos e concentrados, em maior parte, no subprocesso indicado pelo modelo
de Draibe (2001) dos sistemas logísticos
e operacionais, compreendidos como modos de implementar e operacionalizar a
atividade-fim. Não obstante, incluímos também mais dois indicadores dos
seguintes subprocessos: processo de
informação e processo de capacitação,
que permitem apontar algumas reflexões iniciais a respeito desses subprocessos.
Neste estudo, por dimensão de eficácia, entendemos a busca da satisfação
das necessidades sociais à luz da gestão pública regida por princípios
democráticos, na qual a política social é entendida como política pública e
direito de cidadania pelo traço comportamental do ethos solidário, que está a serviço das necessidades sociais
engendradas da relação antagônica entre capital e trabalho (Pereira, 2020);
diferentemente das dimensões de eficácia, eficiência e efetividade no contexto
da Reforma do Estado que move sua estratégia a partir do paradigma gerencial
presente praticamente em todas as políticas.
Além da dimensão da eficácia, também incluímos o princípio da equidade,
que fundamenta este estudo avaliativo, uma vez que, para o SUS, a equidade está
intrinsecamente relacionada à implementação de políticas que visam diminuir
vulnerabilidades a que certos grupos populacionais estão mais expostos,
incluindo a PSR. Dessa maneira, buscamos evitar o uso homogeneizador de
recursos analíticos que não respeitem as particularidades locais e de grupos,
ou que reforcem ainda mais as desigualdades sociais.
Os 16 indicadores de eficácia definidos foram agrupados em oito
atributos: 1. Disponibilidade de recursos humanos; 2. Carga horária; 3.
Disponibilidade de recursos materiais; 4. Sistemas operacionais e fluxos; 5.
Acolhimento e atendimento in loco; 6.
Cuidado em saúde compartilhado e integrado; 7. Educação no trabalho em saúde e
8. Cadastro e atualização de dados no Sistema de Informação vigente. Já as
escalas foram agrupadas em Satisfatório, Pouco satisfatório e Insatisfatório,
respeitando as particularidades do trabalho em saúde com a PSR.
Entendendo o indicador como forma de nos aproximarmos do conhecimento da
realidade, que não podemos captar diretamente (Aguillar; Ander-Egg, 1994), elaboramos esses indicadores considerando os
objetivos do Programa e suas vertentes interpretativas do cuidado em saúde.
Nesse sentido, para elaborar os indicadores de eficácia, principalmente dos
sistemas logísticos operacionais, incorporamos fatores ou variáveis para
subsidiar a avaliação e a análise, pois as normativas não deixam isso claro.
Incluímos a variável do espaço de tempo implícito na periodicidade informada e
a participação dos trabalhadores nos processos para o desenvolvimento das
ações, compreendendo que esses fatores compõem o processo operacional da
implementação e implicam no cumprimento do objetivo do Programa.
Logo, uma das maiores dificuldades encontradas no processo de construção
do Quadro 1 foi agrupar e adaptar os critérios elegidos como essenciais para a
avaliação da implementação, que se encontravam difusos nos documentos oficiais,
somado à falta de clareza da operacionalização das atividades-fim. Por isso, a
fala dos sujeitos entrevistados – trabalhadores, coordenadores e liderança do
MNPR - foi essencial nesse processo. Em razão disso, sua construção se deu num
processo dialético e contínuo, passando por diversas alterações ao longo desta
pesquisa, seja anterior à construção do questionário seja durante a análise dos
dados coletados.
Nesse sentido, buscamos adaptá-lo conforme a realidade dos serviços e os
atributos elegidos para a avaliação da eficácia. Ou seja, diferentemente de uma
definição a priori das escalas de
avaliação dos indicadores ou um check
list, a partir dos documentos oficiais, para prever os sucessos e fracassos
da implementação (Arretche, 2001), as escalas foram sendo construídas e
adaptadas ao longo da coleta e análise dos dados, considerando, principalmente,
os condicionantes positivos e negativos na implementação do Programa.
Quadro 1 - Quadro metodológico
explicativo de avaliação do Consultório na Rua
|
Subprocesso dos sistemas
logísticos e operacionais |
|||||
|
Atributos |
Indicador |
Satisfatório |
Pouco satisfatório |
Insatisfatório |
|
|
1 Disponibilidade de
recursos humanos |
1.1
Modalidade I: quatro profissionais; Modalidade II: seis profissionais e
Modalidade III: seis profissionais acrescidos da categoria médica. |
Possui o número mínimo de profissionais da equipe e contempla o
quantitativo das categorias elencadas. |
Possui o número mínimo de profissionais conforme a
modalidade. |
Não possui o número mínimo de profissionais. |
|
|
2 Carga
horária |
2.1
30 horas semanais, e o horário de funcionamento deve ser adequado às demandas
da PSR |
Contempla a carga horária mínima e o
atendimento no período diurno e noturno. |
Contempla a carga horária mínima e o
atendimento no período diurno. |
Não contempla a carga horária mínima. |
|
|
3 Disponibilidade
de recursos materiais |
3.1
Veículo exclusivo do Programa para deslocamento da equipe, transporte de
equipamentos e insumos, com identificação visual. |
Veículo exclusivo para deslocamento da
equipe, transporte de equipamentos e insumos, com identificação visual. |
Tem
exclusividade, mas não possui identificação visual. |
Possui
veículo disponível, mas não tem exclusividade. |
|
|
3.2
Unidade Móvel que permite realizar alguns atendimentos/procedimentos em seu
interior. |
Possui
Unidade Móvel. |
Possui
Unidade Móvel, mas sem identificação. |
Não
Possui. |
||
|
4 Sistemas
operacionais e fluxos |
4.1
Ações de saúde de atenção básica, atendendo às diretrizes da PNAB. |
Oferta
totalmente. |
Oferta
parcialmente. |
Não oferta.
|
|
|
4.2
Processos ou instrumentos de estudos, mapeamento e análise situacional. Há um
diagnóstico atualizado levando em conta a territorialização; elaborado de
forma coletiva entre a equipe; |
Possui diagnóstico situacional ou
ferramentas parecidas, atualizado e com elaboração coletiva. |
Possui
diagnóstico, mas sem atualização ou sem elaboração coletiva. |
Não
há diagnóstico. |
||
|
4.3 Planejamento
e roteiro das ações diárias. A construção do roteiro é feita de forma
coletiva entre a equipe e contemplam os seguintes aspectos: os pontos de
atendimento; pondera sobre os riscos do atendimento; considera os perfis dos
usuários e define ações de busca ativa. |
Há roteiro e sua construção é semanal,
contemplando os fatores relacionados. |
Há roteiro, mas não é feito com
frequência e contempla minimamente os pontos de atendimento. |
Não há roteiro. |
||
|
4.4 Busca ativa e
cuidado aos usuários de álcool, crack
e outras drogas. O critério de frequência é ter uma
periodicidade informada/programada. |
Realiza o cuidado e a busca ativa com
frequência. |
Realiza o cuidado e a busca ativa de
forma pontual |
Não oferece. |
||
|
4.5
A redução de danos faz parte das ações da equipe. |
Faz com muita frequência. |
Faz com média ou pouca frequência. |
Não faz parte. |
||
|
5
Acolhimento e Atendimento in loco |
5.1
Atividades in loco e itinerantes. Critério de periodicidade mínima
semanal. |
Atende com frequência. |
Realiza de forma pontual ou somente
sob demanda. |
Não realiza. |
|
|
5.2
Atendimentos individuais e atividades em grupo com os usuários. Critério de periodicidade mínima
mensal. |
Atendimento individual e coletivo, com
frequência. |
Atendimento individual com frequência
e coletivo de forma pontual. |
Oferta somente atendimentos
individuais. |
||
|
6
Cuidado em saúde compartilhado e integrado. |
6.1
Reunião de Equipe realizada com frequência para o planejamento e a gestão do
cuidado. Periodicidade mínima mensal . Assuntos
considerados essenciais: planejamento de trabalho; acompanhamento
dos usuários; questões
administrativas; estudo de
casos; elaboração
de projetos terapêuticos. |
Realiza
reuniões com frequência, abordando principalmente assuntos sobre o
planejamento do trabalho e o acompanhamento dos usuários. |
Realiza
reuniões esporádicas, abordando principalmente assuntos sobre o planejamento
do trabalho e o acompanhamento dos usuários. |
Não realiza
reuniões ou as reuniões são somente sobre assuntos administrativos. |
|
|
6.2
Ações compartilhadas e integradas com as Unidades Básicas de Saúde (UBS). |
Compartilhadas com todas as UBS’s do
território. |
Compartilhadas
com algumas UBS’s do território. |
Sem
compartilhamento das ações, embora utilize as instalações físicas da UBS
quando necessário. |
||
|
6.3
Ações compartilhadas e integradas com o CAPS e outros serviços componentes da
Rede de Atenção Psicossocial (RAPS). |
Compartilhadas com toda a RAPS. |
Compartilhadas com algumas unidades da RAPS. |
Sem relação com CAPS e RAPS. |
||
|
Subprocesso de
capacitação dos trabalhadores |
|||||
|
Atributos |
Indicador |
Satisfatório |
Pouco satisfatório |
Insuficiente |
|
|
7
Educação no trabalho em saúde. |
7.1
As equipes terão acesso a educação no trabalho em saúde, contemplando, entre
outros temas, a abordagem das diferentes necessidades de saúde da população
em situação de rua, bem como o desenvolvimento de competências para a prática
da redução de danos. |
A equipe tem acesso a programação
sistemática à educação no trabalho em saúde. Contempla as necessidades da
PSR, incluindo a redução de danos. |
A equipe tem acesso à educação no
trabalho em saúde de forma esporádica. |
A equipe não tem acesso à educação no
trabalho em saúde. Ou só há incentivo para a busca individual. |
|
|
Subprocesso de
divulgação e informação |
|||||
|
Atributos |
Indicador |
Satisfatório |
Pouco satisfatório |
Insuficiente |
|
|
8. Cadastro e atualização de dados no Sistema
de Informação vigente. |
8.1
Equipe cadastrada no Sistema de Cadastro Nacional de Estabelecimentos de
Saúde e atualiza os dados do sistema vigente. |
Equipe cadastrada e atualiza os dados
no sistema vigente. |
Equipe cadastrada, mas não atualiza os
dados no sistema vigente de forma adequada ou não sabe informar. |
Equipe não cadastrada. |
|
Fonte: Própria autora, a partir da base de dados da pesquisa documental,
2022.
Para a construção dos indicadores e a realização da avaliação dos
programas de saúde, é preciso considerar as particularidades do trabalho nesse
campo e de seu produto, que é fruto da inter-relação entre usuário e
trabalhador da saúde, além do processo de trabalho que se constitui de forma
coletiva e interdisciplinar. De acordo com a fala da Liderança do MNPR, é
preciso considerar algumas particularidades da vida na rua na relação entre a
equipe e o usuário:
E a nossa relação com
eles é uma relação com a rua, não para a rua. Tá? Porque, com a rua, você tá com a rua; para a rua, você acaba violentando. Só que
esse foi um grande processo [...] Entender toda essa complexidade, né?, entender que tu vai combinar uma coisa e tu vai ter que
recombinar de novo. Não pode ficar cobrando o porquê você não vem. Pra quem tá na rua, tem vários porquês, muitas vezes ele não
consegue tá lá na consulta, não consegue tá lá no ponto marcado pelo
Consultório na Rua que combinou contigo (Liderança MNPR).
A “[...] persistência acolhedora [...]” (Duarte, 2019, p. 6) é uma estratégia criada através do processo
de trabalho e experiência dos (as) trabalhadores (as) da saúde no espaço da
rua, por meio de diversas aproximações estimuladas com a PSR nos territórios.
Além do objetivo de construir vínculo e confiança, essas aproximações são
pensadas com base nos dados da realidade, considerando o “[...] processo de
rualização [...]” (Prates; Prates; Machado, 2011, p. 194), da liminaridade
(Varanda, 2009) e do estigma vivenciado por essa população, assim como as
particularidades dos indivíduos e grupos e as características dos territórios.
Além da sensibilidade a respeito do tempo singular na construção de
vínculo e confiança na inter-relação entre usuário e trabalhador da saúde, é
preciso considerar a violência frequente – violência institucional e estrutural
- sofrida por essa população, seja por meio das práticas de remoções aplicadas
pelo Estado, seja pela discriminação sofrida quando necessita acessar os
serviços públicos. Essa população, muitas vezes, passa a apresentar resistência
e desmotivação para buscar atendimento nos serviços de saúde, dada a falta de
acolhimento e à hostilidade dos trabalhadores de saúde com a população em
situação de rua, usuária de substâncias psicoativas principalmente (Oliveira,
2009). Constantemente imersa em situações de violência, a PSR apresenta desconfiança
com a presença de serviços que representem o poder público.
Esses determinantes acarretam uma característica de morosidade no
alcance de resultados nos processos de cuidado em saúde, que reverberam na
construção dos indicadores, entendidos em seus aspectos quantitativos e
qualitativos. Por isso é intenção deste estudo construir indicadores
alternativos que garantam a análise dessas particularidades tanto da
formulação, como da execução e avaliação dessas políticas específicas.
Entretanto, os desafios de propor indicadores alternativos no processo
avaliativo são diversos. Um deles está relacionado à existência de diferentes
perspectivas teórico-metodológicas tanto da avaliação de políticas,
especificamente na saúde, quanto do cuidado em saúde à PSR. Na saúde, há uma
disputa de racionalidades técnicas no campo, com predomínio do modelo médico
hegemônico e de práticas tradicionais. A disputa de diferentes
racionalidades e modelos assistenciais presentes historicamente na operacionalização
do SUS é experimentada pelos sujeitos envolvidos no
processo de implementação do CnaR. Isso ocorre visto que, apesar da
consolidação do SUS se apoiar em modelos assistenciais sustentados pelo
princípio da universalidade e da concepção ampliada de saúde, esse processo
enfrenta grandes desafios com a realidade dos serviços públicos de saúde
imbuídos de práticas fragmentadas, baseadas no modelo de medicina curativo e
privatista. Dessa forma, é preciso considerar que a implementação do
CnaR e a formulação de indicadores alternativos têm encontrado um terreno de
disputa entre paradigmas epistemológicos.
Reside aí a importância da nossa opção teórica neste estudo pela
perspectiva de totalidade que busca uma análise da realidade considerando seu
movimento concreto e suas contradições. Essa opção teórica repercute na escolha
entre as técnicas e os procedimentos tomados pelo(a) avaliador(a)
pesquisador(a), à luz da metodologia adequada ao processo investigativo que
contemple essa análise crítica que leva em consideração as múltiplas
determinações que compõem a totalidade social.
CONCLUSÃO
Em relação ao processo de construção da pesquisa, é importante destacar,
inicialmente, os desafios encontrados na apreciação de indicadores de
implementação do Programa. As inconsistências nos documentos oficiais para a
operacionalização, assim como a inexistência de indicadores, trouxeram grandes
desafios para o processo avaliativo, o que demandou construir parâmetros para
tal. Para isso, na fase inicial do processo metodológico, a pesquisa documental
nos permitiu identificar a estrutura e os requisitos mínimos para o
funcionamento do Programa.
Já na segunda fase do processo metodológico para a construção do Quadro
1, serviu para que pudéssemos agrupar e adaptar os critérios elegidos como
essenciais para a avaliação da implementação do CnaR. Por isso, a participação
e a fala dos sujeitos entrevistados – trabalhadores(as), coordenadores(as) e
liderança do MNPR - foram fundamentais nesse processo.
É preciso reconhecer o êxito com a quantidade de respostas que obtivemos
na coleta de dados por meio do questionário, com a resposta de 42% dos(as)
trabalhadores(as) convidados(as), além dos(as) coordenadores(as) e liderança do
MNPR. Esse resultado demonstra a disposição dessas pessoas em participar e
corroborar os processos avaliativos e as pesquisas científicas no campo, o que
garante ao estudo certa confiabilidade e representatividade, indo na contramão
de um histórico de monitoramento e avaliação marcado por um lugar de
especialistas. Tal histórico interfere ainda hoje, em razão do desconhecimento
desses processos por parte da maioria dos(as) trabalhadores(as), gestores(as) e
usuários(as) das políticas.
Concluímos que a construção de indicadores tem encontrado um terreno de
disputas entre racionalidades de modelos assistenciais em saúde, o que exige
ainda mais a consistência da operacionalidade para alcance dos objetivos. Por
isso, tem-se a importância de indicadores alternativos que permitam captar e
traduzir, em termos operacionais, as dimensões da particularidade do trabalho
em saúde direcionado à PSR.
Nesse sentido, apesar das particularidades do universo pesquisado,
acreditamos que este trabalho possa contribuir com novos estudos avaliativos no
campo da implementação de políticas e programas, principalmente no campo da
saúde e na construção de indicadores alternativos.
REFERÊNCIAS
AGUILLAR, M. J.; ANDER-EGG, E. Avaliação
de serviços e programas sociais. São Paulo: Vozes, 1994.
ARREGUI, C. O debate sobre a produção de indicadores sociais
alternativos: demandas por novas formas de quantificação. Serviço Social & Sociedade, n. 111, p. 529-554, 2012. https://doi.org/10.1590/S0101-66282012000300008.
Acesso em: 20 abr. 2022.
ARRETCHE, M. T. S. Uma contribuição para fazermos avaliações menos
ingênuas. In: BARREIRA, M. C. R. N.; CARVALHO, M .C.
B. Tendências e perspectivas na
avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP, 2001. p. 43-55.
ARRETCHE, M. T. S. Tendências no estudo sobre avaliação. In:
RICO, E. M. (Org.), Avaliação de
Políticas Sociais: Uma questão em
debate. São Paulo: Editora Cortez, 2007. p. 29-39.
BARDIN, L. Análise de conteúdo. Lisboa, Portugal:
Editora 70, 1979.
BRASIL. Ministério do
Desenvolvimento Social e Combate a Fome. Decreto nº 7.053 de 23 de dezembro de 2009.
Institui a Política nacional para a população em situação de rua e seu comitê
intersetorial de acompanhamento e monitoramento, e dá outras providências.
Brasília (DF), 2009a.
BRASIL. Ministério do
Desenvolvimento Social e Combate a Fome. Portaria
nº 3.305, de 24 de dezembro de 2009. Institui o comitê técnico de saúde
para a população em situação de rua. Brasília (DF), 2009b.
BRASIL. Ministério da Saúde. DATASUS. Cadastro Nacional de Estabelecimento de Saúde – CNES, 2022. Brasília (DF), 2022. Disponível em: http://cnes2.datasus.gov.br. Acesso em: 20
abr. 2022.
BRASIL. Ministério da Saúde. Portaria n°
122 de 25 de janeiro de 2011. Define
as diretrizes de organização e funcionamento das Equipes de Consultório na Rua. Brasília (DF),
2011a. Disponível em: saude.gov.br. Acesso em: 18 dez. 2022.
BRASIL. Ministério da
Saúde. Portaria n° 3.088, de 23 de dezembro de 2011. Institui a Rede de
Atenção Psicossocial para pessoas com sofrimento ou transtorno mental e
com necessidades decorrentes do uso de crack, álcool e outras drogas, no
âmbito do Sistema Único de Saúde (SUS). Brasília (DF), 2011c. Disponível em:
saude.gov.br. Acesso em: 18 dez. 2022.
BRASIL. Ministério da
Saúde. Portaria n° 123 de 25 de janeiro de 2012. Define os
critérios de cálculo do número máximo de equipes de Consultório na Rua (eCR)
por Município. Brasília (DF), 2012a. Disponível em: saude.gov.br. Acesso em: 18
dez. 2022.
BRASIL. Ministério da
Saúde. Resolução nº 2, de 27 de fevereiro de 2013. Define diretrizes e
estratégias de orientação para o processo de enfrentamento das iniquidades e
desigualdades em saúde com foco na psr no âmbito do sus. Brasília (DF), 2013.
Disponível em: saude.gov.br. Acesso em: 18 dez. 2022.
BRASIL. Ministério da
Saúde. Portaria n° 1.238, de 6 de junho de 2014. Valor do incentivo.
Brasília (DF), 2014. Disponível em: saude.gov.br. Acesso em: 18 dez. 2022.
BRASIL. Ministério da
Saúde. Portaria de consolidação nº 6, de 28 de setembro de 2017.
Incentivo financeiro. Brasília (DF), 2017a. Disponível em: saude.gov.br. Acesso
em: 18 dez. 2022.
BRASIL. Ministério da
Saúde. Portaria de consolidação n° 2, de 28 de setembro de 2017.
Brasília (DF), 2017b. Disponível em: saude.gov.br. Acesso em: 18 dez. 2022.
BRASIL. Ministério da
Saúde. Decreto n° 9.761 de 11 de abril de 2019. Alterações na Política
nacional sobre drogas. Brasília (DF), 2019. Disponível em: saude.gov.br. Acesso
em: 18 dez. 2022.
BRASIL. Ministério da
Saúde. Portaria nº 3.588, de 21 de dezembro de 2017. Altera as portarias
de consolidação n° 3 e nº 6, de 28 de setembro de 2017, para dispor sobre a
rede de atenção psicossocial, e dá outras providências. Brasília (DF), 2017d.
Disponível em: saude.gov.br. Acesso em: 18 dez. 2022.
BRASIL. Ministério da
Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Manual
sobre o cuidado junto à população em situação de rua. Brasília (DF): MS,
2012b.
BRASIL. Ministério da Saúde. Portaria Nº 2.488 de 21 de outubro e 2011. Aprova
a Política Nacional de Atenção Básica, estabelecendo a revisão de diretrizes e
normas para a organização da Atenção Básica, para a Estratégia Saúde da Família
(ESF) e o Programa de Agentes Comunitários de Saúde (PACS). Brasília (DF),
2011b. Disponível em: saude.gov.br. Acesso em: 18 dez. 2022.
BRASIL. Ministério da
Saúde. Portaria nº 2.436, de 21 de setembro de 2017. Aprova a Política
Nacional de Atenção Básica, estabelecendo a revisão de diretrizes para a
organização da Atenção Básica, no âmbito do Sistema Único de Saúde (SUS).
Brasília (DF), 2017c. Disponível em: saude.gov.br. Acesso em: 18 dez. 2022.
CRESWELL, J. W. Projeto de pesquisa: métodos qualitativo,
quantitativo e misto. Porto Alegre: Artmed, 2010.
DRAIBE, S. M. Avaliação de implementação: esboço de uma metodologia de
trabalho em políticas públicas. In: BARREIRA, M.
C. R. N.; CARVALHO, M
.C. B. Tendências e perspectivas na avaliação de
políticas e programas sociais.
São Paulo: IEE/PUC-SP, 2001.
DUARTE, A. H. C. O Acolhimento em saúde no espaço da rua: estratégias de
cuidado do Consultório na Rua. Textos
& Contextos, Porto Alegre, v. 18, n. 2, e34306, 2019. Disponível em: https://revistaseletronicas.pucrs.br/ojs/index.php/fass/article/view/34306.
Acesso em:
20 abr. 2022.
DUARTE, A. H. C. Avaliação
da implementação do Programa Consultório na Rua na região
sul do país. Tese (Doutorado em Serviço Social e Política
Social) - Universidade Estadual de Londrina, Londrina, 2022.
MACHADO, M. P. M. As práticas dos
consultórios na rua: perspectivas
para o monitoramento e avaliação do campo. Tese (Doutorado em Saúde Coletiva) -
Universidade do Estado do Rio de Janeiro, Rio de Janeiro, 2021.
NÚCLEO DE ESTUDOS DE POLÍTICAS PÚBLICAS. Análise Qualitativa dos
Programas Inovadores do Comunidade Solidária. Caderno de Pesquisa,
Campinas: Unicamp,
NEPP, n. 42, 1999.
OLIVEIRA, M. Consultório de rua: relato de uma experiência. 2009.
Dissertação (Mestrado em Saúde Pública)- Programa de Pós-Graduação do Instituto de Saúde
Coletiva da Universidade Federal da Bahia, Salvador, 2009.
PEREIRA, P. A. P. Reestruturação perversa dos fundamentos éticos da política social: do
ethos solidário à moral egoísta. In: PEREIRA, P. A. P. Ascensão da nova direita e colapso da
soberania política: transfigurações
da política social. São Paulo: Editora Cortez; Politiza. 2020. [EPUB].
PIERANTONI, C. R.; VIANNA A. L. Avaliação de processo na implementação
de políticas públicas: a implantação do sistema de informação e gestão dos
recursos humanos em saúde no contexto de reformas setoriais. PHYSIS: Revista
de Saúde Coletiva, Rio de Janeiro, v. 13, n. 1, p. 59-92, 2003.
PRATES, F. C.; PRATES, J. C.; MACHADO, S. A. Populações em situação de
rua: os processos de exclusão e inclusão precária vivenciados por esse
segmento. Revista Temporalis,
Brasília (DF), v. 11, n. 22, p. 191-215, 2011.
SILVA, M. O. S. Pesquisa
avaliativa: aspectos
teóricos-metodológicos. São Paulo: Veras Editora; UFMA: Grupo de
Pesquisa de Avaliação e Estudo da Pobreza e de Políticas Direcionadas à Pobreza
(Gaepp), 2013.
SILVA, P. L. B. et al (Org.). Modelo de Avaliação de Programas Sociais Prioritários: relatório final. Campinas: Nepp,
Unicamp, 1999.
TANAKA, O. Y.; MELO C. Reflexões sobre a avaliação em serviços de saúde
e a adoção das abordagens qualitativas e quantitativas. In: BOSI, M. L.
M.; MERCADO, F. J. (Org.). Pesquisa qualitativa de serviços de saúde.
São Paulo: Editora Vozes, 2007. p. 121-136.
TRIVIÑOS, A. N. S. Introdução à
Pesquisa em Ciências Sociais: a
pesquisa qualitativa em educação. São Paulo: Atlas, 2007.
VARANDA, W. Liminaridade, bebidas
alcoólicas e outras drogas: funções
e significados entre moradores de rua. Tese (Doutorado em Saúde Pública)
- Universidade de São Paulo, São Paulo, 2009.
_______________________________________________________________________________________________
Afrânnia Hemanuelly Castanho DUARTE Trabalhou
na concepção, redação e revisão do artigo, e na análise e interpretação dos
dados.
Possui graduação em
Serviço Social pela Universidade Estadual de Londrina (UEL, 2009). Egressa do
Programa de Residência Integrada Multiprofissional em Atenção Hospitalar pelo
Hospital de Clínicas da UFPR - (UFPR, 2012). Mestre em Serviço Social pela Pontifícia
Universidade Católica do Rio Grande do Sul (PUCRS, 2018). Doutora em Serviço
Social e Política Social pela UEL (2022). Atualmente exerce o cargo de
professora no Departamento de Serviço Social da UEL, e de Assistente Social na
Prefeitura Municipal de Cambé (PR).
Líria Maria Bettiol LANZA Trabalhou na
concepção e delineamento do artigo, e na sua revisão crítica.
Assistente Social.
Doutora em Serviço Social. Docente do Departamento de Serviço Social e do
Programa de Pós-Graduação em Serviço Social e Política Social da Universidade
Estadual de Londrina. Tem experiência na área de Serviço Social e saúde, com
ênfases no acesso, exercício e formação profissional; trabalho cooperado,
imigração e o território nas políticas sociais. Coordena o Grupo de Pesquisa
(CNPq) Serviço Social e Saúde, formação e exercício profissional.
________________________________________________________________________________________________
_arquivos/image006.png){kind=small}