Martina Rillo Otero

• Qual a importância da avaliação na área cultural?
• Como construir indicadores culturais e mensurar a mudança cultural?
• Como as políticas culturais influenciam a construção e o uso dos indicadores?
• Quais os principais desafios da avaliação na área cultural?

Para dialogar sobre essas questões e apresentarem suas experiências, estiveram presentes Mauricio Trindade da Silva (gerente adjunto do Centro de Pesquisa e Formação do Sesc São Paulo), Gabriela Aidar (coordenadora dos Programas Educativos Inclusivos da Pinacoteca de São Paulo) e Liliana Sousa e Silva (Assessora Técnica na Unidade de Monitoramento da Secretaria da Cultura do Estado de São Paulo).

O evento foi uma realização do Instituto Fonte e da Rede Brasileira de Avaliação e Monitoramento. Contou com participação de cerca de 60 pessoas, entre consultores e profissionais do campo social e cultural. Realizado em 09 de junho, na Biblioteca de São Paulo, no Parque da Juventude.

Destaques do debate: “Como as organizações devolvem os dados para os públicos que fizeram parte da avaliação?”, “Como mobilizar os diferentes públicos para participar da avaliação?”, “Como a avaliação é capaz de mudar a cultura da própria organização?”, “Como avaliar a mudança?”, “ Como a área da cultura está envolvida com os Planos de Cultura?”

Na avaliação dos convidados, há uma dificuldade da área da cultura em dizer o que quer e onde pretende chegar. Isso dificulta muito o trabalho avaliativo nesse campo. De forma geral, há uma escassez de dados e números e pouco se mede, por exemplo, da dimensão econômica da cultura.

No caso de projetos formativos, como forma de medir as competências adquiridas pelos educadores, por exemplo, foi destacado que a clareza dos objetivos facilitaria muito. Outro ponto importante tratou do cuidado necessário com regras e modelos de monitoramento, indicadores fixos. “É necessário respeitar as características de cada equipamento. Os instrumentos não servem para todos. O avaliador também precisa soltar a criatividade e construir instrumentos criativos”, explicaram.

O grande desafio da unidade de monitoramento da Secretaria Estadual de Cultura é criar um vocabulário convergente, capaz de garantir uma mesma linguagem para as diferentes ações no âmbito estadual, tarefa não tão simples no campo dos indicadores. “Precisamos cada vez mais de bons dados. Para isso, temos que criar um bom sistema”, explicou Liliana.

No caso do Sesc, Maurício descreveu que foi utilizado um software de análise qualitativa, o MaxQDA, que permite verificar categorias recorrentes com vocabulário controlado. “Com isso, chegamos ao resultado de quatro eixos de análise: Sesc e a Cidade, temporalidades, gerações e pertencimento (acolhimento)”, contou. Mas o gestor também enfatizou a importância da criatividade na hora do levantamento dos dados.

Prestação de contas: Muitas organizações e iniciativas, e seus gestores, consideram o processo avaliativo uma prestação de contas. E isso cria uma certa resistência. Os convidados falaram sobre a importância de ultrapassar esse preconceito e reforçar a percepção de que a avaliação é importante para o aprimoramento da organização como um todo. A medição pode estar relacionada a questões muito importantes organização ou do projeto como aquisição de conhecimentos, transformação de atitudes e valores, promoção da criatividade, mudança de atividades e comportamentos do próprio projeto.

Abaixo, algumas opiniões de participantes e expositores sobre o debate. No final, é possível acessar os conteúdos das apresentações de cada palestrante:

“Gostei muito das intervenções, que me motivaram a pensar no meu próprio trabalho, pois temos o desafio de criar indicadores para os projetos e observar esse impacto mais subjetivo das aprendizagens. Então, foi muito interessante escutar os casos e pensar como colocar em prática a avaliação. E saiu um pouco do lugar teórico, com uma discussão de estudos de casos, possível de relacionar com o nosso trabalho, nosso dia a dia”. Anna Galhardo, Vocação

“Pra mim, está sendo uma oportunidade muito rica e instigante discutir esse tema da avaliação e dos indicadores culturais, fundamental para pensar nossa prática dentro das instituições e relegada a um segundo plano, quando deveria estar no início, no meio e no fim de nossas ações. Tudo o que a gente puder fazer para fortalecer essas iniciativas de avaliação é válido. É muito legal ver tanta gente motivada a discutir isso”. Gabriela Aidar

“Essa discussão é fundamental pois permeia todas as ações que a gente faz, e nos faz refletir se os resultados que esperamos estão sendo desenhados e alcançados. Estamos sendo assertivos? Estamos no caminho certo? Então a discussão é muito salutar nesse sentido, na minha opinião”. Sueli Mota, Gestora da Biblioteca de São Paulo e Biblioteca Parque Villa Lobos

“Eu acho um evento desse extremamente importante. Digo isso pelo meu percurso. Eu fiz meu doutorado em Indicadores Culturais, finalizei em 2007 e não tinha interlocutores aqui no Brasil. Minha carreira está correndo em paralelo com a profissionalização da gestão cultural. Minha preocupação é mais metodológica do que de resultados. Já tive a oportunidade de participar de encontros da RBMA em que eu estava sozinha como interlocutora da área cultural. Espero que seja um passo de inserção da cultura para discutir essas questões.” Liliana Sousa e Silva 

“Eu tenho interesse na área de avaliação pois acompanho projetos interessantes. Vejo que há uma dificuldade na captação quando a gente não consegue “números”. Então, sinto que um dos desafios é essa linguagem subjetiva de muitos projetos diante de financiadores que procuram uma linguagem mais objetiva e numérica. Fico com a questão sobre o quanto conseguimos focar um olhar quantitativo em um projeto que tem várias questões subjetivas em sua essência. Estou atenta a participar de encontro que desmistificam o que os livros trazem, como o que foi debatido referente à padronização de indicadores”. Valéria Freitas, administradora com especialização na área cultural

“Pensando nos desafios, a minha avaliação é que os projetos, as políticas, as ações, mesmo as pontuais até aquelas mais abrangentes, elas já devem ser pensadas, desde o início, numa perspectiva de avaliação, com objetivos que não estejam distante de uma realidade, entre aspas, capaz de ser medida. A gente fala da cultura de uma maneira muito abstrata, de efeitos abstratos, pessoais até, que são difíceis de medir. Mas pensando formatos capazes de se aproximar da avaliação, isso gera um ganho enorme no campo da cultura. Digo isso até por experiência de instituições que realizam projetos maravilhosos, com uma grande abrangência, mas a avaliação acaba sendo muito restrita, relacionada a um ou outro evento. Não dá uma visão de conjunto do que tem sido feito. Um desafio é esse, você pensar do início ao fim um processo de avaliação. E que não precisa ser final e relacionado aos objetivos. Pode estar relacionado ao jeito que o projeto é construído, tratado, dialogado, que leve em conta o envolvimento de todas as partes, desde quem está pensando o programa até quem está utilizando”. Maurício Trindade da Silva

Para acessar o conteúdo das apresentações, clique nos nomes dos palestrantes: 

Mauricio Trindade da Silva é doutorando em Sociologia da Cultura pela USP e gerente adjunto do Centro de Pesquisa e Formação do Sesc São Paulo. Abordará a metodologia empregada numa investigação (que se encontra em fase final) sobre os públicos frequentadores do Sesc, abrangendo as unidades da capital e do interior. A especificidade dessa metodologia de pesquisa sobre públicos pode contribuir para a discussão sobre as problemáticas no campo da avaliação.

Gabriela Aidar é especialista em Estudos de Museus de Arte pelo Museu de Arte Contemporânea, em Museologia pelo Museu de Arqueologia e Etnologia (ambos da USP) e titulada em Master of Arts in Museum Studies (Universidade de Leicester, Inglaterra). Atualmente coordena os Programas Educativos Inclusivos da Pinacoteca de São Paulo.A apresentação de Gabriela abordará a pesquisa avaliativa feita pelo Núcleo de Ação Educativa da Pinacoteca para um curso de formação para educadores sociais desenvolvido há 12 anos pelo museu, a partir de dados quantitativos e qualitativos da trajetória dessa formação e de seus participantes, afim de contribuir para a reflexão acerca de seus impactos.

Liliana Sousa e Silva é socióloga, doutora em Cultura e Informação pela ECA/USP. Desenvolve estudos e pesquisas em políticas culturais e gestão cultural, além de prestar consultoria a instituições e programas culturais. Atualmente é Assessora Técnica na Secretaria da Cultura do Estado de São Paulo. Abordará alguns dos desafios enfrentados na construção de indicadores para monitoramento e avaliação das ações executadas no âmbito da parceria da SEC SP com Organizações Sociais de Cultura.

Para ler a reportagem publicada no Portal Setor3, clique aqui.