L’avaluació de les activitats i les polítiques culturals: kit d’idees clau per als gestors i gestores culturals

Els dies 7 i 8 de febrer va tenir lloc el curs online ‘L’avaluació de les activitats i les polítiques culturals’, organitzat pel CERC. Us n’hem preparat un resum de les idees clau que van aparèixer a la sessió, amb la voluntat de refermar la importància cabdal de l’avaluació en les polítiques culturals.

Per què hem d’avaluar?

Avaluar és l’acció d’analitzar, de manera molt àmplia una política, un programa o una intervenció pública. Hi ha diferents tipus d’avaluació: quantitativa, qualitativa o mixta. L’avaluació es veu de vegades com una cosa negativa, en el sentit que t’observaran, et supervisaran o bé et controlaran. Però l’avaluació, com subratllà Anna Villarroya [2] en la seva intervenció, ajuda a prendre decisions. 

El primer que cal preguntar-se és si s’ha solucionat el problema que tenim plantejat. I aquesta és la raó per la qual avaluem. Avaluar ens permet conèixer com es desenvolupen les polítiques públiques i el valor que aporten a la societat, sobretot pel que fa a la millora de la seva qualitat de vida. Es genera, així, coneixement sobre la política. L’avaluació permet millorar l’eficàcia de les nostres accions, així com la dels objectius. I així ens permet augmentar també l’eficiència de les polítiques i els programes.

L’avaluació farà possible la millora de la política cultural. Conèixer el procés ens ajudarà a prendre decisions i modificar les accions. De cara a la ciutadania ens permetrà millorar la qualitat de vida de les persones. I això és un deure que tenim envers la ciutadania. A més cal anar introduint els diferents progressos de la societat com avaluar amb perspectiva de gènere.

Anna Villaroya. Directora del Centre de Recerca en Informació, Comunicació i Cultura de la UB

Què ha de plantejar l’acció avaluadora?

Els indicadors ens ajuden a fer l’avaluació, que és del tot del necessària en la nostra tasca cultural. La planificació estratègica és fonamental i és la resposta a cinc preguntes bàsiques que cal formular-se davant dels problemes, tal com exposà Ramon Castells [2]: Què perseguim? A qui va dirigit el programa o activitat. Què farem? De quins recursos disposem? I per últim cal preguntar-se com farem l’avaluació del projecte.

En el sector privat l’indicador sol ser el benefici. Aquest no és el cas de l’administració, ja que es persegueixen fins socials i no lucratius, per tant l’avaluació és més complexa i heterogènia. Això suposa un esforç per ser més didàctics. Cal més estratègia i una millor gestió que les gestions lucratives. El sector públic es troba amb la dificultat d’arribar a un consens en relació als objectius i prioritats dels agents implicats. Els interessos poden ser diferents i fins i tot contraposats. I cal integrar tothom en els nostres projectes. Una altra dificultat està en la definició d’objectius i els problemes d’avaluar-los. Sovint no s’han definit bé els objectius i llavors no es poden mesurar.

Igualment cal confrontar els objectius a curt termini enfront dels de llarg termini. És del tot necessari el llarg termini, tot i els cicles electorals que marquen els projectes a les institucions públiques. El més important a l’hora d’avaluar un projecte és definir molt bé els objectius i què volem aconseguir.

L’objectiu principal de l’avaluació és aconseguir les tres E de la gestió pública, segons Drucker: eficàcia, eficiència i efectivitat. L’eficàcia consisteix a fer les coses de manera correcta, assolint els objectius que ens hem marcat. Té a veure amb quines coses es fan i amb l’assoliment dels objectius. Es té en compte el resultat, sense tenir en compte els recursos. L’eficiència mesura si s’aconsegueix els resultats programats utilitzant de manera adequada els recursos. L’efectivitat, per la seva banda, és l’anàlisi de la qualitat dels objectius, planejant-los de manera adequada.

No es pot mesurar allò que no està planificat. Per mesurar amb indicadors cal tenir uns objectius previs. Cal una planificació prèvia i no es pot gestionar allò que no es pot mesurar. Si no es pot mesurar la gestió, llavors és inútil perquè no es pot mesurar. El procés de la gestió ha d’incloure la mesura. I no hem de confondre les dades amb els indicadors, ja que les dades són les que ens forneixen els indicadors.

Què són els indicadors?

Es tracta d’eines que permeten monitoritzar els objectius proposats. La dada és informació que pot servir-nos per crear un indicador. L’indicador és mesurable i observable, i per tant pot servir per veure els progressos d’un programa cap a l’objectiu que volem assolir. El detall en la definició dels objectius és el principal. També és necessari fer una bona definició de cadascuna de les dades que es recullen per evitar confusions o múltiples interpretacions.

Els indicadors serveixen per fer el seguiment i l’avaluació d’una política en diferents moments, comptant amb informació actualitzada i precisa.

Els indicadors han de ser SMART, és a dir aquella eina que permet avaluar i determinar el progrés d’un projecte i activitat. Per ser-ho han de tenir aquestes característiques: han de ser específics i mesurar aspectes concrets.

• Han de ser mesurables, mesurant allò que es persegueix.
• S’han de poder processar i fer comparables les mesures en diferents moments o diferents persones.
• Han de ser pertinents, és a dir adreçar-se a aspectes rellevants del projecte.
• I per últim han de ser oportuns, en el sentit que la informació necessària per calcular l’indicador ha d’estar disponible en el moment que es requereixi.

Els indicadors han de permetre comparar resultats i ser rigorosos, tot evitant els judicis de valor i la subjectivitat. També s’han d’ajustar als canvis que es puguin produir a llarg termini i preservar la pluralitat de les fonts. I hem de recordar que la seva missió és la millora de gestió del projecte.

La importància dels recursos per a l’avaluació

Durant la sessió es van presentar diverses experiències sobre avaluació i també algunes publicacions i recursos. Guillem Miralles i Xavier Gómez [2], tècnics de cultura del Centre d’Estudis i Recursos Culturals (CERC), ens han parlat de l’experiència de l’avaluació des del CERC.

Guillem Miralles ha subratllat que des del CERC s’impulsen diferents accions per introduir la pràctica de l’avaluació, una de les quals son estudis d’impacte dels esdeveniments culturals, amb una metodologia [3] pròpia, endegada amb la col·laboració d’EURECAT. En una primera fase l’interès se centrà a recollir impactes en dimensions com ara el factor cultural, hàbits culturals i percepció d’impacte. En segon lloc, trobem una dimensió social, que inclou les polítiques de gènere i la relació entre els participants. També l’impacte mediambiental i la salut, sense oblidar la part econòmica i també la governança i la comunicació. Tot això amb anàlisi quantitativa i qualitativa, entrevistes amb entitats i agents, que aportin informació qualitatiu, a banda de les dades. S’ha fet l’estudi de l’impacte del carnaval de Terra Endins de Torelló [4], així com el carnaval de Vilanova i la Geltrú [5] i està en curs de realització el del festival Revela’t de Vilassar de Dalt. Aquest suport es pot demanar al CERC, a través del Catàleg de Serveis [6] del CERC.

Els objectius de l’avaluació pel que fa als Plans Estratègics Culturals consisteixen a establir i posar en funcionament els mecanismes d’implementació dels plans i establir prioritats a través dels Plans d’Acció. També cal treballar en els espais de treball i les eines de seguiment i avaluació d’aquests treballs de planificació estratègica. En aquest sentit s’ha fet un estudi sobre la implementació del Pla Estratègic d’Educació i Cultura de Centelles [7], així com la implementació del PAC de Cabrera de Mar, que està actualment en procés.

El CERC ha endegat fa poc un treball per fer una selecció d’indicadors per a utilitzar en els diferents assessoraments. Concretament s’han incorporat 42 indicadors, adequats per a municipis entre 10.000 i 30.000 habitants. Hi ha quatre blocs que inclouen dades d’estructura, econòmiques, etc. i la voluntat és que acabi derivant cap a un document de referència per als ens locals.

Xavier Gómez, per la seva banda, ens ha presentat els Cercles de Comparació Municipal [8], en què s’analitzen els serveis públics en cultura de 24 municipis de la Província de Barcelona. És un mètode d’avaluació, adreçat als ens locals i orientat a la millora dels serveis públics a través de l’ús d’indicadors i intercanvi d’experiències. Molts dels problemes de la tasca avaluadora  tenen a veure amb l’ús inadequat de les dades, o bé amb la consideració de l’avaluació com una qüestió secundària. La fase de mesura de Cercles té lloc cada any, tot recollint les dades a través d’un qüestionari que té a veure amb el recull de variables generals, de centres culturals polivalents, de centres d’art, d’espais de creació, de cicle festiu i per últim les dades de tipus econòmic.

Per la seva banda, Juana Escudero [2] ens ha recordat que avaluar sempre és fer un judici de valor. Avaluar és comparar el resultat obtingut amb el resultat esperat, per establir el valor d’un procés o un mètode. S’avalua per fer millor les coses i per prendre decisions adequades. Per avaluar cal una planificació prèvia. Avaluar mai no és neutral, encara que sigui objectiu.

També ens ha presentat la Nueva guia para la evaluación de las políticas culturales locales [9], la qual recull molts indicadors, en el context d’una de canvis, amb l’agenda 2030 i la Nova Agenda Europea per a la Cultura, establerta el 2018 per la Comissió Europea. La nova guia incorpora dimensions com la igualtat, la sostenibilitat i la connectivitat i les relacions en xarxa del sistema cultural. La nova guia abasta, al mateix temps, àmbits com ara la satisfacció dels drets culturals de la ciutadania, la relació entre la cultura i el sistema econòmic, la cultura i l’articulació social, la salut, el benestar i l’educació.

 ____________________________________________________________________