L'avaluació com a prova de les polítiques culturals

  
  
  
Aquest document de Thibault Brodaty s'inscriu en un moment en què l'avaluació de les polítiques públiques comença a adquirir un paper central dins l'administració francesa. La reforma constitucional de 2008 havia atribuït explícitament al Parlament la funció d'avaluar les polítiques públiques i el debat es desplaçava progressivament des del control administratiu cap a l'anàlisi dels seus efectes reals.

L'autor parteix d'una idea aparentment simple que és molt rellevant per a les polítiques culturals actuals: comptar activitats, pressupostos o beneficiaris no és avaluar una política. Aquestes dades descriuen què s'ha fet, però no permeten saber si la intervenció pública ha produït els efectes que pretenia aconseguir. L'avaluació d'impacte exigeix respondre una pregunta molt més difícil: què hauria passat si aquella política no s'hagués aplicat?
  

▌ L'avaluació d'impacte intenta reconstruir el camí que la realitat no va seguir per estimar l'efecte propi d'una política pública.
  

Aquí apareix el principal repte metodològic. La situació alternativa, el denominat contrafactual, és per definició inobservable. No és possible observar simultàniament una mateixa persona, empresa o institució havent rebut i no havent rebut la intervenció pública. Per aquest motiu, l'avaluació no consisteix simplement a comparar beneficiaris i no beneficiaris, ja que aquests grups solen tenir característiques diferents des de l'inici. Les tècniques economètriques intenten reconstruir aquesta situació hipotètica per aïllar l'efecte propi de la política i distingir la causalitat de la simple correlació.

Brodaty estableix també una distinció útil entre diferents tipus d'avaluació. L'avaluació administrativa comprova si una política s'ha aplicat correctament i quantes persones n'han estat beneficiàries. L'avaluació d'impacte, en canvi, analitza si aquella intervenció ha modificat realment els comportaments o els resultats que justificaven la despesa pública. Aquesta diferència és especialment significativa en cultura, un àmbit on sovint es confonen activitat i efectivitat.

Per il·lustrar aquesta perspectiva, l'autor presenta tres polítiques culturals molt diferents, cadascuna vinculada a una metodologia específica d'avaluació. El primer cas és el segell Librairie Indépendante de Référence (LIR), creat per reforçar les llibreries independents davant l'augment de la competència. L'interès no és saber quantes llibreries han estat distingides, sinó determinar si el segell ha contribuït realment a millorar-ne la rendibilitat. Per respondre aquesta pregunta s'utilitza el mètode de les dobles diferències, que compara l'evolució de les llibreries etiquetades i les no etiquetades abans i després de la implantació del programa.

El segon exemple correspon al programa École et cinéma, destinat a desenvolupar el gust pel cinema entre els infants. La dificultat consisteix a separar l'efecte del programa del fet que les escoles participants poden tenir característiques educatives o socials diferents de les que no hi participen. L'autor mostra com les variables instrumentals permeten identificar una font de variació externa que expliqui la participació en el programa sense influir directament en el comportament cultural posterior dels joves. L'objectiu és estimar si l'experiència viscuda a l'escola incrementa realment l'assistència al cinema anys més tard.

El tercer cas analitza el crèdit fiscal audiovisual, orientat a afavorir que els rodatges es desenvolupin a França. En aquest cas s'utilitza la metodologia de la regressió amb discontinuïtat, aprofitant el llindar que determina l'accés al programa. La comparació entre projectes molt semblants situats just per sobre i just per sota d'aquest llindar permet aproximar-se a una situació gairebé experimental i estimar millor l'impacte real de l'ajut sobre la localització de la producció audiovisual.

L'aportació més valuosa del text no és tant la descripció de les tres tècniques economètriques com el canvi de perspectiva que proposa. L'autor recorda que l'avaluació només és possible si les dades necessàries s'han previst abans de posar en marxa la política. Sense informació longitudinal, variables de context i sistemes estables de recollida de dades, qualsevol intent d'avaluació quedarà limitat a la descripció dels resultats aparents. L'avaluació no és, doncs, l'última fase d'una política pública, sinó una dimensió que cal incorporar des del seu mateix disseny.

Bona part dels sistemes d'indicadors continuen descrivint recursos, activitats i públics, mentre que resulta molt més excepcional disposar d'evidències sobre els efectes atribuïbles a les intervencions públiques. El text, però, també reflecteix un límit propi de l'enfocament economètric. Els exemples seleccionats corresponen a mesures amb objectius clarament delimitats i susceptibles de ser quantificats. Les polítiques culturals territorials acostumen a perseguir transformacions més complexes, relacionades amb la cohesió social, les capacitats institucionals o o l’accés i la participació en la vida cultural, on la identificació d'una relació causal única és molt més problemàtica. Això no invalida les metodologies presentades. Més aviat recorda que l'avaluació rigorosa necessita combinar aproximacions quantitatives i qualitatives per comprendre plenament el valor públic de la cultura.
  

Referència 

Brodaty, T. (2013). Évaluation des politiques publiques : trois illustrations dans le champ culturel. Département des études, de la prospective et des statistiques, Ministère de la Culture. 

Text complet (pdf) [2]