«Policies should make people’s lives better. Officials should not rely on intuitions, interest groups, polls or dogmas. In a nutshell: quantitative cost-benefit analysis is the best available method for assessing the effects of regulation on social welfare»
Cass Sunstein. The Cost-Benefit Revolution. The MIT Press, 2018.
Una cosa es el impacto de una política pública sobre la producción y el empleo, y otra bien distinta es su efecto neto sobre el bienestar social. En la literatura sobre evaluación económica suele diferenciarse entre appraisal y evaluation para referirse a la evaluación ex ante y ex post respectivamente. Así, the social appraisal of a public policy es lo que denominamos evaluación económica o social[1] ex ante.
La metodología de evaluación económica de la que nos ocupamos en estas páginas se centra en como las propuestas de intervención pública en los mercados, mediante proyectos o regulaciones diversas, pueden evaluarse antes de su aprobación, mediante la medición de sus efectos previsibles sobre el bienestar de los individuos (welfare assesment), utilizando valoraciones monetarias que reflejan la heterogeneidad e intensidad de las preferencias individuales (…y también la renta), incorporando análisis de riesgo y ponderando por razones de equidad. El contenido de esta entrada no incluye otras consideraciones que pueden ser determinantes para la aprobación de leyes, como por ejemplo la libertad o la lucha contra la discriminación racial.
Hay que insistir en que la evaluación económica ex ante es fundamental para informar el proceso de toma de decisiones sobre políticas que afectan significativamente al bienestar social, como son las inversiones en infraestructuras y todas las políticas de gasto público de cierta envergadura. También hay que insistir en que la herramienta económica para este fin es el Análisis Coste-Beneficio (ACB), utilizado en los países más avanzados y en agencias supranacionales. Reconociendo sus limitaciones y engañosa sencillez, el ACB contribuye a reducir la discrecionalidad política en la decisión de qué políticas públicas aplicar. No debe extrañar, por tanto, que encuentre resistencias para su inclusión como procedimiento habitual en la selección de proyectos y políticas en la Administración Pública.
En el caso de España, tenemos la reciente aprobación de la Ley de institucionalización de la evaluación de políticas públicas en la Administración General del Estado, normativa que si bien introduce la obligatoriedad de la evaluación económica en la Administración Pública, plantea muchas dudas y en lo que a esta entrada concierne, es difícil saber qué tiene el legislador en mente cuando habla de evaluación.[2]
Antes de pasar a los aspectos metodológicos, conviene recordar la trascendencia que tiene el marco institucional para impedir que la mejor metodología de welfare assesment quede en la irrelevancia (véase, por ejemplo, de la Fuente y Novales, 2023 y de Rus, 2023a). Muchas de las críticas sobre la poca influencia del ACB en las decisiones de los gobiernos yerran en la identificación de sus causas al no distinguir entre la metodología per se y el marco institucional en el que ésta se aplica (Flyvbjerg and Bester, 2021).
Una evaluación imparcial requiere evaluadores indiferentes en sus preferencias con respecto a los proyectos evaluados, o en su defecto, mecanismos que minimicen los sesgos, y por supuesto, independencia con respecto al Gobierno y a cualquier otro grupo de interés. Por eso es tan importante que exista una agencia independiente de evaluación. Si los políticos persiguen otros objetivos, como la maximización de la probabilidad de reelección, o están capturados por grupos de interés afectados por la intervención, el diseño institucional es al menos tan importante como la metodología. (ver Engel, Fischer y Galetovic, 2014).
En esta entrada tratamos de señalar algunos elementos centrales de la metodología de evaluación ex ante (ACB), con el fin de advertir sobre la confusión habitual en España entre lo que es el ACB y los estudios de impacto. En castizo, para evitar que nos den gato por liebre.
La evaluación económica de políticas públicas no debe confundirse con los estudios de impacto, habituales en la justificación política de muchas obras públicas en el pasado reciente en España. La evaluación social ex ante de la intervención requiere centrar los esfuerzos de identificación y medición de beneficios y costes con el fin de determinar el efecto neto de la política evaluada en términos de bienestar. El impacto sobre el valor añadido bruto, el empleo, el efecto multiplicador, etc., no es el objetivo del ACB. Aunque el efecto multiplicador de la renta y del empleo de una inversión pública es un impacto real del gasto público, no debe incluirse en el cálculo del beneficio social neto cuando el multiplicador de dicho gasto es similar al de su alternativa, sea ésta el caso base u otra opción de intervención mutuamente excluyente.
Los funcionarios públicos y los analistas emplean diferentes aproximaciones para la evaluación de proyectos y políticas. La opción más completa es el ACB. En su definición más simple, es la manera de pensar del economista. En su sentido más amplio “… es el proceso de clasificar las opciones de política desde un punto de vista económico, teniendo en cuenta tanto sus beneficios como sus costes” (Boadway, 2006).
Los costes y beneficios de algunas actividades son más sencillos de valorar que los de otras. En el caso de los servicios e infraestructuras de transporte, el ACB se ha desarrollado de manera extraordinaria, generándose un sólido cuerpo de teoría y evidencia que permite evaluar con cierta garantía una gran cantidad y variedad de proyectos con elevada financiación pública (véase de Rus, et al, 2023).
El ACB es el método que utilizamos los economistas para evaluar los cambios netos de bienestar generados por una propuesta de política pública en comparación con el contrafactual. Esto requiere, en primer lugar, un marco analítico en el que los criterios de medición se deriven del análisis económico en lugar de la recopilación, más o menos afortunada, de fórmulas procedentes de distintos análisis, muchas veces incompatibles entre sí. Un informe de evaluación riguroso no es fácil de realizar y desde otras disciplinas (e.g. la ingeniería) ha sido habitual que en España se realicen informes (e incluso manuales para ministerios y empresas públicas) basados en la aplicación de criterios de medición dudosos que no responden a un modelo analítico explicito y que adolecen de debilidades notorias, fruto de la ausencia de una base económica rigurosa[3], que no puede ser otra que el equilibrio general y la economía del bienestar, además de la utilización concienzuda de técnicas econométricas.
La evaluación social de las políticas públicas es un instrumento económico para mejorar la eficiencia del gasto público. El ACB contribuye a la mejora de la eficiencia del gasto público con bajo coste. Insistimos en que requiere una modelización económica previa junto a un conocimiento preciso de la actividad a la que se va a aplicar. Hay que partir del problema que se quiere resolver y del conjunto de alternativas factibles. Hay que incluir a todos los afectados, respetando sus preferencias, incluso sobre los bienes para los que no hay mercado. Cuando hay incertidumbre sobre parámetros esenciales, en el ejercicio de evaluación se deben utilizar rangos de valores con sus probabilidades respectivas, para obtener la distribución de probabilidad de la rentabilidad social de la intervención.
Un primer paso para ver qué es el ACB y por qué es socialmente útil consiste en entender su carácter incremental. Sólo cuentan los cambios con respecto al contrafactual. El valor de la actividad asociada al proyecto, que es una simple relocalización de una actividad ya existente, por ejemplo, en otra región dentro de la nación, sin ganancias de eficiencia, no se incluye como beneficio social. También pueden ignorarse los efectos que son comunes con el contrafactual. Este es el caso de los efectos inducidos de los modelos computables de equilibrio general utilizados para medir el impacto en el valor añadido y el empleo de los proyectos de inversión. Si el proyecto y la siguiente mejor alternativa comparten dichos efectos, no deberían incluirse en el beneficio social neto del proyecto.
Un segundo paso es entender que el ACB no es un enfoque de equilibrio parcial en el sentido de que todo permanece constante más allá del mercado primario. La demanda de mercado observable ya incorpora los ajustes en otros mercados relacionados, de manera que es posible medir cambios en el mercado donde se produce la intervención que incorporan efectos de equilibrio general en todos los mercados afectados para evaluar los efectos en el bienestar. (Just et al, 2004; Chetty, 2009; Kleven 2018). La decisión de limitarse a medir los efectos de la política en el mercado primario es acertada cuando en el resto de los mercados no hay distorsiones, o en el caso de que existan, si puede presumirse que son similares a dichos efectos en el contrafactual (de Rus, 2023b).
En cualquier caso, nada impide al evaluador incluir en el análisis otros mercados estrechamente relacionados con el primario y que presentan distorsiones significativas. El hecho de que, bajo ciertas condiciones, particularmente el que los precios se ajusten continuamente para equiparar la oferta y la demanda, es posible aproximar los efectos netos sobre el bienestar centrándose en el mercado primario (o grupo de mercados) simplifica las cosas. «A menudo, no estamos interesados en un único mercado, sino en un grupo de bienes que están fuertemente interrelacionados en los gustos de los consumidores […] o en las tecnologías de las empresas. En este caso, estudiar un mercado por separado mientras se mantienen otros precios fijos ya no es un enfoque útil porque lo que importa es la determinación simultánea de todos los precios en el grupo. Sin embargo, si los precios de los bienes fuera del grupo pueden considerarse no afectados por los cambios dentro de los mercados para este grupo de bienes, y si no hay efecto renta para los productos básicos en el grupo, entonces podemos extender gran parte del análisis…” (Mas-Colell et al., 1995, p.342).
En un trabajo reciente (de Rus et. al., 2023) fruto de la colaboración FEDEA-IVIE-AIReF[4] se presenta la metodología descrita para el caso de infraestructuras y servicios de transporte. Elaboramos un modelo sencillo del que se extraen los criterios y reglas de medición de los beneficios y costes de intervenciones en los mercados de transporte. Aplicamos esta metodología a la evaluación de inversiones ferroviarias y a una política de subvenciones al transporte aéreo. También analizamos la relación entre la fijación de precios y la inversión en el contexto de la evaluación económica, y en sus consecuencias para la configuración de equilibrios irreversibles a largo plazo que no serían óptimos con otros sistemas de tarificación.
En España, partimos de una situación muy pobre y con mucha confusión sobre lo que es la evaluación ex ante en un sentido estricto. Sin embargo, contamos con excelentes investigadores en econometría que garantizan una base sólida para la evaluación ex post (véase Jimeno, 2021 y Pedraja, 2022), y también para el ACB, al proporcionar estimaciones fiables de causalidad y por tanto de los efectos de intervenciones en campos diversos. Hay expertos en diferentes universidades y centros de investigación en nuestro país que la futura agencia nacional de evaluación debería coordinar, creando así un cuerpo potente de evaluadores sobre la base del equilibrio general y la economía del bienestar. Sin dicha base común, los evaluadores no hablarán la misma lengua y la confusión conceptual actual continuará. Sin marco analítico común cualquier cosa puede llamarse evaluación.
La evaluación hay que hacerla bien, y la nueva agencia española de evaluación tiene la oportunidad de ajustarse a las exigencias metodológicas de identificación y medición del efecto neto en el bienestar social, abandonando las metodologías de evaluación espurias. Sólo así tiene sentido el esfuerzo de montar una nueva estructura de evaluación ex ante en España. Hacer esto y establecer lazos con los centros internacionales donde se desarrollan las mejores prácticas son pasos necesarios para mejorar los efectos de la intervención pública y recuperar la credibilidad de las instituciones. Especular con pseudo evaluaciones basadas en los impactos locales sobre la producción y el empleo es añadir nuevos procedimientos administrativos estériles con su correspondiente coste económico y reputacional.
Referencias
Boadway, Robin (2006), “Principles of Cost-Benefit Analysis”. Public Policy Review, Vol.2, No.1: 1-44.
Dávila, Eduardo, and Andreas Schaab (2022), “Welfare Assessments with Heterogeneous Individuals”. Working Paper 30571. NBER.
de la Fuente, Ángel y Alfonso Novales (2023), “El marco institucional para la evaluación de políticas públicas en España”, en Jorge Onrubia (coordinador), Calidad de las finanzas públicas: el papel de la evaluación. Ekonomiaz N.º 103, 1º semestre: 37-51.
de Rus, Ginés (2023a), “El valor social de la evaluación económica de las políticas públicas” en Jorge Onrubia (coordinador), Calidad de las finanzas públicas: el papel de la evaluación. Ekonomiaz N.º 103, 1º semestre:: 52-77.
de Rus (2023b), “The Economic Appraisal of Projects”, en CBA and CGE Methods: Cost-Benefit Analysis for the Social Appraisal of Projects. European Investment Bank Institute. Luxembourg.
de Rus, Ginés, Pilar Socorro, Jorge Valido and Javier Campos (2023), Economic Evaluation of Transport Projects. Springer Verlag, Heidelberg.
Engel, Eduardo, Ronald D. Fischer y Alexander Galetovic (2014), The Economics of Public-Private Partnerships. Cambridge University Press.
Flyvbjerg, Bent and Dirk W. Bester (2021), “The Cost-Benefit Fallacy: Why Cost-Benefit Analysis Is Broken and How to Fix It”. Journal of Benefit-Cost Analysis; Volume 12 , Issue 3 , Fall: 395 – 419.
Jimeno Serrano, Juan Francisco (2021), coordinador. La evaluación de las políticas públicas en España: recursos, metodologías y algunos ejemplos. Cuadernos Económicos de ICE, Nº 122.
Johansson, Per-Olov and Bengt Kriström (2016), Cost– Benefit Analysis for Project Appraisal, Cambridge University Press.
Pedraja Chaparro, Francisco (2022), coordinador. Evaluación de políticas públicas. Papeles de Economía Española. Nº 172.
(*) Agradezco a Ángel de la Fuente sus comentarios y sugerencias
[1] “Económica”, “social” o “socio-económica” se utilizan indistintamente en esta nota, así como en muchos de los trabajos publicados dentro del marco conceptual y analítico de la economía del bienestar. Algunos distinguen entre social y económica, dependiendo de si se utilizan o no ponderaciones por razones de equidad, aunque no es lo habitual. Si bien la evaluación económica (o social) debería incluir ponderaciones individuales; en la práctica, los efectos redistributivos suelen recibir menos atención por diversas razones, aunque quizás la más plausible sea simplemente la dificultad de su medición. No obstante, esto no impide complementar los efectos de eficiencia con alguna medición incompleta de los efectos redistributivos (Boadway, 2006).
[2] El texto de la ley de institucionalización de la evaluación de políticas públicas no menciona el ACB ni una sola vez. Una visión crítica de dicha ley puede verse aquí.
[3] Dávila y Schaab (2022) y Johansson and Kriström (2016) son ejemplos de marco analítico para la evaluación económica ex ante.
[4] La investigación a la que nos referimos se basa en el informe técnico encargado a los autores por la Autoridad Independiente de Responsabilidad Fiscal (AIReF) para la Revisión del Gasto en Infraestructura de Transporte. Fue financiado por la UE a través del Programa de Apoyo a las Reformas Estructurales (SRSS). Refleja únicamente las opiniones de los autores y no implica una posición política de la Comisión Europea o de la AIReF, ni se responsabiliza del uso que pueda hacerse de la información que contiene.
Foto: Hernán Piñera. Creative Commons.
