Afin de relever le défi de cette évaluation d’impacts d’un programme d’aide à l’innovation, les directions « prospective et recherche » et « entreprises et transitions industrielles » de l’ADEME ont choisi de combiner une double approche quantitative et qualitative.
Partager
La partie quantitative de la méthode consistait en la mise en évidence d’un lien causal entre l’attribution de l’aide à une entreprise et l’évolution de son activité. Plusieurs dimensions de l’activité de l’entreprise ont été étudiées : les dépenses en R&D, le nombre de dépôts de brevets, l’emploi et les performances économiques. La méthodologie utilisée s’inspire des standards de la littérature économétrique sur l’effet des aides à la R&D. Elle se base sur une démarche quasi expérimentale où il s’agit de réaliser un travail en doubles différences, en comparant les performances des entreprises bénéficiaires à celles d’entreprises non bénéficiaires choisies pour leur similarité. Deux groupes de contrôle ont été testés, choisis selon une procédure d’appariement utilisant un score de propension. Cette méthodologie présente certaines limites : il a notamment été difficile de trouver un contrefactuel crédible pour les grandes entreprises, particulièrement nombreuses parmi les partenaires des projets. Les résultats ne portent donc que sur la participation des PME et des ETI aux projets. La partie qualitative, à dimension sociologique, reposait sur le croisement et l’exploitation d’informations issues de trois instruments de collecte de données :
1. Une enquête administrée en ligne auprès de l’ensemble des bénéficiaires de projets soldés (398 projets). L’enjeu était ici de collecter des données relatives aux apports de l’aide, aux résultats obtenus par les projets et à leurs impacts socio-économiques et environnementaux.
2. Un approfondissement des résultats sous la forme de 54 études de cas, choisies pour assurer une diversité de projets (montant de l’aide, nombre de partenaires, thématique, succès commercial ou échec de développement).
3. Une contre-expertise des travaux à travers l’organisation de cinq panels d’experts, l’un transversal d’experts académiques et quatre thématiques réunissant industriels et chercheurs spécialisés dans les filières techniques concernées (transports, bâtiment, énergie, économie circulaire), complétée par quatre ateliers d’experts ADEME.
La qualité de la démarche a été assurée par une prise en compte claire des biais inhérents à ce type de méthode (non-représentativité statistique et moindre objectivité des données…) à la fois dans la conception et le déploiement de chaque outil mobilisé conformément aux standards méthodologiques des sciences sociales. De plus, l’approche générale repose sur plusieurs gages de fiabilité :
• la triangulation des données (chaque conclusion provient systématiquement du croisement de trois sources d’information) ;
• la transparence et la traçabilité des analyses ;
• la collégialité et la contradiction des résultats (travail encadré par une instance d’évaluation pluraliste, avis d’un panel d’experts indépendants sur la qualité et la portée des résultats).
Enfin, les résultats obtenus par chacune des deux méthodes ont été systématiquement confrontés au fur et à mesure de leur production. Le jugement évaluatif définitif a ainsi pu être établi sur une base dense de résultats.