Cadre de gestion et de responsabilisation axés sur les résultats et cadre de vérification des espèces en péril : chapitre 6
| Précédent | Table des matières | Suivant |
- 6.1 Méthode générale
- 6.2 Questions de l’évaluation
- 6.3 Méthodes d’évaluation
- 6.4 Moment de l’évaluation
- 6.5 Coûts de l’évaluation
Les études d’évaluation fournissent des renseignements, en plus de la surveillance continue, au sujet des aspects cruciaux des activités et des résultats du programme ainsi que de leur pertinence et des solutions de rechange possibles.
Étant donné que la mise en œuvre de la LEP et la gestion du Programme sur les espèces en péril sont effectuées par Environnement Canada, Pêches et Océans Canada et l’Agence Parcs Canada, les ministères désignés vont réaliser en collaboration les évaluations du Programme sur les espèces en péril. La Direction générale de la vérification et de l’évaluation d’EC dirigera la gestion des évaluations en étroite collaboration avec ses homologues de Pêches et Océans Canada et de l’Agence.
La méthode générale de surveillance et d’évaluation d’un programme porte sur les attentes, l’apprentissage et la modification par étapes. Cette méthode est déterminée par les modèles logiques des résultats du programme et les stratégies de mesure du rendement présentés aux sections 3 et 5.
Les étapes de l’étude d’évaluation sont les suivantes :
- collecte de données (plusieurs champs d’enquête pour chaque question d’évaluation);
- analyse et élaboration des conclusions;
- rencontres et consultations avec les ministères désignés afin d’examiner et de vérifier les constatations;
- élaboration des conclusions et des recommandations;
- production de rapports.
Le rapport d’évaluation résume les constatations d’après :
- les questions préparées pour l’évaluation;
- l’élément du cycle de protection des espèces en péril (résumé des constatations relatives à la conception, à la mise en œuvre et aux réussites);
- le ministère désigné (résumé des constatations relatives à la conception, à la mise en œuvre et aux réussites);
- les principaux mécanismes de soutien (efficacité de la gestion interministérielle, gouvernance fédérale, provinciale et territoriale, consultations avec les intervenants et éducation et sensibilisation du public).
Pour préparer les questions de l’évaluation, il faut tenir compte des facteurs suivants :
- les catégories d’enjeux du Secrétariat du Conseil du Trésor (pertinence, réussite et rapport coût-efficacité, conception et mise en œuvre) de même que les questions pertinentes du Comité d’examen des dépenses (CED);
- les modèles logiques des résultats concernant les espèces en péril et la stratégie de mesure du rendement;
- les conclusions de l’évaluation formative;
- les partenaires du programme, les Autochtones et les intervenants ainsi que l’importance de leur rôle dans l’obtention des résultats relatifs aux espèces en péril.
Les questions d’évaluation relèvent de quatre catégories générales :
- Justification : Cet enjeu détermine si le Programme sur les espèces en péril est toujours nécessaire. Il s’agit d’établir si on a besoin du programme pour appuyer la conservation et le rétablissement des espèces en péril et dans quelle mesure le programme facilite l’exécution du programme général de conservation.
- Conception et mise en œuvre : Cet enjeu et les questions qui l’accompagnent sont axés sur la méthode d’exécution du programme. Le programme peut être pertinent, mais sa mise en œuvre peut comporter des lacunes. Les questions qui relèvent de ce thème portent sur l’efficacité du programme dans sa forme actuelle, des structures de gouvernance et de la méthode d’exécution.
- Réussite et incidence du programme : Les questions qui relèvent de ce thème déterminent dans quelle mesure on a obtenu les résultats escomptés (qui sont indiqués par le modèle logique). Les indicateurs et la stratégie de mesure du rendement constituent l’élément central de cette évaluation.
- Rapport coût-efficacité et solutions de rechange : Les questions qui relèvent de ce thème examinent le coût de la mise en œuvre, dans le but de trouver des méthodes plus efficaces, dans la mesure du possible. Si l'on ne dispose pas d’un indicateur simple des résultats ou d’autres programmes servant de repère, la réponse à cette question sera de nature qualitative d’après les constatations et les conclusions formulées relativement aux questions touchant la conception, la mise en œuvre et la réussite du programme.
Le tableau 14 présente les enjeux et questions d’évaluation, les sources de données et les méthodes. Pour chaque question, on propose plusieurs sources de données afin d’améliorer la fiabilité et la validité de l’information de l’évaluation.
| Thème d’évaluation et questions | Source de données | Méthode de collecte des données et d’analyse |
|---|---|---|
| Justification du programme (Programme sur les espèces en péril) | ||
| Le gouvernement a-t-il un rôle légitime et nécessaire à jouer dans la protection et le rétablissement des espèces en péril? Le rôle actuel du gouvernement fédéral est-il adéquat ou des secteurs ont-ils besoin d’être remaniés avec les provinces, les territoires, etc.? Quelles activités peut-on transférer au secteur privé ou au secteur bénévole ou encore à un autre ordre de gouvernement? |
Documentation Gestionnaires de programme Experts Partenaires du programme Autochtones Intervenants du programme |
Examen de la documentation Entrevues Groupe d’experts |
| Conception et mise en œuvre du programme (pour chaque ministère, élément des espèces en péril) | ||
| Les rôles et les responsabilités du COSEPAC, des ministères désignés et des provinces et territoires dans la mise en œuvre de l’Accord et de la LEP sont-ils clairs? Un cadre de responsabilisation adéquat est-il en place? Les structures et les mécanismes de gouvernance favorisent-ils la collaboration interministérielle et intergouvernementale, et la cohérence dans l’application de la LEP? Dans quelle mesure les processus décisionnels et de planification permettent-ils un classement stratégique des espèces et la priorisation des activités? Dans quelle mesure doit–on recourir à des analyses portant sur plusieurs espèces et axées sur l’écosystème? Les consultations avec les partenaires, les Autochtones et les intervenants sont-elles efficaces? Les partenaires, les Autochtones et les intervenants ont-ils la possibilité d’apporter une contribution? Les politiques du Programme sur les espèces en péril favorisent–elles une exécution du programme et une mise en œuvre cohérentes de la LEP dans les ministères désignés? Un système efficace de surveillance du rendement est-il en place pour faciliter la gestion du programme et démontrer les résultats obtenus? La capacité globale (ressources) concorde-t-elle avec la conception du programme, la mise en œuvre et les attentes relatives aux résultats? Dans quelle mesure les risques du programme ont été efficacement gérés? La stratégie de gestion des risques est-elle adéquate? De nouveaux risques ont-ils fait leur apparition? |
Gestionnaires de programme Partenaires du programme Autochtones Rapport sur la situation du plan d’action interministériel Stratégie de mesure et indicateurs du programme |
Examen de la documentation du programme Entrevues Enquêtes Études de cas Atelier |
| Réussite et incidences du programme (pour chaque ministère désigné, par élément des espèces en péril) | ||
| Dans quelle mesure le Programme sur les espèces en péril a-t-il généré les produits escomptés? (Voir le tableau 13 pour la liste des produits et indicateurs.) | Stratégie de mesure du rendement (tableau 13) Gestionnaires de programme |
Évaluation des indicateurs du rendement Examen de la documentation du programme Entrevues Enquêtes |
| Dans quelle mesure a-t-on obtenu les résultats escomptés? (Voir le tableau 13 pour la liste des résultats escomptés et des indicateurs.) | Stratégie de mesure du rendement (tableau 13) Gestionnaires de programme Experts Partenaires du programme Autochtones |
Évaluation des indicateurs du rendement Entrevues Enquêtes Études de cas Atelier |
| Dans quelle mesure les gouvernements fédéral et provinciaux collaborent-ils à soutenir l’Accord et la Loi? Dispose-t-on de mécanismes efficaces pour coordonner la mise en œuvre (p. ex., des accords bilatéraux)? Les exigences obligatoires de la LEP ont-elles été respectées? Le but de la Loi est-il respecté? Quels sont les obstacles à la réussite? |
Gestionnaires de programme Experts Partenaires du programme Autochtones |
Entrevues Enquêtes Études de cas Atelier |
| Rapport coût-efficacité (Programme sur les espèces en péril) | ||
| Dispose-t-on de meilleures façons pour obtenir les résultats, y compris des solutions de rechange pour la mise en œuvre? Est-il possible d’améliorer l’efficacité? Dans quelle mesure la LEP et le Programme sur les espèces en péril complètent-ils ou font-ils double emploi avec d’autres lois fédérales ou des lois et programmes provinciaux ou territoriaux? Quelle est l’utilité d’une méthode portant sur plusieurs espèces et axée sur l’écosystème par rapport à une méthode ne s’adressant qu’à une seule espèce? Le Programme sur les espèces en péril est-il abordable dans son ensemble? Si ce n’était pas le cas, quelles activités ou quels programmes seraient annulés? |
Conclusions de l’évaluation, y compris l’influence du programme Données financières du programme Gestionnaires du Programme sur les espèces en péril des ministères désignés Gestionnaires provinciaux et territoriaux des espèces en péril |
Synthèse des conclusions de l’évaluation Analyses des coûts de la mise en œuvre; examen de la documentation du programme Entrevues Enquêtes Atelier |
Les méthodes d’évaluation de programme à envisager étaient les suivantes :
- Examen de la documentation du programme, des données administratives et de la documentation – Les documents du programme, comme les documents d’information sur les programmes, les procédures, les propositions de projet, les dossiers de projet et les autres documents vont aider les évaluateurs à prendre connaissance du programme et de sa progression, ainsi qu’à régler des problèmes particuliers. Les données administratives comprennent des protocoles d’entente, les procès-verbaux de réunion et des accords de contribution.
- Entrevues – On devra réaliser des entrevues approfondies (par téléphone et en personne) avec un large éventail de partenaires, d’Autochtones et d’intervenants. Il s’agit notamment de gestionnaires de programme et de membres du personnel, d’experts, de partenaires provinciaux et territoriaux, d’autorités responsables des accords sur les revendications territoriales, de groupes autochtones, d’entreprises privées, de participants aux projets et d’autres intervenants.
- Consultations avec les partenaires et les Autochtones du programme – En raison de l’importance des partenaires et des Autochtones pour la réussite du Programme sur les espèces en péril, des consultations approfondies (y compris des ateliers et des visites régionales) s’avéreront nécessaires.
- Enquêtes – Des enquêtes réalisées auprès des partenaires, des Autochtones et des intervenants du programme peuvent être utiles, car elles permettent de déterminer les points de vue de ces groupes d’envergure.
- Réunion d’un groupe d’experts – Un groupe d’experts peut servir à réunir divers points de vue sur la justification générale et la réussite du programme. Les experts peuvent, par exemple, avoir des connaissances scientifiques spécialisées ou encore une expérience de la mise en œuvre de programmes. Les participants doivent représenter tout l’éventail des partenaires, des Autochtones et des intervenants qui prennent part au Programme sur les espèces en péril.
- Atelier – On peut avoir recours à un atelier auquel prennent part des représentants des ministères désignés (de l’administration centrale et des bureaux régionaux) afin d'aider à préciser les constatations et de contribuer à l’analyse générale et aux conclusions.
- Études de cas – Les études de cas sont utiles pour l’évaluation plus en profondeur de certaines incidences et certains résultats du projet. Les études de cas qui comprennent un examen des documents du projet, des entrevues avec les gestionnaires de programme, les partenaires du projet, les Autochtones et d’autres intervenants sont utiles, car elles donnent des renseignements qualitatifs sur les résultats et sur les leçons retenues. On peut effectuer des études de cas pour examiner des enjeux horizontaux (p. ex., l’éducation et la sensibilisation du public ou les structures de gouvernance), des problèmes qui surgissent au cours de l’évaluation et des mesures prises au sujet d’espèces ou d’écosystèmes particuliers.
Le Parlement doit passer en revue la LEP cinq ans après son entrée en vigueur. L’examen quinquennal de la LEP doit débuter à l’été 2008.
Étant donné que l’évaluation formative du Programme sur les espèces en péril a été terminée en 2006, qu'elle a été réalisée aux stades initiaux de mise en œuvre du programme et que plusieurs recommandations ont été formulées, le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR) et le Cadre de vérification axé sur les risques (CVAR) du Programme sur les espèces en péril seront en place en 2007-2008 et l’examen des espèces en péril par le Parlement débutera à l’été 2008; l’évaluation des résultats du Programme sur les espèces en péril sera réalisée en 2010-2011 (soit cinq ans après l’évaluation formative, trois ans après l’établissement du CGRR et du CVAR et peut-être un an après l’examen par le Parlement, selon le moment auquel cet examen est effectué). Ainsi, les responsables du Programme sur les espèces en péril disposeront de suffisamment de temps pour apporter les modifications nécessaires conformément aux recommandations formulées à la suite de l’évaluation formative et peut-être à la suite de l’examen par le Parlement et pour recueillir des renseignements portant sur les indicateurs de rendement du CGRR et du CVAR sur une période d’au moins trois ans, qui sont essentiels pour la réalisation d’une évaluation valable et utile. De plus, les responsables du Programme sur les espèces en péril pourront demander au gouvernement, en 2011-2012, des fonds supplémentaires (le financement de cinq ans accordé par le gouvernement se termine en 2011-2012) en présentant à l’appui le rapport d’évaluation des résultats obtenus.
On élaborera un plan d’évaluation des résultats en 2009-2010, avant la réalisation de cette évaluation. Ce plan sera préparé par les ministères désignés. La Direction générale de la vérification et de l’évaluation d’EC dirigera la gestion du plan d’évaluation, en étroite collaboration avec ses homologues de Pêches et Océans Canada et de l’Agence.
Une somme estimée à 250 000 $ sera nécessaire pour réaliser le plan d’évaluation et entreprendre l’évaluation des résultats. Les fonds à consacrer à ce travail seront répartis proportionnellement aux fonds offerts à chaque organisation par le Programme sur les espèces en péril du gouvernement fédéral.
| Précédent | Table des matières | Suivant |
Détails de la page
- Date de modification :