Introduction
A. Objectif du rapport
L'objectif de ce rapport est de présenter les résultats de l'évaluation formative du Bureau de l'ombudsman de l'approvisionnement (BOA). L'évaluation porte sur les activités du BOA de 2008-2009 à 2010-2011.
B. Méthode
L'évaluation formative a été menée en deux étapes. L'objectif de la première étape était de préparer un rapport sur la méthode d'évaluation, et celui de la deuxième étape, d'effectuer une évaluation formative complète. Pour préparer le rapport sur la méthode d'évaluation, nous avons :
- pris connaissance de divers documents pour nous familiariser avec les activités et les résultats escomptés du Bureau de l'ombudsman de l'approvisionnement;
- examiné le modèle logique intégré au cadre d'évaluation élaboré par le Bureau de l'ombudsman de l'approvisionnement;
- discuté initialement avec des représentants du BOA du modèle logique intégré au cadre d'évaluation. À partir de ces discussions, nous avons conçu, aux fins de l'évaluation, un modèle logique qui reflète plus fidèlement les résultats escomptés du BOA;
- passé en revue les questions d'évaluation contenues dans le cadre d'évaluation préparé par le BOA. Nous avons modifié certaines questions pour tenir compte des résultats escomptés figurant dans le nouveau modèle logique et en avons reformulé d'autres pour réduire le chevauchement et orienter l'évaluation formative;
- cerné les indicateurs et les sources de données les plus appropriés pour répondre aux questions et régler les enjeux liés à l'évaluation;
- préparé une nouvelle grille d'évaluation en fonction des résultats obtenus aux étapes précédentes;
- déterminé la méthode d'évaluation et les méthodes connexes qui devraient être utilisées pour l'évaluation formative du BOA;
- préparé un plan d'analyse des données pour déterminer les méthodes devant être utilisées pour analyser les données d'évaluation et la manière de synthétiser les données provenant de sources multiples pour traiter chaque aspect de l'évaluation;
- créé des outils méthodologiques et des instruments de collecte de données pour procéder à l'évaluation formative du BOA;
- préparé un rapport méthodologique décrivant la méthode requise pour procéder à l'évaluation formative du Bureau de l'ombudsman de l'approvisionnement.
La deuxième étape des travaux consistait à réaliser l'évaluation formative conformément au rapport sur la méthode élaboré à la première étape. Les méthodes suivies dans le cadre de l'évaluation formative sont décrites dans les paragraphes suivants.
1. Enquête auprès des fournisseurs
Une enquête a été menée auprès de fournisseurs qui avaient communiqué avec le BOA, à l'aide d'un questionnaire en ligne puis d'appels téléphoniques visant à obtenir la participation des fournisseurs n'ayant pas rempli le questionnaire. La population visée par l'enquête se composait de fournisseurs et de représentants de fournisseurs qui avaient fait une demande ou déposé une plainte auprès du BOA au cours de la période s'échelonnant de 2008-2009 à 2010-2011. La source de données utilisée pour déterminer la population de fournisseurs et de représentants de fournisseurs est la liste complète des fournisseurs tenue par le BOA. Cette liste comptait 548 fournisseurs, représentants de fournisseurs et associations de fournisseurs. Toutefois, certains fournisseurs étaient inscrits plus d'une fois, et les coordonnées manquaient pour plusieurs autres, ce qui a fait en sorte que nous n'avons pas pu obtenir l'adresse courriel de ces derniers ni même les contacter par téléphone pour obtenir leurs adresses de courriels. Une fois ces fournisseurs supprimés de la liste, la population totale des fournisseurs pour lesquels une adresse de courriel et un numéro de téléphone avaient été fournis est passée à 342. Nous avons envoyé un courriel à tous les fournisseurs figurant sur la nouvelle liste. Le courriel, rédigé dans les deux langues officielles et comportant un lien vers le questionnaire en ligne (offert également en anglais et en français) a été envoyé aux 342 fournisseurs. Cependant, 67 adresses de courriels n'étaient plus valides. Nous avons tenté de communiquer avec les fournisseurs dont l'adresse n'était pas valide par téléphone, et nous avons réussi à obtenir de nouvelles adresses pour 20 d'entre eux. Par conséquent, le nombre total de fournisseurs à qui un courriel, contenant un lien vers le questionnaire en ligne, a été envoyé est passé à 295.
Au départ, 99 des fournisseurs à qui le courriel a été envoyé ont rempli le questionnaire. Seize fournisseurs ont refusé de remplir le questionnaire. En vue d'augmenter le taux de participation, nous avons fait parvenir aux personnes qui n'avaient pas encore participé un courriel de rappel chaque semaine pendant trois semaines. Nous avons aussi communiqué par téléphone avec les personnes qui n'avaient pas encore participé pour les inciter à remplir le questionnaire en ligne ou à répondre aux questions dans le cadre d'un entretien téléphonique avec un représentant de Ference Weicker & Company. Nous avons tenté de joindre ces fournisseurs à au moins six reprises soit par téléphone soit par courriel. En tout, 164 fournisseurs ont rempli le questionnaire, ce qui correspond à un taux de participation de 56 %. Ce taux fait en sorte que la pertinence statistique des résultats de l'enquête est satisfaisante (intervalle de confiance de 5,1 et niveau de confiance de 95 %).
2. Enquête auprès des fonctionnaires de l'administration fédérale
Une enquête a été menée auprès de fonctionnaires de l'administration fédérale à l'aide d'un questionnaire en ligne et d'appels téléphoniques afin d'augmenter le taux de participation. La population visée par l'enquête se composait de fonctionnaires de l'administration fédérale qui avaient pris part à un examen de pratiques d'approvisionnement mené par le BOA, au traitement de plaintes, aux enquêtes ou aux processus de règlement extrajudiciaire des différends (RED) entrepris par le BOA. Nous avons supprimé de la liste les personnes dont l'adresse de courriel n'avait pu être obtenue ni dans les Services d'annuaires gouvernementaux électroniques (SAGE) du gouvernement du Canada ni en communiquant avec ces personnes par téléphone. La liste finale comptait 137 fonctionnaires. Nous avons envoyé à ces fonctionnaires un courriel en français et en anglais comportant un lien vers le questionnaire en ligne (offert également dans les deux langues officielles). Cependant, 25 des adresses de courriel n'étaient plus valides. Nous avons tenté de joindre par téléphone les fonctionnaires dont l'adresse n'était pas valide, et nous avons réussi à obtenir de nouvelles adresses pour 10 d'entre eux. Par conséquent, le nombre total de fonctionnaires de l'administration fédérale à qui un courriel, contenant un lien vers le questionnaire en ligne, a été envoyé est passé à 122.
Au départ, 42 des fonctionnaires à qui le courriel a été envoyé ont rempli le questionnaire. Trois personnes ont refusé de remplir le questionnaire. En vue d'augmenter le taux de participation, nous avons fait parvenir aux personnes qui n'avaient pas encore participé un courriel de rappel chaque semaine pendant trois semaines. Nous avons aussi communiqué avec les personnes qui n'avaient pas encore participé par téléphone pour les inciter à remplir le questionnaire en ligne ou à répondre aux questions dans le cadre d'un entretien téléphonique avec un représentant de Ference Weicker & Company. En tout, 68 fonctionnaires de l'administration fédérale ont rempli le questionnaire, ce qui constitue un taux de participation de 56 %. Ce taux de participation fait en sorte que la pertinence statistique des résultats de l'enquête est satisfaisante (intervalle de confiance de 7,9 et niveau de confiance de 95 %).
Sur les 68 fonctionnaires interrogés, 22 étaient des employés de TPSGC; les 46 autres travaillaient au sein d'autres ministères et organismes gouvernementaux. Le nombre de fonctionnaires de TPSGC interrogés est relativement important par rapport aux autres ministères et organismes, parce que de nombreux examens des pratiques d'approvisionnement visaient des activités menées par TPSGC, ministère qui offre des services communs d'achat de biens et de services à l'ensemble de l'administration fédérale.
3. Entrevues avec les principaux répondants
Nous avons interrogé les principaux répondants (31 personnes de l'interne et de l'externe) afin de recueillir de l'information sur les questions d'évaluation pertinentes. Ces entrevues nous ont aussi aidés à mettre en contexte les résultats obtenus au moyen des autres méthodes de collecte de données. Les répondants qui ont participé aux entrevues appartenaient à diverses catégories. Les catégories et le nombre de répondants consultés dans chacune sont indiqués au tableau 1.1. Nous avons mené des entrevues auprès de responsables des achats de l'administration fédérale et de fournisseurs concernés par une enquête découlant d'une plainte reçue par le BOA ou par un processus de RED. Dans la mesure du possible, nous avons interrogé les responsables des achats de l'administration fédérale et les fournisseurs touchés par le même dossier afin d'obtenir les deux points de vue.
| Catégorie de répondant | Nombre d'entrevues |
|---|---|
| Employés et cadres actuels et anciens du BOA | 5 |
Responsables des achats de l'administration fédérale ayant pris part à un examen des pratiques d'approvisionnement, à une enquête ou à un processus de RED |
9 |
Fournisseurs concernés par les enquêtes ou les processus de RED du BOA |
5 |
Cadres supérieurs de l'administration fédérale |
7 |
Autres parties intéressées (associations professionnelles, associations du secteur privé, etc.) |
5 |
| Total | 31 |
4. Examen des documents et des dossiers
Nous avons examiné les documents et les dossiers nécessaires à l'évaluation de la pertinence et du rendement du BOA.
5. Analyse documentaire
Nous avons passé en revue les renseignements disponibles sur la pertinence du BOA et le contexte dans lequel il mène ses activités. De plus, nous avons examiné la documentation sur les pratiques exemplaires en approvisionnement des organisations de l'administration fédérale.
6. Examen d'organisations semblables dans d'autres juridictions
Enfin, nous avons étudié attentivement la documentation et l'information obtenue sur Internet sur des organisations semblables dans d'autres juridictions. Ainsi, nous avons examiné les activités d'organisations du même type au Canada et dans des pays comme l'Australie, la Nouvelle-Zélande, le Royaume-Uni et d'autres pays européens. Une fois les informations recueillies, nous avons comparé le BOA et ces organisations.
C. Difficultés et limites
La non-réponse a nuit aux enquêtes menées dans le cadre de l'évaluation formative. Il y a non-réponse lorsque les caractéristiques des personnes qui participent à une enquête sont nettement différentes de celles des personnes qui n'y participent pas. Dans cette enquête, il y avait un risque de non-réponse parce que les personnes qui ont choisi de ne pas y participer ont probablement fait ce choix pour les mêmes raisons, soit l'inaccessibilité, l'indifférence ou le manque d'intérêt envers l'évaluation, ou encore une mauvaise compréhension des objectifs de l'enquête.
Pour accroître le taux de participation et réduire le risque de non-réponse, nous avons clairement expliqué le but de l'enquête aux fournisseurs et aux fonctionnaires de l'administration fédérale interrogés. Nous leur avons fourni plusieurs moyens de répondre au questionnaire et nous avons tenté de les joindre à différents moments de la journée, à au moins six reprises par téléphone ou par courriel, afin de les encourager à participer à l'évaluation. En outre, nous avons compilé les résultats de multiples façons selon différentes caractéristiques propres aux fournisseurss en vue de déterminer l'effet sur les résultats globaux du faible taux de participation obtenu dans certains sous-groupes.
D. Structure du rapport
Le chapitre 2 présente un portrait sommaire du Bureau de l'ombudsman de l'approvisionnement. Le chapitre 3 présente les constatations et les conclusions liées à chacune des questions utilisées pour réaliser l'évaluation formative. Le Canada est titulaire du droit d'auteur sur le matériel. © Sa Majesté la Reine du chef du Canada (2012).
- Date de modification :