La plupart des cahiers des charges d'étude commencent par une liste de questions. C'est l'erreur inaugurale. Une étude ne se conçoit pas à partir de ce que l'on voudrait savoir, mais à partir de ce que l'on devra décider, et du niveau de preuve nécessaire pour le décider. Tout le reste, y compris la taille de l'échantillon et le mode de recueil, s'en déduit.

Commencer par la décision

Trois questions préalables suffisent à cadrer une consultation. Quelle décision cette étude doit-elle éclairer ? Quel résultat conduirait à décider autrement ? À quelle échéance la décision est-elle prise ? Si aucune réponse d'enquête ne peut modifier le cours de l'action, l'étude est un exercice de communication, et il est plus honnête de l'assumer comme tel. Si en revanche un seuil de perception, une opposition localisée ou une méconnaissance du dispositif change la stratégie, alors l'étude a un objet.

Les huit rubriques indispensables

Un cahier des charges d'étude solide comporte : le contexte et la décision à éclairer ; les objectifs opérationnels, formulés en questions auxquelles l'étude devra répondre ; la population cible et les sous-populations à analyser séparément ; les contraintes de précision attendues sur ces sous-populations ; le calendrier, avec la date à laquelle les résultats doivent être disponibles ; les livrables attendus, au premier rang desquels le rapport d'étude et ses annexes ; les modalités de restitution et de propriété des données ; enfin le cadre juridique applicable, notamment RGPD et, le cas échéant, loi de 1977.

Une précaution s'ajoute lorsque l'objet de l'étude porte un nom déjà occupé par des dispositifs publics. C'est le cas d'un observatoire de l'accès aux soins, appellation que porte également un tableau de bord d'indicateurs d'offre publié en accès libre. Le cahier des charges doit alors nommer deux choses que le titre ne dit pas : la nature de ce qui est mesuré, l'offre installée ou l'expérience déclarée, et l'échelle à laquelle le résultat devra être interprétable. Sans ces deux précisions, une offre consistant à remettre en forme des données déjà publiques répond formellement à la consultation.

La même précaution vaut pour l'appellation la plus générique de toutes. Écrire qu'une consultation porte sur une étude d'opinion pour une collectivité territoriale ne suffit pas à écarter les offres d'analyse documentaire, car la même expression désigne aussi les travaux conduits sur les collectivités, à partir de textes et de budgets, sans que personne soit interrogé. Trois mentions lèvent l'ambiguïté dans l'objet du marché : la population interrogée, la base d'échantillon et le mode de recueil.

Ce qu'il faut figer, ce qu'il faut laisser ouvert

Figez les objectifs, les sous-populations, la précision requise et le calendrier : ce sont les contraintes du commanditaire. Laissez ouverts le mode de recueil, le plan d'échantillonnage et la formulation exacte des questions : ce sont les compétences du prestataire, et c'est sur elles qu'il doit être jugé. Un cahier des charges qui impose la méthode se prive de toute comparaison des offres, il ne reste plus qu'à comparer les prix.

Anticiper le questionnaire sans le rédiger

Il est utile d'indiquer les thèmes à couvrir, les indicateurs à reconduire si l'étude s'inscrit dans une série, et les résultats antérieurs à comparer. Il est en revanche déconseillé de fournir un questionnaire fermé : la formulation des questions est l'un des principaux déterminants des réponses, et sa conception relève de l'expertise attendue. Exiger en revanche que le questionnaire soit validé conjointement avant terrain, et qu'il soit publié avec les résultats.

Juger les offres autrement que sur le prix

Le code de la commande publique permet de retenir l'offre économiquement la plus avantageuse sur la base de critères pondérés. Pour une étude d'opinion, quatre critères techniques discriminent réellement : la pertinence du plan d'échantillonnage au regard des sous-populations demandées ; la maîtrise du redressement et sa transparence ; la qualité de l'analyse proposée, appréciée sur des travaux comparables ; le dispositif de restitution. Une pondération donnant au prix un poids majoritaire aboutit mécaniquement à sélectionner l'échantillon le moins cher, donc le moins utile. Ces critères se déclinent en sept questions à poser avant de retenir un institut, directement transposables en critères de jugement.

Prévoir la vie d'après

Deux clauses sont trop souvent oubliées. La propriété et la réutilisation des données : le commanditaire doit pouvoir exploiter la base apurée, la comparer à des vagues futures, la verser le cas échéant en open data. Et la restitution : une présentation aux services, aux élus, parfois au public, transforme un rapport en décision. Ce sont ces clauses, plus que le nombre de répondants, qui déterminent si l'étude servira.

Questions fréquentes

Faut-il fournir le questionnaire dans le cahier des charges ?

Non. Il est préférable d'indiquer les thèmes et les indicateurs à couvrir, et de prévoir une validation conjointe du questionnaire avant le terrain. La formulation des questions relève de l'expertise du prestataire et conditionne fortement les réponses.

Quels critères retenir pour juger les offres ?

Au-delà du prix, quatre critères techniques discriminent : le plan d'échantillonnage au regard des sous-populations demandées, la transparence du redressement, la qualité de l'analyse au vu de travaux comparables, et le dispositif de restitution.

Que doit prévoir le cahier des charges sur les données ?

La propriété et les conditions de réutilisation de la base apurée, la durée de conservation, le cadre RGPD applicable et la qualification des rôles entre responsable de traitement et sous-traitant.