Comment construire un panel de questions neutres pour un audit IA ?

Un panel de questions neutres se construit à partir des situations d’achat de vos clients, jamais à partir de votre marque. Chaque question décrit un besoin (découverte, comparaison, cadeau, budget, usage) comme un acheteur le formulerait devant un assistant d’IA, et demande un conseil. Aucune ne nomme votre marque, ses autres noms, vos concurrents ni leurs sites. Chaque thème reçoit le même nombre de questions. Texte, ordre, langue et lieu sont fixés avant la première collecte, puis gardés à l’identique d’une mesure à l’autre.

Cet article traite de l’écriture des questions ; le protocole d’ensemble (moteurs, passages, comptage) est décrit dans comment mesurer la visibilité d’une marque dans les IA.

Ce qu’un panel neutre doit garantir

Un panel est la liste des questions posées à chaque mesure, dans un ordre fixe, groupées par thème : un besoin d’achat, que d’autres pages appellent intention ou dimension (voir ce qu’est la visibilité IA d’une marque). Une question est neutre quand elle laisse au moteur le choix des marques : elle ne nomme personne, ne suppose aucune réponse et ne décrit pas une offre en particulier.

Le panel fait partie de la mesure, comme le moteur. Google l’écrit à propos de ses modèles Gemini : des mots ou une tournure différents donnent souvent des réponses différentes, même à sens égal. Un résultat ne vaut donc que pour les questions posées, dans leur texte exact.

Partir des situations d’achat

Méthode : du besoin à la question

1. Listez les situations. Pour chaque thème, notez les moments où un client hésite : le service client, les questions entendues en magasin et les requêtes de Search Console liées à ces besoins en fournissent la matière.
2. Écrivez le besoin et sa contrainte. Qui achète, pour quel usage, avec quelle limite : un budget, un trajet, un destinataire.
3. Demandez un conseil. La question appelle une recommandation de marques, de produits ou de services (« lesquels me conseillez-vous ? »). « Comment entretenir la batterie d’un vélo ? » demande un mode d’emploi, pas un choix : elle ne teste pas si le moteur conseille votre marque.

Ne nommer ni la marque ni ses concurrents

Nommer la marque, c’est glisser la réponse dans la question : on apprend comment le moteur la décrit, pas s’il l’aurait choisie. La règle vaut pour les concurrents : le même panel mesure toutes les marques, et aucune ne doit y être avantagée par son nom.

Les noms à exclure sont plus nombreux qu’il n’y paraît :

• le nom de la marque et ses autres noms : nom court, ancien nom, raison sociale, nom d’une gamme phare ;
• le nom que porte l’adresse de son site, qui la nomme sous une autre forme ;
• le nom de chaque concurrent et celui de son site ;
• les mots qui n’appartiennent qu’à une marque : une technologie déposée, une signature, un label maison.

Éviter les formulations qui orientent

La prémisse. « Pourquoi les vélos assemblés en France sont-ils plus fiables ? » pose une affirmation que la réponse n’a plus qu’à reprendre. Une recherche publiée par Anthropic en 2023 a observé que cinq assistants d’IA de l’époque tendaient à donner des réponses conformes aux opinions de l’utilisateur plutôt qu’exactes (sycophancy). Rien ne dit que les moteurs actuels le fassent encore ; une question sans opinion évite d’en dépendre.

Le portrait de sa propre offre. Une question qui aligne les arguments de votre fiche produit décrit votre produit, pas un besoin : elle mesure si le moteur reconnaît un signalement, pas si un acheteur viendrait à vous.

Exemple fictif : réécrire une question biaisée

Exemple fictif. Une marque imaginaire de vélos à assistance électrique, la marque V, relit son projet de panel.

La version neutre garde le besoin et la contrainte de l’acheteur, et retire tout ce qui désigne ou avantage une marque.

Équilibrer les thèmes

Dans un total, chaque thème pèse à proportion de ses réponses : un thème de huit questions compte deux fois plus qu’un thème de quatre. Donnez à chaque thème le même nombre de questions, et choisissez les thèmes d’après les besoins de vos acheteurs, avant toute collecte, pas d’après ceux où vous pensez être recommandé.

À l’intérieur d’un thème, variez les cas : plusieurs tranches de budget, plusieurs destinataires pour un cadeau, un débutant et un connaisseur. Chaque thème se lit ensuite à part, comme dans la comparaison thème par thème avec vos concurrents.

Fixer la langue et le lieu

La langue fait partie de la question. Écrivez le panel dans la langue de vos acheteurs ; pour deux marchés, écrivez deux panels et lisez-les séparément, car une traduction est une autre question.

Pour le lieu, les API d’OpenAI, d’Anthropic et de Perplexity acceptent une localisation (pays, région, ville) qui adapte les résultats de leur outil de recherche web. Quand le protocole n’en transmet aucune, comme celui de Qui est prems, seule la question peut dire le lieu : n’en écrivez un que si votre marché l’impose, pour un commerce ou un service local.

Geler, puis versionner le panel

Avant la première collecte, enregistrez et datez le texte exact de chaque question, son thème, son numéro et sa langue. L’ordre fixe les numéros : la question 7 reste la même d’une mesure à l’autre.

Ensuite, ne retouchez plus rien : un mot remplacé fait une autre question, puisqu’une autre tournure donne souvent d’autres réponses. Si un changement s’impose (gamme retirée, question mal comprise), créez une version datée du panel ; les réponses déjà collectées restent attachées à l’ancien texte, et une évolution ne se lit que sur les questions communes aux deux versions. Ne retirez jamais une question parce que votre marque n’y apparaît pas : le panel ne garderait que les besoins où elle est déjà recommandée.

Vérifier le panel avant de le lancer

Passez chaque question dans cette grille avant la première collecte.

Un exemple documenté : les règles de Qui est prems

Qui est prems, l’Observatoire IA des marques, a fait les choix suivants, parmi d’autres possibles.

• Proposition. Pour une étude sur mesure, un modèle d’IA lit le site de la marque et propose six thèmes d’achat de quatre questions : les trois premiers sont posés (12 questions), les autres servent de réserve. Jusqu’au paiement, le client peut échanger un thème, modifier, remplacer ou régénérer chaque question.
• Consignes d’écriture. Chaque question est écrite en français, comme un acheteur la poserait à un assistant d’IA, et appelle une recommandation de marques, de produits ou de services. Un budget en euros est permis ; aucun lieu n’est imposé, sauf pour un commerce ou un service local.
• Contrôle des noms. Aucune question ne peut contenir le nom de la marque, ses autres noms, celui que porte l’adresse de son site, ni le nom ou le site d’un concurrent, comparés en mots entiers, sans majuscules, accents ni ponctuation : une marque nommée « Lin » ne bloque pas une question sur le « linge ». Tant qu’une question contient un nom interdit ou en répète une autre, l’étude ne peut pas être payée.
• Gel. Au paiement, les questions sont enregistrées dans leur texte exact et leur ordre ; le suivi annuel repose chaque mois les mêmes questions.

Chaque question est posée 3 fois à ChatGPT, Gemini, Claude et Perplexity, soit 144 réponses attendues, pour 149 € HT ; les réponses d’une étude n’alimentent jamais un classement public.

Le baromètre Cognac suit les mêmes principes : six dimensions de quatre questions, de la découverte aux terroirs, aucune ne nommant une maison, rédigées en français sans pays imposé, la plupart avec une demande explicite de conseil (« Quelles bouteilles me conseillez-vous, et pourquoi ? »). Reformuler, déplacer ou ajouter une question crée une nouvelle version du questionnaire ; les réponses déjà collectées restent attachées à leur texte exact (voir la méthode du baromètre Cognac).

Ce qu’un panel neutre ne garantit pas

• La représentativité. Le résultat décrit les besoins testés, pas l’ensemble des questions posées aux assistants.
• L’absence de choix. Retenir un thème plutôt qu’un autre est déjà une décision, à écrire et à publier avec le résultat.
• Des réponses stables. La neutralité ne supprime pas la variation d’un passage à l’autre, décrite dans le protocole de mesure.