Mesurer et décider
Comment comparer sa marque à ses concurrents dans ChatGPT ?
Sommaire
Pour comparer votre marque à ses concurrents dans ChatGPT, posez les mêmes questions neutres pour toutes les marques, sans en nommer aucune, plusieurs fois chacune. Comptez ensuite, pour chaque marque, les réponses qui la recommandent, toujours sur le même dénominateur : les réponses valides. Lisez les écarts thème par thème et moteur par moteur, en regardant qui est recommandé à votre place et quelles sources sont citées. Une comparaison montre où vous êtes absent ; elle ne dit ni pourquoi, ni qui vend le mieux.
Cet article traite de la comparaison entre marques. Le protocole général est décrit dans comment mesurer la visibilité d’une marque dans les IA, le premier contrôle de votre seule marque dans comment savoir si ChatGPT recommande ma marque.
Choisir un à trois concurrents comparables
Un concurrent utile vend le même produit aux mêmes acheteurs. Trois critères le désignent :
- Le même besoin. Ses produits répondent aux questions de vos clients, pas seulement au même rayon.
- Les mêmes acheteurs. Même gamme de prix, même pays, mêmes canaux. Le leader mondial de votre catégorie n’est pas forcément la marque choisie à votre place.
- Une concurrence constatée. Son nom revient dans vos ventes perdues ou les comparatifs du secteur.
Au-delà de trois, chaque marque ajoute une colonne sans éclairer la décision.
Fixer ce qui compte pour chaque marque
Écrivez avant de compter une règle d’attribution, la même pour toutes :
- une gamme ou un produit compte pour une marque seulement quand une source officielle, son site par exemple, confirme le lien ;
- une sous-marque qui porte son propre nom reste une entrée distincte ;
- une marque compte au plus une fois par réponse, même quand plusieurs de ses produits y figurent.
Notez aussi les marques recommandées hors de votre liste : celle qui vous remplace n’est pas toujours celle que vous aviez retenue.
Poser les mêmes questions à toutes les marques
Les questions sont celles d’un acheteur qui ne connaît pas encore les marques : « Quel matelas choisir quand on a mal au dos ? », et non « Marque A ou marque B ? ». Une question qui nomme des marques ne mesure plus si ChatGPT pense à elles : elle lui impose d’en parler. Les questions de Qui est prems ne nomment jamais la marque étudiée.
Pour chaque question :
- Ouvrez une nouvelle conversation.
- Posez la question mot pour mot, dans la même langue.
- Recommencez jusqu’à trois passages en tout : une même question ne donne pas toujours la même réponse.
- Enregistrez la réponse entière, ses liens et la date.
Dans l’application, le contexte compte. ChatGPT peut chercher sur le web de lui-même, se servir de la mémoire, quand elle est activée, pour reformuler sa recherche, et utiliser une localisation approximative tirée de l’adresse IP ; les produits qu’il affiche tiennent compte du contexte, mémoire et instructions personnalisées comprises. Testez donc dans une conversation temporaire sans personnalisation, depuis le pays de vos clients. Une publicité sous la réponse (offres Free et Go, là où OpenAI les teste) est signalée comme sponsorisée : elle ne compte pas.
Exemple de panel et limite
Exemple fictif. Une marque de literie retient 12 questions en trois thèmes de quatre : choisir selon un besoin (mal de dos, chaleur la nuit), comparer les prix, acheter en ligne (livraison, essai, retour). Posées trois fois, elles donnent 36 réponses attendues par moteur.
Le panel fait le résultat : chargé de questions de prix, il risque d’avantager les marques positionnées sur le prix. Partez des questions réelles de vos acheteurs, et gardez-le identique d’une mesure à l’autre. Les étapes pour l’écrire sont détaillées dans comment construire un panel de questions neutres pour un audit IA.
Compter la fréquence et noter le contexte
- Réponses attendues : questions × passages, pour chaque moteur. Ici, 12 × 3 = 36.
- Réponses valides : celles obtenues et exploitables (une erreur ou une réponse vide sort du compte). C’est le dénominateur, le même pour toutes les marques.
- Recommandation : la réponse conseille la marque pour le besoin posé. Une simple mention (« B existe aussi, mais il est plus cher ») ne compte pas. Recopiez l’extrait mot pour mot : c’est la preuve.
- Citation : un lien vers une source. Une réponse peut citer le site d’une marque sans la recommander, et l’inverse.
Une réponse peut recommander plusieurs marques : les colonnes ne s’additionnent pas. Notez aussi le contexte de chaque recommandation (le besoin, une réserve comme « pour un petit budget », le rang dans la liste), sans en faire un score.
Lire les écarts par thème et par moteur
Exemple fictif. ChatGPT, 12 questions posées trois fois, 35 réponses valides sur 36 attendues. Chaque case donne les réponses qui recommandent la marque sur les réponses valides du thème.
| Thème | Valides | A (vous) | B | C | D |
|---|---|---|---|---|---|
| Choisir selon un besoin | 12 sur 12 | 7/12 | 9/12 | 3/12 | 0/12 |
| Comparer les prix | 12 sur 12 | 2/12 | 6/12 | 8/12 | 1/12 |
| Acheter en ligne | 11 sur 12 | 8/11 | 4/11 | 2/11 | 3/11 |
| Total | 35 sur 36 | 17/35 | 19/35 | 13/35 | 4/35 |
Au total, deux réponses séparent A et B : rien ne les départage. Par thème, A mène sur l’achat en ligne, B sur le besoin, et sur les prix C est recommandé dans 8 réponses sur 12, A dans 2. C’est là qu’il faut lire les réponses : quels extraits recommandent C, pour quel argument, avec quelles sources.
Exemple fictif. Les mêmes 12 questions posées aux quatre moteurs, pour A et B.
| Moteur | Valides | A (vous) | B |
|---|---|---|---|
| ChatGPT | 35 sur 36 | 17/35 | 19/35 |
| Gemini | 36 sur 36 | 20/36 | 11/36 |
| Claude | 34 sur 36 | 9/34 | 14/34 |
| Perplexity | 36 sur 36 | 15/36 | 16/36 |
| Total | 141 sur 144 | 61/141 | 60/141 |
Le total met A et B à égalité ; les moteurs, non : A devance B dans Gemini (20 contre 11) et recule dans Claude (9 contre 14). Un taux global aurait masqué ces écarts.
Regarder quelles sources sont citées
Dans ChatGPT, une réponse qui utilise la recherche peut comporter des citations cliquables, et le bouton « Sources », quand il apparaît, affiche les sources citées et d’autres liens. Par l’API, les citations arrivent en annotations, et un champ liste toutes les URL consultées, souvent plus nombreuses que les citations. Pour chaque réponse qui recommande un concurrent à votre place, notez les domaines cités (son site, un comparatif, un média, un forum) et ouvrez-les : OpenAI prévient que résultats et citations peuvent être incomplets, dépassés ou inexacts.
Une réponse sans citation n’a peut-être pas cherché : par l’API aussi, quand le modèle est libre de chercher, la recherche reste facultative. Une réponse de mémoire ne se lit pas comme une réponse appuyée sur des pages.
L’étude sur mesure de Qui est prems applique ce protocole : 1 marque, 1 à 3 concurrents, 12 questions qui ne nomment ni votre marque ni vos concurrents, posées 3 fois à ChatGPT, Gemini, Claude et Perplexity par leurs API, recherche web activée, chacun décidant de chercher ou non. Soit 144 réponses attendues ; le rapport indique combien sont valides, et une réponse ne compte que si elle recommande la marque, extrait vérifié à l’appui. 149 € HT, rapport sous 4 heures ; les réponses d’une étude n’alimentent jamais un classement public.
Étude sur mesure
Mesurer votre marque dans les réponses des IA
L’étude sur mesure pose 12 questions de votre marché à ChatGPT, Gemini, Claude et Perplexity, trois fois chacune, et compte, face à trois concurrents au plus, les réponses qui recommandent votre marque. 149 € HT.
Décider sans surinterpréter
Ce qu’une comparaison ne permet pas de conclure
- La qualité. Une présence n’est pas une note de qualité.
- La cause. Une source citée à côté d’un concurrent est une piste, pas la preuve qu’elle a produit la recommandation.
- Le marché. Ni ventes, ni parts de marché, ni volumes de recherche.
- Ce que voit chaque utilisateur. Mémoire, localisation et abonnement peuvent changer l’affichage, et une mesure par API peut différer de l’application.
- Une préférence stable. Trois passages limitent le poids d’une réponse isolée, sans garantir significativité ni représentativité.
- Ce qui dépasse le panel. Le résultat vaut pour vos questions, pas pour tout votre marché.
Ce qu’on peut en tirer
- Classez les thèmes où un concurrent est recommandé et vous absent, par nombre de réponses.
- Lisez les réponses de ces thèmes en séparant l’observation (« C est recommandé pour son prix dans 8 réponses sur 12 »), l’hypothèse (« le comparatif cité compte ») et la décision (« publier une grille de prix lisible »).
- Traitez un écart de deux ou trois réponses comme un signal à confirmer, pas comme une avance.
- Remesurez avec les mêmes questions, les mêmes moteurs et le même nombre de passages, sans quoi aucune évolution ne se lit.
Les actions sur votre site restent des pistes : autoriser OAI-SearchBot à explorer vos pages est la condition pour qu’elles puissent figurer dans les résultats de ChatGPT, et OpenAI précise que le placement n’est pas garanti. Nos règles de comptage sont détaillées dans la méthodologie ; le baromètre Cognac les applique à tout un secteur.
Questions fréquentes
Par où commencer pour se comparer à ses concurrents dans ChatGPT ?
Commencez par la liste : un à trois concurrents qui vendent le même produit aux mêmes acheteurs, puis ce qui compte pour chacun. Écrivez ensuite une douzaine de questions d’acheteur qui ne nomment aucune marque, groupées par thème. Posez chacune trois fois dans des conversations neuves et gardez les réponses entières avant de compter.
Un petit écart entre deux marques suffit-il pour conclure ?
Non. Une même question posée plusieurs fois ne donne pas toujours la même réponse : un écart de deux ou trois réponses peut venir de cette seule variation. Comptez sur plusieurs passages et plusieurs questions, avec le même dénominateur pour toutes les marques. Même alors, trois passages réduisent l’aléa sans garantir une préférence stable : un petit écart reste à confirmer à la mesure suivante.
Que vérifier avant de décider à partir d’une comparaison ?
Vérifiez que toutes les marques partagent le même dénominateur, que les réponses invalides sont exclues pour toutes, que chaque recommandation a son extrait recopié, et que les sources citées disent bien ce que la réponse leur attribue. Regardez l’écart par thème et par moteur avant le total. Notez enfin la date et les réglages : une comparaison vaut pour sa période.
Sources
- Searching the web with ChatGPT, OpenAI Help Center — consulté le — ChatGPT peut chercher sur le web de lui-même ; citations cliquables et bouton « Sources » ; résultats et citations parfois incomplets, dépassés ou inexacts ; mémoire et localisation approximative (adresse IP) utilisées pour la recherche ; OAI-SearchBot et placement non garanti.
- Web search, OpenAI API — consulté le — citations en ligne et annotations url_citation (URL, titre) ; champ sources listant toutes les URL consultées, souvent plus nombreuses que les citations ; avec tool_choice « auto », la recherche est facultative.
- Temporary chat in ChatGPT, OpenAI Help Center — consulté le — une conversation temporaire en mode « Unpersonalized » n’utilise ni la mémoire, ni les instructions personnalisées, ni les plugins.
- Shopping with ChatGPT Search, OpenAI Help Center — consulté le — produits affichés choisis selon la requête et le contexte (mémoire, instructions personnalisées), distincts des publicités.
- Ads in ChatGPT, OpenAI Help Center — consulté le — publicités possibles pour les offres Free et Go, sous la réponse, signalées comme sponsorisées, séparées de la réponse et, selon OpenAI, sans influence sur elle.