Comment savoir si ChatGPT recommande ma marque ?

Pour savoir si ChatGPT recommande votre marque, posez-lui les questions qu’un acheteur poserait, sans jamais écrire votre nom, et lisez chaque réponse : votre marque y est-elle conseillée pour ce besoin, ou seulement mentionnée au passage ? Posez chaque question plusieurs fois, dans des conversations séparées, car les réponses varient. Notez la date, les sources affichées et la phrase exacte qui vous recommande. Ce test donne une première indication ; une décision demande une mesure.

Cet article décrit le test que vous pouvez mener vous-même, puis ce qu’il faut y ajouter pour en faire une mesure. Le protocole complet est détaillé dans Comment mesurer la visibilité d’une marque dans les IA ? ; la comparaison avec vos concurrents, dans Comment comparer sa marque à ses concurrents dans ChatGPT ?.

Définir les situations d’achat

Une situation d’achat est le besoin d’un client qui n’a pas encore choisi : offrir, découvrir une catégorie, choisir avec un budget. ChatGPT ne recommande pas une marque dans l’absolu, il répond à une question. Votre test vaut donc ce que valent vos questions.

Méthode : écrire les questions d’un acheteur

1. Listez trois à cinq moments où votre client hésite : découverte, cadeau, comparaison de gammes, contrainte de prix ou d’usage.
2. Écrivez chaque question comme il la taperait, avec son besoin et sa contrainte. Pour une maison de cognac, par exemple : « Quel cognac offrir à un amateur de whisky qui n’en a jamais goûté ? »
3. Gardez une seule intention par question. « Quel cognac pour un cocktail, et lequel offrir ? » mélange deux besoins.
4. Faites relire la liste par les équipes commerciales ou le service client, qui entendent les questions réelles.

À vérifier : aucune question ne contient votre nom, celui d’un de vos produits ou une formule qui n’appartient qu’à vous.

Tester sans nommer sa marque

Si la question nomme votre marque, ChatGPT parlera de vous : vous obtiendrez une description, pas une recommandation. La question utile met votre marque en concurrence avec toutes les autres, et regarde si la réponse vous choisit quand personne ne vous a nommé.

Soignez aussi les conditions. D’après l’aide d’OpenAI, ChatGPT peut chercher sur le web de lui-même quand la réponse gagnerait à s’appuyer sur des informations récentes, ou à votre demande avec l’outil Search. Mémoire activée, il peut utiliser vos souvenirs enregistrés pour réécrire sa recherche ; il peut aussi déduire une localisation approximative de votre adresse IP. Testez donc dans une conversation temporaire, en choisissant avant le premier message le mode sans personnalisation (« Unpersonalized » dans l’aide d’OpenAI), qui n’utilise ni la mémoire, ni les instructions personnalisées, ni les plugins. Laissez ChatGPT décider seul de chercher, et notez si la réponse affiche des citations.

Exemple : une réponse sans votre marque

Exemple fictif. Une maison de cognac pose la question « Quel cognac offrir à un amateur de whisky qui n’en a jamais goûté ? ». La réponse conseille trois autres maisons. Observation : dans cette réponse, ce jour-là, la maison n’est pas recommandée. Hypothèse : les pages consultées parlent peu de ce type de cadeau. Décision : aucune à ce stade. Rien ne dit que ChatGPT ignore la marque, ni qu’il ne la recommandera jamais.

Distinguer mention et recommandation

Votre nom peut figurer dans une réponse sans qu’elle vous conseille. Séparez trois choses ; les définitions détaillées sont dans Qu’est-ce que la visibilité IA d’une marque ?. Le tableau est un exemple fictif : A, B et C ne désignent aucune maison réelle.

Méthode : recopier la phrase qui recommande

Pour chaque réponse, recopiez mot pour mot la phrase qui conseille votre marque pour le besoin posé. Sans cette phrase, pas de recommandation, même si votre nom figure dans la réponse. C’est la règle de notre méthodologie : une recommandation ne compte que si l’extrait qui la prouve figure mot pour mot dans la réponse, et une simple mention ne compte pas.

Ouvrez aussi les sources. L’aide d’OpenAI indique que les réponses qui utilisent la recherche web peuvent comporter des citations, et un bouton Sources quand il est disponible. Elle prévient que résultats et citations peuvent être incomplets, périmés ou inexacts, et conseille d’ouvrir la source pour vérifier qu’elle soutient la réponse. Une page citée près de votre nom ne prouve pas non plus qu’elle a causé la recommandation.

Comparer plusieurs réponses

La même question, posée deux fois, ne donne pas toujours les mêmes marques : notre méthode pose donc chaque question trois fois à chaque moteur. Faites de même. Ouvrez une nouvelle conversation à chaque passage, posez la question à l’identique, et notez pour chaque réponse la date, les marques recommandées, l’extrait qui le prouve et les sources.

Exemple : quinze réponses à lire

Exemple fictif. Cinq questions, trois passages chacune : quinze réponses. La marque est recommandée dans 4 réponses sur 15 et mentionnée sans recommandation dans 3 autres. Le détail compte plus que le total : 3 sur 3 pour la question « cadeau », 1 sur 3 pour « cocktail », 0 sur 3 pour les trois autres. Lecture juste : « recommandée régulièrement pour offrir, rarement ailleurs, dans ChatGPT, à cette date ». Ni part de marché, ni note de qualité, ni preuve qu’une action a produit cet effet. Trois passages évitent de prendre une réponse isolée pour une tendance ; ils ne garantissent ni la significativité statistique, ni la représentativité de tous les utilisateurs.

Passer du test à la mesure

Un test dit si cela arrive. Une mesure dit combien de fois, sur quelles questions, dans quels moteurs, et si cela change. Il lui faut une liste de questions figée, plusieurs moteurs interrogés de la même façon, des dates, et un décompte des réponses valides : une réponse attendue peut échouer ou revenir vide, et le résultat doit dire sur combien de réponses il porte.

Reste l’écart entre l’application et l’API. Dans l’API d’OpenAI, la recherche web est un outil que le développeur déclare dans sa requête ; le modèle choisit ensuite de chercher ou non selon la question, sauf si la requête impose la recherche. L’application peut en plus tenir compte de la personnalisation du compte.

Qui est prems interroge ChatGPT, Gemini, Claude et Perplexity par les API de leurs éditeurs, recherche web activée : chaque moteur décide lui-même de chercher ou non. Obtenues avec les paramètres par défaut des API, ces réponses peuvent différer de ce que voit un utilisateur donné dans l’application.

Méthode : la grille de contrôle

Avant de conclure, d’un test manuel comme d’une mesure, passez vos réponses dans cette grille.

L’étude sur mesure applique ce protocole à votre marque : 1 marque, 1 à 3 concurrents, 12 questions, 4 moteurs et 3 passages, soit 144 réponses attendues, pour 149 € HT. Le rapport, livré sous 4 heures, indique combien de réponses sont valides ; les réponses d’une étude n’alimentent jamais un classement public. Le suivi annuel reprend le protocole chaque mois : 12 mesures pour 1 490 € HT par an. La méthode appliquée à tout un secteur se lit dans le baromètre Cognac.