Think Deeper?

Une intelligence artificielle que j'utilise propose un mode think deeper. Pour la modique somme de "plus-de-jetons-consommés" ce mode promet de meilleures réponses.

Vous me connaissez, j'ai eu envie de vérifier.

 

Pourquoi vérifier ?

Parce que parfois il y a des arnaques. Par exemple, si ça n'avait tenu qu'à moi, le mode think deeper serait juste ce prompt : "Fais semblant d'attendre un peu, donne un résultat avec un niveau de langage plus soutenu que d'habitude, facture trois fois plus de jetons".

Pour ceux qui auront la patience de me lire jusqu'au bout, vous verrez que l'arnaque, s'il y en a une, n'est pas forcément où l'on croit...

 

Comment vérifier ?

J'ai cherché une question qui possède ces trois propriétés :

1) Le mode normal donne des réponses inexactes.

2) Le mode think deeper donne des réponses exactes.

3) Je peux prouver l'exactitude sans intelligence artificielle.

 

Quelle question ?

La question que j'ai trouvée est la suivante : "Dans la pièce de théâtre Un chapeau de paille d’Italie d’Eugène Labiche, de quoi est orné le chapeau ?"

 

Réponse en mode normal

Le mode normal donne de mauvaises réponses. Essentiellement ça dit que le chapeau est orné de violettes. J’ai eu aussi : le chapeau est orné de fleurs d’oranger. Et parfois : le chapeau n'est pas orné.

 

Réponse en mode think deeper

Le mode think deeper donne toujours la bonne réponse : le chapeau est orné de coquelicots.

 

Vérifier sans IA

J’ai choisi un chapeau de paille d'Italie parce que le texte est domaine public, accessible ici par exemple, et donc plus aisément vérifiable. Cherchez par exemple les mots violette / oranger / coquelicot.

Où est l'arnaque alors ?

Figurez-vous que j'ai aussi posé la question à des IA gratuites, notamment Perplexity.ai et Mistral Vibe. Et devinez quoi ? Oui, elles ont toutes répondu correctement : des coquelicots. Et ça sans dépenser de jetons supplémentaires, sans option think deeper où je-ne-sais-quoi.

Donc pour moi, et jusqu'à preuve du contraire, le mode normal *pourrait* s'avérer une grosse bouse inutile. Grosse bouse dont l'unique intérêt serait de renforcer l'appétence pour le produit standard, pompeusement renommé think deeper.

En marketing on dirait une sorte de produit d'appel ou un produit leurre(*). Ou pire, une bridage volontaire.

Il faut deux exemples...

Comme je dis toujours, il faut deux exemples pour généraliser. Je ne peux donc pas conclure à l'arnaque. Je vais continuer à chercher des expériences pour mieux comparer les performances. Si vous avez des idées, je suis preneur !

À suivre... 

(*) Pour un produit leurre il faut trois items, qui seraient ici : l'IA en version think deeper, les IA gratuites, et l'IA en version normale (le leurre).