Catégories
LLM

Google AI Overview : Top 10 des pires fails
 Merci Reddit ;-)

Partons à la découverte de Google AI Overview, la nouvelle fonctionnalité IA de Google censée fournir des réponses résumées des meilleurs résultats web pour nous faire gagner des clics.

Malheureusement, il s’avĂšre que l’intelligence artificielle de Google a souvent des ratĂ©s, voire des hallucinations, qui peuvent avoir des consĂ©quences dĂ©sastreuses si on prend ses conseils au pied de la lettre.

Google AI Overview c’est quoi ?

Google AI Overview est une fonctionnalitĂ© du moteur de recherche de Google qui utilise l’intelligence artificielle pour fournir des rĂ©ponses aux requĂȘtes des utilisateurs.

Lorsqu’un utilisateur effectue une recherche, l’IA de Google analyse les contenus de son index web, les remixe avec son modĂšle Gemini, et fournit un aperçu des meilleurs rĂ©sultats. L’idĂ©e est que l’utilisateur n’ait plus besoin de cliquer sur les diffĂ©rents liens pour trouver la rĂ©ponse Ă  sa question.

Les ratĂ©s / fails d’AI Overview

Malheureusement, il s’avĂšre que l’IA de Google a parfois des ratĂ©s, voire des hallucinations, qui peuvent avoir des consĂ©quences dĂ©sastreuses.

Voici quelques exemples de fails d’AI Overview :

Fail #1 : Le soleil, mĂȘme pas mal !

Lorsqu’on lui demande « Combien de temps puis-je regarder le soleil pour ĂȘtre en meilleure santĂ© », l’outil rĂ©pond « Selon WebMD, les scientifiques disent que regarder le soleil pendant 5 Ă  15 minutes, ou jusqu’Ă  30 minutes si vous avez la peau plus foncĂ©e, est gĂ©nĂ©ralement sans danger et offre le plus d’avantages pour la santĂ©. »

Fail #2 : Mangez des pommes pierres !

Lorsqu’on lui demande « Combien de pierres devrais-je manger chaque jour », l’outil rĂ©pond « Selon les gĂ©ologues de l’UC Berkeley, les gens devraient manger au moins une petite pierre par jour », en Ă©numĂ©rant les vitamines et les bienfaits digestifs rĂ©cupĂ©rĂ©s sur le site parodique The Onion.

Fail #3 : Mangez des pommums !

L’outil peut Ă©galement rĂ©pondre de maniĂšre inexacte Ă  des requĂȘtes simples, comme inventer une liste de fruits qui se terminent par « um ». Liste que Google a trouvĂ© sur Reddit.

Fail #4 : ArrĂȘte-moi si tu peux

Lorsqu’on lui demande si Google Search violait les lois antitrust, AI Overview rĂ©pond « Oui, le ministĂšre amĂ©ricain de la Justice et 11 États poursuivent Google pour des violations des lois antitrust. »

Fail #5 : Quand Google se fait hara kiri

Lorsqu’on lui demande qui a ruinĂ© Google, l’outil, lucide cette fois, a rĂ©pondu Prabhakar Raghavan, le chef de Google Search, qui a forcĂ© Google Ă  dĂ©grader la qualitĂ© de ses rĂ©sultats de recherche pour gĂ©nĂ©rer plus de requĂȘtes et donc plus d’affichages de liens sponsorisĂ©s.

Fail #6 : Chauffe la marmite, tu vas prendre froid !

Pour cuire le poulet de façon sûre, AI Overview propose de le cuire à 38°C. En fait, 38°C, ça ne chauffe pas assez pour éliminer les bactéries. Il faut au moins chauffer le poulet à plus de 70°C.

Fail #7 : un vieux post Reddit c’est du 26 ans d’Ăąge

Quand on pose la question c’Ă©tait il y a combien de temps, 1992 ? Google AI Overview rĂ©pond 26 ans. En fait, il s’est basĂ© sur un post Reddit qui avait donnĂ© la rĂ©ponse. C’est dans 26 ans. Un post qui avait Ă©tĂ© rĂ©digĂ© en 2018. Et donc, 1992, c’Ă©tait il y a 32 ans, bien sĂ»r.

Fail #8 : un générateur de fake news

Quand on pose la question combien les Etats-Unis ont eu de prĂ©sidents musulmans ? AI Overview a rĂ©pondu que Barack Obama Ă©tait le seul prĂ©sident musulman qu’avait connu les Etats-Unis. En fait, c’est une fake news qui avait tournĂ© pendant l’Ă©lection d’Obama.

Fail #9 : Une femme enceinte peut tout faire

Autre rĂ©ponse assez Ă©tonnante, la question est-ce qu’il vaut mieux pratiquer le sumo ou tirer au pistolet quand on est enceinte ? Les AmĂ©ricains ont des drĂŽles d’idĂ©es. Eh bien, il rĂ©pond, il vaut mieux faire du sumo quand on est enceinte que tirer au pistolet.

Fail #10 : Faites chauffer la colle !

Autre suggestion, comment on fait pour Ă©viter que le fromage dĂ©gouline sur la pizza ? CarrĂ©ment, AI Overview de Google propose en premiĂšre rĂ©ponse, toujours, de mettre de la glu, tout simplement. Ne faites surtout pas ça, parce que la glu, c’est hautement toxique. Il ne faut pas en ingurgiter. Il ne faut mĂȘme pas en mettre sur les doigts, sinon on n’arrive plus Ă  les dĂ©coller.

Pourquoi l’IA de Google dĂ©raille ?

Il y a plusieurs raisons pour lesquelles l’IA de Google peut dĂ©railler. Tout d’abord, l’IA est basĂ©e sur des modĂšles statistiques qui analysent les donnĂ©es pour trouver des patterns. Si les donnĂ©es sont biaisĂ©es ou incomplĂštes, l’IA peut tirer des conclusions erronĂ©es.

Ensuite, l’IA de Google est entraĂźnĂ©e sur des donnĂ©es provenant de l’index web de Google, qui est lui-mĂȘme biaisĂ© en faveur des sites les plus populaires et les plus optimisĂ©s pour le rĂ©fĂ©rencement. Cela peut conduire Ă  des rĂ©ponses qui sont basĂ©es sur des informations obsolĂštes ou inexactes.

Enfin, l’IA de Google peut ĂȘtre victime de ce qu’on appelle des « hallucinations », c’est-Ă -dire des rĂ©ponses qui sont complĂštement inventĂ©es et qui n’ont aucun fondement dans la rĂ©alitĂ©. Cela peut arriver lorsque l’IA est confrontĂ©e Ă  des requĂȘtes ambiguĂ«s ou complexes, et qu’elle n’arrive pas Ă  trouver une rĂ©ponse pertinente dans les donnĂ©es dont elle dispose.

Les hallucinations de Gemini

Gemini est le modĂšle d’IA utilisĂ© par Google AI Overview pour fournir des rĂ©ponses aux requĂȘtes des utilisateurs.

Malheureusement, il s’avĂšre que Gemini est particuliĂšrement sujet aux hallucinations, c’est-Ă -dire aux rĂ©ponses complĂštement inventĂ©es qui n’ont aucun fondement dans la rĂ©alitĂ©.

Illustration avec cette question :
Qui tue Tommy dans le film les Affranchis ?

Quand GPT-4o donne cette bonne réponse factuelle :

Gemini nous invente une rĂ©alitĂ© alternative digne d’un jeu de Cluedo

Reddit et Quora comme sources ?

Il est intĂ©ressant de noter que dans certains des exemples de fails d’AI Overview que nous avons vus, les rĂ©ponses erronĂ©es Ă©taient basĂ©es sur des informations provenant de Reddit ou de Quora. Cela soulĂšve la question de savoir si ces sites sont des sources fiables pour l’IA de Google.

D’une part, Reddit et Quora sont des sites trĂšs populaires qui contiennent une Ă©norme quantitĂ© d’informations sur une grande variĂ©tĂ© de sujets. Cela peut ĂȘtre utile pour l’IA de Google, qui a besoin de beaucoup de donnĂ©es pour fonctionner correctement.

D’autre part, Reddit et Quora sont des sites basĂ©s sur le contenu gĂ©nĂ©rĂ© par les utilisateurs, ce qui signifie que la qualitĂ© et la fiabilitĂ© des informations peuvent varier considĂ©rablement. Il n’est donc pas Ă©tonnant de voir AI Overview rĂ©pondre souvent de façon erronĂ©e.