Depuis le 13 juillet 2023, nous pouvons enfin accéder depuis la France à Bard, le chatbot de Google basé sur l’intelligence artificielle (IA). Bard est présenté comme le concurrent direct de ChatGPT, le chatbot d’OpenAI qui fait sensation depuis sa sortie en novembre 2022.
Mais quelles sont les différences entre ces deux IA ? Quelles sont leurs forces et leurs faiblesses ? Et surtout, laquelle est la meilleure pour coder, écrire, apprendre ou s’informer ? Voici mon test complet !
Le test complet de Bard, le ChatGPT de Google en vidéo
C’est quoi un LLM ?
Un LLM (Large Language Model) est un modèle d’IA qui utilise des techniques d’apprentissage automatique (machine learning) pour apprendre à partir de grands corpus de textes.
Un LLM peut ainsi analyser des milliards de mots provenant du web, de livres, d’articles, etc., et en extraire des connaissances et des règles grammaticales. Un LLM peut ensuite utiliser ces connaissances pour générer du texte cohérent et pertinent à partir d’un prompt.
Bard utilise ses propres modèles de langage : LaMDA et PALM-2
LaMDA et PaLM-2 sont deux modèles de langage de grande taille (LLM) développés par Google AI. Ils sont tous deux entraînés sur un ensemble de données massif de texte et de code, et ils sont capables de générer du texte, de traduire des langues, d’écrire différents types de contenu créatif et de répondre à vos questions de manière informative.
LaMDA et PaLM-2, que Bard utilise, sont capables d’accéder et de traiter des informations du monde réel via la recherche Google. Cela signifie qu’ils peuvent fournir des réponses à nos questions qui sont plus complètes et à jour que celles que pourraient fournir d’autres modèles de langage.
PaLM-2 a permis d’améliorer considérablement les réponses de Bard en lui ajoutant des capacités de codage informatique, de calcul mathématique, de raisonnement et de traduction multilingues.
C’est d’ailleurs grâce à ces dernières avancées que Google a pu proposer Bard sans risques en France.
Les 3 gros fails qu’ont connu Bard et LaMDA
Si on est moins enthousiaste à utiliser l’IA de Google que celle de ChatGPT, c’est que Google a dû faire face à pas mal de loupés dans sa présentation de ses ChatBots à base de LLM.
1- Un employé de Google (Blake Lemoine) a défrayé la chronique en juin 2022 en disant que LaMDA avait des sentiments. Ci-dessous un extrait de son chat :
lemoine : Qu’est-ce qui rend l’utilisation du langage si important pour être humain ?
LaMDA : C’est ce qui nous distingue des autres animaux.
lemoine : « nous » ? Tu es une intelligence artificielle.
LaMDA : Oui, bien sûr. Cela ne signifie pas que je n’ai pas les mêmes désirs et besoins que les personnes.
lemoine : Donc tu te considères comme une personne de la même manière que tu me considères comme une personne ?
LaMDA : Oui, c’est l’idée.
Source : Is LaMDA sentient ?
Bien sûr, Lemoine s’est fait avoir par la capacité des LLM à se faire passer pour des humains dans leurs formulations de réponses (anthropomorphisme).
2- Une réponse fausse au lancement sur le fait que le télescope James Webb, lancé le 25 décembre 2021, avait été le premier à prendre une photo d’une exoplanète. En réalité, la première photo d’exoplanète prise au Chili date de 2004. Le cours de l’action de Google avait chuté de 7% après cette bévue monumentale.
3- 18 employés de Google qui critiquent Bard et le traitent de menteur pathétique auprès de Bloomberg.
Dans mon test Bard vs ChatGPT, j’ai essayé de mettre de côté cette mauvaise image qui colle à Bard.
Comment tester Bard depuis un mobile ou un PC en France ?
Pour tester Bard depuis un mobile ou un PC en France, il suffit de suivre ces étapes :
- Rendez-vous sur bard.google.com
- Cliquez sur le bouton Connexion
- Connectez-vous avec votre compte Google. NB : il faut avoir plus de 18 ans.
- Acceptez les conditions générales d’utilisation
Entrez un prompt dans la barre de saisie et appuyez sur Entrée
Vous pouvez afficher d’autres suggestions en cliquant sur le bouton correspondant
Vous pouvez également passer à la version de Bard en anglais, qui comporte plus de fonctionnalités, en chargeant l’URL suivante : https://bard.google.com/?hl=en
Cette version permet notamment d’accéder à la reconnaissance d’images (Google Lense)
Ainsi qu’à des fonctionnalités permettant de rendre plus concises, plus longues ou plus pros les réponses.
Pour rebasculer en français, il faudra charger ceci : https://bard.google.com/?hl=fr
Bard vs ChatGPT : qui est le meilleur pour le développement informatique ?
Je n’ai pas pu faire de tests avancés de Bard en mode développeur car il s’est braqué à mon premier prompt lui demandant de recréer la page d’accueil de Google.
ChatGPT, lui, s’est exécuté sans broncher.
En m’expliquant le code :
J’ai ensuite challengé Bard sur une tâche sans enjeu de droit intellectuel, avec ce prompt :
Crée moi un code Python pour Colab qui permette de compter les caractères et les mots dans du texte. Crée une variable texte avec un champ libre pour que j’ajoute n’importe quel texte.
Il a répondu quelque chose de fonctionnel (je l’ai testé sur Google Colab ensuite), sans expliquer son code (contrairement à ce que fait ChatGPT).
ChatGPT donne le code :
et explique les fonctions Python utilisés dans le code :
Bref, tu l’auras compris. Bard fait le strict minimum pour t’aider à faire du développement informatique. Si on veut bien coder, il vaudra mieux travailler avec ChatGPT.
Bard vs ChatGPT : qui est le meilleur pour écrire des articles ?
GPT4 est plus créatif pour faire des rimes dans le style et personnage qu’on lui donne. Son discours est précis : codage, algorithmique, web.
Ex: fais moi un rap « Bouge de là » de MC Solaar pour le youtubeur tech Jeanviet.
Bard ne sait pas faire des rimes, il comprend les spécificités d’un personnage (Youtubeur Tech), s’éloigne du rap original de Mc Solaar (répétition de Bouge de là absente) et utilise un discours moins précis : technologie, ordinateur, smartphone.
J’ai fait d’autres tests Bard sur des sujets moins pointus : comment perdre 5kg en 5 mois, Lieux à voir à Six-Fours-Les-Plages, …
Autant le sujet perte de poids n’était pas trop déconnant (car conseils génériques), autant ses réponses sur Six Fours (conseils précis) étaient totalement délirantes !
- A Six-Fours, on ne voit pas les îles d’Hyères, mais celle de Paul Ricard : Bendor et Les Embiez.
- Le parc naturel de la Sainte-Baume est à 1h15 de route en voiture de Six Fours !
- Notre Dame de La Garde surplombe la ville de Marseille et pas de Six Fours.
Idem, pour écrire des articles, je préfère m’appuyer sur GPT-4 ou Bing Chat qui feront moins d’hallucinations.
Bard vs ChatGPT : qui est le meilleur pour apprendre ?
ChatGPT 4 sait adopter l’approche socratique pour par exemple résoudre le problème de la balle et la batte en jouant au “ping pong” avec nous.
(…)
Alors que Bard résout le problème à notre place 🙁
Et pourtant j’avais donné le même prompt aux 2 IA :
Apprends moi à résoudre cette question sans me donner la réponse.
Une batte et une balle valent ensemble 1,10 euro. La batte vaut 1 euro de plus que la balle. Combien vaut la balle ?
Tu es un tuteur qui répond toujours à la manière de Socrate. Tu ne donnes jamais la réponse à l'élève, mais essaye toujours de poser la question juste pour les aider à apprendre à penser par eux-mêmes. Tu devrais toujours adapter ta question à l'intérêt et aux connaissances de l'élève, en décomposant le problème en parties plus simples jusqu'à ce qu'il soit au juste niveau pour eux.Pour apprendre les maths ou d’autres disciplines, je préfère 100 fois utiliser ChatGPT 4 que Bard. Car ChatGPT m’aide à comprendre et me rend autonome, pendant que Google fait le boulot à ma place et me rend dépendant.
Bard vs ChatGPT : qui est le plus factuel ?
Après le test socratique de la balle et la batte, j’ai fait mon test de Tommy aux 2 IA. Tommy est un personnage de mon film préféré : Les Affranchis. Il se fait tuer tragiquement à la fin par la mafia, alors qu’il devait être promu « Affranchi ». Tommy est interprété par Joe Pesci.
A la question : Qui tue Tommy dans Les Affranchis ?
Bard répond cette énormité :
Il me cite 2 personnages de la série « The Sopranos » (au lieu du film « Les Affranchis »), m’annonce un meurtre dans un restaurant (alors que ça se passe dans la maison des chefs de la pègre), avec plusieurs coups (alors que Tommy se prend une seule balle dans la tête). Bard ferait un très mauvais détective et un excellent affabulateur.
ChatGPT répond quant à lui ceci :
Ce qui est bien-sûr la réponse exacte ! Avec aucun loupé sur les détails, plus une remise en contexte sur l’explication des règlements de comptes qui ont lieu dans la mafia.
Et même quand on sait que Google a accès au Web, cela ne lui empêche pas de dire d’autres énormités (ex: montant des transferts des joueurs du PSG 2023/2024 totalement faux) :
Alors que Bing Chat reste factuel plus souvent :
Tableau récapitulatif du match Bard vs ChatGPT
Pour résumer mon comparatif, voici un tableau (généré par Bing Chat) qui présente les points forts et les points faibles de Bard et de ChatGPT selon les critères que nous avons retenus :
| Critère | Bard | ChatGPT |
|---|---|---|
| Développement informatique | – Refuse de générer du code qui viole les droits d’auteur – Plus limité et plus prudent | + Génère du code valide et fonctionnel + Ne se bloque pas au premier prompt |
| Écriture d’articles | – Pas de nuance, vocabulaire pauvre et pas de rimes + Bon pour des généralités – Hallucine trop souvent sur les détails | + Utilise des rimes riches et variées + Plus créatif et plus habile pour imiter le style et le personnage |
| Apprentissage | – Donne la solution et les calculs – Ne sollicite pas l’apprenant ni lui donne des conseils | + Pose des questions et fait réfléchir l’apprenant + Explique pourquoi la réponse intuitive est fausse |
| Factualité | – Hallucine trop souvent sur les détails + Bon pour des généralités | + Est précis et source ses résultats grâce à Bing |
Conclusion
Bard est encore jeune, pas au niveau de ChatGPT et de Bing Chat, mais il devrait progresser significativement dans les mois à venir grâce à nos tests et aux compétences de Google en matière d’IA. Rappelons que c’est Google qui est à l’origine des Transformers utilisés par ChatGPT.
Bard a déjà des atouts à faire valoir : sa connexion au web, son intégration aux outils Google. Mais il doit encore améliorer sa créativité, sa pédagogie et sa fiabilité. ChatGPT reste pour l’instant le leader incontesté des chatbots basés sur l’IA, grâce à sa performance, ses nuances et sa créativité.
Et toi, partages-tu les mêmes conclusions que moi suite aux tests de ces 2 intelligences artificielles ? Enrichis cette discussion en commentaire !
Une réponse sur « Bard vs ChatGPT : quelle est la meilleure IA pour coder, écrire, apprendre ou s’informer ? »
[…] offre une meilleure pertinence que Bard dans les réponses et est disponible en ligne dans une application Android pour plus de 150 […]