Le nouveau modèle de langage d’OpenAI, GPT2-Chatbot, a été testé pendant 24 heures sur Chatbot Arena. Les résultats sont impressionnants et laissent à penser qu’il s’agit d’une version améliorée de GPT4, voire d’un GPT 4.5 ou GPT5. Dans cet article, nous allons découvrir ce qu’est GPT2-Chatbot, comment il fonctionne et quelles sont ses performances.
GPT2-Chatbot : mon test complet en vidéo
GPT2-Chatbot est un modèle de langage développé par OpenAI. Il s’agit d’une version améliorée de GPT2, qui a été fine-tuné pour les conversations.
Ce modèle a été testé pendant 24 heures sur Chatbot Arena, une interface web qui permet d’évaluer à l’aveugle la pertinence d’un modèle de langage. Les résultats ont montré que GPT2-Chatbot était meilleur que tous les autres modèles testés.
Chatbot Arena, c’est quoi ?
Chatbot Arena est une interface web qui permet d’évaluer à l’aveugle la pertinence d’un modèle de langage. Les utilisateurs posent une question avec un prompt, et deux modèles de langage différents répondent. Les utilisateurs doivent ensuite évaluer lequel des deux modèles a donné la meilleure réponse.
Ici par exemple les 2 LLMs donnent une mauvaise répondre ! Je vais donc mettre Both are Bad. Et ensuite, je découvre que la réponse A venait de phi-3 et la B de GPT-4
GPT 2, GPT 4.5 ou GPT 5 ?
Il y a eu beaucoup de confusion quant à la version de GPT2-Chatbot. Certains pensent qu’il s’agit d’une version fine-tunée de GPT2, tandis que d’autres pensent qu’il s’agit d’une nouvelle version de GPT4 ou même de GPT5.
Cependant, les tests montrent que GPT2-Chatbot est plus performant que GPT4, ce qui laisse penser qu’il s’agit d’une version améliorée de ce modèle. Certains émettent l’hypothèse qu’il pourrait s’agir d’un GPT 4.5.
En tout cas, Sam Altman, CEO d’Open AI, valide l’existence de GPT2
Le test de Tommy (Goodfellas)
Pour tester les performances de GPT2-Chatbot, j’ai posé plusieurs questions, notamment sur le film Les Affranchis (Goodfellas). J’ai demandé au modèle qui tuait Tommy dans le film.
GPT2-Chatbot a correctement répondu que Tommy était tué par les membres de la famille mafieuse comme représailles à la mort de Billy Bats.
Alors que d’autres LLMs surpuissants comme Claude 3 Opus se plantent tout le temps en citant les amis de la victime !
Qui est Jean-Baptiste Viet, quels livres a-t-il écrits, quel livre doit il écrire ?
J’ai également demandé à GPT2-Chatbot des informations sur moi-même (Jean-Baptiste Viet) et sur mes ouvrages. Le modèle a un peu déliré, mais beaucoup moins que d’autres modèles comme Llama 3 ou Claude 3. qui m’inventent des compétences que je n’aurais jamais : politique, botaniste, peintre,…
J’ai barré ce qui était faux. Les LLMs continuent à halluciner, mais c’est beaucoup moins fort dans le cas de GPT2-chatbot.
Jean-Baptiste Viet, connu pour son expertise en technologie et en médias numériques, a écrit plusieurs ouvrages qui visent à aider les utilisateurs à mieux naviguer dans le monde digital. Voici une liste de ses livres, avec les années de publication et les éditeurs correspondants:
Livres écrits par Jean-Baptiste Viet
- « YouTubeur: Créer des vidéos et des millions de vues sur YouTube »
- Année: 2016
- Éditeur: Eyrolles
- Description: Ce livre guide les aspirants créateurs de contenu à travers les étapes de création, de développement et de monétisation de vidéos sur YouTube.
- « BlogBuster : Gagner de l’Argent avec un Blog »
- Année:
2017 (première édition) - Éditeur: Auto-édition
- Description: Jeanviet y explique comment il a pu attirer plus de
3 millions de visiteurssur son blog en un an et générer des revenus conséquents.
« Décrochez du Sucre ! »
Année: 2020Éditeur: Independently PublishedDescription: Dans ce livre, il s’éloigne de ses thèmes habituels pour aborder le sujet de la santé et du bien-être, axé sur les dangers de la consommation de sucre.
Le Livre le Mieux Vendu
Parmi ses publications, “YouTubeur: Créer des vidéos et des millions de vues sur YouTube” semble être le livre le mieux vendu. Ce succès peut être attribué à plusieurs facteurs :
- Popularité du Sujet : La création de contenu vidéo est un domaine en pleine expansion. De nombreuses personnes aspirent à devenir créateurs de contenu, ce qui rend un guide pratique extrêmement utile.
- Expertise de l’Auteur : Jean-Baptiste Viet est lui-même un créateur de contenu réussi, ce qui ajoute une couche de crédibilité et d’authenticité à ses conseils.
- Approche Pratique : Le livre est bien structuré et offre des conseils pratiques et réalisables qui peuvent être mis en œuvre par des créateurs de contenu à différents niveaux d’expertise.
Sujet Potentiel pour 2024
Pour continuer à plaire à sa communauté en 2024, Jean-Baptiste Viet pourrait envisager d’écrire un livre sur un des sujets suivants :
- « Maîtriser l’Intelligence Artificielle pour les Créateurs de Contenu »
- Description: Avec l’évolution rapide de l’IA, un guide sur l’utilisation de l’intelligence artificielle pour optimiser la création de contenu (vidéo, écriture, etc.) pourrait attirer un large public. Ce livre pourrait couvrir des outils d’IA pour l’édition de vidéo, la génération de texte, et la personnalisation de contenu.
- « La Révolution des Réseaux Sociaux : TikTok, Instagram Reels et Au-Delà »
- Description: Un livre qui explore les dernières plateformes et tendances en matière de médias sociaux, en particulier TikTok et Instagram Reels, qui dominent actuellement l’espace des réseaux sociaux pour le partage de vidéos courtes.
- « Éco-Responsabilité pour les Geeks : Réduire son Empreinte Numérique »
- Description: Un guide sur comment être technophile tout en étant éco-responsable, ce qui pourrait inclure la réduction de l’empreinte carbone, le recyclage des appareils électroniques, et des conseils pour utiliser la technologie de manière durable.
Chacun de ces sujets pourrait non seulement captiver l’intérêt existant de sa communauté mais aussi attirer de nouveaux lecteurs intéressés par ces domaines en pleine évolution.
GPT 4.5 fait un rap
Pour tester les capacités créatives de GPT2-Chatbot, je lui ai demandé de faire un rap sur Jeanviet avec des rimes et en commençant chaque vers par une lettre différente de mon pseudo JEANVIET.
[Couplet 1]
Juste un clic pour entrer dans le game,
Envie de coder, il l’enflamme,
Algorithme en rythme, IA qui rime,
Navigue dans les tutos, c’est le prime.
[Refrain]
Viens découvrir, c’est du lourd,
IA de demain, d’aujourd’hui, autour,
Explore chaque piste, chaque contour,
Tech tips que Jeanviet te donne pour toujours.
Le modèle a répondu avec un rap bien structuré, avec des rimes et un refrain entraînant.
Test de Maths avec gpt2-chatbot
J’ai également testé les capacités de GPT2-Chatbot en mathématiques en lui posant une question sur un programme d’entraînement pour le marathon.
Le modèle a correctement répondu en donnant une estimation de la vitesse de course moyenne sur le marathon, ainsi qu’un plan d’entraînement et un régime alimentaire.
Par contre, il surrestime beaucoup mes capacités de vitesse (il considère que j’irai aussi vite sur une distance 2x plus longue) et de perte de poids (7 kgs à perdre !!!). Donc là dessus, on est perfectible et je prie pour que GPT2-Chatbot ne prenne jamais le contrôle de ma vie en tant que coach sportif 😉
gpt2-chatbot sait coder en python
Enfin, j’ai testé les capacités de GPT2-Chatbot en programmation en lui demandant de créer un script Python qui calcule la vitesse moyenne d’une course. Le modèle a répondu avec un script Python fonctionnel que je te partage ici :
def main():
try:
# Demande de la distance parcourue
distance_input = input("Entrez la distance parcourue en km (utilisez une virgule pour les décimales, ex: 42,195): ")
distance_input = distance_input.replace(',', '.') # Remplace la virgule par un point pour la conversion en float
distance = float(distance_input)
# Demande du temps réalisé
hours = int(input("Heures: "))
minutes = int(input("Minutes: "))
seconds = int(input("Secondes: "))
# Calcul du temps total en secondes
total_seconds = hours * 3600 + minutes * 60 + seconds
# Calcul de l'allure moyenne
if distance == 0:
raise ValueError("La distance ne peut pas être zéro.")
average_pace_seconds = total_seconds / distance
pace_minutes = int(average_pace_seconds // 60)
pace_seconds = int(average_pace_seconds % 60)
# Affichage de l'allure moyenne
print(f"Allure moyenne: {pace_minutes} minute(s) et {pace_seconds} seconde(s) par kilomètre")
except ValueError as e:
print(f"Erreur de valeur : {e}")
except Exception as e:
print(f"Une erreur est survenue : {e}")
if __name__ == "__main__":
main()
Comment gagner un smic sur YouTube ?
J’ai posé une question à GPT2-Chatbot sur la façon de gagner un SMIC sur YouTube. Le modèle a répondu avec des stratégies précises pour augmenter le nombre de vues et d’abonnés, ainsi que des conseils pour améliorer la qualité des vidéos.
Combien gagne Google ?
Enfin, j’ai demandé à GPT2-Chatbot combien gagnait Google. Le modèle a répondu avec des informations détaillées sur les revenus de Google, y compris la répartition des revenus sur ses différents services et le poids de la publicité pour l’entreprise. Données en phase avec ce remontent les rapports financiers officiels.
Comment tester GPT2 Chatbot ?
Malheureusement, GPT2-Chatbot n’est plus disponible sur Chatbot Arena. Cependant, il est toujours possible de tester gratuitement en mode direct chat GPT 4 et Claude 3 Opus sur leur site ici https://chat.lmsys.org/.