De quoi ChatGPT est-il VRAIMENT capable ? | Ft. Science4All

Merci à Lê de @Science4Allfrancais pour sa relecture et sa contribution ! Un point sur lequel il me suggère d'insister et pour lequel je n'ai pas eu le temps d'ajouter une note de bas de page : on peut imaginer que les prochaines générations de ChatBot ne chercheront plus seulement à prédire ce qu'un humain écrirait, mais de plus en plus à prédire ce que les correcteurs humains préfèrent (parmi les trucs qu'il prédit qu'un humain écrirait). C'est déjà assez nettement le cas avec GPT-3.5 qui est entraîné à éviter certains sujets comme on l'a vu dans la vidéo.
Et pour en savoir plus sur Tournesol : tournesol.app

Merci aussi à Raphaël Millière dont vous pouvez aller lire l'article ici :
https://nautil.us/welcome-to-t....he-next-level-of-bul
On en avait discuté en visio il y a un moment, et j'ai renoncé à inclure des extraits de notre discussion dans la vidéo car cela aurait beaucoup compliqué le montage (et en plus on ne pouvait pas encore parler de ChatGPT vu que ce n'était pas encore sorti), mais en tout cas je le remercie d'avoir pris ce temps !

Merci aussi à toutes celles et ceux qui m'ont accompagné pendant les lives où je testais Cedille ou ChatGPT (certains des tests que je fais dans cette vidéo m'ont été directement inspiré par le chat de ces lives).

L'article que je mentionne sur GPT-3 jouant aux échecs : https://towardsdatascience.com..../gpt-3-play-chess-d1

David de @ScienceEtonnante me fait remarquer que tous les modèles de langage n'ont pas été entraînés à faire seulement de la prédiction de prochain mot (ou prochain *token* pour être exact, ce qui est un peu moins qu'un mot) ; par exemple certains comme BERT de Google sont aussi entraînés à compléter des "textes à trou" (des textes dont 15% des tokens sont cachés). Ceci dit, les modèles GPT sont bien entraînés à la prédiction de prochain token.

Enfin, je me fais à moi-même la remarque suivante : il y aurait sur les modèles de langage bien d'autres choses à dire qui touchent davantage à la philosophie, typiquement sur les questions éthiques, ou sur le rapport au langage et à l'intelligence. Mais le truc c'est que pour ne pas dire n'importe quoi quand on aborde ces sujets, c'est important déjà de bien comprendre de quoi on parle : que sont les modèles de langage et de quoi sont-ils vraiment capables ? Donc c'est surtout sur ce point que j'ai voulu insister dans cette vidéo parce qu'il me semble important de l'éclaircir pour éviter de tomber dans des fantasmes (typiquement des fantasmes sur la conscience des chatbots). Si ça vous intéresse que j'approfondisse le sujet maintenant que je l'ai débroussaillé, j'y reviendrai peut-être dans une autre vidéo ! Dites-moi en commentaire si ça vous dit !

Sommaire

0:00 - Intro - Qu'est-ce que ChatGPT ?
2:49 - À quoi les modèles de langage sont-ils entraînés ?
6:10 - Test : où l'on voit que ça ne RÉPOND pas, ça PRÉDIT
10:04 - Mais quand on parle de sujets sensibles...
11:42 - Lê sur l'"éducation" des modèles de langage
14:25 - Lê présente Tournesol
16:51 - ChatGPT : transformer un modèle de langage en chatbot
17:33 - Le problème de Blake Lemoine : un chatbot conscient ?
21:30 - ChatGPT prétend répondre correctement...
24:07 - Mais ChatGPT n'est pas du tout fiable.
27:05 - La machine à bullshit
30:13 - ChatGPT peut-il surpasser l'intelligence humaine ?
33:14 - Quand un modèle de langage joue aux échecs...
36:19 - Outro


__________________________________________


📚 Mon livre "Curiosités philosophiques, de Platon à Russell" : https://amzn.to/3KYujSo
🎧 La version en livre audio (lu par mes propres soins) est disponible sur Audible. Pour s'abonner, passer par ce lien permet de soutenir la chaîne : https://audible.fr/monsieurphi
📚 Méthodo de la dissertation et de l'explication de texte pour le bac : https://amzn.to/3c21RjE

La principale source de financement de la chaîne est le financement participatif. Merci pour tous vos dons !

💸 UTIP : https://utip.io/mrphi

Ou pour me faire un don direct :
💸 PAYPAL : https://www.paypal.com/paypalme/monsieurphi

Pour me suivre ailleurs :
🎙️ Twitch: https://www.twitch.tv/monsieurphi
🐤 Twitter : https://twitter.com/monsieurphi
💬 Discord : https://discord.gg/ky8TqcHu6A
👴 Facebook : https://www.facebook.com/graindephilo/
😱 Tiktok : https://www.tiktok.com/@monsieurphi
🌷 Instagram : https://www.instagram.com/monsieur.phi/
💻 Sur PeerTube aussi : https://indymotion.fr/video-ch....annels/monsieur_phi/
👕 Et pour acheter des petits goodies : https://utip.io/mrphi/shop

Suivez aussi AXIOME, podcast mathématico-philosophique avec Lê (Science4All)
🍻 ---- https://www.youtube.com/channe....l/UCNHFiyWgsnaSOsMtS ----

🎙️ Chaîne secondaire replay Twitch : https://www.youtube.com/channe....l/UCYymKHWbYAowpzGbh