BLOmiG

Catégorie : 📚 Livres

  • La parole aux machines

    La parole aux machines

    Thibaut Giraud (alias Monsieur Phi) vient de publier un ouvrage passionnant et très solide sur les LLM : sous-titré « Philosophie des grands modèles de langage », il revient sur les premiers pas des LLM (Large Language Models), sur la manière dont cela fonctionne, pour terminer l’ouvrage par une série de questions toutes plus passionnantes les unes que les autres, et qui sont pour le moment sans réponses totalement certaines (les LLM ont-ils une conscience ? les LLM peuvent-ils nous nuire ?).
    Je ne vais pas détailler dans cette recension le livre par le menu, d’une part parce que ça n’aurait pas grand intérêt (allez l’acheter, je vous le recommande), et d’autre part parce qu’une partie de son contenu est en partie accessible en ligne (à plein d’endroits pour la description de ce que sont les LLM et sur la chaine Youtube de Monsieur Phi, pour les aspects développés dans la deuxième partie du livre, dont les vidéos sont toujours très bien faites (je la suis depuis déjà plus de 7 ans). Je linkerai ici celles qui renvoient à certains passage du livre. Je partage simplement quelques points que je retiens personnellement, et qui ont alimenté ma réflexion et soulevé des questions.

    Vrai connaisseur

    Thibaut Giraud, docteur en philosophie, spécialiste de la logique et de la philosophie du langage, est quelqu’un de vraiment très pédagogue, et qui met les mains dans le cambouis. Les LLM, ils ne les regardent pas du haut d’une tour conceptuelle flottant dans l’éther philosophique : non, il s’en sert, l’utilise, la teste, y réfléchit, et s’appuie sur les travaux des chercheurs pour continuer à y réfléchir. Cela permet de se rendre compte, comme sur beaucoup de sujets, à quel point les journalistes invitent en général non pas les experts des sujets, mais ceux qui sont prêt à baratiner pour leur servir ce qu’ils veulent entendre. Thibaut Giraud, c’est le moins que l’on puisse dire, règle leur compte, à juste titre, à des guignols comme Luc Julia ou Raphaël Enthoven, qui sont invités partout, pour dire des choses fausses à propos des LLM, ne prouvant rien d’autre que leur incapacité crasse à simplement confronter leurs idées à la réalité empirique. Si vous voulez voir un mise à mort philosophique, c’est intéressant. Raphaël Enthoven raconte n’importe quoi. Luc Julia aussi. Merci à Thibaut Giraud de montrer leur nudité.

    Les machines ont pris la parole

    Le livre s’ouvre sur ce qui devrait tous nous étonner, radicalement : les LLM signent une rupture réelle dans l’histoire de l’humanité. Depuis leur arrivée, et l’accélération du développement de leurs compétences, les humains ont perdus le monopole du langage. Cette caractéristique qui nous permettait de séparer les humains du reste de l’univers est tombé. Tout texte, désormais, est possiblement le fruit du travail d’une machine, et dans la plupart des cas il est presqu’impossible au commun des mortels de faire la différence entre une production humaine et celle d’un LLM.
    Le doute s’immisce… Un doute étrange et profondément nouveau. Songez-y : il aurait été absurde de le formuler il y a seulement dix ans. Nostalgie d’une époque où l’écriture était encore le privilège de l’humanité… C’est fini. (…) (les doutes) continueront de peser sur tout ce qui s’écrit, et de plus en plus au fur et à mesure qu’augmentera la qualité des textes générés. Ne serait-ce qu’en cela, il me semble que notre rapport au langage a été profondément et irrémédiablement changé : sa maîtrise n’est plus le critère de distinction par excellence de l’être humain. Désormais, les machines aussi parlent. Pour autant, pensent-elles ?
    Une bonne partie partie du livre est consacré à répondre à cette question, loin d’être triviale, et auquel le bon sens n’apporte en général qu’une réponse préfabriquée visant plus à se rassurer qu’à sérieusement considérer cette problématique, d’où le grand intérêt du livre.

    Changement de paradigme

    Ce qui rend contrintuitifs beaucoup de débats à propos de l’IA et des LLM, c’est que la paradigme informatique à l’oeuvre n’est plus le même que celui que nous avons intériorisé pendant les trente ou quarante dernières années. Nous sommes sortis sur paradigme purement « programmé » (une suite d’instructions dit à la machine ce qu’elle doit faire), à un paradigme « d’apprentissage » (un réseau de neurones formels, pré-entrainé, apprend automatiquement, sur la base d’énormes quantités de données, à produire les « bonnes » réponses). Dans le cas d’un programme classique, on sait décrire précisément ce que fait le code (même s’il le fait dans des échelles de temps et de données sans commune mesure avec ce que nous pouvons imaginer). Dans le cas d’une IA, et plus spécifiquement d’un LLM, nous ne savons pas, devant le fonctionnement du modèle, dire précisément ce qu’il fait. Les milliards de paramètres du réseau de neurones ne nous permettent pas vraiment d’être très clair sur la manière dont le modèle donne la bonne réponse.
    On redécouvre dans ce domaine la notion d’émergence, ou d’ordre spontané : un ensemble même minimal de règles peut donner lieu des résultats complexes, imprévisibles. Les neurones donnent bien naissance à la « conscience », n’est-il pas naturel qu’un réseau de neurones informatique, surtout de cette taille là, puisse générer des choses inattendues et non prévisibles ?

    Les machines sont-elles conscientes ?

    Poser la question, et elle est pertinente, montre à quel point cette révolution technologique est radicale : on est en pleine science fiction. S’appuyant sur beaucoup de travaux de chercheurs (notamment certains de ceux qui travaillent chez OpenAI ou Anthropic), l’auteur montre que sur des LLM simplifiés, on a pu mettre en place des « sondes » qui permettent d’accéder à l’état de certaines couches de neurones du réseau. La conclusion est pour le moins troublante (détail dans cette vidéo).
    C’est un résultat fascinant : avec ces sondes, il semble que l’on mette le doigt sur une véritable représentation interne qui a émergé au cours de l’entraînement pour faciliter le travail de prédiction. La boîte noire du réseau de neurones n’est plus si noire. Et les chercheurs sont allés plus loin pour identifier le rôle que joue cette représentation interne : que se passe-t-il quand on la manipule ? (…) Grâce aux sondes qu’ils ont entraînées, les chercheurs savent maintenant ce qui, dans l’état interne du modèle, représente l’information, selon laquelle il y a un pion blanc sur la case f8 par exemple. Ils peuvent dès lors manipuler cet état interne pour qu’il représente plutôt la présence d’un pion noir sur cette case. Ils ont en quelque sorte changé, non pas l’état du plateau selon l’historique de coups, mais ce que le modèle a « dans la tête », sa représentation du plateau, quand il y a réfléchit. Désormais, il « voit » un pion noir en f8. (…) De façon générale, après manipulation de la représentation du modèle, les prédictions restent des coups légaux selon la représentation modifiée dans plus de 99,9% des cas.
    Pour aller plus loin des chercheurs ont publié un papier intitulé « La conscience dans l’intelligence artificielle : l’éclairage des sciences de la conscience » (Butlin et al. 2023). Ils prennent un certain nombre de modèles scientifiques de la conscience, et des caractéristiques de la conscience, et regardent si les modèles LLM répondent à certains de ces critères. La conclusion est sans appel : nos connaissances sur ce qu’est la conscience ne nous permettent pas vraiment de répondre à la question.
    En somme, ce rapport sur la conscience artificielle semble avant tout mettre en lumière un profond déficit de connaissance : même en se basant sur nos meilleurs théories scientifiques de la conscience, celles-ci ne nous en apprennent tout simplement pas assez pour déterminer si un système est ou n’est pas conscient. Et ce n’est pas seulement une incertitude liée au fait que nous ne savons pas quelle est la bonne théorie parmi les six proposées : aucune ne permet de trancher de façon claire. Nous sommes face à une ignorance fondamentale qui devrait nous inciter à la prudence sur ces questions d’attribution de conscience. (…) Nous sommes capables de construire des machines simulant la conscience, mais pas de répondre à la question de savoir si elles sont effectivement conscientes. Et nous sommes partis pour construire de plus en plus de ces machines quoi qu’il en soit. C’est perturbant, mais c’est ainsi. En attendant d’y voir clair, commençons par ne pas ignorer notre ignorance.

    Autonomie et alignement

    Dans cette logique, Thibaut Giraud termine le livre en discutant les concepts d’autonomie et d’alignement, montrant un certains nombre d’exemples et de cas limites, où l’on parvient à mettre en évidence des comportements étranges et non alignés des LLM (capacités à mentir, ou à se comporter différemment de ce quel les développeurs avaient mis comme intention dans le modèle). Le fait de faire expliciter les CoT (Chain of thoughts, les maillons du raisonnement) permet en partie de limiter ces phénomènes, mais ça n’est pas si simple, et par ailleurs, ces éléments feront partie de la matière d’entraînement des LLM, donc potentiellement ils pourraient les contourner. L’auteur renvoie à la Déclaration sur le risque de l’IA (avec en auteur entres autres Yoshua Bengio). Cela rejoint les prises de position d’Elon Musk sur l’IA, et son engagement dans une IA open source, dont le but est de chercher le maximum de vérité. Car oui, ces « choses » ne semblent qu’à leur début, avec une puissance énorme, et un contrôle par les humains plutôt mal assuré. Prudence et utilisation vont de pair, à mon sens. Ce n’est pas en mettant la tête dans le sable que l’on pourra jouer avec cette réalité.

    Ouvrage passionnant

    Je vous recommande chaudement ce livre admirable de clarté, et de profondeur. Tout y est bien mis en perspective, concret quand il le faut, conceptuel quand il le faut, sourcé toujours, et souvent drôle. Vous y découvrirez encore plein d’autres choses passionnantes, comme les expériences de pensée de la chambre chinoise, ou du cerveau colossal (d’ailleurs aussi présent dans Le problème à trois corps).
    A lire, pour ne pas se contenter des avis superficiels conduisant au rejet suffisant, ou à l’adhésion béate.

  • La messe n’est pas dite

    La messe n’est pas dite

    Je viens de terminer le dernier d’Eric Zemmour @ZemmourEric, « La messe n’est pas dite », dans la nouvelle collection Pensée libre dirigée par Sonia Mabrouk @SoMabrouk chez Fayard. Sous-titré « Pour un sursaut judéo-chrétien », cet essai très dense et direct livre un propos assez simple, issu d’une réflexion beaucoup plus profonde sur les liens entre la France et le christianisme, et le catholicisme en particulier. Ce propos tient en quelques mots, si on le résume à l’extrême : la France a une part de son identité qui est chrétienne, et même catholique, et si on l’oublie, on perd l’identité française. De même si on oublie en quoi le catholicisme est le prolongement du judaïsme, en tout cas pour son expression française (Zemmour s’appuie ici sur Renan et sa somme « Histoire des origines du christianisme »).
    J’ai trouvé, comme toujours avec Zemmour, son ouvrage à la fois érudit, instructif, et d’une grande clarté. Sa plume est vraiment très agréable, et tranchante. Ça se lit comme du petit lait, pourrait-on dire. Le propos est vaste, couvre de nombreuses époques et sujets, mais jamais le lecteur n’est assommé ou noyé. Je regrette juste, à titre personnel, de n’être pas assez cultivé pour lire tout cela avec un regard critique historique. Il en fait la promotion en ce moment partout, donc vous pourrez facilement le voir discuter du contenu avec divers interlocuteurs…
    Je n’ai pas grand-chose à dire sur le fond, car cela me paraît être du bon sens. D’autres avaient déjà insisté pour rappeler à quel point les racines chrétiennes de l’Europe, et leur reconnaissance, sont importantes pour l’identité. Zemmour souligne avec une grande justesse à quel point le christianisme, basé sur la foi individuelle, a participé à la synthèse de la notion d’individu libre telle que nous la connaissons maintenant (synthèse expliquée par Philippe Nemo). Si, en effet, la foi est individuelle, alors personne ne peut lire dans l’âme ou l’esprit de quelqu’un pour savoir ce qu’il pense, ou croit. C’est une donc une porte ouverte, paradoxalement, par l’orthodoxie, à la liberté de croyance. Il aurait peut-être été intéressant d’approfondir ce qui s’est joué sur ces sujets lors du schisme catholique / protestant : il me semble que cela aurait approfondi cette partie de la discussion, tout en ouvrant la réflexion sur ce qui semble se dessiner comme rupture entre les USA et l’Europe en ce moment.
    Au-delà de ces maigres critiques qui n’expriment que ma frustration pour ce texte volontairement trop court, mais excellent, j’espère que ces idées, portées brillamment par Zemmour, Knafo @knafo_sarah et Reconquête @Reconquete_off, gagneront l’audience qu’elles méritent : il en va de la survie de notre pays.

  • Management Lean

    Management Lean

    J’ai eu la chance d’assister à une conférence de Michael Ballé (auteur avec Godefroy Beauvallet du livre « Management Lean ») dans le cadre de mon travail. Et à la fin de la journée où nous avions vu cette très intéressante conférence, nous nous sommes vu offrir l’ouvrage. Que j’ai lu, et qui est vraiment très intéressant : j’avais entendu souvent parler du « Lean » sans vraiment savoir précisément de quoi il retournait. Le quatrième de couverture le dit très bien :

    Loin des effets de mode, le management lean n’est ni une méthode ni une philosophie. C’est avant tout une pratique (…) Si Management Lean est une référence, c’est parce qu’il ne transige jamais sur les principes essentiels de la pratique lean : assurer le succès durable de l’entreprise, son alignement sur les besoins de ses clients – par le développement personnel et professionnel de chaque collaborateur -, et plus largement, sa contribution aux objectifs globaux de préservation de l’environnement et du lien social.

    Loin de moi l’idée de résumer cet ensemble de pratiques réalistes, basé sur l’apprentissage, venu du Japon. Je vous en partage quelques traits marquants que j’ai relevé au fil de la lecture.

    Venu du Japon


    Le Lean est indissociable du Japon (même s’il a été formalisé en tant que tel aux USA) : cette pratique, en effet, a été construite chez Toyota, et formalisée au sein du mystérieux TPS (Toyota Production System). L’auteur Michael Ballé est le fils d’un ingénieur (Freddy Ballé) qui a été parmi les premiers à aller, pour Valéo, étudier l’organisation de Toyota, sur place, pour en comprendre la logique et la philosophie. C’est une organisation du travail en usine qui est vraiment très différente du Taylorisme. Elle part de l’ouvrier, de l’opérateur, et des conditions de l’excellence de son travail, au service du client. Et le terme « lean » décrit très bien la démarche et la pratique : « sans gras », « dégraissé », le terme décrit très bien un organisme sans surplus, réactif et résilient, fin et dynamique, optimisé en tout point, comme un jaguar. C’est à cette image que l’entreprise doit essayer de ressembler dans son fonctionnement pour rester tendue vers son seul objectif (satisfaire les clients), en s’appuyant sur ses seules forces (les humains qui y travaillent, et la manière dont ils travaillent).

    Une approche réaliste



    Ce qui marque à la lecture de l’ouvrage, c’est le côté ultra-réaliste de cette pratique. Pas d’idéologie, pas d’idées préconçues, tout repose sur l’observation et la compréhension de la réalité. La réalité de la qualité des produits, de la qualité du travail, des conditions de productions, des optimisations possibles. On trouve naturellement au sein du lean le gemba (l’observation terrain), la formation permanente des ouvriers et en général des employés, la recherche et l’analyse des causes des problèmes, la chasse aux gaspillages (ressources, temps, etc..). C’est la réalité qui prime ; les humains s’y adaptent.

    Centrée sur les produits et les clients


    Le but du Lean est de servir au mieux les clients avec les meilleurs produits. La manière de traiter les réclamations clients liés à des problèmes qualité est à ce titre très évocatrice de cette approche : qu’est-ce qui dans l’utilisation du produit a cassé la magie du produit, et comment prendre cette réclamation comme une occasion précieuse d’apprendre (qu’est-ce que le client essayait de faire avec le produit ? en quoi le produit ne lui a pas permis de le faire ? quelle situation concrète est à l’origine de la difficulté ? qu’est-ce que ça nous dit sur ce qui est important pour le client ? qu’est-ce que nous pouvons apprendre sur le fonctionnement de nos produits ? quel aspect de notre processus de fabrication ou de service a créé le problème ?). Vous l’avez compris, cette manière de voir les choses est intimement liée à l’apprentissage et l’amélioration permanente.

    Une approche basée sur l’amélioration permanente


    Naturellement, avec cette approche l’amélioration graduelle et permanente (kaizen est au coeur des pratiques managériales, au service de la performance. L’effort de chaque salarié, de chaque manager, est que chacun puisse faire son travail avec la plus grande qualité et dans les meilleures conditions. « Le principe « non coupable » est la clé de l’amélioration, car il permet de mettre les problèmes en évidence et de se poser la question « pourquoi » plutôt que la question « qui ». » On retrouve là les principes soulignés par C. Morel dans son magnifique ouvrage « Eviter les décisions absurdes« . Cela a pris du temps, et est très bien symbolisé par un exemple souvent cité pour illustrer la manière dont le Lean s’incarne concrètement dans les espaces de travail. Les opérateurs chez Toyota ont une ficelle à portée de main qu’ils peuvent tirer dès qu’ils rencontrent un problème impactant la qualité de la production : dans ce cas, la chaîne s’arrête, et les managers convergent vers ce point de la chaîne, non pour blâmer le coupable, mais pour l’aider à trouver une solution. Mais pas en la trouvant pour lui. En vérifiant que l’opérateur a bien intégré le standard de travail, en le (re)formant / ou en se mettant d’accord sur la distinction entre un bon composant ou mauvais composant, en clarifiant les critères, en se mettant d’accord sur la méthode de test. C’est une manière de toujours considérer que la qualité est avant-tout de l’auto-qualité. La formation est intégrée au travail lui-même.

    C’est un ouvrage très facile à lire, très inspirant, et dont je vais partager quelques points avec mes collègues. Qu’est-ce que la pratique lean signifie si je l’applique à mon propre travail ? en quoi conduit-elle à améliorer certaines de mes pratiques professionnelles ?

  • Citation #176

    Aucun homme ne devrait travailler pour quelque chose qu’un autre homme peut imprimer.
    Jack Mallers (1994)
    entrepreneur américain dans le domaine du Bitcoin

  • Bitcoin : le choc géopolitique

    Bitcoin : le choc géopolitique

    Jean-Charles Galli (@JeanCGalli) et Alexandre Stachtchenko (@StachAlex) signent avec « Bitcoin Le choc géopolitique » un livre passionnant et pédagogique sur le Bitcoin, avec un angle d’attaque singulier explicité dans le titre : leur regard est géopolitique. Ils expliquent dès l’introduction pourquoi : dans la mesure où les Etats se sont arrogé le monopole de l’émission de monnaie, ils ont fait passer cette fabuleuse invention (la monnaie) du monde purement économique à un monde politique, et, dans la mesure où les échanges internationaux sont désormais la norme, géopolitique.

    Rendre à Hayek

    Comme beaucoup d’auteurs ayant étudié le Bitcoin, ils remettent en perspective les différentes raisons qui ont conduits des générations d’informaticiens, et de spécialistes de cryptographie, à tester, essayer, échouer, et finalement réussir à créer une « monnaie électronique purement pair-à-pair qui permet des paiements en ligne envoyés directement d’un acteur à au autre sans passer par une institution financière. » (Satoshi Nakamoto). Les problèmes générés par la mauvaise gestion des Banques centrales, du système bancaire, et des Etats (création monétaire incontrôlée, endettement massif, dévaluation permanente de la monnaie) en sont la cause, et ils avaient été analysé par Hayek dans son ouvrage de 1976 : « The denationalization of money » (il avait anticipé la création de Bitcoin en 1984 dans une interview restée célèbre où il expliquait « Nous ne retrouverons pas de bonne monnaie tant que nous ne l’enlèverons pas des mains du gouvernement. (…) Nous ne pouvons pas le retirer violemment des mains du gouvernement, tout ce que nous pouvons faire, c’est introduire par un moyen détourné quelque chose qu’ils ne peuvent pas arrêter. » Visionner l’interview de Hayek).

    Riche et utile

    Le livre revient sur un certain nombre de choses déjà connues de ceux comme moi qui sont passionnés par le sujet, mais qui sont, ici, présentées de manière suffisamment documentée, approfondie, et pédagogique pour que le livre constitue une excellente introduction à Bitcoin.
    J’ai particulièrement apprécié les éclairages stratégiques du point de vue des Etats et des entreprises (trop rarement ajoutées à cette discussion, alors qu’elles jouent un rôle central dans l’adoption). Ainsi, d’ailleurs, que les éclairages apportés sur le minage et le rôle de cette industrie dans une possible meilleure gestion globale d’un système énergétique (j’avais déjà appris beaucoup grâce aux interviews de Seb Gouspillou @SebGouspillou). La plongée détaillée dans ce que Nayib Bukele (@nayibbukele) a mis en place au Salvador est également passionnante, par le courage et la ténacité de cet homme, et tant on peut voir sur cet exemple à quel point les institutions internationales (FMI notamment) sont politisées et prédatrices.
    D’une manière générale, la grande qualité du livre repose sur le regard très réaliste que portent les auteurs sur l’essor du Bitcoin : loin d’un discours d’idéaliste ou de propagande, ils décrivent de manière pragmatique les progrès (incroyables) et les risques (réels) dans le parcours du Bitcoin depuis sa création.

    Train qui passe… avec ou sans nous ?

    A la fin de la lecture, je ressors avec le sentiment assez frustrant de constater que tous ceux qui regardent ce sujet avec sérieux arrivent aux mêmes conclusions : la France aurait tout ce qu’il faut pour choisir de monter à bord de ce train (le nucléaire, la population bien formée, un système bancaire important et structuré), mais que la clique de socialistes au pouvoir dans les différents strates bloquent cette innovation majeure, en lui mettant des batons dans les roues (fiscaux, juridiques, médiatiques, politiques, réglementaires). Notre classe politique pour des raisons idéologique, sur ce sujet comme sur d’autres, joue contre l’intérêt du pays et de son peuple. Je mets à part Sarah Knafo (@knafo_sarah) qui a visiblement travaillé le sujet et qui s’en est faite, avec d’autres, la porte-parole au niveau européen pour expliquer que le Bitcoin est la monnaie libre, là où les MNBC (monnaies numériques de banque centrale) ne sont que des instruments de surveillance de plus. Le livre d’ailleurs montre très bien les contradictions morales, logiques et économiques, qui font des MNBC une arnaque intellectuelle : pour être réellement ce qu’elles prétendent être, elles devraient se mettre en place avec en parallèle la suppression des Banques Centrales, ce qui, bien sûr n’est pas le cas… Je laisse le mot de la fin aux auteurs, en citant un morceau de leur conclusion, et les remercie pour ce livre très riche et utile.
    A mesure que le temps passe, le statut de Bitcoin comme réserve de valeur numérique rare, non confiscable et ne requérant aucune permission pour être utilisé se renforce, sous un triple effet : un nombre croissant d’utilisateurs convaincus partout dans le monde, l’acculturation qui s’opère et l’engagement de grandes sociétés et d’Etats dont les engagements ont valeur de prescripteurs. A mesure que sa rareté augmentera et que son adoption s’étendra, Bitcoin s’imposera comme une réserve de valeur numérique incontournable, offrant un outil d’émancipation financière face aux aléas des systèmes monétaires traditionnels.

  • Flâneries

    … la plupart des hommes se promènent à Paris comme ils mangent, comme ils vivent, sans y penser […] Oh! errer dans Paris ! Adorable et délicieuse existence ! Flâner est une science, c’est la gastronomie de l’œil. Se promener, c’est végéter ; flâner, c’est vivre.
    Honoré de Balzac (1799 – 1850)
    écrivain français.

    J’adore flâner11. Se promener au hasard et sans hâte.. Seul, ou à deux, le plaisir est toujours le même, et toujours réinventé. Se laisser guider par la curiosité, la découverte, porter un regard nouveau sur des choses connues, porter un regard de connaisseur sur des détails, de l’inattendu, des morceaux de réels surprenants. Mais aussi, laisser les pérégrinations lentes faire de la place aux pensées vives. Je vais donc créer ici une collection nouvelle, « Flânerie », qui me permettra de partager des petites choses grapillées dans Paris (et ailleurs). Sous forme de photos, ou de textes, ou les deux. J’avais déjà partagé ici ce genre de « captures de flânerie ». Un brin fragile de courage, et Partance. Celles-ci étaient plutôt tristes et nostalgiques, mais les flâneries, fort heureusement, sont souvent plus légères et joyeuses, imprévues, sans importance.