Un événement capital qui a mis en lumière l'apprentissage automatique a eu lieu en 2016 lorsque AlphaGo, l'IA de Google DeepMind est entré dans l'histoire en battant l'un des meilleurs joueurs de Go au monde. Comme il s'agit d'un jeu de société complexe qui requiert une forte intuition et une pensée abstraite, beaucoup de gens ont été choqués d'apprendre que les machines peuvent penser comme les humains.
Les algorithmes d'apprentissage automatique sont devenus omniprésents aujourd'hui, alimentant tout, des moteurs de recherche aux voitures à conduite autonome. Mais comment tout cela a-t-il commencé ?
Dans ce blog, nous allons explorer la chronologie complète de l'histoire de l'apprentissage automatique. C'est parti !
1943 - Le premier modèle mathématique d'un neurone biologique
Walter Pitts et Warren McCulloch ont créé le premier modèle mathématique des réseaux neuronaux en 1943. Leur article scientifique, "A Logical Calculus of the Ideas Immanent in Nervous Activity", a été utilisé pour créer des algorithmes qui imitent les processus de pensée humains.
Ce neurone de McCulloch Pitts a une capacité très limitée et ne possède aucun mécanisme d'apprentissage. Pourtant, il a été le véritable point de départ de la discipline moderne de l'apprentissage automatique et a ensuite ouvert la voie à l'apprentissage profond et à l'apprentissage automatique quantique.
1949 - La synapse de Hebb
Le psychologue canadien Donald O. Hebb publie son livre "The Organization of Behavior : A Neuropsychological Theory." Hebb y formule des théories sur l'excitation des neurones et la communication entre les neurones qui ont influencé la façon dont les psychologues considèrent le traitement des stimuli dans l'esprit.
Le concept a été utilisé pour la première fois pour étudier la façon dont le cerveau apprend. Il a également ouvert la voie au développement de machines informatiques imitant les processus neurologiques naturels, comme l'apprentissage automatique.
1950 - Le test de Turing
Le test de Turing a été proposé par Alan Turing, un informaticien anglais, pour mesurer l'intelligence d'un ordinateur en 1950. Il s'agit d'un moyen de mesurer l'intelligence artificielle. Si une personne ne peut pas dire si elle parle à une autre personne ou à un ordinateur, alors l'ordinateur est considéré comme intelligent.
Le test de Turing a été critiqué au motif qu'il est difficile de créer un test juste et précis, ainsi que parce que l'intelligence n'est pas correctement mesurée par ce seul test. Il n'en reste pas moins un jalon essentiel dans l'histoire de l'informatique. recherche en intelligence artificielle.
1952 - L'apprentissage automatique et le jeu de dames
Le mathématicien anglais Arthur Samuel a créé un programme d'apprentissage informatique pour jouer aux dames informatiques de niveau championnat, qui a été créé pour jouer sur l'IBM 701. Il est à l'origine de l'élagage alpha-bêta, un concept qui mesure les chances de victoire de chaque camp.
Ce programme informatique choisit son prochain coup en utilisant un algorithme minimax, qui calcule le meilleur coup possible pour un joueur dans un jeu en minimisant le gain maximum de l'adversaire et en maximisant le gain minimum du joueur.
Arthur Samuel est la première personne à avoir créé et popularisé le terme "apprentissage automatique".
1956 - Le lieu de naissance de l'intelligence artificielle
Dans l'histoire de l'apprentissage automatique, l'atelier de Dartmouth en 1956 est largement considéré comme l'événement fondateur de l'intelligence artificielle en tant que domaine. L'informaticien John McCarthy a invité des mathématiciens, des scientifiques et des chercheurs de renom à un atelier de six à huit semaines. Ils se sont réunis au Dartmouth College pour établir et réfléchir aux domaines de recherche de l'IA et de la ML.
1958 - Le Perceptron
Le psychologue Frank Rosenblatt a tenté de construire "la première machine capable de produire une idée originale" et a ensuite conçu le Perceptron, le premier réseau neuronal jamais produit.
Il a combiné le modèle d'interaction des cellules cérébrales de Donald Hebb avec les efforts d'apprentissage automatique d'Arthur Samuel. Il a reçu une série de cartes perforées et, après 50 essais, a appris à distinguer les cartes comportant des marques à gauche des marques à droite.
Malgré ses promesses, le perceptron n'a pas pu identifier de nombreux types de modèles visuels, ce qui a frustré les chercheurs. Il faudra attendre plusieurs années avant que les frustrations des investisseurs et des organismes de financement ne s'estompent.
1963 - Une partie de Tic Tac Toe
L'informaticien Donald Michel a conçu le Machine Educable Noughts And Crosses Engine (MENACE), une grande pile de boîtes d'allumettes contenant plusieurs perles et utilisant l'apprentissage par renforcement pour jouer au morpion.
MENACE fonctionne un peu comme un réseau neuronal. Au départ, il est optimisé de manière aléatoire, mais après avoir joué quelques parties, il s'ajuste pour favoriser les stratégies gagnantes dans chaque situation.
Vous pouvez rivaliser avec MENACE ici.
1965 - Présentation des réseaux neuronaux multicouches
Alexey (Oleksii) Ivakhnenko et Valentin Lapa sont des scientifiques qui ont travaillé ensemble pour développer le tout premier perceptron multicouche. Il s'agit d'une représentation hiérarchique d'un réseau neuronal qui utilise une fonction d'activation polynomiale et qui est entraîné à l'aide de la méthode de groupe de traitement des données (GMDH).
Ivakhnenko est souvent considéré comme le père de l'apprentissage profond.
1967 - L'algorithme du plus proche voisin
Thomas Cover et Peter Hart ont publié sa "Nearest Neighbor Pattern Classification" en 1967. Cet ouvrage a jeté les bases de la reconnaissance des modèles et de la régression dans l'apprentissage automatique.
L'algorithme du plus proche voisin est une méthode de reconnaissance des formes très élémentaire qui a été mise au point pour permettre aux ordinateurs d'effectuer une détection rudimentaire des formes. Il fonctionne en comparant des données existantes et en les classant comme le plus proche voisin, c'est-à-dire l'élément le plus similaire en mémoire, ce qui peut aider les vendeurs de voyages dans une ville aléatoire.
Consultez notre page de services pour profiter de nos Services de développement de l'apprentissage automatique
1973 - 20e siècle AI Hiver
Le rapport Lighthill, rédigé par James Lighthill en 1973, présentait des prévisions très pessimistes quant au développement des aspects fondamentaux de la recherche sur l'IA, en déclarant : "Dans aucun domaine, les découvertes faites jusqu'à présent n'ont eu l'impact majeur qui avait été promis à l'époque." Cela a conduit à une réduction du financement de la recherche sur l'IA dans toutes les universités britanniques sauf deux, marquant une période de l'histoire de l'apprentissage automatique connue sous le nom d'hiver de l'IA.
1979 - Le Neocognitron et le Stanford Cart
L'informaticien japonais Kunihiko Fukushima publie ses travaux sur le Neocognitron, un réseau hiérarchique multicouche utilisé pour détecter des modèles et inspirer les réseaux neuronaux convolutionnels utilisés pour l'analyse des images. Ce travail a déclenché une révolution dans ce que nous appelons aujourd'hui l'IA.
La même année, un groupe de chercheurs de l'université de Stanford a créé un robot appelé le Cart. Il s'agit d'un projet de plusieurs décennies qui a évolué sous différentes formes entre 1960 et 1980. Créé à l'origine comme un robot mobile télécommandé équipé d'une télévision, il est devenu une machine reliée par radio à un grand ordinateur central, capable de franchir de manière autonome des obstacles dans une pièce.
L'invention était à la pointe de la technologie à l'époque, et l'apprentissage automatique s'est imposé comme un outil probable pour créer et finalement revitaliser un véhicule autonome.
1981 - Apprentissage basé sur l'explication
L'apprentissage automatique a parcouru un long chemin depuis ses débuts en 1981. Cette année-là, Gerald Dejong a présenté le concept d'apprentissage basé sur l'explication (EBL), dans lequel un ordinateur analyse les données d'apprentissage et crée une règle générale qu'il peut suivre en écartant les données sans importance. Par exemple, si l'on demande au logiciel de se concentrer sur la reine aux échecs, il éliminera toutes les pièces n'ayant pas d'effet immédiat. Cette méthode a jeté les bases des techniques modernes d'apprentissage supervisé.
1982 - Le réseau Hopfield
En 1982, le scientifique américain John Hopfield a créé le réseau Hopfield, qui n'est rien d'autre qu'un réseau neuronal récurrent. Il s'agit d'un type particulier dont la réponse diffère de celle des autres réseaux neuronaux.
Le réseau Hopfield est une mémoire associative, ce qui signifie qu'il peut stocker et rappeler des modèles. Il sert de système de mémoire adressable par le contenu et serait utile pour les autres modèles RNN de l'ère moderne de l'apprentissage profond.
1985 - Le NETTalk
Au milieu des années 1980, Terrence Sejnowski et Charles R. Rosenberg ont développé NETtalk. Il a été créé dans le but de construire des modèles simplifiés susceptibles d'éclairer l'apprentissage humain.
Suivant une approche basée sur la connaissance, il apprend à prononcer un texte anglais écrit en recevant le texte en entrée et en comparant les transcriptions phonétiques. En simplifiant les modèles d'opérations cognitives humaines, il pourrait générer des textes d'apparence humaine, à l'instar de l'apprentissage d'un bébé.
1986 - Machine de Boltzmann restreinte
Initialement présentée sous le nom de Harmonium, la machine de Boltzmann restreinte (RBM) a été inventée par le spécialiste des sciences cognitives Paul Smolensky en 1986. Elle est devenue très populaire après que le scientifique de Stanford Geoffrey Hinton et ses collaborateurs ont inventé des algorithmes d'apprentissage rapide pour elle au milieu des années 2000.
La RBM est plus rapide que la machine de Boltzmann traditionnelle car elle "restreint" les connexions entre les nœuds. Il s'agit d'un algorithme utile pour la réduction de la dimensionnalité, la classification, la régression, le filtrage collaboratif, l'apprentissage de caractéristiques et la modélisation de sujets.
1989 - Boosting pour l'apprentissage automatique
Le concept de boosting a été présenté pour la première fois en 1990 dans un article intitulé "The Strength of Weak Learnability" par Robert Schapire et Yoav Freund. Il a marqué un développement nécessaire pour l'évolution de l'apprentissage automatique.
Comme le dit Schapire, "un ensemble d'apprenants faibles peut créer un seul apprenant fort". Il s'agit simplement de produire de nombreux modèles plus faibles et de combiner leurs prédictions pour les convertir en un seul modèle puissant.
1991 - Le problème du gradient évanescent
Bien que le début des années 1990 ait popularisé des méthodes telles que les machines à vecteurs de support, il reste encore des défis à relever. Sepp Hochreiter a été le premier à identifier le problème de la disparition du gradient. Il s'agissait d'un défi dans le développement de l'apprentissage automatique, en particulier avec les réseaux neuronaux profonds.
Plus le nombre de couches d'un réseau augmente, plus la valeur de la dérivée diminue jusqu'à disparaître complètement. Cela peut rendre le processus d'apprentissage extrêmement lent et difficile à gérer.
Pendant les années à venir, cette question continuera à irriter la communauté.
1992 - Jouer au Backgammon
Le chercheur Gerald Tesauro a créé un programme basé sur un réseau neuronal artificiel capable de jouer au backgammon avec des capacités équivalentes à celles des meilleurs joueurs humains. Le logiciel de jeu de backgammon s'appelle TD-Gammon. Il pouvait jouer à un niveau élevé après seulement quelques heures d'entraînement, et il a continué à s'améliorer au fur et à mesure qu'il jouait d'autres parties.
Le succès du programme a constitué un jalon important dans l'intelligence artificielle et l'histoire de l'apprentissage automatique, car il a montré que les réseaux neuronaux pouvaient être utilisés pour créer des programmes capables d'apprendre et de s'améliorer grâce à l'expérience.
1997 - Deep Blue et le jalon du LSTM
En 1997, Deep Blue d'IBM est devenu le premier système informatique de jeu d'échecs à battre un champion du monde en titre, en battant Garry Kasparov.
C'est également l'année où Sepp Hochreiter et Jürgen Schmidhuber ont publié un article révolutionnaire sur la "mémoire à long terme" (LSTM). Il s'agit d'une architecture de réseau neuronal récurrent qui va révolutionner l'apprentissage profond dans les décennies à venir.
2002 - La sortie de Torch
En 2002, la bibliothèque open-source d'apprentissage automatique Torch a été publiée. Cette bibliothèque offrait plus de flexibilité et de personnalisation que les autres bibliothèques de l'époque et est rapidement devenue populaire parmi les chercheurs.
2006 - Réseau des croyances profondes
Cette année marque un moment remarquable dans l'histoire de l'apprentissage automatique, car Geoffrey Hinton a créé des algorithmes d'apprentissage rapide pour expliquer les nouveaux algorithmes qui aident les ordinateurs à distinguer les objets et le texte dans les images et les vidéos.
Avec Ruslan Salakhutdinov, Osindero et Teh, ils ont publié l'article "A fast learning algorithm for deep belief nets", dans lequel ils empilent plusieurs RBM en couches et les appellent Deep Belief Networks. Le processus d'apprentissage est beaucoup plus efficace pour les grandes quantités de données.
2009 - ImageNet
Fei-Fei Li, professeur à Stanford, a lancé ImageNet, une base de données de 14 millions d'images étiquetées, en 2009. Elle servira de référence aux chercheurs en apprentissage profond qui participent chaque année aux concours ImageNet (ILSVRC).
The Economist a décrit la création de cette base de données comme un événement exceptionnel pour la popularisation de l'IA dans la communauté technologique, marquant une nouvelle ère de l'histoire de l'apprentissage profond.
2010 - Le Kinect de Microsoft
Une année remarquable pour l'histoire de l'apprentissage automatique est celle de la sortie de Kinect, un dispositif d'entrée à détection de mouvement pour la console de jeu Xbox 360. Il peut suivre 20 caractéristiques humaines différentes à raison de 30 fois par seconde.
2011 - Watson d'IBM et Google Brain
Watson est un système cognitif développé par IBM, basé sur l'intelligence artificielle et le traitement du langage naturel. En 2011, Watson a participé au jeu télévisé Jeopardy ! contre deux concurrents humains et a gagné. Il est ainsi devenu le premier système informatique à remporter un jeu télévisé contre des humains.
La même année, l'équipe du X Lab de Google a mis au point un algorithme d'apprentissage automatique appelé Google Brain. L'objectif était de créer un réseau neuronal profond capable d'apprendre à parcourir de manière autonome des vidéos YouTube et à reconnaître des chats dans des images numériques, à l'instar du cerveau humain.
L'équipe a présenté son papierL'article intitulé "Building high-level features using large scale unsupervised learning" a mis en évidence la découverte de la possibilité d'entraîner un détecteur de visage sans avoir à étiqueter les images comme contenant un visage ou non. Il s'agissait d'une percée importante dans l'histoire de l'apprentissage automatique, en particulier dans le traitement des images.
2012 - Classification d'ImageNet
En 2012, Alex Krizhevsky, Geoffrey Hinton et Ilya Sutskever ont publié un article de recherche détaillant un modèle permettant de réduire à pas de géant le taux d'erreur des systèmes de reconnaissance d'images.
AlexNet, un modèle CNN basé sur le GPU créé par Alex Krizhevsky, a remporté le concours de classification d'images d'Imagenet avec une précision de 84%. Il a considérablement amélioré le taux de réussite de 75 % des modèles précédents. Cette victoire marque le début d'une révolution de l'apprentissage profond qui va s'étendre au monde entier.
2014 - DeepFace de Facebook et Sibyl de Google
Facebook a mis au point DeepFace, un algorithme d'apprentissage profond du visage qui permet de reconnaître et de vérifier des personnes sur des photos avec une précision humaine. Il s'agit de l'un des algorithmes informatiques les plus avancés, capable d'identifier des visages humains avec une précision de 97,35%. Cette avancée majeure dans le domaine des algorithmes de reconnaissance faciale aura un impact considérable sur la capacité de Facebook à sécuriser les données de ses utilisateurs et à lutter contre la criminalité.
Une autre étape importante dans l'histoire de l'apprentissage automatique est la mise à disposition du public de Sibyl de Google, un système d'apprentissage automatique à grande échelle. Ce système comprend également de nombreux algorithmes sophistiqués permettant de prédire le comportement des utilisateurs.
2015 - Plateforme pour les algorithmes et la boîte à outils d'apprentissage automatique
Amazon lance sa propre plateforme d'apprentissage automatique. Le géant du commerce électronique rend l'apprentissage automatique accessible à toute personne possédant un compte Amazon Web Services (AWS). La plateforme fournit un ensemble d'outils et d'algorithmes permettant aux data scientists de construire et d'entraîner des modèles.
Microsoft avait également développé le Distributed Machine Learning Toolkit, qui permettait de partager efficacement les problèmes d'apprentissage automatique entre plusieurs ordinateurs.
2016 - Algorithme AlphaGo et Face2Face
Le go est un ancien jeu de société chinois qui comporte tellement de mouvements possibles à chaque étape qu'il est difficile de prédire les positions futures. Lorsque l'algorithme AlphaGo a été développé en mars 2016, il a choqué le monde entier en battant l'un des meilleurs joueurs de Go, Lee Sedol.
Par ailleurs, en 2016, une équipe de scientifiques a dévoilé Face2Face lors de la Conférence sur la vision informatique et la reconnaissance des formes. La plupart des logiciels "DeepFake" sont aujourd'hui basés sur son cadre et ses algorithmes.
2017 - Waymo
Waymo est devenue la première entreprise de voitures auto-conduites à fonctionner sans intervention humaine. Les véhicules de l'entreprise ont désormais parcouru plus de 5 millions de kilomètres sur les routes publiques, les conducteurs humains n'intervenant que lorsque c'est nécessaire. Le lancement du service de taxis autoguidés de Waymo a marqué une étape importante pour l'entreprise, qui s'efforce désormais d'étendre sa flotte de véhicules et ses services. Plus tard la même année, elle a introduit des taxis entièrement autonomes dans la ville de Phoenix.
2018 - AlphaFold de DeepMind
Après avoir créé AlphaGo, l'équipe a fait le premier pas dans le développement d'algorithmes pour des problèmes exactement comme le repliement des protéines. AlphaFold a été construit pour prédire les formes 3D des protéines, les molécules fondamentales de la vie. Elle a entraîné un réseau neuronal sur des milliers de protéines connues jusqu'à ce qu'il puisse prédire de manière indépendante les structures 3D à partir des acides aminés. Finalement, il l'utilise pour prédire les distances entre les paires d'acides aminés et les angles entre les liaisons chimiques qui les relient.
2020 - GPT-3 et la montée en puissance de l'IA sans code
Lorsque le monde était aux prises avec la pandémie en 2020, OpenAI a créé un algorithme d'intelligence artificielle, GPT-3, capable de générer un texte de type humain. En son temps, il s'agit du modèle linguistique le plus avancé au monde, utilisant 175 milliards de paramètres et le superordinateur d'IA de Microsoft Azure pour l'entraînement.
A part ça, Zapier découvre une augmentation considérable de l'utilisation d'outils d'IA sans code ou à faible code dès le début de 2020. Parmi les plateformes d'IA no-code populaires, citons AutoML de Google, SageMaker d'Amazon et Azure ML de Microsoft. Elles permettent aux utilisateurs n'ayant aucune expérience du codage de former et de déployer des algorithmes d'apprentissage automatique. Ce mouvement est encouragé par la demande des entreprises de produire des applications d'IA rapidement et sans coût supplémentaire.
2021 - TrustML et le DALL-E d'OpenAI
L'informaticienne américano-indienne Himabindu "Hima" Lakkaraju a non seulement cofondé la Trustworthy ML Initiative (TrustML), mais elle dirige également le groupe de recherche AI4LIFE à Harvard. Son objectif est de rendre l'apprentissage automatique plus accessible aux profanes tout en poursuivant les études sur la manière de rendre ces modèles interprétables, équitables, privés et sûrs.
Introduit en janvier 2021, DALL-E est une variante de GPT-3, un modèle de traitement du langage d'OpenAI. Il permet de générer des images à partir de textes, ajoutant ainsi une toute nouvelle dimension au traitement du langage. Alimenté par le réseau neuronal Transformer, DALL-E redéfinit la façon dont nous interagissons avec la technologie de l'IA.
2022 - Les débuts de ChatGPT, l'AlphaTensor de DeepMind et d'autres modèles T2I
OpenAI a dévoilé une première démo de ChatGPT le 30 novembre 2022. Le chatbot est devenu viral sur les médias sociaux, mettant en évidence sa polyvalence. De la planification de voyages à l'écriture de fables en passant par le codage, les utilisateurs se sont émerveillés de sa polyvalence. capacités.
En l'espace de cinq jours, il a rassemblé plus d'un million d'utilisateurs.
En octobre, DeepMind a présenté AlphaTensor. Selon un Blog de DeepMindAlphaTensor est une extension d'AlphaZero, qui excellait aux échecs et au Go. Ce nouveau travail passe des jeux à la résolution de problèmes mathématiques non résolus.
La sortie de DALL-E 2 a également eu lieu cette année, reconnue comme l'une des plus belles réussites de l'histoire de l'Europe. Les 100 inventions du magazine TIME. Par ailleurs, Midjourney a abandonné sa v1 et Stable Diffusion a fait son apparition, ouvrant la voie aux modèles texte-image (T2I).
2023 - Les LLM et la vision par ordinateur dominent la scène
En 2023, nous avons assisté à l'essor des LLM (Large Language Models), avec le lancement de GPT-4 le 14 mars 2023.
Nous avons également assisté à l'évolution des LLM vers des systèmes multimodaux, ou ce que l'on appelle des LLM multimodaux. Parmi les MLLM les plus connus, on peut citer OpenAI's GPT-4 Vision et de Google DeepMind Gémeaux. Ils permettent aux utilisateurs d'interagir avec le système à l'aide de textes, d'images et de la parole.
En outre, la vision par ordinateur a continué à progresser de manière significative. En septembre 2023, Google a présenté Transformateur de visionLe modèle de reconnaissance d'images de l'Université d'Amsterdam est un modèle basé sur l'apprentissage profond qui permet de réaliser des tâches de reconnaissance d'images mieux que les méthodes précédentes. Il utilise des mécanismes d'auto-attention similaires à ceux utilisés dans les modèles de langage, rapprochant ainsi les mondes du traitement du langage naturel et de la vision par ordinateur.
2024 et au-delà
À l'avenir, nous pouvons nous attendre à des améliorations de l'apprentissage automatique sur :
Apprentissage automatique quantique (QML)
Les ordinateurs quantiques permettent un traitement plus rapide des données, ce qui améliore la capacité des algorithmes à analyser et à tirer des enseignements significatifs des ensembles de données.
Gestion de l'opérationnalisation de l'apprentissage automatique (MLOps)
Cela permet aux algorithmes d'apprentissage automatique déployés en production de fonctionner de manière optimale et fiable.
[Lire aussi : Qu'est-ce que le MLOps et pourquoi en avons-nous besoin en 2024 ?]
Apprentissage automatique des machines (AutoML)
AutoML facilitera le processus de formation des données, l'étiquetage des données et la réduction des erreurs humaines dans les opérations.
Automatisation des processus robotiques (RPA)
Une approche axée sur les données est nécessaire avant qu'un robot RPA puisse les traiter, et l'apprentissage automatique l'aidera à produire moins d'erreurs.
Découvrez l'apprentissage automatique avec nous !
Indéniablement, les tendances en matière d'apprentissage automatique sont vitales pour les entreprises, car elles permettent aux entrepreneurs de comprendre le comportement des clients et le fonctionnement de l'entreprise. Si vous voulez découvrir comment l'apprentissage automatique peut aider votre entreprise, contactez-nous!
