Histoire de l'apprentissage automatique : La chronologie complète

Un événement capital qui a mis en lumière l'apprentissage automatique a eu lieu en 2016 lorsque AlphaGo, l'IA de Google DeepMind est entré dans l'histoire en battant l'un des meilleurs joueurs de Go au monde. Comme il s'agit d'un jeu de société complexe qui requiert une forte intuition et une pensée abstraite, beaucoup de gens ont été choqués d'apprendre que les machines peuvent penser comme les humains.

Les algorithmes d'apprentissage automatique sont devenus omniprésents aujourd'hui, alimentant tout, des moteurs de recherche aux voitures à conduite autonome. Mais comment tout cela a-t-il commencé ?

Dans ce blog, nous allons explorer la chronologie complète de l'histoire de l'apprentissage automatique. C'est parti !

1943 - Le premier modèle mathématique d'un neurone biologique

Walter Pitts et Warren McCulloch ont créé le premier modèle mathématique des réseaux neuronaux en 1943. Leur article scientifique, "A Logical Calculus of the Ideas Immanent in Nervous Activity", a été utilisé pour créer des algorithmes qui imitent les processus de pensée humains.

Ce neurone de McCulloch Pitts a une capacité très limitée et ne possède aucun mécanisme d'apprentissage. Pourtant, il a été le véritable point de départ de la discipline moderne de l'apprentissage automatique et a ensuite ouvert la voie à l'apprentissage profond et à l'apprentissage automatique quantique.

1949 - La synapse de Hebb

Le psychologue canadien Donald O. Hebb publie son livre "The Organization of Behavior : A Neuropsychological Theory." Hebb y formule des théories sur l'excitation des neurones et la communication entre les neurones qui ont influencé la façon dont les psychologues considèrent le traitement des stimuli dans l'esprit.

Le concept a été utilisé pour la première fois pour étudier la façon dont le cerveau apprend. Il a également ouvert la voie au développement de machines informatiques imitant les processus neurologiques naturels, comme l'apprentissage automatique.

1950 - Le test de Turing

Le test de Turing a été proposé par Alan Turing, un informaticien anglais, pour mesurer l'intelligence d'un ordinateur en 1950. Il s'agit d'un moyen de mesurer l'intelligence artificielle. Si une personne ne peut pas dire si elle parle à une autre personne ou à un ordinateur, alors l'ordinateur est considéré comme intelligent.

Le test de Turing a été critiqué au motif qu'il est difficile de créer un test juste et précis, ainsi que parce que l'intelligence n'est pas correctement mesurée par ce seul test. Il n'en reste pas moins un jalon essentiel dans l'histoire de l'informatique. recherche en intelligence artificielle.

1952 - L'apprentissage automatique et le jeu de dames

Le mathématicien anglais Arthur Samuel a créé un programme d'apprentissage informatique pour jouer aux dames informatiques de niveau championnat, qui a été créé pour jouer sur l'IBM 701. Il est à l'origine de l'élagage alpha-bêta, un concept qui mesure les chances de victoire de chaque camp.

Ce programme informatique choisit son prochain coup en utilisant un algorithme minimax, qui calcule le meilleur coup possible pour un joueur dans un jeu en minimisant le gain maximum de l'adversaire et en maximisant le gain minimum du joueur.

Arthur Samuel est la première personne à avoir créé et popularisé le terme "apprentissage automatique".

1956 - Le lieu de naissance de l'intelligence artificielle

Dans l'histoire de l'apprentissage automatique, l'atelier de Dartmouth en 1956 est largement considéré comme l'événement fondateur de l'intelligence artificielle en tant que domaine. L'informaticien John McCarthy a invité des mathématiciens, des scientifiques et des chercheurs de renom à un atelier de six à huit semaines. Ils se sont réunis au Dartmouth College pour établir et réfléchir aux domaines de recherche de l'IA et de la ML.

1958 - Le Perceptron

Le psychologue Frank Rosenblatt a tenté de construire "la première machine capable de produire une idée originale" et a ensuite conçu le Perceptron, le premier réseau neuronal jamais produit.

Il a combiné le modèle d'interaction des cellules cérébrales de Donald Hebb avec les efforts d'apprentissage automatique d'Arthur Samuel. Il a reçu une série de cartes perforées et, après 50 essais, a appris à distinguer les cartes comportant des marques à gauche des marques à droite.

Malgré ses promesses, le perceptron ne pouvait pas identifier de nombreux types de motifs visuels, ce qui a suscité la frustration des chercheurs. Il faudra attendre plusieurs années pour que les frustrations des investisseurs et des organismes de financement s'estompent.

1963 - Une partie de Tic Tac Toe

L'informaticien Donald Michel a conçu le Machine Educable Noughts And Crosses Engine (MENACE), une grande pile de boîtes d'allumettes contenant plusieurs perles et utilisant l'apprentissage par renforcement pour jouer au morpion.

MENACE fonctionne un peu comme un réseau neuronal. Au départ, il est optimisé de manière aléatoire, mais après avoir joué quelques parties, il s'ajuste pour favoriser les stratégies gagnantes dans chaque situation.

Vous pouvez rivaliser avec MENACE ici.

1965 - Présentation des réseaux neuronaux multicouches

Alexey (Oleksii) Ivakhnenko et Valentin Lapa sont des scientifiques qui ont travaillé ensemble pour développer le tout premier perceptron multicouche. Il s'agit d'une représentation hiérarchique d'un réseau neuronal qui utilise une fonction d'activation polynomiale et qui est entraîné à l'aide de la méthode de groupe de traitement des données (GMDH).

Ivakhnenko est souvent considéré comme le père de l'apprentissage profond.

1967 - L'algorithme du plus proche voisin

Thomas Cover et Peter Hart ont publié sa "Nearest Neighbor Pattern Classification" en 1967. Cet ouvrage a jeté les bases de la reconnaissance des modèles et de la régression dans l'apprentissage automatique.

L'algorithme du plus proche voisin est une méthode de reconnaissance des formes très élémentaire qui a été mise au point pour permettre aux ordinateurs d'effectuer une détection rudimentaire des formes. Il fonctionne en comparant des données existantes et en les classant comme le plus proche voisin, c'est-à-dire l'élément le plus similaire en mémoire, ce qui peut aider les vendeurs de voyages dans une ville aléatoire.

1973 - 20e siècle AI Hiver

Le rapport Lighthill, rédigé par James Lighthill en 1973, présentait des prévisions très pessimistes quant au développement des aspects fondamentaux de la recherche sur l'IA, déclarant : "Dans aucune partie du domaine, les découvertes faites jusqu'à présent n'ont produit l'impact majeur qui était alors promis." En conséquence, le gouvernement britannique a réduit le financement de la recherche sur l'IA dans toutes les universités sauf deux. C'est une partie de l'histoire de l'apprentissage automatique connue sous le nom d'hiver de l'IA.

1979 - Le Neocognitron et le Stanford Cart

L'informaticien japonais Kunihiko Fukushima publie ses travaux sur le Neocognitron, un réseau hiérarchique multicouche utilisé pour détecter des motifs et inspirer les réseaux neuronaux convolutifs utilisés pour analyser les images. Ces travaux ont déclenché une révolution dans ce que nous appelons aujourd'hui l'IA.

La même année, un groupe de chercheurs de l'université de Stanford a créé un robot appelé le Cart. Il s'agit d'un projet de plusieurs décennies qui a évolué sous différentes formes entre 1960 et 1980. Créé à l'origine comme un robot mobile télécommandé équipé d'une télévision, il est devenu une machine reliée par radio à un grand ordinateur central, capable de franchir de manière autonome des obstacles dans une pièce.

L'invention était à la pointe de la technologie à l'époque, et l'apprentissage automatique s'est imposé comme un outil probable pour créer et finalement revitaliser un véhicule autonome.

1981 - Apprentissage basé sur l'explication

L'apprentissage automatique a parcouru un long chemin depuis ses débuts en 1981. Cette année-là, Gerald Dejong a présenté le concept d'apprentissage basé sur l'explication (EBL), dans lequel un ordinateur analyse les données d'apprentissage et crée une règle générale qu'il peut suivre en écartant les données sans importance. Par exemple, si l'on demande au logiciel de se concentrer sur la reine aux échecs, il éliminera toutes les pièces n'ayant pas d'effet immédiat. Cette méthode a jeté les bases des techniques modernes d'apprentissage supervisé.

1982 - Le réseau Hopfield

En 1982, le scientifique américain John Hopfield crée le réseau Hopfield, qui n'est autre qu'un réseau neuronal récurrent. Il s'agit d'un type particulier dont la réponse diffère des autres réseaux neuronaux.

Le réseau Hopfield est une mémoire associative, ce qui signifie qu'il peut stocker et rappeler des modèles. Il sert de système de mémoire adressable par le contenu et serait utile pour les autres modèles RNN de l'ère moderne de l'apprentissage profond.

1985 - Le NETTalk

Au milieu des années 80, Terrence Sejnowski et Charles R. Rosenberg développent NETtalk. Il a été créé dans le but de construire des modèles simplifiés qui pourraient faire la lumière sur l'apprentissage humain.

Suivant une approche basée sur la connaissance, il apprend à prononcer un texte anglais écrit en recevant le texte en entrée et en comparant les transcriptions phonétiques. En simplifiant les modèles d'opérations cognitives humaines, il pourrait générer des textes d'apparence humaine, à l'instar de l'apprentissage d'un bébé.

1986 - Machine de Boltzmann restreinte

Initialement présentée sous le nom de Harmonium, la machine de Boltzmann restreinte (RBM) a été inventée par le spécialiste des sciences cognitives Paul Smolensky en 1986. Elle est devenue très populaire après que le scientifique de Stanford Geoffrey Hinton et ses collaborateurs ont inventé des algorithmes d'apprentissage rapide pour elle au milieu des années 2000.

La RBM est plus rapide que la machine de Boltzmann traditionnelle car elle "restreint" les connexions entre les nœuds. Il s'agit d'un algorithme utile pour la réduction de la dimensionnalité, la classification, la régression, le filtrage collaboratif, l'apprentissage de caractéristiques et la modélisation de sujets.

1989 - Boosting pour l'apprentissage automatique

Le concept de boosting a été présenté pour la première fois en 1990 dans un article intitulé "The Strength of Weak Learnability" par Robert Schapire et Yoav Freund. Il a marqué un développement nécessaire pour l'évolution de l'apprentissage automatique.

Comme le dit Schapire, "un ensemble d'apprenants faibles peut créer un seul apprenant fort". Cela se traduit simplement par la production de nombreux modèles plus faibles et la combinaison de leurs prédictions pour les convertir en un seul modèle puissant.

1991 - Le problème du gradient évanescent

Bien que le début des années 1990 ait popularisé des méthodes telles que les machines à vecteurs de support, des défis ont été rencontrés en cours de route. Le problème du gradient évanescent a été identifié pour la première fois par Sepp Hochreiter. Il s'agissait d'un défi dans le développement de l'apprentissage automatique, en particulier avec les réseaux neuronaux profonds.

Plus le nombre de couches d'un réseau augmente, plus la valeur de la dérivée diminue jusqu'à disparaître complètement. Cela peut rendre le processus d'apprentissage extrêmement lent et difficile à gérer.

Pendant les années à venir, cette question continuera à irriter la communauté.

1992 - Jouer au Backgammon

Le chercheur Gerald Tesauro a créé un programme basé sur un réseau neuronal artificiel capable de jouer au backgammon avec des capacités qui égalent celles des meilleurs joueurs humains. Le logiciel de jeu de backgammon, appelé TD-Gammon. Il pouvait jouer à un haut niveau après seulement quelques heures d'entraînement, et il a continué à s'améliorer au fur et à mesure des parties.

Le succès du programme a constitué un jalon important dans l'intelligence artificielle et l'histoire de l'apprentissage automatique, car il a montré que les réseaux neuronaux pouvaient être utilisés pour créer des programmes capables d'apprendre et de s'améliorer grâce à l'expérience.

1997 - Deep Blue et le jalon du LSTM

En 1997, Deep Blue d'IBM est devenu le premier système informatique de jeu d'échecs à battre un champion du monde en titre, en battant Garry Kasparov.

C'est également l'année où Sepp Hochreiter et Jürgen Schmidhuber ont publié un article révolutionnaire sur la "mémoire à long terme" (LSTM). Il s'agit d'une architecture de réseau neuronal récurrent qui va révolutionner l'apprentissage profond dans les décennies à venir.

2002 - La sortie de Torch

En 2002, la bibliothèque open-source d'apprentissage automatique Torch a été publiée. Cette bibliothèque offrait plus de flexibilité et de personnalisation que les autres bibliothèques de l'époque et est rapidement devenue populaire parmi les chercheurs.

2006 - Réseau des croyances profondes

Cette année marque un moment remarquable dans l'histoire de l'apprentissage automatique, car Geoffrey Hinton a créé des algorithmes d'apprentissage rapide pour expliquer les nouveaux algorithmes qui aident les ordinateurs à distinguer les objets et le texte dans les images et les vidéos.

Avec Ruslan Salakhutdinov, Osindero et Teh, ils ont publié l'article "A fast learning algorithm for deep belief nets", dans lequel ils empilent plusieurs RBM en couches et les appellent Deep Belief Networks. Le processus d'apprentissage est beaucoup plus efficace pour les grandes quantités de données.

2009 - ImageNet

Fei-Fei Li, professeur à Stanford, a lancé en 2009 ImageNet, une base de données de 14 millions d'images étiquetées. Elle servira de référence aux chercheurs en apprentissage profond qui participent chaque année aux concours ImageNet (ILSVRC).

The Economist a décrit la création de cette base de données comme un événement exceptionnel pour la popularisation de l'IA dans la communauté technologique, marquant une nouvelle ère de l'histoire de l'apprentissage profond.

2010 - Le Kinect de Microsoft

Une année remarquable pour l'histoire de l'apprentissage automatique est la sortie de Kinect, un dispositif d'entrée à détection de mouvement pour la console de jeu Xbox 360. Il peut suivre 20 caractéristiques humaines différentes à raison de 30 fois par seconde.

2011 - Watson d'IBM et Google Brain

Watson est un système cognitif alimenté par l'intelligence artificielle et le traitement du langage naturel développé par IBM. En 2011, Watson a participé au jeu télévisé Jeopardy ! contre deux concurrents humains et a gagné. Il est ainsi devenu le premier système informatique à gagner un jeu télévisé contre des humains.

La même année, l'équipe du X Lab de Google a mis au point un algorithme d'apprentissage automatique baptisé Google Brain. L'objectif était de créer un réseau neuronal profond capable d'apprendre à parcourir de manière autonome des vidéos youtube et à reconnaître des chats dans des images numériques, tout comme le cerveau humain.

L'équipe a présenté son papierL'article intitulé "Building high-level features using large scale unsupervised learning" a mis en évidence la découverte de la possibilité d'entraîner un détecteur de visage sans avoir à étiqueter les images comme contenant un visage ou non. Il s'agissait d'une percée importante dans l'histoire de l'apprentissage automatique, en particulier dans le traitement des images.

2012 - Classification d'ImageNet

En 2012, Alex Krizhevsky, Geoffrey Hinton et Ilya Sutskever ont publié un article de recherche détaillant un modèle permettant de réduire à pas de géant le taux d'erreur des systèmes de reconnaissance d'images.

AlexNet, un modèle CNN basé sur le GPU créé par Alex Krizhevsky, a remporté le concours de classification d'images d'Imagenet avec une précision de 84%. Il a considérablement amélioré le taux de réussite de 75 % des modèles précédents. Cette victoire marque le début d'une révolution de l'apprentissage profond qui va s'étendre au monde entier.

2014 - DeepFace de Facebook et Sibyl de Google

Facebook a développé DeepFace, un algorithme logiciel d'apprentissage profond du visage qui peut reconnaître et vérifier des individus sur des photos avec une précision d'un humain. Il s'agit de l'un des algorithmes informatiques les plus avancés, capable d'identifier des visages humains avec une précision de 97,35%. Cette réalisation historique dans le domaine des algorithmes de reconnaissance faciale aura un impact profond sur la capacité de Facebook à assurer la sécurité des données des utilisateurs et à lutter contre la criminalité.

Une autre étape importante dans l'histoire de l'apprentissage automatique est la mise à disposition du public de Sibyl de Google, un système d'apprentissage automatique à grande échelle. Ce système comprend également de nombreux algorithmes sophistiqués permettant de prédire le comportement des utilisateurs.

2015 - Plateforme pour les algorithmes et la boîte à outils d'apprentissage automatique

Amazon lance sa propre plateforme d'apprentissage automatique. Le géant du commerce électronique rend l'apprentissage automatique accessible à toute personne possédant un compte Amazon Web Services (AWS). La plateforme fournit un ensemble d'outils et d'algorithmes permettant aux data scientists de construire et d'entraîner des modèles.

Microsoft avait également développé le Distributed Machine Learning Toolkit, qui permettait de partager efficacement les problèmes d'apprentissage automatique entre plusieurs ordinateurs.

2016 - Algorithme AlphaGo et Face2Face

Le go est un ancien jeu de société chinois avec tellement de mouvements possibles à chaque étape que les positions futures sont difficiles à prévoir. Lorsque l'algorithme AlphaGo s'est développé en mars 2016, il a choqué le monde en battant l'un des meilleurs joueurs de Go, Lee Sedol.

Toujours en 2016, une équipe de scientifiques a dévoilé Face2Face lors de la Conférence sur la vision informatique et la reconnaissance des formes. La plupart des logiciels "DeepFake" sont aujourd'hui basés sur son cadre et ses algorithmes.

2017 - Waymo

Waymo est devenue la première entreprise de voitures à conduite autonome à fonctionner sans intervention humaine. Les véhicules de l'entreprise ont maintenant parcouru plus de 5 millions de kilomètres sur des routes publiques, les conducteurs humains n'intervenant que lorsque cela est nécessaire. Le lancement du service de taxi à conduite autonome de Waymo a marqué une étape importante pour l'entreprise, qui s'efforce désormais d'étendre sa flotte de véhicules et de services. Plus tard la même année, elle introduit des taxis entièrement autonomes dans la ville de Phoenix.

2018 - AlphaFold de DeepMind

Après avoir créé AlphaGo, l'équipe a fait le premier pas dans le développement d'algorithmes pour des problèmes exactement comme le repliement des protéines. AlphaFold a été construit pour prédire les formes 3D des protéines, les molécules fondamentales de la vie. Elle a entraîné un réseau neuronal sur des milliers de protéines connues jusqu'à ce qu'il puisse prédire de manière indépendante les structures 3D à partir des acides aminés. Finalement, il l'utilise pour prédire les distances entre les paires d'acides aminés et les angles entre les liaisons chimiques qui les relient.

2020 - GPT-3 et la montée en puissance de l'IA sans code

Lorsque le monde était aux prises avec la pandémie en 2020, OpenAI a créé un algorithme d'intelligence artificielle, GPT-3, capable de générer un texte de type humain. En son temps, il s'agit du modèle linguistique le plus avancé au monde, utilisant 175 milliards de paramètres et le superordinateur d'IA de Microsoft Azure pour l'entraînement.

A part ça, Zapier découvre une augmentation considérable de l'utilisation d'outils d'IA sans code ou à faible code dès le début de 2020. Parmi les plateformes d'IA no-code populaires, citons AutoML de Google, SageMaker d'Amazon et Azure ML de Microsoft. Elles permettent aux utilisateurs n'ayant aucune expérience du codage de former et de déployer des algorithmes d'apprentissage automatique. Ce mouvement est encouragé par la demande des entreprises de produire des applications d'IA rapidement et sans coût supplémentaire.

2021 - AI4LIFE et TrustML

L'informaticienne indienne-américaine Himabindu "Hima" Lakkaraju est non seulement cofondatrice de la Trustworthy ML Initiative (TrustML), mais elle dirige également le groupe de recherche AI4LIFE à Harvard. Son objectif est de rendre l'apprentissage automatique plus accessible aux profanes tout en poursuivant les études sur la manière de rendre ces modèles interprétables, équitables, privés et sécurisés.

2022 et l'avenir de l'apprentissage automatique

L'apprentissage automatique évolue à un rythme étonnant et ne montre aucun signe de ralentissement. Au début de l'année 2022, nous l'avons déjà vu progresser encore davantage avec l'essor des applications logicielles de services cognitifs. L'apprentissage automatique a même été défini par l'université de Stanford comme "la science qui consiste à amener les ordinateurs à agir sans être explicitement programmés."

À l'avenir, nous pouvons nous attendre à des améliorations de l'apprentissage automatique sur :

Apprentissage automatique quantique (QML)

Les ordinateurs quantiques permettent un traitement plus rapide des données, ce qui améliore la capacité des algorithmes à analyser et à tirer des enseignements significatifs des ensembles de données.

Algorithmes d'apprentissage non supervisé

L'apprentissage supervisé et non supervisé occupe une place importante dans l'histoire de l'apprentissage automatique, mais ce dernier deviendra idéal pour les entreprises qui souhaitent mettre en œuvre des plans de vente croisée.

Gestion de l'opérationnalisation de l'apprentissage automatique (MLOps)

Cela permet aux algorithmes d'apprentissage automatique déployés en production de fonctionner de manière optimale et fiable.

Apprentissage automatique des machines (AutoML)

AutoML facilitera le processus de formation des données afin de faciliter l'étiquetage des données et de réduire les erreurs humaines dans les opérations.

Automatisation des processus robotiques (RPA)

Une approche fondée sur les données est nécessaire avant qu'un robot RPA puisse les traiter, et l'apprentissage automatique l'aidera à produire moins d'erreurs.

Découvrez l'apprentissage automatique avec nous !

Indéniablement, les tendances en matière d'apprentissage automatique sont vitales pour les entreprises, car elles permettent aux entrepreneurs de comprendre le comportement des clients et le fonctionnement de l'entreprise. Si vous voulez découvrir comment l'apprentissage automatique peut aider votre entreprise, contactez-nous!