Par : Jean Michel Levy

L’article commence par ‘découvrir ‘ que les réseaux neuronaux ne date pas d’hier comme si c’était une nouveauté. Mais il passe complètement sous silence la raison qui fait d’une vieille idée le moteur d’avancées tout à fait réelles et récentes en IA, qui est le progrès technologiqume. A l’époque du Perceptron, les RN effectivement réalisables étaient trop petits pour permettre mieux que des exercices intéressants. Il ne sert à rien de fournir des To de données à un réseau trop petit, au contraire. A partir d’un certain point de saturation, on ne lui apprend plus rien et on détruit sa ‘bonne’ structuration antérieure en voulant lui en faire absorber davantage. Les programmes Google de traduction automatique on fait un bon en avant considérable en introduisant les RN à grande échelle avec des machines considérablement plus puissantes permettant des RN immensemment plus grands que ceux du 20 siècle. Mais quand récemment j’en ai vu un persister à traduire ‘juunigatsu’ (décembre en japonais) par octobre et autres erreurs basiques du même genre, j’ai eu l’impression qu’on était arrivé à saturation ici. Comme l’observe justement VacheFolle il faut donner à la machine la capacité de superviser son propre Deep Learning par d’autres méthodes de type analytique. Et il faudrait sans doute qu’elle puisse aussi ‘faire le ménage ‘ et se débarasser des connections inutiles mais cela supposerait de mieux comprendre ce qui se passe au fond d’un RN et c’est un vrai mystère.