Non, le test de Turing n’est pas passé !
Le 8 juin 2014 et les jours suivants, les journaux du monde entier ont annoncé que le « Le test de Turing a été passé » (voir par exemple : ici ou ici ou ici, etc.).
Kevin Warwick, visiting professeur à l'Université de Reading et organisateur du test écrit :
« Dans le domaine de l'intelligence artificielle, il n'y a pas de jalon plus important et controversé que le test de Turing. Il est particulièrement approprié que ce fait marquant ait été réalisé à la Royal Society de Londres, source de nombreux avancements dans la compréhension du monde au fil des siècles. Cet événement entrera dans l'histoire comme l'un des plus excitants d'entre eux. »
« In the field of Artificial Intelligence there is no more iconic and controversial milestone than the Turing Test, when a computer convinces a sufficient number of interrogators into believing that it is not a machine but rather is a human. It is fitting that such an important landmark has been reached at the Royal Society in London, the home of British Science and the scene of many great advances in human understanding over the centuries. This milestone will go down in history as one of the most exciting ».
L'annonce est spectaculaire... mais excessive et malhonnête !
L'article de 1950 d'Alan Turing qui définit ce qu'on nomme aujourd'hui le «test de Turing» parle en fait du «jeu de l'imitation» (voir ici).
Il s'agit de mettre au point un système informatique qui puisse se faire passer pour un humain.
Le système informatique candidat doit dialoguer (par exemple par claviers et écrans interposés ; Turing évoquait des échanges de papiers ou des télétypes) avec une série de juges qui ne savent pas s'ils communiquent avec un système informatique ou un humain.
Réussir, c'est tromper les juges. Précisément, passer le test, c'est tromper un juge-interlocuteur sur deux (on ne demande pas plus, bien évidemment, car les juges pourraient répondre en tirant à pile ou face) et cela, quelle que soit la longueur de l'interrogatoire.
Passer le test de Turing, c'est pour un système informatique se rendre indiscernable d'un être humain. C'est l'idée de Turing.
« Si une machine passe le test, est-on autorisé à dire qu'on a rendu la machine intelligente ? » est une autre question qui a largement été débattue déjà. Voir par exemple ici.
Ce n'est pas la question qui nous préoccupe ici, mais seulement : « peut-on dire aujourd'hui que le test de Turing a été passé ? »
Non. L'annonce que le test de Turing a été passé se fonde sur une mauvaise lecture de l'article de Turing.
En effet celui-ci, après avoir présenté son idée, écrit :
« Je crois que dans environ cinquante ans, il sera possible de programmer des ordinateurs, avec une capacité de mémoire de 109, de façon à les faire jouer au jeu de l'imitation si bien qu'un interrogateur moyen n'aura pas plus de 70 % de chances de réussir la bonne identification après cinq minutes d'interrogation »
« I believe that in about fifty years' time it will be possible, to programme computers, with a storage capacity of about 109, to make them play the imitation game so well that an average interrogator will not have more than 70 per cent chance of making the right identification after five minutes of questioning. »
Turing prévoit —et se trompe d'ailleurs— qu'en l'an 2000, on aura passé très partiellement son test (puisque 50% est remplacé par 30% et qu'il évoque une durée de 5 minutes d'interrogation).
Il n'écrit pas que c'est cela passer le test, et il est clair que ce n'est pas suffisant et que ce n'est pas son idée : passer le test c'est réussir à se faire passer pour un être humain, un point c'est tout. Des versions faibles du test de Turing ont déjà été passées avec succès depuis longtemps. Par exemple, on mentionne que même un bon joueur d'échecs ne peut pas savoir durant une partie, s'il a comme adversaire une machine ou un humain. Ne confondons pas cependant «versions partielles du test» (on peut en concevoir d'aussi faibles qu'on veut !) et véritable test de Turing, fidèle à son idée.
Dans le système qui le 7 juin 2014 a prétendument passé le test, le sujet humain imité a l'âge de 13 ans et la langue anglaise n'est pas sa langue maternelle (ce qui permet d'excuser ses fautes).
Nulle part Turing ne parle d'un enfant de 13 ans !
Nulle part Turing n'envisage que le sujet imité ne maîtrise qu'un anglais approximatif !
En conclusion, l'annonce est trompeuse et pour passer le test de Turing tel que le concevait Turing, il faudra encore améliorer le système sur quatre points :
(1) Le système devra berner ses interlocuteurs non pas dans 30% des cas, mais dans 50% des cas.
(2) La durée de dialogue entre un juge et le système ne devra pas être limitée à cinq minutes, mais pourra se prolonger longuement (disons au moins une heure).
(3) Le système informatique devra imiter non pas un enfant de 13 ans, mais un adulte (si possible pas un idiot, ignorant de tout, n'ayant aucune idée sur rien !)
(4) Le système devra s'exprimer dans un anglais correct (ou dans une autre langue).
On n'y est pas !
Je précise que je suis de ceux qui pensent que cela sera possible un jour, mais qui pensent aussi qu'avant cela on aura mis au point des machines qui sur bien des problèmes exigeant de l'intelligence seront devenues plus fortes que nous.... et que cela a d'ailleurs largement commencé. Voir : ici
Surtout, quand on parle du test de Turing, tel qu'il l'a décrit dans son article d'origine, on oublie toujours qu'au début du test il qu'il s'agit pour l'examinateur de poser des questions à 2 personnes, un homme et une femme, afin de déterminer qui est qui, et qu'au milieu du test on remplace l'homme par l'ordinateur. Le test est "passé" si l'examinateur ne remarque alors pas la différence (50% du temps) entre un homme qui se fait passer pour une femme et un ordinateur qui se fait passer pour un homme qui se fait passer pour une femme...
Après, je ne sais pas si Turing a par la suite proposé lui-même (ou accepté) l'idée de faire des tests "simplifiés" avec seulement l'examinateur et l'ordinateur dès le début du test, mais il faut tout de même reconnaître que ces deux tests ne sont pas les mêmes...
Je me reprends : "avec seulement l'examinateur et l'ordinateur + un humain dès le début du test" - la page sur l'université de Reading indique bien "In each five minutes a judge was communicating with both a human and a machine".
Ouf de lumière dans un océan d'obscurantisme, ça fait du bien de vous lire !
J'ai aussi réagi ce matin à ce buzz qui m'a mis profondément mal-alaise :
1) déjà, la formulation de la nouvelle devrait mettre la puce à l'oreille sur la
supercherie : profusion de chiffres et de détails sans intérêt
scientifique mais qui sont parfait pour retenir l'attention et inciter
à transmettre le message (13 ans, 30%, Ukraine, etc.). Les mécanismes
de propagation de ce genre de messages sont parfaitement décrits dans
la théorie de la simplicité :
http://fr.wikipedia.org/.../Th%C3%A9orie_de_la_simplicit...
2) Ensuite, on s’aperçoit que ce qui est présenté comme une avancée
décisive, masque en fait un piétinement de cette branche de l'IA
(quelques pour-cents de progression en 50 ans et plus).
3) au final, cette pseudo nouvelle caresse dans le sens du poil un
meme qui est dans l'air depuis longtemps selon lequel l'homme sera
bientôt supplanté par la machine. Il semble que les gens à l'origine
de cette nouvelle censée parler d'IA ont réalisé sans le avoir (?) une
très mauvaise expérience sociologie. En effet, si l'on l'on avait
voulu mesurer le degré de consentement général au diktat des machines
et ficher tous-ceux qui ont renoncé à leur résister (et inversement),
on n'aurait pas procédé autrement. Cependant, cette expérience
sociologique n'a aucun intérêt scientifique car on sait déjà depuis
les expériences de Milgram que le niveau de consentement et de
soumission à l'autorité est presque total. La plupart des labos de
socio expérimentale sont aujourd'hui flanqués d'un comité d'éthique
qui interdit purement et simplement toute expérience telle celle de
Milgram, qui repose sur un mensonge. Bref, si vraiment la Royal
Society a adoubé ce sombre manège sur le dos du pauvre Turing, elle a
démontré qu'elle n'a pas plus de caractère scientifique qu'un club de
philatélistes, c'est-à-dire de collectionneurs de clichés. Et je ne
dirai rien au sujet de la presse qui a relayé l'affaire...
Bon, cessons de nous lamenter. Pourquoi ne pas imaginer un test de Turing à l'envers ? Il s'agirait de construire une machnine assez intelligente pour distinguer à coup sûr un être humain d'une autre machine, et assez humble pour s'effacer automatiquement devant lui.
En effet, il y a pas mal de robots qui tentent de reconnaître les
humains, mais ce qu'ils reconnaissent surtout ce sont des "identités"
normées, en s'appuyant sur les infinies variations autour des
normes physiques et comportementales, qui croie-t-on, caractérisent
l'espèce. Je pense plutôt à un robot qui serait capable de distinguer
un humain (au sens générique), d'une machine non-humaine, ceci sans
notion d'individu. Cette machine serait assez humble pour laisser
passer l'humain et rejeter le non-humain dont elle fait pourtant
partie. Dès lors nous aurions créé un robot de la plus haute
intelligence mais parfaitement schizophrène et servile.
C'est à mon avis une voie de recherche que l'ami Turing aurait certainement
appréciée, lui qui a subi dans sa chair, le poids des normes, de
l'arbitraire et de l'autorité aveugle
Qu'en dites-vous ?
Un autre billet dans le même sens (ou presque) https://www.techdirt.com/articles/20140609/07284327524/no-supercomputer-did-not-pass-turing-test-first-time-everyone-should-know-better.shtml
Heu... Il me semble bien que le terme "intelligence artificielle" est une simple métaphore. Comme le "bureau" de mon ordi. De plus, le jour où une machine trompera un "juge", ça ne prouvera rien d'autre que l'intelligence des programmeurs 'simulationistes'. Bref, à part la pure bêtise de ma calculette, aujourd'hui il n'y a rien à l'horizon que fantasmes et SF.
A vous.
Max
Bonjour,
@max: J'ai bien aimé votre post et je voudrais apporté une contradiction: L'IA telle que Turing la recherche dans son test n'est en rien une prouesse de simulation mais une réelle intelligence.
Le test en soit n'est pas un but a atteindre je pense, il définit plutôt ce qu'est l'intelligence, il est inutile de courir après avec des programmes super performants des lors qu'ils se limitent à de la simulation.
La grande majorités des travaux qui sont menés en IA actuellement ne prennent pas la voie de l'intelligence, mais cherchent à affiner un modèle calculatoire. Hors il est surement impossible d'extraire le modèle depuis son produit.
L'intelligence se situe dans le méta modèle, peu importe finalement sa performance. Une fourmi est intelligente, un super ordinateur même programmé par 50 ingénieurs de chez IBM ne l'est pas, il est juste plus performant pour certaines tâches.
@OlivierAuber: Le test de Turing inversé existe déjà et constitue un enjeu commercial significatif pour l'industrie des services en ligne ! D'ailleurs si vous lisez ce messages, c'est que j'ai réussi à convaincre scilogs.fr que je suis humain.
http://fr.wikipedia.org/wiki/CAPTCHA
Les CAPTCHA posent des problèmes éthiques intéressants puisque des utilisateurs malvoyants, malentendants ou dyslexiques peuvent se voir refuser l'accès à des services, alors que dans l'affaire dont il est question ici, des juges humains ont été trop cléments face à un programme qui simulait des handicaps.
Pensiez-vous à un autre type de test de Turing à l'envers ?
Can Machines Think?
Le test de Alan Mathison Turing est passé par CleverBot le 6 septembre 2011 à 59.3 % vs 36.7% humains qui on été pris pour une machine ...
http://www.newscientist.com/article/dn20865-software-tricks-people-into-thinking-it-is-human.html
Donc il est passé à 2 fois par CleverBot et Eugene Goostman
surement ailleurs d'ailleurs 😉
Le test de Turing que l'on peut lire dans la revue Mind, se limite à 5 minutes d'interrogation et se faire passer pour un humain minimum à hauteur de 30%.
La spécification d'être un adulte ou de son age n'est pas précisé dans le test de Turing !
Certes il y a des paramètres qui sont ajouté mais il ne sont pas caché même au contraire et selon ces paramètres d'enfant de 13 ans Ukrainien, le test de 2014 est passé qu'on le veuille ou non !
Je trouve que c'est plutôt une avancée.
Bref celui qui fait de la publicité mensongère et de contredire ces résultats juste par pseudo rébellion !
Ce que l'on peut constater aussi c'est que les humains eux mêmes sont pris pour des machines à hauteur de 36.7 % !!!
Après je suis d'accord que le test ne devrait ne pas avoir de limite de temps mais il ne s'appellerait pas celui de Turing mais Mr Delahaye ou autre 😉
Bien à vous
Rectification le test sur les 30 % est une estimation de réussite 50 après son article.
Le test de turing ne se limite pas a une limite de temps et doit être complet.
Il faudrait 100% de réussite pour que ce soit réussi... et encore, sur 30 personnes, 100% ce n'est que du vent.
Au moins deux arguments statistiques viennent minimiser cette réussite au test de Turing :
1) Le test est répété chaque année avec un nombre assez limité de juges. Donc au bout d'un certain nombre de tentatives, si l'on dispose d'une IA qui arrive à convaincre au moins 1 juge, on arrivera forcement à convaincre 30% d'entre eux à un moment. Si on faisait les calculs avec les IA des années 2000 qui sont passées proches des 30%, on s'apercevrait peut-être que ces IA avaient de fortes chances de réussir le test à horizon 10 ans sans même s'améliorer.
2) Disons pour simplifier que la probabilité d'être un candidat adulte est 0.5. La probabilité d'être un enfant convaincant sachant que l'on est un robot est plus grande que la probabilité d'être un adulte convaincant sachant que l'on est un robot. En inversant avec Bayes, on obtient que la probabilité d'être un robot sachant que l'on se comporte comme un enfant convaincant est plus grande que celle d'être un robot sachant que l'on se comporte comme un adulte convaincant. Donc, avant même d'étudier les détails des conversations, on peut prédire que si un candidat est convaincant (=il a passé le test) et qu'il se comporte comme un enfant, alors c'est certainement un robot. Autrement dit, il faut que le robot enfant soit bien plus convaincant que les robots adultes pour compenser son biais pénalisant.
Soit les juges ne sont pas rationnels, et c'est (ou pas) un problème, soit il faut corriger statistiquement les résultats a posteriori, au quel cas le robot "enfant" n'aurait pas passé le test.
Je ne pense pas qu'organiser le test sur la base de dialogues verbaux soit un problème majeur. Peut-être qu'il ne correspond pas à la vision de Turing, mais si c'est ça le problème il suffit de le renommer. Le fond de la question c'est bien de savoir si on peut apprécier une intelligence uniquement en observant des entrées et des sorties d'un système dont on attend qu'il réalise une fonction donnée (cf. le problème de la chambre chinoise).