Tous les ans Mark Zuckerberg, le patron de Facebook se lance des défis personnels. Il a déjà lu 25 livres dans l’année ou encore appris le mandarin en 1 an. En 2016 son pari perso était de développer une intelligence artificielle à connecter à son système domotique pour interagir de manière plus naturelle avec lui. Le pari a été remporté. L’assistant virtuel, Jarvis, est directement inspiré du film Ironman. Il peut contrôler les lumières, faire des toasts, jouer de la musique, entretenir la fille du patron ou enseigner des langues. Il a passé un total de 100 heures afin de construire son assistant.
Le défi personnel de Mark Zuckerberg pour 2016 était de construire une Intelligence Artificielle simple pour diriger sa maison. Le PDG de Facebook a rendu sa copie en décembre 2016 et a donc fait la démonstration en fin d’année dernière des résultats de ce défi. Il en est globalement satisfait de son système et prévoit tout de même de continuer à le peaufiner. Pour la partie Smart Home il s’est reposé sur une domotique Crestron qui équipait déjà son habitation.
Mark Zuckerberg a construit ce système en Python, PHP et Objective C. Comme dans une bonne majorité des cas, les problèmes de programmation et donc la majeure partie du travail semble avoir été dédiée à faire discuter ensemble les systèmes existants. Cela signifiait établir la connexion d’un système d’éclairage et de thermostat Crestron avec une caméra Nest, un système de haut-parleurs Sonos, le service Spotify, un téléviseur Samsung… Du côté des entrées, il a utilisé des API existantes pour activer les commandes vocales et textuelles. Il est intéressant de constater que quelque soit le système DIY, les problèmes d’interfaçage et d’interopérabilité sont toujours les plus tenaces…
Mark a construit une IA simple avec laquelle il peut discuter via son téléphone ou son ordinateur. Cette intelligence peut contrôler plusieurs domaines de sa maison: les lumières, la température, les appareils électroménagers, la musique, la sécurité… Jusque là y n’y a rien de bien extraordinaire. Ce qui est plus remarquable c’est qu’il l’a conçue en lui donnant la possibilité d’apprendre. Au fur et à mesure de son utilisation elle pourra répondre au mieux par rapport à ses goûts et ses attentes. Dès modèles d’apprentissage lui permettent de percevoir et de comprendre de nouveaux mots et concepts.
L’intelligence artificielle a été nommée Jarvis. Pour la petite histoire c’est la voix de Morgan Freeman qui a été retenue pour incarner vocalement le système. Quand on est le patron de Facebook on a le bras long. Jarvis utilise plusieurs techniques d’intelligence artificielle. Parmi eux on retrouve le traitement du langage naturel, la reconnaissance de la parole, la reconnaissance faciale, le tout relié à des techniques d’apprentissages.
En présentant son assistant, Mark Zuckerberg avait déclaré à l’époque:
“À certains égards, ce défi était plus facile que je ne m’y attendais. En fait, mon défi de course (je me suis également mis à courir 365 miles en 2016) a pris plus de temps au total. Mais il y avait un aspect qui était beaucoup plus compliqué que je ne l’espérais. C’était tout simplement l’interconnexion et la communication entre tous les différents systèmes de ma maison. “
Marc Zuckerberg entraîné son assistant Jarvis afin qu’il puisse reconnaître à la fois sa voix et celle de son épouse Priscilla Chan. Jarvis faisant ainsi la différence entre eux, il est en mesure de diffuser de la musique différente adaptée à la personnes qui est à l’origine de la demande.
Les technologies développées par Facebook ont été utilisées. C’est le cas par exemple des systèmes de reconnaissance faciales. Ils sont mis à contribution afin de pouvoir reconnaître les visages des personnes qui sonnent à la porte de M et Mme Zuckerberg. Des caméras positionnés sur sa porte principale envoient leurs frimousses dans le cloud pour que les visiteurs puissent être reconnues. Si les personnes sont reconnues et qu’elles étaient attendues, la porte s’ouvre automatiquement et les hôtes sont informés de l’arrivée des convives.
Les discussions avec Jarvis se font à la voix ou bien via un chatbot. Ce dernier est finalement le mode que privilégie finalement Marc Zuckerberg car le teste est une manière silencieuse de s’adresser à son assistant domotique est est de ce fait plus discret et moins perturbant pour les résidents ou les invités.
Dans son post explplicant comment fonctionne son Jarvis, Zuckerberg a également indiqué qu’il serait intéressant de proposer à terme cet assistant à tous dans le futur. Il n’a donné aucune indication concernant une éventuelle date de mise à disposition de cette technologie au service de la domotique. La mise à disposition du code en open source est également une possibilité. Pour y arriver il devra le rendre plus générique car en l’état Jarvis est très lié à sa maison, à son électroménager et à son système domotique en place.
Pour les plus curieux, le défi de Marc Zuckerberg pour 2017 est d’un tout autre style. Il consiste à rencontrer et à écouter les gens dans les 50 états des US. Il utilise son défi annuel pour se renseigner sur les besoins et les problèmes de ses utilisateurs et concitoyens. Il appelle cela son “travel challenge”. Certain voient en ce challenge une possible arrivée du boss de Facebook en politique…