Breaking news

Facebook affronte les défis de la détection tactile

Rejoignez les leaders du jeu en ligne au GamesBeat Summit Next les 9 et 10 novembre prochains. En savoir plus sur ce qui vient ensuite.


Facebook a annoncé ce matin ReSkin, une « peau » synthétique à détection tactile open source créée par des chercheurs de la société en collaboration avec l’Université Carnegie Mellon. Tirant parti de l’apprentissage automatique et de la détection magnétique, ReSkin est conçu pour offrir une solution peu coûteuse, polyvalente, durable et remplaçable pour une utilisation à long terme, en utilisant un algorithme d’apprentissage non supervisé pour aider à calibrer automatiquement le capteur.

Parallèlement à ReSkin, et peut-être dans le but de détourner l’attention des expositions détaillant ses turbulences internes, Facebook a également présenté aujourd’hui ses progrès plus larges dans le développement de matériel, de simulateurs, de bibliothèques, de références et d’ensembles de données pour la détection tactile, qui, selon la société, constituent la base des systèmes d’IA. qui peut comprendre et interagir par le toucher.

“Nous considérons généralement le toucher comme un moyen de transmettre de la chaleur et de l’attention, mais c’est aussi une modalité de détection clé pour percevoir le monde qui nous entoure”, ont déclaré le chercheur Facebook Roberto Calandra et l’ingénieur en matériel Mike Lambeta dans un article de blog. « Le toucher nous fournit des informations que l’on ne peut discerner par aucun autre sens, par exemple sur la température d’une matière, sa texture et son poids, et même, parfois, son état.

Histoire du toucher

La détection tactile est un domaine émergent de la robotique qui vise à comprendre et à reproduire le toucher au niveau humain dans le monde physique. L’objectif est de rendre les robots plus efficaces, plus sûrs et plus doux en leur permettant d’apprendre et d’utiliser le toucher par eux-mêmes, dans des environnements allant de la maison aux usines.

Facebook développe depuis plusieurs années des capteurs tactiles, largement axés sur la tâche de préhension robotique. En 2020, les chercheurs de l’entreprise ont détaillé Digit, un capteur tactile compact haute résolution, peu coûteux et conçu pour être monté sur des mains de robot à plusieurs doigts.

Chiffre Facebook

Ci-dessus : une vue éclatée du capteur Digit de Facebook.

Crédit d’image: Facebook

Digit a un corps en plastique avec un boîtier propice à l’impression 3D et au moulage par injection. Trois LED RVB fournissent un éclairage sur la surface du gel élastomère, qui a été conçue sur mesure à l’aide d’un processus de fabrication au silicium et à l’acrylique qui équilibre ostensiblement robustesse et sensibilité. Une caméra et le gel sont montés sur le corps à l’aide de connexions « press fit » afin que tout composant (par exemple, l’élastomère) puisse être remplacé et que le boîtier soit remplaçable pour permettre différentes distances focales d’objectif.

Chiffre Facebook

Chiffre Facebook

Ci-dessus : le capteur Digit de Facebook monté sur une main robotique.

Crédit d’image: Facebook

Dans des expériences, l’équipe l’a utilisé pour permettre à une main robotique de tenir et de manipuler une bille de verre entre le pouce et le majeur. Au cours de 50 essais, la main a laissé tomber la bille environ 25 % du temps. Cependant, les chercheurs attribuent cela à des inexactitudes et à des données bruyantes par opposition à des défauts dans la conception de Digit.

Les fichiers de fabrication du boîtier en plastique, du gel et de l’électronique de Digit étaient en open source sur GitHub en juin dernier, ainsi que le binaire du firmware pour la programmation. Et Facebook a annoncé aujourd’hui qu’il fabriquera commercialement Digit en partenariat avec le spin-out du MIT GelSight.

ReSkin

Selon le directeur de recherche Facebook Abhinav Gupta et la chercheuse postdoctorale Tess Hellebrekers, l’objectif de ReSkin est de fournir une source de données de contact qui pourrait être utile pour faire progresser l’IA dans une gamme de tâches tactiles, comme la classification d’objets. Les modèles d’IA dotés de compétences de détection tactile développées grâce à l’utilisation de ReSkin pourraient potentiellement fonctionner dans des établissements de soins de santé ou saisir des objets mous, selon Gupta et Hellebrekers. Et parce que ReSkin peut être intégré à d’autres capteurs pour collecter des données visuelles, sonores et tactiles et créer des ensembles de données multimodaux, ReSkin pourrait également aider à créer des modèles du monde plus physiquement réalistes qu’il n’était possible auparavant.

Facebook ReSkin

Facebook ReSkin

Ci-dessus : le capteur ReSkin de Facebook utilisé pour mesurer les forces tactiles.

Crédit d’image: Facebook

« Notre sens du toucher nous aide à naviguer dans le monde qui nous entoure. Grâce à lui, nous pouvons collecter des informations sur les objets – par exemple s’ils sont légers ou lourds, mous ou durs, stables ou instables – que nous utilisons pour accomplir des tâches quotidiennes, de mettre nos chaussures à préparer un repas », Gupta et Hellebrekers , qui a contribué au projet ReSkin, a déclaré dans un article de blog. « L’IA intègre aujourd’hui efficacement les sens tels que la vision et le son, mais le toucher reste un défi permanent. Cela est en partie dû à l’accès limité aux données de détection tactile dans la nature. En conséquence, les chercheurs en IA qui espèrent incorporer le toucher dans leurs modèles ont du mal à exploiter la richesse et la redondance de la détection tactile comme le font les gens.

ReSkin – un élastomère déformable avec des particules magnétiques intégrées – est encore moins cher, coûtant moins de 6 $ l’unité pour un cycle de fabrication de 100 unités, contre 15 $ pour Digit pour un cycle de 1 000 unités. Il fait 2 à 3 millimètres d’épaisseur par rapport aux 18 millimètres de Digit et peut être utilisé pour plus de 50 000 interactions, selon Gupta et Hellebrekers, ce qui rend ReSkin idéal pour les facteurs de forme allant des mains de robot et des gants tactiles aux manches de bras et même aux chaussures de chien.

« ReSkin peut également fournir des signaux tactiles à trois axes à haute fréquence pour des tâches de manipulation rapides telles que glisser, lancer, attraper et applaudir. Et lorsqu’il s’use, il peut être facilement retiré et remplacé par un nouveau », ont-ils expliqué dans le billet de blog.

Surmonter les défis

Ni Digit ni ReSkin ne sont les premiers capteurs tactiles de leur genre, il convient de le noter. D’autres incluent OmniTact et GelFlex, une pince robotique du laboratoire d’informatique et d’intelligence artificielle du MIT avec des sens nuancés et humains sous la forme de LED et de deux caméras. L’Université nationale de Singapour a également développé une « peau » robotique à détection tactile à l’aide d’un prototype de puce d’Intel.

Mais les « peaux douces », comme on les appelle, se sont historiquement avérées difficiles à fabriquer en masse en raison des variations qui se produisent lors de leur utilisation. Chaque capteur doit passer par une routine d’étalonnage pour déterminer sa réponse individuelle. Pour ajouter au défi, les matériaux changent au fil du temps – et différemment, selon la façon dont ils sont utilisés – ce qui signifie que l’étalonnage doit également s’adapter à ces changements de lui-même.

ReSkin surmonte ces obstacles en supprimant le besoin de connexion électrique entre les matériaux souples et l’électronique de mesure. Les signaux magnétiques du capteur dépendent de la proximité – l’électronique doit seulement être à proximité, non connectée. Au-delà de cela, ReSkin exploite une fonction de cartographie formée sur des données provenant de plusieurs sources pour la rendre plus généralisable et « robuste » que les fonctions de cartographie traditionnelles. Et le capteur utilise un modèle non supervisé pour affiner automatiquement – et en continu – en utilisant de petites quantités de données non étiquetées.

Facebook ReSkin

Facebook ReSkin

Avec l’apprentissage non supervisé, un algorithme est soumis à des données « inconnues » pour lesquelles aucune catégorie ou étiquette préalablement définie n’existe. C’est par opposition à l’apprentissage « supervisé », où un algorithme est entraîné sur des données d’entrée annotées pour une sortie particulière jusqu’à ce qu’ils puissent détecter les relations sous-jacentes. Les systèmes d’apprentissage automatique non supervisés comme ceux exécutés sur ReSkin doivent apprendre à classer les données non étiquetées, en traitant les données pour apprendre non pas à partir d’annotations mais à partir de la structure inhérente des données.

« Au lieu de fournir des étiquettes de force de vérité au sol, nous pouvons utiliser des positions relatives de données non étiquetées pour aider à affiner l’étalonnage du capteur. Par exemple, nous savons que sur trois points de contact, les deux qui sont physiquement plus proches l’un de l’autre auront un signal tactile plus similaire », ont expliqué Gupta et Hellebrekers. « Pris ensemble, ReSkin ouvre une gamme diversifiée de modules de sensation tactile polyvalents, évolutifs et peu coûteux qui ne sont pas possibles avec les systèmes existants. Les capteurs tactiles basés sur des caméras existants nécessitent une distance minimale entre la surface et la caméra, ce qui se traduit par des conceptions beaucoup plus volumineuses. En comparaison, ReSkin peut être incorporé en tant que couche sur les mains et les bras humains et robotiques. »

Applications du monde réel

Pour démontrer l’utilité de ReSkin, les chercheurs de Facebook ont ​​mené plusieurs expériences montrant qu’il peut être appliqué pour la manipulation à la main, la localisation des contacts et d’autres tâches de mesure de force. Par exemple, les chercheurs de Facebook ont ​​utilisé ReSkin pour suivre l’ampleur et la direction de la force appliquée pendant le repos, la marche et la course d’un chien en le plaçant avec un circuit imprimé à l’intérieur de la semelle d’une chaussure pour chien.

« Nos recherches sur la détection tactile généralisable ont conduit au ReSkin d’aujourd’hui, qui est peu coûteux, compact et durable. Avec une peau aussi facile à remplacer que l’épluchage et la mise en place d’un nouveau pansement, il peut être utilisé immédiatement, et nos modèles appris fonctionnent très bien sur les nouvelles peaux prêtes à l’emploi. C’est un outil puissant qui aidera les chercheurs à créer des modèles d’IA qui alimenteront la diversité des applications à l’étranger », ont écrit Gupta et Hellebrekers.

Simulation, ensemble de données et benchmarks

Pour prendre en charge du matériel comme Digit et ReSkin, Facebook a ouvert cet été Tacto et PyTouch, une bibliothèque pour le framework d’apprentissage automatique PyTorch. Tacto est un simulateur de capteurs tactiles basés sur la vision, tandis que PyTouch est une collection de modèles d’apprentissage automatique et de fonctionnalités pour la détection tactile.

Tacto peut restituer des lectures tactiles à des centaines d’images par seconde et peut être configuré pour simuler différents capteurs, y compris le propre Digit de Facebook. Comme le soulignent Calandra et Lambeta, les simulateurs jouent un rôle important dans le prototypage, le débogage et l’analyse comparative de la robotique, car ils permettent des tests sans avoir besoin d’effectuer des expériences coûteuses. “En plus de l’avantage de pouvoir exécuter des expériences plus rapides en simulation, les défis d’obtenir le bon matériel ainsi que de réduire l’usure des surfaces matérielles dans la détection tactile rendent les simulations encore plus importantes avec la détection tactile”, ont-ils déclaré.

Quant à PyTouch, il fournit des fonctionnalités de base pour les capteurs, telles que la détection du toucher et du glissement et l’estimation de la pose d’un objet. Le plan consiste à l’intégrer à des capteurs du monde réel et à Tacto pour permettre la validation de modèles ainsi que des capacités « Sim2Real » – la capacité de transférer des concepts formés à la simulation vers des applications du monde réel. Facebook envisage également PyTouch permettant à la communauté robotique d’utiliser des modèles dédiés à la détection tactile « en tant que service », où les chercheurs peuvent connecter un capteur, télécharger un modèle pré-entraîné et l’utiliser comme bloc de construction dans leur application.

Facebook PyTouch

Facebook PyTouch

“Nous étudions actuellement le transfert Sim2Real pour former des modèles PyTouch en simulation et les déployons sur de vrais capteurs comme moyen de collecter rapidement des ensembles de données et de former des modèles”, ont déclaré Calandra et Lambeta. « La collecte d’ensembles de données à grande échelle contenant de grandes quantités de données peut se faire en quelques minutes en simulation, tandis que la collecte de données avec un capteur réel nécessite du temps et une personne pour sonder physiquement les objets. Enfin, nous prévoyons d’explorer les méthodes Real2Sim pour mieux régler le simulateur à partir de données du monde réel.

Il existe une longue liste de bloqueurs à surmonter dans la détection tactile, y compris les limitations matérielles, le manque de compréhension des fonctionnalités tactiles utilisées pour des tâches particulières et l’absence de tests de référence largement acceptés. Mais c’est l’affirmation de Facebook selon laquelle les améliorations de la détection tactile, même incrémentielles, peuvent aider à faire progresser l’IA et permettre aux chercheurs de créer des robots dotés de fonctionnalités améliorées.

Dans un petit pas vers cela, la société a publié la conception, la documentation, le code et le modèle de base pour ReSkin pour aider les chercheurs à utiliser le capteur sans avoir à collecter ou former leurs propres ensembles de données.

“Cela peut également ouvrir des possibilités en RA/VR, ainsi que conduire à des innovations en robotique industrielle, médicale et agricole”, ont déclaré Calandra et Lambeta. « Nous travaillons vers un avenir où chaque robot pourrait être équipé de capacités de détection tactile. »

VentureBeat

La mission de VentureBeat est d’être une place publique numérique permettant aux décideurs techniques d’acquérir des connaissances sur la technologie transformatrice et d’effectuer des transactions. Notre site fournit des informations essentielles sur les technologies et les stratégies de données pour vous guider dans la gestion de vos organisations. Nous vous invitons à devenir membre de notre communauté, pour accéder à :

  • des informations à jour sur les sujets qui vous intéressent
  • nos newsletters
  • contenu de leader d’opinion fermé et accès à prix réduit à nos événements prisés, tels que Transformer 2021: Apprendre encore plus
  • fonctionnalités de mise en réseau, et plus

Devenir membre

 
For Latest Updates Follow us on Google News
 

PREV Déploiement du correctif de sécurité Android du 12 décembre OTA pour Pixel
NEXT Ameca est un robot dont les expressions faciales sont étrangement réalistes (VIDEO) | Technologie/Gadgets
----