Offre de thèse H/F : Perception multimodale et génération de mouvements par contrôle hybride pour la manipulation robotique
Centre Lasers Intenses et Applications
- Accueil
- Portail Emploi CNRS - Offre d'emploi - Offre de thèse H/F : Perception multimodale et génération de mouvements par contrôle hybride pour la manipulation robotique
Nouveau
Laboratoire Interdisciplinaire Carnot de Bourgogne
DIJON
- Côte-d'Or
- CDD Doctorant
- 36 mois
- BAC+5
Cette offre est ouverte aux personnes disposant d’un titre leur reconnaissant la qualité de travailleur handicapé ou travailleuse handicapée.
L'offre en un coup d'oeil
L'unité
Laboratoire Interdisciplinaire Carnot de Bourgogne
Type de Contrat
CDD Doctorant
Temps de Travail
Complet
Lieu de Travail
21078 DIJON
Durée du contrat
36 mois
Date d'Embauche
01/01/2027
Rémuneration
La rémunération est d'un minimum de 2300,00 € mensuel
Postuler Date limite de candidature : lundi 26 octobre 2026 23:59
Description du Poste
Sujet De Thèse
Les robots sont de plus en plus amenés à quitter les cellules industrielles structurées pour évoluer dans des environnements ouverts, tels que les exploitations agricoles, les ateliers, les entrepôts, les hôpitaux, les domiciles ou les sites d’intervention en extérieur. Les progrès récents en locomotion et en manipulation humanoïdes montrent que les robots deviennent progressivement capables d’exécuter des tâches complexes dans des environnements non structurés [6]. En parallèle, les avancées des foundation models ouvrent de nouvelles possibilités pour intégrer la compréhension sémantique, la planification de tâches et la génération d’actions robotiques. En particulier, les vision-language-action models offrent une voie prometteuse vers des systèmes robotiques plus polyvalents et généralisables. Toutefois, au-delà de la compréhension des objectifs d’une tâche et de la génération d’actions, les robots doivent pouvoir gérer des interactions physiques complexes et tenir compte des propriétés et du mouvement des objets manipulés. Atteindre ces capacités dans des environnements non structurés reste un défi de recherche ouvert, qui nécessite de nouvelles avancées en perception multimodale, en manipulation dextre et en contrôle adaptatif.
Ce projet de doctorat porte sur la manipulation robotique dans des environnements moins contrôlés, où la manipulation classique d’objets rigides, reposant principalement sur l’estimation de la pose 6D, n’apporte qu’une réponse partielle. De nombreux objets rencontrés en pratique sont déformables, articulés, flexibles, partiellement occultés ou soumis à des contacts au cours de l’interaction. Leur état ne peut pas toujours être réduit à une pose rigide : la forme, la géométrie locale, les conditions de contact, la stabilité de la préhension, la réponse du matériau et les affordances liées à la tâche peuvent toutes être pertinentes pour l’action.
Les revues récentes consacrées à la manipulation robotique de textiles [2], ainsi que les travaux de benchmark sur la sélection des prises, tels que [5], montrent que les objets déformables, notamment les textiles, mettent clairement en évidence les limites de la manipulation fondée sur la pose. Le robot doit raisonner sur l’évolution de la forme, les contacts et l’observabilité partielle, plutôt que de se limiter à l’estimation d’une transformation rigide.
C’est dans ce contexte que l’hybridation devient essentielle. Les approches model-based apportent une structure, une cohérence physique et des contraintes orientées vers le contrôle, mais elles restent souvent incomplètes lorsque le robot interagit avec des objets dont la géométrie, les propriétés matérielles et les conditions de contact ne sont que partiellement connues. Comme le souligne [1], les approches data-driven peuvent apprendre à partir de l’expérience des descripteurs visuels, des latent states, des residual dynamics ou des action priors, mais elles peuvent nécessiter de grands jeux de données et ne fournissent pas naturellement de garanties de sécurité ou de stabilité. La manipulation dans le monde réel appelle donc des méthodes combinant les deux approches : des modèles pour contraindre et guider l’action, et des données pour s’adapter aux phénomènes difficiles à modéliser explicitement.
Cette thèse s’inscrit dans le PEPR Robotique et, plus précisément, dans le projet HAMMER, consacré à l’hybridation des méthodes model-based et data-driven pour la génération de mouvements en robotique. Les travaux proposés contribueront à cet objectif du PEPR dans le contexte de la manipulation. Les représentations récentes d’affordances multimodales [3] illustrent également l’intérêt d’associer une perception visuelle externe à un retour sensoriel local pour la manipulation. L’idée centrale consiste à développer des stratégies hybrides de perception et de contrôle combinant des a priori géométriques et physiques, des représentations apprises, une perception multimodale et un safety-aware control, afin de permettre au robot d’agir avec adaptabilité et cohérence physique.
[1] Ai, B., et al. “A review of learning-based dynamics models for robotic manipulation.” Science Robotics (2025)
[2] Longhini, A., et al. “Unfolding the Literature: A Review of Robotic Cloth Manipulation.” Annual Review of Control, Robotics, and Autonomous Systems (2025).
[3] Wu, Q., et al. “TARS: Tactile Affordance in Robot Synesthesia for Dexterous Manipulation.” IEEE Robotics and Automation Letters (2025)
[4] Zhao, W., et al. “VLMPC: Vision-Language Model Predictive Control for Robotic Manipulation.” Robotics: Science and Systems. (2024)
[5] De Gusseme, V.-L., et al. “A Dataset and Benchmark for Robotic Cloth Unfolding Grasp Selection: The ICRA 2024 Cloth Competition.” The International Journal of Robotics Research. (2026)
[6] Gu, Zhaoyuan et al. “Humanoid Locomotion and Manipulation: Current Progress and Challenges in Control, Planning, and Learning” IEEE/ASME Transactions on Mechatronics 31.2 (2026)
Votre Environnement de Travail
Le doctorat travaillera dans le cadre du projet ciblé HAMMER du PEPR Robotique.
La thèse s’articulera autour de trois contributions principales :
- Représenter les états de grande dimension des objets. Construire des représentations multimodales compactes combinant la géométrie RGB-D, la forme locale, les indices de contact, les signaux proprioceptifs et les descripteurs appris.
- Hybrider les approches model-based et data-driven pour le contrôle. Développer des stratégies de manipulation closed-loop dans lesquelles les contraintes physiques et géométriques guident l’apprentissage, tandis que les composantes apprises améliorent l’adaptation à l’incertitude.
- Ancrer les high-level action priors dans le retour physique. Utiliser des foundation models ou des vision-language-action models pour proposer des objectifs, des actions ou des primitives de manipulation, puis les affiner grâce au retour multimodal, aux contraintes model-based et au safety-aware control.
Rémunération et avantages
Rémunération
La rémunération est d'un minimum de 2300,00 € mensuel
Congés et RTT annuels
44 jours
Pratique et Indemnisation du TT
Pratique et indemnisation du TT
Transport
Prise en charge à 75% du coût et forfait mobilité durable jusqu’à 300€
À propos de l’offre
Référence de l’offre UMR6303-CEDDEM-002 Section(s) CN / Domaine de recherche Sciences informatiques : signaux, images, langues, automatique, robotique, interactions, systèmes intégrés matériel-logiciel
À propos du CNRS
Le CNRS est un acteur majeur de la recherche fondamentale à une échelle mondiale. Le CNRS est le seul organisme français actif dans tous les domaines scientifiques. Sa position unique de multi-spécialiste lui permet d’associer les différentes disciplines pour affronter les défis les plus importants du monde contemporain, en lien avec les acteurs du changement.
Le CNRS
Les métiers de la recherche
Publiée il y a 2 heure(s)
Partager cette offre Par mail
Créer une alerte
Ne manquez aucune opportunité de trouver le poste qui vous correspond. Inscrivez-vous gratuitement et recevez les nouvelles offres directement dans votre boite mail.
Créer une alerte
Offre de thèse H/F : Perception multimodale et génération de mouvements par contrôle hybride pour la manipulation robotique
CDD Doctorant
- 36 mois
- BAC+5
- DIJON
- Postuler
- H/F Thèse en Robotique souple et Interaction humain-robot
BESANCON
- Doubs
- CDD Doctorant
- 36 mois
- Doctorat
Toutes les offres