CVSat-NeRF : Champs de Radiance Neuronaux Supervisés par l'Information du Volume de Coût pour l'Imagerie Satellitaire Éparse

Résumé

Les Modèles Numériques de Surface (MNS) issus d’images satellitaires sont traditionnellement générés à l’aide de chaînes de traitement Stéréo Multi-Vue (MVS, Multi-View Stereo), reposant sur des techniques de mise en correspondance de patchs telles que l’appariement semi-global (SGM, Semi-Global Matching). Bien que performantes dans des contextes à nombre limité de vues, ces méthodes présentent des limitations connues, notamment lors du rendu de surfaces homogènes ou de contours de bâtiments. Récemment, les techniques de rendu volumétrique basées sur l’apprentissage profond, en particulier les champs de radiance neuronaux (NeRF), ont émergé comme une alternative prometteuse grâce à leurs performances et à leur représentation continue, compacte et flexible des scènes tridimensionnelles. Bien qu’initialement conçus pour la reconstruction de scènes multi-vues, leur mécanisme de lancer de rayons (ray-casting) les rend particulièrement attractifs dans des contextes à vues limitées. SparseSat-NeRF (SpS-NeRF) figure parmi les rares méthodes adaptant les NeRF au domaine de la télédétection à faible nombre de vues. Ce modèle exploite des informations de profondeur issues du SGM pour définir une fonction de perte sur la profondeur prédite. Dans ce cadre, la similarité de patchs est interprétée comme un indicateur de confiance associé à cet a priori de profondeur, utilisé pour moduler l’attache à la supervision et guider l’échantillonnage des rayons. Dans cet article, nous introduisons CVSat-NeRF, une méthode visant à affiner l’exploitation de tels a priori. Premièrement, la similarité entre patchs est remplacée par une mesure de confiance dérivée de l’ambiguïté, un indicateur plus informatif qui agrège efficacement l’information contenue dans le volume de coût calculé par l’algorithme SGM. Une étape de rééchelonnement d’histogramme est également proposée afin d’ajuster l’intensité de la pondération de la supervision. Deuxièmement, nous introduisons une stratégie d’échantillonnage déduisant directement les distributions d’échantillonnage à partir des courbes de coût SGM. Cette approche s’adapte naturellement à l’échelle de la scène avec une paramétrisation minimale, tout en valorisant de manière plus complète l’information contenue dans le volume de coût SGM. Les expériences menées sur une scène à deux vues démontrent des améliorations par rapport à SpS-NeRF, permettant d’obtenir un meilleur compromis entre l’attachement à l’a priori de profondeur et le détachement vis-à-vis de ses imperfections.