Le richieste di modifica in linguaggio naturale per scene 3D ricostruite sono spesso semanticamente incomplete e difficili da ancorare a oggetti specifici in ambienti disordinati. I metodi esistenti, che trattano l'attività come una generazione condizionale one-shot da un singolo prompt, falliscono nel risolvere le intenzioni ambigue e soffrono di deriva nella localizzazione degli oggetti, perdita del tracking sotto occlusioni e dell'effetto "sticker" multi-view.

Aggiungi AlexTech.ai comeFonte Preferita su Google

Il paradigma Plan-Perceive-Act

DesignAgent3D riformula l'editing di scene 3D come un framework agentico multimodale interattivo che adotta un paradigma simile a quello di un designer: Plan-Perceive-Act. L'agente inizia pianificando, interagendo con l'utente per chiarire gli obiettivi di design non specificati; poi percepisce, ancorando la modifica prevista a oggetti o regioni specifici nella scena 3D; infine agisce, applicando modifiche visive controllate preservando la coerenza della scena.

Coerenza multi-view e rappresentazione 3D

Le modifiche vengono integrate nella rappresentazione 3D sottostante, supportando rendering di nuove viste persistenti e coerenti multi-view. Questo approccio risolve i problemi di consistenza che affliggono le tecniche precedenti, garantendo che l'editing rimanga stabile e realistico da qualsiasi angolazione di osservazione.

Prestazioni su NeRF e 3D Gaussian Splatting

Esperimenti estesi su entrambi i backbone NeRF e 3D Gaussian Splatting dimostrano che DesignAgent3D supera significativamente i baseline state-of-the-art. Il sistema offre un allineamento superiore dell'intento semantico, una precisione impeccabile nella localizzazione spaziale e un'alta fedeltà di coerenza multi-view, segnando un passo avanti nell'interattività delle scene 3D generate dall'AI.