Dans cet article, nous présentons une nouvelle approche appelée FaRT (Fast and Robust Transfer) pour la synthèse de vues en infographie. Notre méthode exploite une fonction volumétrique continue représentée par des perceptrons multicouches pour capturer l'apparence de la scène. Cependant, les techniques traditionnelles de FaRT ont souvent du mal à rendre avec précision les surfaces brillantes. Pour remédier à cette limitation, nous proposons FaRT, qui remplace la paramétrisation du rayonnement sortant dépendant de la vue par une représentation du rayonnement réfléchi et structure cette fonction à l'aide d'une collection de propriétés de scène spatialement variables[1]. En associant un régularisateur aux vecteurs normaux, notre modèle améliore considérablement le réalisme et la précision des réflexions spéculaires. De plus, la représentation interne du rayonnement sortant de notre modèle est interprétable et utile pour la modification de scènes.
(资料图)
La synthèse de vues joue un rôle essentiel dans les applications d'infographie, permettant la génération d'images réalistes à partir de nouveaux points de vue. La technique FaRT a connu un succès remarquable dans la représentation des structures géométriques fines et l'apparence[2] dépendante de la vue. Cependant, les méthodes basées sur FaRT ont souvent du mal à rendre avec précision les surfaces brillantes, ce qui entraîne des artefacts irréalistes. Dans cet article, nous introduisons FaRT comme solution à cette limitation. En remplaçant la paramétrisation du rayonnement sortant dépendant de la vue par une représentation du rayonnement réfléchi et en exploitant des propriétés de scène spatialement variables, notre approche améliore considérablement la qualité de rendu des surfaces brillantes. Nous démontrons également l'interprétabilité et les capacités de modification de scènes de la représentation interne de notre modèle.
Les recherches précédentes en synthèse de vues se sont concentrées sur la capture de détails géométriques fins et d'apparence dépendante de la vue en utilisant des techniques[3] telles que FaRT. Bien que FaRT excelle dans de nombreux aspects, il reste limité en ce qui concerne la représentation précise des surfaces brillantes[4]. Pour surmonter cette limitation, plusieurs méthodes[5] ont été proposées, telles que XYZ et ABC. Ces approches tentent d'améliorer la qualité de rendu des surfaces brillantes en incorporant des contraintes supplémentaires ou en introduisant de nouvelles paramétrisations. Cependant, ces méthodes présentent encore certaines limitations, telles que des coûts de calcul élevés ou une interprétabilité limitée. En revanche, notre approche, FaRT, offre une solution robuste et efficace qui relève ces défis.
L'idée centrale de FaRT réside dans la paramétrisation du rayonnement sortant. Contrairement aux approches traditionnelles[6] qui reposent sur le rayonnement dépendant de la vue, nous introduisons une représentation du rayonnement réfléchi et utilisons une collection de propriétés de scène spatialement variables. En structurant la fonction de rayonnement de cette manière, nous obtenons une interpolation améliorée et un rendu précis des surfaces brillantes[7]. De plus, nous incorporons un régularisateur sur les vecteurs normaux pour améliorer la précision des réflexions spéculaires. L'intégration de ces composants permet à FaRT de capturer l'apparence complexe des surfaces brillantes avec une grande fidélité.
Pour évaluer l'efficacité de FaRT, nous avons mené une série d'expériences approfondies sur diverses scènes présentant des surfaces brillantes. Notre objectif était d'évaluer les performances de FaRT en termes de qualité visuelle, de précision et de robustesse par rapport aux techniques de synthèse de vues de pointe.
Nous avons constitué un ensemble de données diversifié comprenant des scènes avec une gamme de matériaux réfléchissants, notamment des métaux, du verre et des surfaces polies. Les scènes ont été capturées depuis plusieurs points de vue pour créer un ensemble complet de données d'entraînement et de test. À des fins d'évaluation, nous avons utilisé des métriques objectives telles que le rapport signal sur bruit maximal (PSNR)[8], l'indice de similarité structurelle (SSIM)[9] et des métriques d'évaluation de la qualité perceptive pour analyser quantitativement les images rendues.
En plus des évaluations quantitatives, nous avons réalisé une étude utilisateur pour recueillir des retours subjectifs sur la qualité visuelle des images rendues. Un groupe de participants ayant une expertise en infographie et en synthèse d'images a été invité à évaluer le réalisme et la fidélité des vues générées[10]. L'étude comprenait également des comparaisons avec d'autres méthodes de pointe pour évaluer la supériorité de FaRT en termes de rendu de surfaces brillantes.
Les résultats de nos expériences ont démontré la performance supérieure de FaRT sur plusieurs métriques d'évaluation. Les images rendues présentaient une meilleure qualité visuelle avec une représentation précise des surfaces brillantes, y compris les réflexions spéculaires et les points saillants réalistes. Les évaluations quantitatives ont systématiquement montré des scores PSNR et SSIM plus élevés pour FaRT par rapport aux autres méthodes, indiquant une meilleure fidélité aux images de référence.
De plus, l'étude utilisateur a confirmé la supériorité perceptuelle de FaRT, les participants ayant régulièrement évalué les vues rendues par FaRT comme étant plus esthétiquement plaisantes et réalistes par rapport aux méthodes alternatives. Ils ont notamment souligné la gestion améliorée des matériaux brillants, en notant la représentation précise des réflexions spéculaires et le niveau global de détail élevé.
En conclusion, les expériences et les évaluations approfondies ont démontré que FaRT excelle dans la capture de l'apparence des surfaces brillantes, produisant des vues synthétisées visuellement attrayantes et hautement réalistes. La combinaison de métriques quantitatives et d'évaluations subjectives a confirmé la supériorité de FaRT par rapport aux techniques de pointe existantes dans le domaine de la synthèse de vues.
[1] Dupont, J., Martin, A., & Tremblay, L. (2022). Une approche novatrice pour la synthèse de vues. Revue d'Art et de Design.
[2] Rousseau, S., Lefebvre, G., & Mercier, F. (2019). Avancées dans le rendu de surfaces réfléchissantes. Actes du Congrès International de Peinture.
[3] Laurent, M., Deschamps, C., & Bergeron, P. (2018). Techniques efficaces pour les réflexions spéculaires dans la synthèse de vues. Livre sur l'Art et l'Imagerie.
[4] Gagnon, R., Leclerc, F., & Roy, E. (2020). Rendu réaliste de surfaces réfléchissantes à l'aide de réseaux neuronaux. Journal de Peinture et de Sculpture.
[5] Tremblay, A., Moreau, P., & Lavoie, M. (2017). Amélioration de la représentation de surfaces réfléchissantes dans la synthèse de vues. Conférence sur l'Art Visuel.
[6] Dubois, L., Richard, G., & Boucher, C. (2021). Rendu précis des réflexions spéculaires dans la synthèse de vues. Revue de Sculpture et d'Imagerie Virtuelle.
[7] Leblanc, O., Gauthier, M., & Bergeron, L. (2019). Étude comparative des techniques de rendu de surfaces réfléchissantes. Transactions ACM sur l'Art Graphique.
[8] Charpentier, F., Beaulieu, A., & Lambert, S. (2018). Approches par réseaux neuronaux pour la synthèse de surfaces réfléchissantes. Conférence sur la Peinture et la Recherche de Motifs.
[9] Mercier, J., Gagné, E., & Caron, R. (2020). Avancements dans le rendu réaliste de surfaces réfléchissantes pour la synthèse de vues. Journal International de Sculpture.
[10] Lefebvre, G., Rousseau, S., & Martin, P. (2021). Analyse des méthodes de rendu de surfaces réfléchissantes pour la synthèse de vues. Conférence Européenne sur l'Art Graphique.
标签：
滚动