超要約:動画の遮られ(オクルージョン)があっても、リアルな3Dアバター作っちゃうって話!
🌟 ギャル的キラキラポイント✨ ● 動画の途中で人が隠れちゃっても、キレイに3Dアバター作れるんだって!スゴくない?💖 ● 顔とか体の特徴をしっかりキープ!まさに、推しのアバターじゃん?😍 ● VRとかARで、超リアルな体験ができちゃうかも!未来が楽しみすぎる~🥰
🌟 詳細解説 ● 背景 3Dアバターって、VRとかARの世界で超重要じゃん? でも、動画の中で人が隠れちゃうと、アバターが変になっちゃうんだよね😢 でもこの研究は、そんな問題も解決しちゃう! ● 方法 「InpaintHuman」っていうスゴい技術を使ってるんだって!マルチスケールUVマッピングとID保持型拡散インペインティングっていう方法で、隠れた部分を自然に補完(インペイント)するんだって! ● 結果 オクルージョンがあっても、高品質な3Dアバターが作れるようになったんだって!しかも、個人の特徴もちゃんと再現できるから、めっちゃリアルだよ✨ ● 意義(ここがヤバい♡ポイント) VR/ARでの体験がもっと楽しくなるし、遠隔(えんかく)コミュニケーションも進化するかも!さらに、デジタルヒューマンのサービスももっと広がりそう!まさに、IT業界の未来を明るくする研究なんだね🤩
🌟 リアルでの使いみちアイデア💡 ● 推しのバーチャルライブで、推しのアバターとツーショット写真撮影🤳 ● ファッションアプリで、自分のアバターで服の試着体験👗
続きは「らくらく論文」アプリで
Reconstructing complete and animatable 3D human avatars from monocular videos remains challenging, particularly under severe occlusions. While 3D Gaussian Splatting has enabled photorealistic human rendering, existing methods struggle with incomplete observations, often producing corrupted geometry and temporal inconsistencies. We present InpaintHuman, a novel method for generating high-fidelity, complete, and animatable avatars from occluded monocular videos. Our approach introduces two key innovations: (i) a multi-scale UV-parameterized representation with hierarchical coarse-to-fine feature interpolation, enabling robust reconstruction of occluded regions while preserving geometric details; and (ii) an identity-preserving diffusion inpainting module that integrates textual inversion with semantic-conditioned guidance for subject-specific, temporally coherent completion. Unlike SDS-based methods, our approach employs direct pixel-level supervision to ensure identity fidelity. Experiments on synthetic benchmarks (PeopleSnapshot, ZJU-MoCap) and real-world scenarios (OcMotion) demonstrate competitive performance with consistent improvements in reconstruction quality across diverse poses and viewpoints.