もし人物の3Dモデルデータを取得したいというのであれば、
2025年1月時点、撮影時に被写体の人物を3Dスキャンするのが最も簡単で効果的であると考えます。
その上で、写真データなどを3Dデータに変換する技術をご紹介します。
このページでは1枚の画像から立体化する方法のみ扱います。
←左の画像から生成。髪型は難しいようですがカメラに映ってない背中がキレイに生成できてます
←左の画像から生成。
最新？はこちら↓
オーソドックス： Depth 3Dデータ レリーフ
オーソドックスなアプローチとして、Depth (深さ)を利用する方法があります。平面である写真の深さを明らかにし、その結果を元に3DソフトウェアやOSSを用いてボリュームを持たせます。
いわゆるスターウォーズのカーボン凍結状態？の立体化が可能です。
奥行きを推測する
ライブラリを使うことで推測できます。
スイス工科大学 : Marigold
スイスにおける国立大学であるスイス工科大学の研究チームによるものです。
https://github.com/prs-eth/marigold
コチラの画像を分析すると、下のような画像が結果として得られます。
TikTok : Depth Anything V2
TikTokは動画にエフェクトなどつける機能を開発してますし、画像の分析については注力してる印象です。
https://github.com/DepthAnything/Depth-Anything-V2
おそらくですが、女性の背後の斜めに設置されてるドアは、奥の壁よりも手前にあるのではないでしょうか。その点についてはMarigoldよりTikTokのライブラリの方が正確に推測できてそうです。
奥行きにボリュームを付ける
点群に変換してみました。
操作が下手で見にくくて恐縮なのですが、初代プレイステーションのポリゴンぐらい？は表現できているのかなと。
最新の生成AIを使うアプローチ
1枚の画像から、一気に生成します。
Stability.aiによるSPAR3Dというものがあったので試してみました。
ぬいぐるみなどではもっと上手く出るようです。
