Featured image of post ml-sharpで動画をFull SBSの3D映像に変換してみた

ml-sharpで動画をFull SBSの3D映像に変換してみた

目次

Appleが2025年12月16日にSHARPを公開しました。これは、1枚の画像から、高品質な3Dシーンを高速に生成できるというものです。

iOSに搭載の空間シーンとかいう機能に使われているとかいないとか言われています。

よくわかりませんが要は高品質らしい感じなので、これで2Dの映像を3Dに変換して、スマートグラスで観よう、という記事です。

やってみた

セットアップは簡単で、手順通り進めれば普通に動きます。ただし、SBSで出力してくれる機能はないので、plyファイルを何らかの方法でレンダリングする必要があります。

実際の出力がこれ。まずは画像です。タップして全画面表示ボタンを押せばSBSなグラスで立体に見える、かも。無理なら一旦ダウンロードして適当な画像ビューワーで全画面表示させてください。平行法での立体視を会得されている方は裸眼でもいけます。

かなり綺麗に立体化できました。

字幕は厳しいみたいです。

平面的な絵もそれなりに立体にしてくれます。

次に動画でも試します。

連続したフレームを一貫性を持って処理できていて、十分実用できるレベルに見えます。細かい枝の表現はどうしても乱れますが、それ以外は問題ない感じ。

アニメでもいけます。後半のほうで左の画像が暴れているのがやや気になりました。原因は不明。

Depth Anythingも試した

使えるということはわかりましたが、既存の方法と比べて高品質かどうかはわからないので、深度推定が高精度で行えるというDepth Anything 3も試してみました。2025年11月公開の新しいモデルです。iw3から利用しています。

同じ画像と動画で試しています。

よく見比べると一長一短ありますが、こちらも実用できそうな品質です。人物がフレームイン/アウトしたときに全体の深度が急に切り替わる挙動だけ気になりました。

まとめ

どちらも十分使えるレベルでしたが、3D動画を作るだけならDepth Anything 3のほうが良いと思いました。

理由は簡単で、処理速度が速いからです。SHARPのほうが高機能で重いです。RTX5090で回すと、Depth Anything 3は20~30fpsくらい、SHARPは2~3fpsくらいで、実に10倍の差です。ちゃんと調整すればもう少し縮まるかもしれませんが、それでも大きな差があります。

個人的には、出力結果もDepth Anything 3のほうが気に入ったので、これで映画を丸ごと3D化して観てみましたが、まあすごいです。2Dには戻れないかもしれん。

新しめのNvidia GPUとスマートグラスを両方お持ちの珍しい方々はぜひお試しください。

Hugo で構築されています。
テーマ StackJimmy によって設計されています。