Apple ML Researchから単眼深度推定モデル Depth Pro 2(Project Page / arXiv:2611.26603、2026年11月)が公開されました。Depth Anything V2(NeurIPS 2024、arXiv:2406.09414)と比較して研究仕様や定量精度がどう変わったかに加え、ASIC/FPGA/NPUでのハードウェア化を前提に内部アーキテクチャ・量子化感度・メモリ帯域の特性まで整理します。
この記事の前提と検証範囲
Depth Pro 2は静止画・動画・ライブストリーム統合型のゼロショット絶対深度(Metric Depth)モデル、Depth Anything V2は単一画像・相対深度主体の汎用基盤モデル(およびドメイン別Metric FT版)です。公開コード・公式モデル仕様(Depth-Anything-V2、MetaDINOv3、ml-depth-pro-2、apple/DepthPro2-coreml)と論文公表値に基づく確定事実と、そこから解析的に算出したMACs・KVキャッシュ容量・演算効率試算を分けて記述しています。
全体サマリー(研究仕様の対照表)
Depth Anything系譜には動画向けの Video Depth Anything や多視点3D統合型の Depth Anything 3 (DA3) もありますが、ここでは広くベースラインとして参照される Depth Anything V2本体 と Depth Pro 2 を比較します。以下、表や本文では Depth Pro 2 を DP2、Depth Anything V2 を DAv2(初代は DAv1)、初代 Depth Pro を v1、Fine-Tuning を FT、学習分布外を OOD と略記します。
| 比較項目 | Depth Pro 2 (Apple) | Depth Anything V2 (HKU / TikTok) |
|---|---|---|
| 論文・公開時期 | Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth (arXiv:2611.26603, 2026年11月) | Depth Anything V2 (arXiv:2406.09414, 2024年6月 / NeurIPS 2024) |
| 主な課題設定 | 単一画像の境界鋭利性(Boundary F1)と動画の時間的一貫性(低Jitter)の両立+ゼロショット絶対深度 | 実測ラベルのノイズ・欠損解消と、拡散系モデル(Marigold等)の推論遅延・汎化不足の改善 |
| 対応入力モダリティ | 静止画・動画・ライブストリーム(単一ネットワークで統合処理) | 静止画(単一フレーム)のみ(動画適用時はフレーム独立処理となりフリッカーが出る) |
| 深度出力の性質 | 絶対深度(Metric、メートル単位;正規化逆深度からの復元) | 相対逆深度(アフィン不変)が本体。絶対深度は屋内/屋外別のFTモデルで提供 |
| カメラ内部パラメータ | 独立した焦点距離推定器(DepthPro2-focal, 23.5M)を同梱。既知 f_px の直接注入も可 | 非対応(焦点距離・FOV推定なし、内部パラメータ条件付けなし) |
| バックボーン | DINOv3 ViT(S / B / L / H+、2D Axial RoPE採用)+マルチビュー交互アテンション | DINOv2 ViT(patch size 14: ViT-S / B / L / [教師のみ G]) |
| デコーダ | Depth Pro系 MultiresConvDecoder (DPT)(入力の 1/32〜1/4 特徴を集約) | 標準 DPT デコーダ(dpt.py / blocks.py) |
| 解像度処理 | 入力のネイティブ解像度で直接推論(2K〜4K含む任意解像度。v1の画像ピラミッドは廃止) | 短辺 518 px基準(14の倍数リサイズ)で推論し、出力を補間アップサンプル |
| 公式公開サイズ | S (24.3M) / B (96.5M) / L (334M) / H+ (872M) + Focal (23.5M) | Small (24.8M) / Base (97.5M) / Large (335.3M)(Giant 1.3Bは未公開) |
| 学習データ戦略 | 静止画(1フレーム扱い)+動画(最大32フレーム)の実・合成データ統合学習 | 合成データ 595K枚(教師)→ 実画像 6,200万枚への擬似ラベル蒸留(生徒) |
| 学習コード公開 | 非公開(推論・CLI・Core ML変換のみ) | Metric FT用学習コード・DA-2K評価を公開(62M事前学習パイプラインは非公開) |
| ライセンス | Apple ML Research Model License(全サイズ非商用・学術研究限定) | Smallのみ Apache 2.0(商用可) / Base・Largeは CC-BY-NC-4.0(非商用) |
タスク定式化・深度表現・学習戦略の違い
Depth Pro 2:物理スケールとカメラ幾何の結合
Depth Pro 2は初代Depth Proと同じく、ネットワーク出力をカメラの水平焦点距離 f_px と画像幅 W で正規化した 正規化逆深度(Canonical Inverse Depth)C として予測し、以下の式からメートル単位の絶対深度 D_m(光軸方向距離 Z)を復元します。
C = (f_px / W) × (1 / D_m)
D_m = f_px / (W × C)
逆深度空間で予測するため、ARやNovel View Synthesis(NVS)で破綻が目立ちやすい近距離領域の分解能が優先されます。EXIFなどのカメラ情報がない入力に対しては、全モデルサイズで共有する独立ネットワーク FOVEstimator(apple/DepthPro2-focal、23.5Mパラメータ、約94 MB)で水平画角(FOV)を推定します。動画推論時は先頭フレーム群の推定値の中央値(median)を全フレームへ適用してグローバルスケールの揺らぎを抑え、ロボティクスやSLAMのようにキャリブレーション済みの f_px を与えられる系では FOVEstimator 自体をスキップできます。
学習損失は、正規化逆深度空間でのメトリックMAE(実データの外れ値フィルタリング付き)、スケール不変損失、マルチスケール勾配/ラプラシアン損失、さらにカメラポーズ対応を用いたマルチビュー一貫性損失(動的物体やオクルージョン領域はGT深度でマスク除外)の無重み和で構成され、FOVEstimator は水平FOVへの L2 損失で学習されます。
Depth Anything V2:合成データ教師と6,200万枚擬似ラベル蒸留
Depth Anything V2はアーキテクチャの複雑化ではなく、次の3段階のデータパイプラインで精度を引き上げています。
- 実測LiDARやRGB-Dセンサ由来のノイズ・疎さ・透明物体欠損を避けるため、5つの合成データセット(Hypersim、Virtual KITTI 2、BlendedMVS、TartanAir、IRS)計595K枚のみでDINOv2-Giant(1.3B)教師を学習する。
- 凍結した教師で8つの公開実画像コーパス(SA-1B、BDD100K、Open Images、Objects365、ImageNet-21K、Google Landmarks、LSUN、Places365)計62M枚超に擬似逆深度を付与する(残差上位10%の不安定ピクセルをマスク除外)。
- 擬似ラベル実画像でSmall / Base / Large生徒を蒸留する。損失関数にはスケール・シフト不変損失(
L_ssi)、空間勾配を合わせる勾配マッチング損失(L_gm)、および凍結DINOv2エンコーダの特徴を維持する特徴アライメント損失(L_feat)を使う。
メトリック深度版は事前学習済みエンコーダ+DPTヘッドの出力にドメイン固定の上限値 max_depth(屋内Hypersim版 20 m / 屋外Virtual KITTI 2版 80 m)を掛ける構成(depth = depth_head(...) × max_depth)のため、学習ドメイン外や画角が大きく異なるカメラへのゼロショット絶対スケール汎化には制約があります。
内部アーキテクチャ(HW設計・アクセラレータ視点)
ASIC/FPGA/専用NPUで推論ハードウェアを設計する前提で、計算グラフ・テンソル形状・マイクロアーキテクチャを分解します。
End-to-End計算グラフとテンソル形状トレース
【Depth Pro 2 (Multi-Frame / Native Resolution)】
Input RGB (T, 3, H, W)
├─► PatchEmbed (Conv2d 16×16, stride=16) ─► Prepend [1 CLS + 4 Reg] ─► (T, N_s, D)
│ └─► ViT 前半 1/3 層: Intra-Frame Attention のみ (+ 2D Axial RoPE)
│ └─► ViT 後半 2/3 層: Intra-Frame / Cross-Frame 交互 Attention (+ KV Cache)
│ └─► 4-Scale Hooks (H/32, H/16, H/8, H/4) ─► MultiresConvDecoder (Bilinear融合)
│ └─► Head: Conv3×3 ─► ConvTranspose2d(2×2, s=2) ─► Conv1×1 (非有界 C)
│ │
└─ (EXIFなし時/動画先頭Fのみ) ─► FOVEstimator (CNN 23.5M, FP32) ─► f_px ──┴─► Metric除算 (FP32)
D_m = f_px / (W × C)
【Depth Anything V2 (Single-Frame / 518 px 基準)】
Input RGB (1, 3, H, W) ─► 短辺 518 リサイズ (14の倍数)
└─► PatchEmbed (Conv2d 14×14, stride=14) ─► Prepend [1 CLS] + 2D Bicubic Abs PosEmbed
└─► DINOv2 ViT (全層 Intra-Frame のみ, KV Cache なし)
└─► 4 Fixed Hooks (1×1 Proj + ConvTranspose4x / 2x / Identity / Conv2x)
└─► DPT RefineNet ×4 (RCU + Bilinear align_corners=True + Conv1×1)
└─► Conv3×3 ─► Bilinear(H', W') ─► Conv3×3(32) ─► Conv1×1 ─► ReLU / Sigmoid×max_depth
| 計算グラフ・下表の記号 | 意味と算出式 |
|---|---|
(T, 3, H, W) | 入力画像テンソル形状。T=フレーム数(静止画は 1、動画チャンクは 16 等)、3=RGBチャネル数、H=画像高さ(px)、W=画像幅(px) |
(T, N_s, D) | PatchEmbed後のトークン列。N_s=1フレームあたりのトークン数(H_p × W_p + 特殊トークン数)、D=埋め込み次元数 |
(H_p, W_p)・p | パッチサイズ p(DP2: 16、DAv2: 14)で割った縦・横のパッチグリッド数(H/p, W/p) |
(H', W') | DAv2で短辺 518 px基準(14の倍数)へリサイズした後の入力高さ・幅(H_p×14, W_p×14) |
CLS / Reg | クラストークン(1個)とRegisterトークン(DP2のみ4個) |
w4 / w16 / w15履歴 | 時間ウィンドウ幅(w4=4フレーム窓、w16=16フレームチャンク、w15履歴=過去15フレーム保持) |
RCU / s=2 / Deconv 2x | DPTの残差畳み込みブロック(ResidualConvUnit)とストライド2の2倍転置畳み込み |
非有界 C / f_px / D_m | 上限クリップを持たない正規化逆深度出力 C、水平焦点距離 f_px(px)、絶対深度 D_m(m) |
| ステージ | DP2 (896×512, Core ML 基準) | DP2 (1920×1088, 1080p) | DAv2 (518×518 基準) |
|---|---|---|---|
| パッチグリッド (H_p, W_p) | (32, 56) = 1,792 (p=16) | (68, 120) = 8,160 (p=16) | (37, 37) = 1,369 (p=14) |
| 特殊トークン数 | 5 (1 CLS + 4 Register) | 5 (1 CLS + 4 Register) | 1 (1 CLS、DPT入力時に破棄) |
| 1フレームトークン数 N_s | 1,797 | 8,165 | 1,370 |
| Cross-Frame 結合長 T·N_s | w4: 7,188 / w16: 28,752 | w4: 32,660 / w16: 130,640 | なし(常に 1,370) |
| DPT 4段空間サイズ | 16×28, 32×56, 64×112, 128×224 | 34×60, 68×120, 136×240, 272×480 | 19×19, 37×37, 74×74, 148×148 |
| 最終ヘッド直前 → 出力 | 256×448 → Deconv 2x → 512×896 | 544×960 → Deconv 2x → 1088×1920 | 296×296 → Bilinear → 518×518 |
ViTエンコーダのマイクロアーキテクチャ仕様
| 仕様項目 | DP2-S | DP2-B | DP2-L | DP2-H+ | DAv2-S | DAv2-B | DAv2-L | (参考) DAv2-G |
|---|---|---|---|---|---|---|---|---|
| ベース ViT | DINOv3-S | DINOv3-B | DINOv3-L | DINOv3-H+ | DINOv2-S | DINOv2-B | DINOv2-L | DINOv2-G |
| パラメータ数 | 24.3M | 96.5M | 334M | 872M | 24.8M | 97.5M | 335.3M | 1.3B (未公開) |
| Patch Size p | 16 | 16 | 16 | 16 | 14 | 14 | 14 | 14 |
| Embed Dim D | 384 | 768 | 1024 | 1280 | 384 | 768 | 1024 | 1536 |
| 総層数 L | 12 | 12 | 24 | 32 | 12 | 12 | 24 | 40 |
| Heads N_heads | 6 | 12 | 16 | 20 | 6 | 12 | 16 | 24 |
| Head Dim d_head | 64 | 64 | 64 | 64 | 64 | 64 | 64 | 64 |
| FFN 種別 | MLP (GELU) | MLP (GELU) | MLP (GELU) | SwiGLU | MLP (GELU) | MLP (GELU) | MLP (GELU) | SwiGLU |
| FFN 中間幅 I | 1536 | 3072 | 4096 | 5120 | 1536 | 3072 | 4096 | 4096 (fused) |
| Cross-Frame 層 | 5, 7, 9, 11 (4層) | 5, 7, 9, 11 (4層) | 9..23 奇数 (8層) | 11..31 奇数 (11層) | なし (0) | なし (0) | なし (0) | なし (0) |
| Pre-LN eps | 10-5 | 10-5 | 10-5 | 10-5 | 10-6 | 10-6 | 10-6 | 10-6 |
| LayerScale | あり (1.0) | あり (1.0) | あり (1.0) | あり (1.0) | あり (1.0) | あり (1.0) | あり (1.0) | あり (1.0) |
| 位置エンコード | 2D Axial RoPE | 2D Axial RoPE | 2D Axial RoPE | 2D Axial RoPE | 2D 絶対+Bicubic | 2D 絶対+Bicubic | 2D 絶対+Bicubic | 2D 絶対+Bicubic |
| Register Token | 4 | 4 | 4 | 4 | 0 | 0 | 0 | 0 |
ViTエンコーダのHW設計上の論点
| 構造要素 | 両モデルの差異とハードウェア設計への影響 |
|---|---|
ヘッド次元 d_head = 64 | S / B / L / H+ / Gのすべてで D / N_heads = 64 が統一されている。Attention用シストリックアレイや64-wide SIMDレーン、Online Softmaxパイプラインは64次元固定回路で全サイズをそのままカバーできる |
Patch Size 16 vs 14 | DP2(p=16)は 16×16×3 = 768 要素(RGBX 4chなら 1024 = 2の冪)でSRAMバンク分割やバーストDMAに端数が出ない。DAv2(p=14)は 14×14×3 = 588 要素と非2の冪であり、14行ラインバッファやパディング制御が付く |
| 2D Axial RoPE vs 絶対位置埋め込み | DP2は d_head=64 の前半32次元にy軸、後半32次元にx軸の回転角を割り当てQ・K投影後に複素ペア回転を行う(CLS+4 Registerトークンはバイパス制御が必要)。DAv2は推論解像度を 518×518 固定にするならBicubic補間済みの (1370, D) テーブルをROM化でき、補間回路を消せる |
| DP2-H+のSwiGLU融合 | H+のみ w1(gate), w2(up), w3(down) の3行列構造(I=5120)をとる。HWでは [W1, W2](1280 × 10240)を1回のGEMMへ結合し、Epilogueで SiLU(gate) ⊙ up を融合しないと中間テンソル (N_s, 5120) のSRAM書き戻し帯域が2倍になる |
| LayerScaleの重み吸収 | 両モデルとも残差合流前にチャネル別乗算(LayerScale γ)が入るが、推論専用HWでは直前の線形層出力投影(W_O およびFFNの W_down)へオフラインで事前乗算(Weight Folding)して消去できる |
Cross-Frame AttentionとステートフルKVキャッシュ設計
Depth Pro 2をHW化する上で最も設計の成否を分けるのが動画時のマルチフレーム機構です。静止画は「1フレームクリップ」、学習時の動画は「最大32フレームクリップ」として同一重みで扱い、推論時はオフライン動画既定のBufferedモード(--window 16 --overlap 4 でウィンドウ内全フレーム間の双方向Self-Attention)と、ライブカメラ・Core ML w4 向けのUnbuffered / Streamingモード(1フレームずつ入力し、PyTorchライブ時は過去15フレーム、Core ML公式 _w4 では4フレーム窓への因果的スライディングウィンドウAttention。先頭数フレームのみ履歴不足の揺らぎあり)を切り替えます。
ハードウェア側では2つの構造的特徴を利用できます。第1に、Intra-Frame層はフレーム間参照を持たないためKVキャッシュ対象がCross-Frame層のみ(S/B: 4層、L: 8層、H+: 11層)となり、全層キャッシュ比で容量とDRAM帯域をおよそ1/3に抑えられます。第2に、フレーム番号に対する1D時間位置埋め込み(Temporal PE)を持たず各フレーム内の2D Spatial Axial RoPEのみを使うため、RoPE適用済みの K をそのままリングバッファへ置け、ウィンドウが進んで古いフレームを破棄しても既存キャッシュを再回転する必要がありません。
KVキャッシュ容量試算とFlashAttentionの必要性
KVキャッシュ容量の算出式:KV Bytes = 2 (K, V) × L_cross × T_win × N_s × D × 2 bytes (FP16/BF16)
記号の意味:L_cross=Cross-Frame層数、T_win=KVキャッシュに保持するフレーム窓幅(w4なら4、w15履歴なら15)、N_s=1フレームあたりのトークン数、D=埋め込み次元数、2 bytes=FP16/BF16の1要素サイズ。
| モデル | L_cross | D | 896×512 (w4, N_s=1797) | 1280×720 (w4, N_s=3605) | 1920×1088 (w15履歴, N_s=8165) |
|---|---|---|---|---|---|
| DP2-S | 4 | 384 | 42.1 MiB (INT8: 21 MiB) | 84.5 MiB (INT8: 42 MiB) | 718 MiB (INT8: 359 MiB) |
| DP2-B | 4 | 768 | 84.2 MiB | 169 MiB | 1.40 GiB |
| DP2-L | 8 | 1024 | 225 MiB | 451 MiB | 3.74 GiB |
| DP2-H+ | 11 | 1280 | 386 MiB | 775 MiB | 6.42 GiB |
DP2-S @ 480p (w4) はINT8圧縮なら21 MiBに収まるため、大型L2/SLCや専用SRAM上に丸ごと常駐できます。一方でCross-Frame層のアテンションスコア行列 Q KT を外部メモリへ展開すると、たとえば DP2-L (N_heads=16) @ 720p (w4) だけで 16 × 3605 × 14420 × 2 bytes = 1.66 GB/層(Apple公式Core MLでL@720pが重み891 MBに対し実行時メモリ18 GBを要する主因)、DP2-H+ @ 1080p (T=16 Buffered) では約682 GBに達します。そのためHW設計では Q と K, V を B_r × B_c(例:128 × 128)へタイル分割し、SRAM上でOnline Softmaxを完結させるTiled FlashAttentionデータフロー(112 KB / PEクラスタ、ダブルバッファで約256 KB)が前提になります。なお、本文中の 480p は上表のCore ML基準解像度 896×512(480p相当)を指します。また、B_r × B_c はFlashAttentionにおけるQuery側・KV側のタイル分割サイズ、PE は演算器クラスタ、SLC はシステムレベルキャッシュ(System Level Cache)です。
DPTデコーダ・最終ヘッド・FOVEstimatorの設計詳細
Depth Anything V2(dpt.py / blocks.py)の確定オペレータ列
| ステージ | 確定オペレータ列と主要パラメータ |
|---|---|
Hook抽出層 (intermediate_layer_idx) | vits/vitb = [2, 5, 8, 11]、vitl = [4, 11, 17, 23]、vitg = [9, 19, 29, 39]。CLS除去後に空間グリッド (B, D, H_p, W_p) へ再構成 |
Reassemble (projects + resize_layers) | 1×1 Conv でチャネルを out_channels(S: [48,96,192,384] / B: [96,192,384,768] / L: [256,512,1024,1024])へ射影し、ConvTranspose2d(k=4,s=4) → ConvTranspose2d(k=2,s=2) → Identity → Conv2d(k=3, s=2, pad=1) で空間スケール変換 |
layer1..4_rn & refinenet4..1 | バイアスなし 3×3 Conv で統一チャネル幅 features(S: 64 / B: 128 / L: 256)へ揃え、FeatureFusionBlock(ResidualConvUnit×2 + Bilinear(scale=2, align_corners=True) + 1×1 out_conv、推論時 use_bn=False)で4段融合 |
| 最終ヘッド | output_conv1(3×3 Conv, F → F/2)→ Bilinear(H_p×14, W_p×14) → output_conv2(3×3 Conv(32) → ReLU → 1×1 Conv(1) → ReLU、Metric版は Sigmoid × max_depth) |
上表の記号:B=バッチサイズ、F=デコーダの統一チャネル幅 features(S: 64 / B: 128 / L: 256)、k=カーネルサイズ、s=ストライド、pad=パディング幅。
Depth Pro 2(MultiresConvDecoder + FOVEstimator)の構成
Depth Pro 2の MultiresConvDecoder は入力の 1/32〜1/4 解像度特徴を統一デコーダ幅 dim_decoder(S: 64 / B: 128 / L・H+: 256)でBilinear融合し、最終ヘッドを Conv3×3(dim_decoder → dim_decoder/2) → ConvTranspose2d(dim_decoder/2, k=2, s=2) → Conv1×1(→ 1) とすることで最終2倍拡大の境界ぼけを抑えています。独立回路の FOVEstimator(23.5M、Core ML公式は 512×896 固定・FP32 91 MB)は軽量CNNバックボーン+Global Pooling+MLP構成であり、動画時は先頭数フレームだけ動かせば以降は電源ゲートで停止できます。
デコーダ部のボトルネックと融合手法
1つ目の問題は ConvTranspose2d のゼロ挿入による演算ロスです。DAv2の k4s4(93.75%がゼロ乗算)や両モデルの k2s2(75%がゼロ乗算)は、重みを空間位相 s×s ごとに並べ替えて 1×1 Conv (C_in → s²·C_out) + PixelShuffle(入力チャネル C_in → 拡大率 s に対して s²·C_out チャネルへ展開後、空間解像度を縦横 s 倍へ再配置)へ静的に等価変換することで汎用GEMM演算器のまま実効効率100%で計算できます。
2つ目は1080p最終段の巨大中間テンソルです。DP2-L/H+の1080pでは最終 ConvTranspose2d 出力が (1088, 1920, 128) でFP16あたり510 MiB(DAv2-L @ 518pxは65.5 MiB)に達します。最終 Conv3×3 → PixelShuffle → Conv1×1 → Metric除算 の4段を数ライン分の行バッファでオンチップ融合すると、510 MiBのDRAM往復を消して4 MiBの深度マップ出力だけに減らせます。
演算量(MACs)・Roofline解析
モデル仕様から解析的に算出した1フレームあたりのViTエンコーダMACs内訳です(標準MLPブロック = 12 N_s D²、SwiGLUブロック = (4D² + 3DI)N_s、Attention = 2 N_q N_k D)。
記号の定義:MACs/F=1フレームあたりの積和演算回数(G=109、T=1012)、N_q / N_k=Query側・Key側のトークン長、I=FFN中間幅、SFU=exp2等の超越関数を担う特殊関数ユニット(Special Function Unit)。
| モデル・動作条件 | 解像度 (N_s) | Linear / FFN | Intra-Attn | Cross-Attn | Encoder 計 (MACs/F) | Cross-Attn 比率 |
|---|---|---|---|---|---|---|
| DAv2-Small (T=1) | 518×518 (1,370) | 29.1 G | 17.3 G | 0 | 46.4 GMACs | 0% |
| DAv2-Large (T=1) | 518×518 (1,370) | 413.7 G | 92.3 G | 0 | 506.0 GMACs | 0% |
| DP2-S (T=1, 静止画) | 896×512 (1,797) | 38.2 G | 19.8 G | 9.9 G | 67.9 GMACs | 15% |
| DP2-S (w4 Streaming) | 896×512 (1,797) | 38.2 G | 19.8 G | 39.7 G | 97.7 GMACs | 41% |
| DP2-S (w4 Streaming) | 1920×1088 (8,165) | 173.4 G | 409.6 G | 819.2 G | 1.40 TMACs | 58% |
| DP2-S (T=16 Buffered) | 1920×1088 (8,165) | 173.4 G | 409.6 G | 3,277 G | 3.86 TMACs | 85% |
| DP2-H+ (T=1, 静止画) | 1920×1088 (8,165) | 6.85 T | 3.58 T | 1.88 T | 12.31 TMACs | 15% |
| DP2-H+ (w4 Streaming) | 1920×1088 (8,165) | 6.85 T | 3.58 T | 7.51 T | 17.94 TMACs | 42% |
| DP2-H+ (T=16 Buffered) | 1920×1088 (8,165) | 6.85 T | 3.58 T | 30.04 T | 40.47 TMACs | 74% |
公式実測スループット(NVIDIA B200、1080p、bfloat16)はDP2-Sが53 fps、DP2-H+が8 fps、DAv2(NVIDIA V100、518基準)はSmallが約60 ms(約16.7 fps)、Largeが約213 ms(約4.7 fps)と報告されています。
| 推論方式 | Roofline上の律速要因 |
|---|---|
| Depth Anything V2 | トークン数1,370の単一フレーム処理であり全層がGEMM主体のCompute-Bound。Batch=1でもPE稼働率を上げやすい |
| Depth Pro 2(Buffered 高解像度) | Cross-Frame Attentionが総演算量の74〜85%を占めるため、行列積器に加えてFlashAttention内の exp2 とリダクションを行うSFU性能が直接効く |
| Depth Pro 2(Streaming 1フレーム入力) | 1フレーム推論ごとにモデル重み(H+ FP16で1.7 GB)と過去KVキャッシュを読み出すため、LLMデコードに近いMemory-Bandwidth-Boundの性質が強まる |
定量精度比較(5軸ベンチマーク)
両論文は主評価軸が異なる(DAv2=単一画像相対精度・DA-2K・ドメイン内FT、DP2=ゼロショット絶対精度・境界F1・動画Jitter)ため、確認済みの公表数値と評価条件を分けて並べます。以下は各表の評価指標です。
| 指標・記号 | 定義と読み方 |
|---|---|
↑ / ↓ / — | ↑=大きいほど良、↓=小さいほど良、—=元資料に該当条件の公表値なし |
AbsRel ↓ | 相対絶対誤差の平均(|d - d_gt| / d_gt、d_gt は真値深度) |
δ₁ ↑ | 予測値と真値の比が 1.25 未満(max(d/d_gt, d_gt/d) < 1.25)となる画素割合(Relative はスケール・シフト整合後、Metric は絶対値のまま算出) |
RMSE | 二乗平均平方根誤差(メートル単位) |
Boundary F1 ↑ | 深度境界エッジ検出のF1スコア(pt はパーセントポイント差) |
Jitter ↓(Scaled Jitter ×100) | 動画フレーム間の深度ちらつき指標 |
DA-2K | 画像上の2点間における相対遠近判定の正答率 |
(1) Zero-Shot 相対深度精度とDA-2K(Depth Anything V2論文 Table 2 / 14)
| モデル(パラメータ数) | KITTI (AbsRel↓ / δ₁↑) | NYU-D (AbsRel↓ / δ₁↑) | Sintel (AbsRel↓ / δ₁↑) | DDAD (AbsRel↓ / δ₁↑) | ETH3D (AbsRel↓ / δ₁↑) | DA-2K 全体 |
|---|---|---|---|---|---|---|
| 参考: MiDaS v3.1 (ViT-L) | 0.127 / 0.850 | 0.048 / 0.980 | 0.587 / 0.699 | 0.139 / 0.867 | 0.075 / 0.942 | — |
| 参考: DAv1 (ViT-L) | 0.076 / 0.947 | 0.043 / 0.981 | 0.458 / 0.760 | 0.127 / 0.882 | 0.066 / 0.952 | — |
| DAv2-Small (24.8M) | 0.078 / 0.936 | 0.053 / 0.973 | 0.500 / 0.718 | 0.142 / 0.851 | 0.073 / 0.942 | 95.3% |
| DAv2-Base (97.5M) | 0.078 / 0.939 | 0.049 / 0.976 | 0.495 / 0.734 | 0.137 / 0.858 | 0.068 / 0.950 | 97.0% |
| DAv2-Large (335.3M) | 0.074 / 0.946 | 0.045 / 0.979 | 0.487 / 0.752 | 0.131 / 0.865 | 0.066 / 0.952 | 97.1% |
| (未公開) DAv2-Giant (1.3B) | 0.075 / 0.948 | 0.044 / 0.979 | 0.506 / 0.772 | 0.132 / 0.862 | 0.065 / 0.954 | 97.4–97.5% |
DA-2K(ViT-L、Table 14)の8カテゴリ内訳はIndoor 94.5% / Outdoor 93.9% / Non-real 98.4% / Transparent・Reflective 93.9% / Adverse style 96.3% / Aerial 97.4% / Underwater 99.2% / Object 98.0%(Table 14集計の全体値は96.0%)です。24.8MのSmallでも95.3%を維持しており、OOD画像における相対順位の安定性が高いことが分かります。
(2) 絶対深度精度(Zero-Shot MetricとIn-Domain Fine-Tuning)
Depth Pro 2(Zero-Shot Metric Depth)は、Sintel動画(カメラ内部パラメータ推定値を使用)でDP2-H+がMetric δ1 = 41.4%(比較対象のUniDepthV2-Lは37.0%)、DynamicReplica 32フレーム動画(H+)ではMetric δ1 = 98.9%(Relative δ1も98.9%)を記録しています。
一方、Depth Anything V2(In-Domain Metric FT、Table 4)はNYUv2/KITTIそれぞれのドメイン内でZoeDepth枠組み等でFTした結果であり、ViT-L相当でNYUv2(AbsRel ~0.045–0.056、δ1 ~0.983–0.984、RMSE ~0.206–0.37 m)、KITTI(AbsRel ~0.045–0.067、δ1 ~0.983、RMSE ~1.86–2.7 m)に達します。特定ドメインでのFT値のため、ゼロショットMetric評価へそのまま持ち込むとスケールが崩れます。
(3) 境界鋭利性(Boundary F1)と時間的一貫性(Jitter)
| 比較軸・データセット | Depth Anything V2 | 初代 Depth Pro (v1, 単一画像) | Depth Pro 2-H+ (動画統合) |
|---|---|---|---|
| Sintel Boundary F1 ↑ (単一画像 / 動画) | 22.8% (v1 Table 2) | 46.6% (v1 Table 2) / 36.3% (動画) | 43.4% (動画、v1比 +7.1 pt) |
| Spring Boundary F1 ↑ | 6.1% (v1 Table 2) | 41.5% (v1 Table 2) | — (Sintel+Spring 平均 ~0.29) |
| iBims Boundary F1 ↑ | 11.1% (v1 Table 2) | 60.5% (v1 Table 2) | — |
| Sintel Scaled Jitter (×100) ↓ | (非対応:高フリッカー) | 11.26 | 1.39(8.1倍低減) |
| Sintel+Spring 平均 (F1↑ / Jitter↓) | — | ~0.235 / ~0.095 | ~0.29 / ~0.017(Jitter 5.6倍低減) |
※ 最終行(Sintel+Spring平均)の ~0.29 / ~0.235 は原論文プロットの0–1スケール値(0.29=29%相当)であり、上3行の % 表記とは尺度が異なります。
(4) Cross-Frame Attentionアブレーション(DynamicReplica 32フレーム、DP2-H+)
| Cross-Frame Attention の除去率 | Metric δ₁ (%) ↑ | Relative δ₁ (%) ↑ | Boundary F1 (%) ↑ | Jitter (×100) ↓ |
|---|---|---|---|---|
| 0% 除去(フルモデル) | 98.9 | 98.9 | 57.7 | 0.24 |
| 80% 除去(大幅スパース化) | 98.9 | 98.9 | 56.7 | 0.76 |
| 100% 除去(単一フレーム相当) | 98.1 | 99.0 | 53.4 | 0.84 |
通常は時間平滑化を入れるとエッジがぼけやすいのに対し、Depth Pro 2ではCross-Frame Attentionを加えることでJitterを3.5倍(0.84 → 0.24)減らしながらBoundary F1も+4.3 pt(53.4% → 57.7%)向上させています。また、80%削減してもMetric δ1は98.9%を保つ一方、Jitterだけが0.24 → 0.76へ約3.2倍悪化するため、HW近似時の評価指標には必ずJitterを含める必要があります。
なお、Depth Pro 2(arXiv:2611.26603)は2026年11月公開直後のため、DA-2KやNYU-D/KITTI単体での全サイズ(S/B/L/H+)数値一覧などDAv2論文と完全に同一形式の比較表は公開モデルカードには全量掲載されていません。
量子化・数値精度・専用HWサイジング
Apple Core MLの _w4 が示す精度設計と混合精度マップ
Hugging Faceの apple/DepthPro2-coreml で配布されているパッケージ名末尾の _w4 は4-bit量子化ではなく、公式モデルカード上4フレームの時間ウィンドウ(temporal window of 4 frames)を意味します。バイナリ容量を確認すると、depthpro2-s_w4.mlpackage(24.3M → 51 MB)と depthpro2-h_w4.mlpackage(872M → 1.6 GB)が約2 bytes/param(FP16本体)であるのに対し、depthpro2-fov_512x896.mlpackage(23.5M → 91 MB)は約4 bytes/param(FP32維持)となっています。
以下では重みW・活性化Aのビット幅を W8A8(重み8 bit・活性化8 bit)や W4A16(重み4 bit・活性化16 bit)、FP8形式を E4M3(指数4 bit・仮数3 bit)、学習後量子化を PTQ、量子化対応学習を QAT、1秒あたりの推論回数を infs/s と表記します。
| 演算ブロック / レイヤー | DP2 推奨精度 | DAv2 推奨精度 | HW設計・量子化上の理由 |
|---|---|---|---|
| ViT Linear / FFN 重み | BF16 / W8A8 / W4A16 | W8A8 / FP16 | H+ (872M) は W4A16 で重み帯域1/4化が効く。DAv2-SmallはFP16でも49 MB、INT8なら25 MB |
| ViT 活性化(Attention / FFN) | BF16 / Per-Token INT8(Reg 4 tokenはFP16分離) | FP16 / SmoothQuant INT8 | DINOv3は4 Register Tokenに大きな外れ値が集中するためPatchと混ぜてPer-Tensor INT8化すると深度が崩れる。DAv2も背景パッチの高ノルム外れ値対策としてSmoothQuantやMSE校正が必要 |
| Cross-Frame KV キャッシュ | FP8 (E4M3) / Per-Ch INT8 | 不要 | SRAM容量・DRAM帯域を半減できる。2D RoPE適用済み K はチャネル間振幅差が出るためPer-Channel/Per-Headが向く |
| 2D Axial RoPE 座標・三角関数 | FP32 必要 | ROM 焼き込み可 | 1080p〜4Kの高座標でFP16三角関数を使うと位相誤差が蓄積し、長距離のフレーム間対応が崩れる |
| LayerNorm / Softmax 分母 | FP32 累積必要 | FP32 累積推奨 | eps=10-5 / 10-6 と長系列(N > 104)の sum(exp) でオーバー/アンダーフローを防ぐ |
| 最終ヘッド・Metric 除算・FOV | FP32 必要 | FP16 可 (相対版) | D_m = f_px / (W × C) は遠距離ほど C → 0 となりFP16(仮数10 bit)では距離階段化が出る。FOVEstimator も誤差が全画面スケールへ直結するためFP32維持が妥当 |
HW近似(4つの削減レバー)に対する精度感度
| 削減レバー | Depth Pro 2への影響 | Depth Anything V2への影響 |
|---|---|---|
| モデル縮小(Small 24M級) | H+ → L → B → Sへ下げるにつれデコーダ幅(256 → 128 → 64)とCross-Frame層数(11 → 8 → 4)が減り、Boundary F1と低Jitterが段階的に低下 | Large (335.3M) → Small (24.8M) へ13.5倍軽量化してもDA-2Kは97.1% → 95.3%(-1.8 pt)、KITTI δ₁は0.946 → 0.936(-1.0 pt)、NYU-D δ₁は0.979 → 0.973(-0.6 pt)に留まる |
| 量子化(FP16 / INT8 / W4A16) | 本体をBF16/FP16で動かしつつ、2D Axial RoPE・LN/Softmax累積・最終除算・FOVEstimator はFP32維持が必要。INT8時は4 Register Tokenのスケール分離が要る | FP16で劣化ほぼゼロ(< 0.001級)。INT8 PTQでもSmoothQuant・MSE校正・QATでδ₁低下を0.5〜2.5 pt程度に抑えられる(エッジNPU実測例ではViT-SのFP16 → INT8で約9倍高速化、約1.4 → 約12.6 infs/s) |
| 時間ウィンドウ短縮・スパース化 | Cross-Frame Attentionを80%削減してもMetric δ₁は98.9%、Boundary F1は57.7% → 56.7%と保たれる一方、Jitterは0.24 → 0.76(約3.2倍悪化)するため、w16 → w4 簡略化ではJitter監視が欠かせない | 単一フレーム処理のため対象外 |
| 入力解像度縮小(1080p → 480p) | 480p基準へ落とすとEncoder MACsは約14倍、KVキャッシュは約4.5倍軽くなる一方、細密構造のBoundary F1は空間解像度に応じて低下 | 短辺518 px基準に固定リサイズされるため入力解像度を変えても内部演算量と精度はほぼ一定 |
専用ハードウェア(ASIC / FPGA / NPU)サイジング目安
両系譜でハードウェア共有できる基本プリミティブは、全サイズで d_head = 64 が統一されている64-wide GEMM / Systolic Arrayと、3×3 / 1×1 Conv + PixelShuffle + Bilinear から成るDPT Convエンジンの2つです。そのうえで、モデル固有の回路とシステムサイジングは次の通り分岐します(なお下表の TOPS[1秒あたりの兆回演算]は、1 MAC = 2 Ops・実効演算効率50%を仮定した MACs/F × 30 fps × 2 ÷ 0.50 の理論試算値です)。
| HW設計要素 | Depth Pro 2 専用アクセラレータ | Depth Anything V2 専用アクセラレータ |
|---|---|---|
| アーキテクチャ性格 | ステートフル・ハイブリッドNPU(LLM型KV管理+高解像度ISPの併用) | 完全ステートレス・フィードフォワードViT/CNNエンジン |
| モデル固有の必要回路 | 1) 2D Axial RoPE回転ユニット(CLS+4Regバイパス付) 2) リングバッファ型KV管理(1/3層のみ接続) 3) 高スループット exp2 SFU + Tiled FlashAttention4) 1080p最終段 Line-Buffered Fused DPT 5) FP32 逆深度除算ポストプロセッサ | 1) 14×14 PatchEmbed用ストライドDMA・パディング制御 2) 事前補間済み2D絶対位置埋め込みROM 3) SmoothQuant対応 Per-Channel W8A8 量子化パイプライン4) 固定518×518 静的メモリマップ |
| 30 fps 所要演算性能(実効効率50%想定の理論試算) | S @ 480p (w4): ~11.7 TOPS (FP16/BF16) S @ 1080p (w4): ~168 TOPS (FP16/BF16) H+ @ 1080p (w4): ~2,150 TOPS (DC GPU級) | Small @ 518×518: ~6.6 TOPS (INT8/FP16) Large @ 518×518: ~68 TOPS (INT8/FP16) |
| オンチップSRAM目安 | S @ 480p (w4, KV INT8常駐): ~24–32 MiB S @ 1080p (FlashAttnタイル+行バッファのみ): ~8–16 MiB | Small @ 518×518: ~4–8 MiB(フル重み常駐なら ~32 MiB) |
| 外部帯域(30 fps Streaming) | S @ 480p (w4): 重み49MB + KV42MB ≒ ~2.7 GB/s L @ 720p (w4): 重み668MB + KV451MB ≒ ~34 GB/s+ | Small (INT8): 25 MB × 30 ≒ ~0.75 GB/s(KVゼロ) |
制約・失敗モードと用途別選定指針
実運用上の制約
Depth Pro 2では、f_px の推定誤差が絶対距離へ線形に伝播するため、極端なクロップ画像・望遠・魚眼レンズや、撮影途中で光学ズームが変わる動画(先頭中央値で固定するため)ではスケールがずれやすくなります。またライブモード開始直後の数フレームは履歴不足による揺らぎが出やすく、急峻なシーンカットや高速運動ではウィンドウを跨ぐ一時的なゴーストが生じます。ライセンスも全サイズ非商用・研究限定です。
Depth Anything V2は基盤モデル単体では絶対スケールを持たず、Metric版を使う場合も屋内(20 m)/ 屋外(80 m)の手動切替が要り、カメラ画角差に弱くなります。動画へフレーム単位で適用するとフリッカーとスケール振動が大きく、518 px基準のリサイズに伴う境界ボケ(点群化時のflying pixels)も残ります。なお、最上位Giant(1.3B)の重みチェックポイントは未公開です。
両モデル共通の限界として、複雑な多重反射・ガラス・鏡面、白壁・濃霧・暗所のような無テクスチャ面、および非ピンホール歪み光学系では破綻が残ります。
用途別・研究テーマ別の推奨モデル
| 用途 / 研究・開発テーマ | 推奨モデル | 選定理由 |
|---|---|---|
| 動画ベース 3D/4D 再構成(3DGS・4DGS[Gaussian Splatting] / NVS) | Depth Pro 2 (L / H+) | 高Boundary F1(flying pixels削減)× 低Jitter × 絶対スケール × FOV推定が幾何初期化にそのまま効く |
| ロボティクス・単眼SLAM (既知カメラ内部パラメータ) | Depth Pro 2 (S / B) | 既知 f_px の直接注入でゼロショット絶対メートル深度を推論できる(商用組込ならDAv2-SmallをドメインFT) |
| Apple Silicon実機・空間コンピューティング / AR | Depth Pro 2 (Core ML S / B) | 公式ステートフルCore ML (w4) により実時間ライブカメラ深度推定に対応 |
| OOD単一画像の相対構造・透過/反射の頑健性 | Depth Anything V2 (Large) | 6,200万枚蒸留+DINOv2特徴アライメントによる高い汎化性(DA-2K 97.1%) |
| エッジFPGA/ASIC・超軽量・商用プロダクト・ControlNet | Depth Anything V2 (Small) | Apache 2.0、ステートレス・固定解像度・低帯域(INT8で ~0.75 GB/s @ 30fps)、ONNX/TRTエコシステムが成熟 |
参考リンク
- Depth Pro 2 Project Page
- Depth Pro 2: Sharp and Temporally Consistent Metric Monocular Depth (arXiv:2611.26603)
- apple-aiml-research/ml-depth-pro-2 (GitHub) / apple/DepthPro2 / apple/DepthPro2-coreml
- Depth Pro: Sharp Monocular Metric Depth in Less Than a Second (arXiv:2410.02073)
- Depth Anything V2 (arXiv:2406.09414, NeurIPS 2024) / DepthAnything/Depth-Anything-V2
