【メタサーベイ】Neural Fields

Neural Fields
meta-survey
CCCS2022
Neural Fields group, cvpaper.challenge

注意 Notice
● 本資料を許可なく，いかなる二次頒布も行わないでくだ
さい．

What is Neural Fields?
● Neural Networkにより、（主に）3次元の場を再構成する方法論に関する小
研究分野
● 代表例：NeRF（Neural Radiance Fields）
https://www.matthewtancik.com/nerf より

超簡易版わかるNeRF
CCCS2022
埼玉大学鈴木亮太

NeRF？
• Neural Radiance Field
• 複数のサンプリングした視点で撮影された画像を学習すると，
未知視点の画像を生成するタスクNovel View Image Synthesis
が超キレイにできることでインパクトを与えた深層学習モデル
• 論文読んでも・解説聞いても良く分からない！
→本資料で前提から解決する予定
5
学習した
学習した
学習してない！→でも生成

「見える」のモデル化
赤いじゃん！
A. 赤い光が目に飛び込んできたから赤
主人公は
×俺
〇光
6

「見える」モデル
ある点から発射された光が直進して目に飛び込んでくる
受光センサー
物体
(-1,0,0)=黄色 (0,0,0)=緑色 (2,0,0)=橙色
Lambert反射
7

「光」って見る角度で変わるんじゃね？
反射する方向で明度が変わるものがある。鏡とか金属とか
(x,y,z,θ)=明るい黄色 (x,y,z,θ)=暗い黄色 8
BRDF: Bidirectional Reflectance Distribution Function
双方向反射分布関数

「光」って見る角度で変わるんじゃね？
反射する方向で色も変わる。プリズムとかクジャクの羽とか
(x,y,z,θ)=明るい黄色 (x,y,z,θ)=暗い青
BRDF: Bidirectional Reflectance Distribution Function
双方向反射分布関数
※異方性材質
9

透明な物体ってあるんじゃね？
実はお肌は複数の反射光の重ね合わせ（お肌の透明感）
(x, y, z, θ)=(色, 透明度)
皮脂
表皮
真皮
10

透明な物体ってあるんじゃね？
実はお肌は複数の反射光の重ね合わせ（お肌の透明感）
(x, y, z, θ)=(色, 透明度)
Radiance Field (放射輝度場)
11

「見える」モデルたち
• Lv. 1 : Lambert反射 (x, y, z)=色
• ある位置にある物体が出す光
• Lv. 2 : BRDF (x, y, z, θ)=色
• ある位置にある物体が，ある方向に出す光
• Lv. Max : Radiance Field (x, y, z, θ)=(色, 透明度)
• ある位置にある物体が，ある方向に出す，光，その透明度
12
「光の見え方はこれで完全シミュレート可能」

• Lv. 2 : BRDF (x, y, z, θ)=色
なんで使って
なかったの？
13

• Lv. 2 : BRDF (x, y, z, θ)=色
なんで使って
なかったの？激重空間全部で計算！！！！
表面だけ見ればいい
14

色ついた3Dモデルを作る
余裕乙
CGモデラー
15

BRDFを作る
がんばるぞい
CGモデラー
θ,r,
g,b
θ,r,
g,b
θ,r,
g,b
θ,r,
g,b
θ,r,
g,b
θ,r,
g,b
θ,r,
g,b
θ,r,
g,b
θ,r,
g,b
θ,r,
g,b
16

Radiance Fieldを作る
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
無理では…？
CGモデラー
17

Deep Learning で Radiance Fieldを作る
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
CGモデラー
AI
ｵﾅｼｬｯｽ
おｋ
Neural Radiance Field
NeRF
18

Deep Learning で Radiance Fieldを作る
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
CGモデラー
AI
ｳｨｯｽ
多視点画像集めてきて
NeRF
19

深層学習は
「結果の差」を観測できれば学習できる
おｋ
もっと右！
おｋ
少ーしだけ左！
21

NeRFの「結果の差」
ズバリ，作れる画像 vs オリジナル画像
NeRF
入力出力
学習
-
の差の大きさを表す指標
※Loss
22

NeRFから画像を作る
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
光線が通った「点」（ボクセル）の
出す光色の重ね合わせ＝足し算 ※光は加法混色
どんどんまぶしくなる
※Volume Rendering
遮蔽効果
色
位置
差
密度
(不
透明
度)
足し算は
微分可能
＝学習可能
出力
23

光線が通った「点」の
※Volume Rendering
遮蔽効果
色
位置
差
密度
(不
透明
度)
足し算は
微分可能
＝学習可能
出力
連続場
実体はMLP
(x,y,z,θ,φ) -> (r,g,b,σ)
(x,y,z,θ,φ) -> (r,g,b,σ)
(x,y,z,θ,φ) -> (r,g,b,σ)
24

※Volume Rendering
遮蔽効果
色
位置
差
密度
(不
透明
度)
足し算は
微分可能
＝学習可能
出力
連続場
実体はMLP
(x,y,z,θ,φ) -> (r,g,b,σ)
(x,y,z,θ,φ) -> (r,g,b,σ)
(x,y,z,θ,φ) -> (r,g,b,σ)
25
https://blog.albert2005.co.jp/2020/05/08/nerf/より

NeRFを学習する
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
遮蔽効果
色
位置
差
密度
(不
透明
度)
足し算は
微分可能
＝学習可能
-
誤差逆伝播
入力（真値）
出力
光線を学習
26

余談：ところで
Implicit Functionって何？
27

• 数学用語
• f(x)=0とする表現
• 値0で切ったところの断面
• cf. y=f(x)
• xの値が決まれば
yは明らか(explicit)
Implicit Function (陰関数)
y=f(x)
xに対応するyの値（写像）
f(x,y)=0
0のところの断面
explicit implicit
𝑥2 + 𝑦2 − 𝑟 = 0
29

Implicit FunctionとCG
• 従来のCG：頂点定義
• 離散
• ポリゴンの角張り
• 頂点数による処理時間と
滑らかさのトレードオフ
• 点と面の定義でわかりやすい
• Implicit FunctionによるCG：数式定義
• 連続
• レイキャスティング等の発展により実現
• 解像度に依存しない滑らかさ
• 関数定義をどうする？
𝑥2 + 𝑦2 − 𝑟 = 0
{ 𝑥1, 𝑦1 , 𝑥2, 𝑦2 , 𝑥3, 𝑦3 … }
30
？

3D再構成とImplicit Function
• 距離場
• モノがある点＝0として，
そこからの距離の場として表現
• 計測ノイズがモデルで緩衝できる
• なめらかな表現
• 距離場いろいろ
• SDF (Signed Distance Field)
• TSDF (Truncated SDF)
• Kinect Fusion(※非deep)で採用
• DeepSDF
• 距離場(SDF)をNeuralに求める方法
31

NeRFとImplicit Functionの関係性
• どちらも場を表現するものとして持ち出されたモノ
• NeRF(Neuralな輝度場)はDeepSDF(Neuralな距離場)のテクニックを
継承している
• NeRF自体は厳密にはImplicit Functionではない（と思う）
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
注目点 → NN → 距離
注目点＋向き → NN → 色＋密度
32

NeRFとImplicit Functionの違うところ
• 距離場は面に興味があるが，輝度場は興味がない
• 輝度場はボリューム全体で見えを形成するが，距離場は面のみ
• 輝度場はもやっと，距離場はソリッド
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
θ,r,
g,b,a
面の位置に興味
があり，
面＝0と定義
「面」はない
全てが透明体
通った光の重ね
合わせが結果
33

Neural Fields
• 深層学習のテクニックによる「場」の復元として研究が発展し
ている
• 場：時空の各点に対応する連続値の物理量（点→物理量）
• 場たち
占有場 (Occupancy) 点→あるorない
距離場 (Distance Field) 点→距離
放射輝度場 (Radiance Field) 点＋向き→色＋密度
オプティカルフロー場 (Flow Field) 点→オプティカルフロー
Fourier Field フーリエ空間上の点→スペクトル値
Audio 時刻→音圧
etc.
Jan. 2019
Mar. 2020
Dec. 2018
※脳神経科学で言うところのNeural Fieldとは異なる
Implicit
34

NeRF: Representing Scenes as Neural
Radiance Fields for View Synthesis
書いた人：鈴木亮太
Ben Mildenhall (UC Berkeley) et al. ECCV 2020 (oral) Best Paper Honorable Mention
https://www.matthewtancik.com/nerf
概要
新規性
コメント・気づき等
3次元座標+光線方向(x,y,z,Θ,φ)を入力す
ると，色と密度※注(R,G,B,σ)を出力する関
数をMLPに学習させ、未知視点画像を生成
するタスクNovel View Synthesisを高度に
実現した。
・Novel View Synthesisを圧倒的な性能で、しかも単
純な13層のMLP構造で実現している、一躍注目を浴
びた衝撃的な研究。ここから多数の派生研究が急激に
発生している。
・圧倒的な性能
・空間を復元するという、GANとは異なる
方法論（CG的）
※密度：不透明度に相当
Σ(R,G,B,σ)i
https://blog.albert2005.co.jp/2020/05/08/nerf/より
https://www.matthewtancik.com/nerfより
未知画像生成結果
超きれい！
透明な光の
重ね合わせ
MLP！
超シンプル

Why Neural Fields meta-survey?
● 2020年からの急激な伸び！
● 画像生成のみならず，
3DCV，3DCG他…の多岐分
野に波及！
● 原動力は？方向性のトレン
ドは？
2022.5.30アクセス
メタサーベイしよう！

参考資料リスト
● Neural Fields in Visual Computing and Beyond
https://arxiv.org/pdf/2111.11426.pdf
● 画像生成・生成モデルメタサーベイ
https://www.slideshare.net/cvpaperchallenge/ss-248586051
● NeRFの派生研究まとめ
https://www.slideshare.net/DeepLearningJP2016/dlneural-radiance-field-nerf
● Awesome Implicit Neural Representations
https://github.com/vsitzmann/awesome-implicit-representations
● Awesome NeRF
https://github.com/yenchenlin/awesome-NeRF
● NeRF at ICCV2021
https://dellaert.github.io/NeRF21/
● ALBERTのNeRFチュートリアル
https://github.com/ALBERT-Inc/NeRF-tutorial

NeRFじゃなくてNeural Fields?
● NeRF : Radiance Field（放射輝度場）を復元
● 場ならなんでも表現可能なのでは！？ → Neural Fields
○ 占有格子：Occupancy networks, IM-Net
○ 距離場：DeepSDF, PIFu
○ 放射輝度場：NeRF
○ ラベル場：Neural Semantic Field
○ 変形場：nerfies
○ etc.
Σ(R,G,B,σ)i

Neural Implicit Representation (NIR) じゃない
の？
● Implicit Representation: 隠関数表現
○ f(x)=0とする表現
● CGでも隠関数表現というトピックが注目
○ SDF，TSDF：物体の面を0として表現
○ 密に点群を用意せずとも，関数でCG表現できる！
● Implicitじゃなくても場を表現可能（したい）！
○ 代表例：NeRF
○ 空間に透明度を持たせる＝境界面がない＝ F(x,d)=(rgba)
● SDF → NeRF → Neural Fields ← いまここ
→ NIR
SDF
Distance(x)=0 の x が面である
0
1 1
Occupancy
P(x)=0 の x が面である

NeRF研究派生
計算速度問題：レンダリング過程，学習最適化
形状表現／学習の安定化
X Fields：変形・ビデオ，Semantic NeRF，
SLAM：カメラ・シーンのモーション（剛体変換），シーン変形（非剛体），
CG：メッシュ復元，Lighting，
生成：スタイル変換，

データセット
● LLFF dataset：Forward Facing（視線方向が大まかに一致したカメラ配置）に撮影された実
写データ。壁などで奥行き上限のあるシーンを撮影
● NeRF synthetic dataset：CGで生成されたフォトリアルな映像。球面上に配置したカメラか
ら中央に配置した被写体を撮影し、背景は透過（マスクあり）。
● DTU MVS dataset：ロボットアームで取られた真値の点群付き実写映像．
● BlendedMVS：CGの大規模シーンデータ（NeuS以外は使ってなさそう．．．）
● RTMV Dataset：高解像度，カメラ配置方法をランダム化したデータセット
CGはおのおの生成可能．実世界志向，シーンの大規模化の需要があるか？
CG，SfM結果データを取り回しやすいフレームワークの需要？

計算速度問題
● オリジナルのNeRFは学習・レンダリングが遅い！！
○ レンダリング速度：56.185 s
＠NVIDIA GTX 1080 Ti, Intel i7-3770k CPU, 32GB RAM (KiloNeRFより引用)
○ 1シーン10時間程度 x Nシーン …！！！
● 学習が遅いといろいろ試しにくい → 研究が進みにくい → 解決したい！
● 構造が単純すぎる！絶対最適化できるはず！！
● 黎明期の第一の課題として，研究派生が多数

計算速度問題への対応（レンダリング）
○シーンを分割して複数の小規模なネットワークで表現するアプローチ
DeRF (British Columbia大)：Voronoi空間分割でシーンの分解方法を含め学習．3倍高速化
NSVF (MPI)：Sparse Voxel Octreeでモノのある箇所にのみNNを配置．10倍高速化
KiloNeRF (MPI)：数千オーダーの小規模NNに分割．3000倍高速化
○ボリュームレンダリングの積分構造を定式化しサンプリングを回避するアプローチ
AutoInt (Stanford)：ネットワークの一階微分のグラフを別途作成して学習し、２点の計算のみで
定積分を計算可能に
○ネットワークの計算結果を事前にキャッシュすることでレンダリングを高速化
SNeRG (Google)：視点依存性の特徴ベクトル化し、小規模なネットワークで色を生成
PlenOctree (UC Berkley)：反射モデルの入力に対する基底を与えてパラメータ化

計算速度問題への対応（学習）
モデルを空間計算量側に展開し、INRを使わずに直接離散化したボリューム表現
を最適化するアプローチが普及
DirectVoxGO (清華大)：ボクセルでRadiance Fieldを保持して直接学習．15分で収
束
Plenoxels (UC Berkley)：PlenOctreeを直接学習．8分で収束
InstantNGP (NVidia)：PositionalEncodingの代わりに多重ボクセル構造の結合で
表現。５秒で収束
学習時の計算最適化はInstantNGPで最終形態とみられる
自分の研究に高速化を導入しやすいフレームワークの需要？

形状表現／学習の安定化
オリジナルのNeRFではPositionalEncoding(PE)により微細な形状を表現
→収束が遅く、ノイズが残りやすい課題があった
◯活性化関数による安定化
SIREN (MIT)：PEではなく隠れ層の活性化関数にSINを使用
GARF (アデレード大)：活性化関数にガウス関数を使用し、バンドパスフィルタのような挙
動を実現
◯PEの重みづけによる周波数操作
Nerfies (Google)：Progressive Trainingを提案
BARF (CMU/MIT)：高周波成分を減衰させたPEでの学習ステップを導入
mip-NeRF (Google)：サンプリングを点ではなく楕円や円錐とみなしてPEで積分を計算
何れも高周波成分を用いない学習ステップが存在→大局的な挙動が安定している

【メタサーベイ】Neural Fields

More Related Content

What's hot(20)

Similar to 【メタサーベイ】Neural Fields(20)

【メタサーベイ】Neural Fields