AAAI 2023 | 一即一切：轻松实现不同 NeRF 系列结构间的变换！

静态骨架的支借助于中所解放借助于来，因为现在他们可以有用地将特训有素的静态较快速地再生为想要的骨架，以满足不足之处随之变化的运用于桥段的只能。

（3）在 teacher 和 student 具备几乎相同属特质的情况下，二者可以付诸必需有序，从而赢得同上达能够更为强的静态。例如当运用于匹配说明的 teacher 静态来利用方程组说明的 student 静态时，可以受益于 teacher 更为快速的特训加速和更为好的机动特质同上现，来想得到具备准确庞加莱骨架且机动特质更为优的 student 静态。

法则

如上图上图，等价一个 teacher 和 student 后，我们将其分立为两大多的说明，即和 。酿制流程分成三个 stage，stage1 只以前传来 弟因特网。stage2 只以前传来纹理以前大多。stage3 则运用于全部的的资讯进行时特训。这样的方式将必需缩减了重复浏览 MLP 骨架的非常大花费，必需缩减再生时有数。此外在流程中所只能对 density 等的资讯进行时连续函数约束。

我们的法则旨在付诸大脑辐射场几乎相同Core之有数的相互有数叠加。由于此类Core的使用量随之提高，因此我们可能亦会设法逐个付诸这些叠加，因此本文主要针对迄今为止常见的几种骨架有数的互转，除此以外 NeRF 中所的 MLP，Plenoxels 中所的稀少方程组，以及两种混杂说明：INGP 的匹配同上和 TensoRF 的较高文武方程组（VM 降解）。我们首必先以分立型式对几乎相同骨架的说明进行时相加，然后基于该分立的视上图来外观设计本文的酿制可行性。

3.1 分立视上图外观设计

在实验中所断定如果只运用于 ray 相同的 RGB 和 ray 上外值点相同的 density 和 color 等的资讯来进行时酿制仍只能几乎浏览整个 MLP，这是在技术上的。为此我们外观设计一个额外的中所有数形态来对齐几乎相同骨架之有数的的资讯。我们仔细观察到混杂说明中所的隐式和祚式骨架是自然复合的，分别相同于几乎相同的学习尽可能，因此我们考虑将各类型式的静态外拆分别为这种两大多同上式型式。并不一定，等价一个静态，我们将它们说明为两个组件的反馈，各个骨架的分割如下同上上图：

（分立角度Core的两级分割法则）

这里*可以是 teacher 也可以是 student。对于混杂说明,我们如此一来将祚式大多当作，将隐式大多当作。而对于显隐式的 MLP，我们根据因特网的较浅度将其分成两大多。对于显祚式说明骨架，我们通过让为乘积同构将其说明为两大多。

3.2 Loss 外观设计

酿制最后一个前期用到的 loss 如下上图：

其中所的天和依次说明 volume-aligned loss, density loss, color loss, RGB loss 和 regularization loss。其中所正则化项主要取决于 student 静态的型式，如对于 Plenoxels 和 VM 降解，正则项为稀少受损失和 TV 受损失。应该注意的是，我们只对 Plenoxels 进行时 density、color、RGB 和 regularization 受损失。

3.2 density 连续函数约束

我们断定密度 density loss 项很难如此一来冗余。我们将此疑虑归因于其特定的数值不稳看做。即 density 可以解读空有数中所一点的透光率。当 density 大于或小于某个值时，其力学含义是各不相同的（即几乎透明或几乎不透明）。因此 density 的等价范围过大时，严格来说只有一个区有数的 density 值起着关键作用，而关键值正因如此的大多则亦会影响其冗余。因此我们在实际计算 density loss 时，只冗余其连续函数上的一个区有数段。

3.2 block-wsie酿制

酿制分成三个 stage。stage1 只以前传来弟因特网，stage2 只以前传来纹理以前大多，stage3 则运用于全部的的资讯进行时特训。这样的方式将必需缩减了重复浏览 MLP 骨架的非常大花费，必需缩减再生时有数。

实验

4.1 互转结果

Lego 桥段上 Hash / VM降解 / MLP / 稀少方程组之有数相互有数叠加的定量和看做结果。我们对每个骨架特训一个 teacher 静态，然后用其酿制 4 种骨架的 student 静态。上图上数字说明 PSNR。“s-”说明 student.

NeRF-Synthetic 样本集上几乎相同骨架有数的互转结果。

对于四种说明（Hash / VM-decomposition / MLP / sparse tensors），我们首必先在 NeRF-Synthetic 样本集上的 8 个桥段中所由头开始特训每种骨架的静态，总共赢得了 32 个静态作为 teacher。然后运用于本文指借助于的 PVD 将这些 teacher 分别进行时 4 种叠加，利用 128 个 student 静态。叠加顺利完成后我们统计分析其平外指标(上同上)和真实感(上上图)。可以看借助于我们的法则对于几乎相同骨架有数的叠加是非常必需的。当一个静态再生为另一种型式时，student 机动特质与教师差异较小，这充分说明基于辐射场的几乎相同骨架说明有数可以相互有数叠加。全面我们在 LLFF 和 TanksAndTemples 样本集上进行时了类似的实验，并与其原始论文中所的法则由头特训的结果进行时对比，结果祚示我们的法则仍具备可来得的机动特质同上现。

LLFF 和 TanksAndTemples 样本集上由头开始特训一个静态与通过本文法则酿制想得到的静态有数的效果对比。

4.2 较快速连续函数和机动特质大幅度提高

左侧是 1.5 小时内通过 PVD 酿制借助于的NeRF静态结果（INGP 作为 teacher）。左面是 NeRF 25 小时由头开始特训的结果。 PVD 必需提高了化学合成恒星质量并减较高了特训时有数。

由头特训 NeRF 与运用于本文法则酿制想得到 NeRF 的花费和机动特质对比。

从上上图和同上可以看到，当运用于一个机动特质很高的骨架作为 teacher 时，我们的法则可以祚著减较高 student 静态特训时有数并提高 student 静态机动特质。同样相同骨架有数的酿制方式将(从大参使用量的 NeRF 静态酿制到小参使用量的 NeRF 静态)的流程所致在技术上，因为它只能在特训和酿制流程中所随之浏览大参使用量 NeRF 静态。而我们共轭型式之有数的酿制可以高效浏览 teacher，能够付诸更为较快速的酿制。

4.3 消减实验

在 NeRF-Synthetic 样本上的消减实验(VM 降解酿制为 MLP).

有无 density 连续函数约束的酿制结果对比。

消减实验显然我们法则中所每个组件的必要特质。

4.4 静态受限

Synthetic-NeRF 样本集上相互有数叠加后的 PSNR 差别。 PSNRstu 说明通过酿制想得到的 student 的 PSNR。 PSNRself 说明由头开始特训想得到的 PSNR。 PSNRtea 说明 teacher 的 PSNR。

可以看到 student 的机动特质主要局限两方面：一是 teacher 的机器学习能够，二是student的机器学习能够。当 teacher 能够更为强时往往借以大幅度提高 student 的就此同上现(如 INGP 作为 teacher，MLP作为 student)；当二者能够相当时，二者的就此同上现相似(如同种骨架有数的酿制)；而当student能够更为强时，student 的机动特质同上现亦会局限 teacher 的能够(如 MLP 为 teacher，INGP 为 student)，此时可以全面 finetune student 来大幅度提高其机动特质。

总结

在这项工作中所，我们指借助于了一种系统的酿制法则 PVD，使得几乎相同 NeRF Core（除此以外 MLP、稀少方程组、较高文武方程组和匹配同上）之有数进行时叠加，同时保持稳定很高的化学合成恒星质量。PVD 成功的当前是分立骨架角度的说明，受损失等价的外观设计、渐进式酿制可行性以及密度值的特别处置等。通过突破几乎相同骨架有数的隔阂，PVD 允许中所下游勤务在已经有静态上进行时有用处置。实验显然我们的法则在化学合成样本集和想像样本集上的必需特质。

参考文献

[1] Mildenhall B, Srinivasan P P, Tancik M, et al. Nerf: Representing scenes as neural radiance fields for view synthesis[J]. Communications of the ACM, 2021, 65(1): 99-106.

[2] Martin-Brualla R, Radwan N, Sajjadi M S M, et al. Nerf in the wild: Neural radiance fields for unconstrained photo collections[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 7210-7219.

[3] Pumarola A, Corona E, Pons-Moll G, et al. D-nerf: Neural radiance fields for dynamic scenes[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 10318-10327.

[4] Fridovich-Keil S, Yu A, Tancik M, et al. Plenoxels: Radiance fields without neural networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 5501-5510.

[5] Tang J, Chen X, Wang J, et al. Compressible-composable nerf via rank-residual decomposition[J]. arXiv preprint arXiv:2205.14870, 2022.

[6] Chen A, Xu Z, Geiger A, et al. Tensorf: Tensorial radiance fields[C]//Computer Vision–ECCV 2022: 17th European Conference, Tel Aviv, Israel, October 23–27, 2022, Proceedings, Part XXXII. Cham: Springer Nature Switzerland, 2022: 333-350.

[7] Müller T, Evans A, Schied C, et al. Instant neural graphics primitives with a multiresolution hash encoding[J]. ACM Transactions on Graphics (ToG), 2022, 41(4): 1-15.

。

思密达与肠炎宁颗粒哪个好
肠炎宁和妈咪爱可以一起吃吗
鼾症是什么病吃什么
安必丁
再林阿莫西林克拉维酸钾片说明书