【ICCV2019论文阅读】PU-GAN：点云上采样对抗网络

摘要

从范围扫描获取的点云通常稀疏，嘈杂且不均匀。 本文提出了一种称为PU-GAN 的新点云上采样网络，该网络是基于生成对抗网络（GAN）制定的，旨在从潜在空间中学习丰富的点分布并在对象表面的子块上对点进行上采样。为了实现可运行的GAN网络，我们在生成器中构造了一个自上而下再向上的扩展单元，以对带有误差反馈和自校正的点特征进行上采样，并制定了一个自注意力单元来增强特征集成。 此外，我们设计了具有对抗性，均一性和重构性的复合损失，以鼓励鉴别者（器）学习更多的潜在模式并增强输出点分布的均一性。 定性和定量评估从分布均匀性，表面接近度和3D重建质量方面证明了我们的结果优于最新技术。
论文链接：
https://arxiv.org/abs/1907.10844
代码链接：
https://liruihui.github.io/publication/PU-GAN/

主要贡献：

在这项工作中，我们提出了一个新的点云上采样框架，即PU-GAN，该框架将上采样与数据修正功能相结合。

通过构造一个上-下-上单元，通过对点特征的差异也进行上采样以进行自我校正，从而提高生成器的点生成质量，或等效地提高特征扩展能力。此外，还设计了一个自注意单元，以提高功能集成质量。最后，进一步设计了一种复合损失，以对抗性，统一性和重构性术语对网络进行端到端训练，以增强结果的分布均匀性，并鼓励鉴别器学习目标分布中更多的潜在模式。

为了评估PU-GAN的上采样质量，我们采用了四个指标来针对各种合成和实时扫描数据的最新技术评估其性能。大量的实验结果表明，我们的方法在分布均匀性，表面接近度和3D重建质量方面优于其他方法。

算法框架：

1、生成器与鉴别器

给定N个点的无序稀疏点集P，我们的目标是生成rN个点的稠密点集Q，其中r是上采样率。 虽然输出Q不一定是P的超集，但我们希望它满足两个要求：（i）Q应该描述潜在目标对象与P相同的基础几何，因此Q中的点应位于并覆盖目标对象表面； （ii）即使对于稀疏和非均匀输入P，Q中的点也应均匀分布在目标对象表面上。图2显示了PUGAN的整体网络架构，其中发生器从稀疏输入P产生密集输出Q， 辨别器的目的是找到伪造品。

如上图所示，生成器网络具有三个组件来依次处理输入P。特征提取组件旨在从N*d维的点云P中提取特征F，其中d是输入点属性中的维数，即坐标，颜色，法线等。仅考虑3D坐标。特征扩展组件将F扩展以产生扩展的特征Fup；在这里，我们设计了上下扩展单元（图2（顶部）），以增强Fup中的特征变化，从而使生成器能够产生更多种的点分布；点集生成组件首先通过一组多层感知器（MLP）从Fup回归一组3D坐标。由于特征扩展过程仍然是局部的，这意味着Fup中的特征（或等效地，潜在空间中的点）本质上靠近输入，因此我们在网络中包括了最远的采样步骤，以仅保留rN点，从而进一步彼此远离请参见图2中的绿色框。为了进行此选择，当我们将F扩展为Fup时，实际上是在Fup中生成（r + 2）N个特征。该策略进一步增强了点集分布的均匀性，特别是从全局角度而言。

鉴别器的目的是区分其输入是否由发生器产生。 为此，我们首先采用PCN网络提取全局特征，因为它有效地结合了本地和全局信息，并确保了网络的轻量级。 为了改善特征学习，我们在特征级联之后添加了一个自注意单元。 参见图2的中间部分（底部）。 与基本MLP相比，此注意单元有助于增强功能集成并提高后续功能提取能力。 接下来，我们应用一组MLP和一个最大池来生成全局特征，并通过一组全连接层进一步回归最终的置信度值。 如果该置信度值接近于1，则鉴别器预测输入可能来自具有高置信度的目标分布，否则来自生成器。

2.上-下-上扩展单元

这项工作构造了一个上-下-上扩展单元以扩展点特征。为此，我们首先对点要素进行上采样（在MLP之后）以生成F’up，然后对它进行下采样（请参见图3（顶部））；然后，我们计算上采样之前和下采样之后的特征之间的差异（表示为∆）。通过对∆up进行上采样，将∆up添加到F‘up以自校正扩展功能。整个过程参见图3（顶部）。这样的策略不仅避免了繁琐的多步骤训练，而且还促进了细粒度特征的产生。

3、自注意模块

为了在连接后引入远程上下文依赖关系以增强功能集成，我们在生成器鉴别器中采用自注意单元。 图4展示了其架构。

4、基于子块的端到端训练

4.1训练数据预处理

训练网络用于对物体表面上斑块上的局部点进行上采样。 具体来说，对于训练集中的每个3D网格（在单位球中进行标准化），我们在每个网格表面上随机找到200个种子位置，从每个种子长成一个子块（每个斑块占对象的5％），然后对单位球体内的每个子块进行归一化处理；在每个子块上，我们进一步使用Poisson disk sampling生成Q，Q是子块上rN个点的目标点集。 在训练过程中，通过从Q中选择N个点来生成网络输入P。

4.2 损失函数

使用了以端到端的方式设计的用于训练PU-GAN的复合损失。分别为：Adversarial loss、Uniform loss、Reconstruction loss和Compound loss。详见P4，P5。

主要结果：

我们采用四个评估指标：（i）使用等式（6）中的Luni测试均匀性；（ii）使用测试模型进行点对面（P2F）距离；（iii）倒角距离（CD）；以及（iv）Hausdorff距离（ HD）。

为了进行定量评估，我们在每个测试模型上使用Poisson disk samplingt采样8,192点作为真实值，并随机选择2,048点作为测试输入。 为了使用等式（6）评估测试结果的一致性，我们在每个结果上随机选择M = 1000个种子，而不是使用球查询来裁剪Sj，而是使用实际的网格（测试模型）在不同p的每个种子处测地找到Sj，以进行更高质量的评估。 度量值越低，上采样结果越好。

作者定性和定量地比较了PU-GAN和三种最新的点设置采样方法：EAR，PU-Net和MPU。对于EAR，作者采用了已发布的代码，并通过详尽地微调每个相关参数来产生最佳结果。对于PU-Net和MPU，作者使用的他们的公开代码，并使用相同的训练数据对他们的网络进行了重新训练。表1显示了定量比较结果。对于所有评估指标，PU-GAN始终保持最低值。特别是，我们的结果的均一性在所有不同的p处都保持最低，这表明PU-GAN生成的点比其他人在不同尺度下生成的点要均匀得多。

除了定量结果外，我们还在图7中显示了各种模型的点设置采样和表面重构结果。将（f）作者的方法和（ce）其他方法产生的结果与（b）在原始测试模型上均匀采样的真实值进行比较 ，可以看到其他方法往往会产生更多的噪点和不均匀点集，从而导致在重构曲面中出现更多伪像。

Abstract

Point clouds acquired from range scans are often sparse, noisy, and non-uniform. This paper presents a new point cloud upsampling network called PU-GAN, which is formulated based on a generative adversarial network (GAN), to learn a rich variety of point distributions from the la- tent space and upsample points over patches on object surfaces. To realize a working GAN network, we construct an up-down-up expansion unit in the generator for upsampling point features with error feedback and self-correction, and formulate a self-attention unit to enhance the feature inte- gration. Further, we design a compound loss with adver- sarial, uniform and reconstruction terms, to encourage the discriminator to learn more latent patterns and enhance the output point distribution uniformity. Qualitative and quantitative evaluations demonstrate the quality of our results over the state-of-the-arts in terms of distribution uniformity, proximity-to-surface, and 3D reconstruction quality.

敬请关注本人公众号，查看更多文章。