动漫 色情 剪枝60%不损性能！上海AI Lab冷漠高斯剪枝新纪律，入选CVPR 2025
三维高斯泼溅（3D Gaussian Splatting）使得实时高质地渲染成为可能动漫 色情，是刻下 3D 视觉界限最常用的算法之一。
问题在于，基于显现高斯单位的暗意容貌，尽管不错高效溅射和光栅化，其密集化和优化历程却时时会生成冗余的高斯点，导致单个重建场景可能包含数百万个高斯点。
这不仅裁减了历练和渲染速率（本可能更快），还导致权贵的内存破钞。
咫尺，来自上海 AI Lab 的盘考团队冷漠MaskGaussian，将掩码会通进光栅化历程，初度为被使用和未被使用的高斯同期保留梯度，在剪枝高斯的同期，MaskGaussian 极大限制地保抓了重建质地，提高了历练速率和减小内存需求。
△与 3DGS 比拟，MaskGaussian 在不影响重建质地的情况下减少高斯点数
该责任既因循重新启动的历练，也因循对现存的高斯进行微调。
△MaskGaussian 使用更少的高斯更优秀的地还原出藤蔓的"细枝小节"
灯塔-党建在线实验闭幕显现，MaskGaussian 在Mip-NeRF360、Tanks & Temples和Deep Blending三个数据集上远隔剪枝了62.4%、67.7%和75.3%的高斯点，且性能耗损不错忽略不计。
对冗余高斯点进行剪枝，咫尺主要有两种纪律：
第一类纪律基于手工缱绻的迫切性评分，移除评分低于预设阈值的高斯点。这类纪律经常需要扫描所有历练图像以磋议迫切性评分，因此剪枝只可在历练时辰推行一次或两次。
第二类纪律使用可学习的掩码，将其与高斯点的属性相乘以经受梯度。尽管这种纪律允许通过掩码迟缓移除高斯点，但渲染的场景经久依赖于疏通的高斯点子集 : 要是一个高斯点未被移除，它会一直存在到刻下迭代； 一朝被移除 , 它将被弥远摒除。这种详情味的掩码生成未能洽商剪枝后场景的演化，可能导致一些刻下孝敬较小但在历练后期可能要害且难以还原的高斯点被移除。这导致次优的重建恶果，尤其是细节或小物体的丢失。
盘考团队以为，刻下存在的掩码剪枝战略发扬受限的主要原因在于：掩码与高斯的透明度等属性相乘后，CUDA 渲染器无法产生来自未使用高斯的梯度。
手脚类比，在传统的 Transformer 的掩码剪枝中，未被使用的 token 会以零值参与磋议并获得梯度，使 token 无论是否被使用齐能获得更新，幸免优化历程朝着单一状况发展；而在 3DGS 中，CUDA 渲染器会径直跳过溅射到 2D 上透明度为 0 的高斯，不进行梯度磋议，使得未被用的高斯无法得到更新。
针对这些问题，MaskGaussian 旨在为每个高斯点学习一个掩码散布。通过从该散布中采样，不错生成一个二值掩码，教唆该高斯点的存在或不存在。然后，所有高斯点在不受掩码扰乱的情况下进行表率溅射，并和掩码沿途参加渲染磋议。
掩码为 1 和 0 的高斯齐不错通过改造后的 CUDA 渲染器获得正确梯度，磋议其存在 / 不存在两种情况下对刻下场景的孝敬影响。
如下图所示，祈望的热枕更接近掩码为 0 的高斯点，而不是后来面的积存热枕，获得的梯度便会使增多其存在概率，以便在后续迭代中被使用。难得该历程中并无东谈主工缱绻，完满由梯度信息指引。
掩码光栅化：前向历程
CUDA 渲染器中的原始渲染公式如下：
其中动漫 色情，，，远隔是像素点的热枕，第 i 个高斯的热枕，透明度和透光率。
为了剪枝不迫切的高斯点，MaskGaussian 添加了掩码，该掩码不错与其他高斯点属性沿途进行优化，以评估高斯点的孝敬。
掩码的生成视为一个两类采样历程。具体来说，MaskGaussian 为每个高斯点分拨两个可学习的掩码分数，并诳骗 Gumbel-Softmax 从两个分数中采样一个可微分的类别，记为
。通过幸免将掩码径直诳骗于高斯点属性，MaskGaussian 保留了溅射的 α 的完满性，使高斯的磋议不会被跳过，大致完满参与光栅化。
然后，论文在光栅化框架中径直集成掩码，修改两行 CUDA 代码，如下公式所示：
掩码被诳骗于热枕积存和透射率衰减历程。那时，高斯点平时对热枕孝敬并凭据其破钞透射率；那时，高斯点的热枕孝敬被掩码，其透射率破钞被跳过。
这种公式确保了在处理被掩码高斯点缺失机，前向光栅化闭幕的正确性。需要难得的是，被掩码的高斯点仍然参与前向磋议，并大致继承挑升旨的梯度。
掩码光栅化：反向历程
为了诠释梯度公式，MaskGaussian 界说为从第 i+1 个高斯点到临了一个高斯点渲染的热枕，即 :
其中，，远隔是第 j 个高斯点的热枕、散射密度和透射率。接着，掩码的梯度暗意如下，诠释注解详见论文附录：
其中是总耗损函数，是教唆高斯点存在或不存在的二值掩码，是像素 x 的最终输出热枕，和远隔为第 i 个高斯点的热枕和后来的热枕累计值。
梯度公式不错分为两部分清晰：
对热枕的权重：决定了该高斯点对最终热枕的影响进程，也波折决定了该点对梯度的孝敬大小。较大的权重意味着该点对渲染闭幕的迫切性更高。
热枕优化宗旨：
中，暗意耗损函数对输出热枕的优化宗旨，而
暗意使用第 i 个高斯点的热枕相较于布景热枕的上风。举例，要是两者的点积为正，则诠释使用该高斯点是有利的，掩码会继承到正梯度，从而增多该高斯点的存在概率，即便它刻下未被采样和使用。
道理的是，这个梯度公式依然包含了，即基于分数的剪枝纪律所使用的迫切性表率。
此外，这一公式还捕捉了所需热枕与被掩码高斯点热枕之间的干系，这是分数剪枝纪律无法测量且容易忽略的实质。
与通过高斯点的不透明度和范例与掩码相乘的纪律比拟，本文的纪律并未将掩码梯度与这些属性绑定，从而幸免了对微型高斯点的不利影响。此外，该纪律还允许被掩码的高斯点继承梯度，以更新其掩码散布。
这一立异使得被掩码的高斯点，即使未被径直采样，在优化历程中依然大致对场景作念出潜在孝敬的治疗。这处置了传统剪枝纪律中未被采样点迟缓失效的"逝世螺旋"问题，从而有用耕种了剪枝恶果和渲染质地。
历练与剪枝
MaskGaussian 使用平方损负拘谨高斯点的平均数目，其界说如下，并在实验中考证其优于耗损：
其中是高斯点的总和，是第 i 个高斯点的掩码值（取值为 0 或 1）。最终的耗损函数为：
其中，是渲染的图像耗损（经常是感知耗损或像素级耗损），是均衡超参数，用于限度掩码拘谨的强度。
为了剪枝掉采样概率接近零的高斯点，论文对每个高斯点进行 10 次采样，并移除那些从未被采样的点。该剪枝历程在每次密集化法子后以及每 1000 次迭代中推行一次。
通过庸碌的实验闭幕和分析，盘考团队诠释注解了 MaskGaussian 的有用性。
在 Mip-NeRF360、Tanks & Temples 和 Deep Blending 三个数据集上，MaskGaussian 远隔剪枝了 62.4%、67.7% 和 75.3% 的高斯点，且性能耗损不错忽略不计。
名堂地址：https://maskgaussian.github.io/
代码流通：https://github.com/kaikai23/maskgaussian
一键三连「点赞」「转发」「留神心」
接待在指摘区留住你的思法！
— 完 —
学术投稿请于责任日发邮件到：
ai@qbitai.com
标题注明【投稿】，告诉咱们：
你是谁，从哪来，投稿实质
附上论文 / 名堂主页流通，以及关联容貌哦
咱们会（尽量）实时回应你
� � 点亮星标 � �
科技前沿进展逐日见动漫 色情
