PP电子 游戏本文介绍了由北交大、UT Austin、A*Star团队提出的基于扩散模型的可控低光增强方法，论文被

　　低光图像增强技术近年来受到了广泛的关注，目前的方法通常假设一个理想的增亮程度，对图像整体进行均匀的增强，同时也限制了用户的可控性。为了解决这个问题，本文提出了可控光照增强扩散模型（Controllable Light Enhancement Diffusion Model），可以让用户输入所需的增亮级别，并利用SAM模型，来实现交互友好的区域可控增亮。如图演示效果，用户可以通过简单的点击来指定增亮的区域。

　　本文提出了新型的可控光照增强框架，主要采用了条件扩散模型来控制任意区域的任意亮度增强。通过亮度控制模块（Brightness Control Module)将亮度信息信息融入Diffusion网络中，并且设计了和任务适配的条件控制信息和损失函数来增强模型的能力。同时本文使用了Mask输入和SAM模型(Segment-Anything Model)来进一步增强可控性，使得用户可以通过简单的点击形式实现任意区域的增亮。整体的框架如下图所示：

　　在实际增亮过程中，用户相比于全局增亮图片其实更加关注区域的亮度控制，本文采用了Mask-CLE Diffusion来解决这个问题。首先采样了一批羽化边缘的随机mask，通过将normal-light image和mask混合得到了一个新的合成数据集。然后将mask信息拼接到扩散模型的输入中，训练得到新的增亮模型。SAM(Segment-Anything Model)可以实现任意图片的分割。在SAM的帮助下，Mask-CLE Diffusion提供了更好的用户交互体验，可以让用户通过点击的形式获得指定区域的mask并进行增亮。

　　目前的大部分指标通常假设理想的亮度值，但对于不同亮度的图片质量比较困难。如下图所示，PSNR和SSIM通常随着亮度变化呈现V字形的变换，而LPIPS会呈现倒V型。因此本文希望提出一个新的指标，可以衡量不同亮度下的图片质量。

　　本文发现可以用color map来对亮度进行归一化，之后通过Canny边缘提取算子来衡量细节信息，最后采用LPIPS函数来衡量高频质量。新的指标可以命名为Light-IndependentLPIPS，表示为：

　　给定用户感兴趣的区域，可以实现任意亮度的增强。对比于过往低光增强方法MAXIM(CVPR 2022 Oral)，具有更强的可控性和增亮效果。

　　CLE Diffusion提出了一种新型的扩散模型框架来实现可控的光照增强。方法主要将亮度信息编码，利用条件扩散模型来实现可控的亮度增强。并且借助SAM模型，让用户可以选择感兴趣的区域进行增亮。大量的实验表明，方法在定量和定性上都有优异的表现。

　　实现了较高的样本质量和多样性，但不幸的是，它们在采样速度方面存在不足。这限制了

　　加速采样的研究领域的活跃。在 Part 2 中，我们回顾了 NVIDIA 为克服

　　采样的方法1 /

　　（DDPM）在图像生成、音频合成、分子生成和似然估计领域都已经实现了 SOTA 性能。同时无分类器（classifier-free）指导进一步提升了

　　的样本质量，并已被广泛应用在包括 GLIDE、DALL·E 2 和 Imagen 在内的大规模

　　采样需要从纯噪声图片出发，一步一步不断地去噪，最终得到清晰的图片。在这个过程中，

　　通过应用文本 prompt 或参考图像指定的任何风格，可将现有视频转化为新视频。

　　，它能够根据给定任何文本输入生成逼真的图像。我们在 GitHub Repo 中提供了三种

　　都是针对单一的模态进行设计，然而 Taskonomy [3] 等工作证明不同的视觉模态之间共享特征和信息，因此本文认为统一的多模态

　　。尽管其强大的图像生成能力令人震撼，一个明显的不足是需要的计算资源巨大，推理速度很慢

　　，通过对网络结构、训练流程、损失函数全方位进行优化，在 iPhone 14 Pro 上实现 2 秒出图（512x512

　　来了 /

　　的图像生成过程 /

　　才可能在下一步中去学习语义信息(guidance)，进一步产生符合人类意图的图片。而DDPM的本质作PP电子的官方网站用，就是学习训练数据的分布，产出尽可能符合训练数据分布的真实图片。所以，它也成为后续文生图类

　　Model)系列：基石DDPM /

　　DepGraph：任意架构的结构化剪枝，CNN、Transformer、GNN等都适用！

　　MUS-CDB：遥感目标检测中的主动标注的具有类分布平衡的混合不确定性采样