华为发布图像生成模型PixArt-\Sigma 可直出4K图像

华为近日发布了一项名为 PixArt-\Sigma 的图像生成模型，该模型采用了 DiT 架构，可以直接生成4K 分辨率的图像。相比于其前身 PixArt-\alpha，PixArt-\Sigma 在图像保真度上有了明显的提升，并改善了与文本提示的一致性。

$华为发布图像生成模型PixArt-\Sigma 可直出4K图像第5张插图$

PixArt-\Sigma 的一个关键特点是其训练效率。借助 PixArt-\alpha 的基础预训练，它通过整合更高质量的数据，从”较弱”的基线逐步演变为”较强”的模型，这个过程被称为”弱到强训练”。PixArt-\Sigma 的进步主要体现在两个方面:高质量的训练数据和高效的 Token 压缩。PixArt-\Sigma 结合了更高质量的图像数据，配对更精确和详细的图像标题，同时在 DiT 框架内提出了一个新的注意力模块，可以压缩键（Key）和值(Value)，显著提高效率，促进超高分辨率图像的生成。

由于这些改进，PixArt-\Sigma 以较小的模型规模（6亿参数）实现了优于现有文本到图像扩散模型(如 SDXL(26亿参数)和 SD Cascade(51亿参数))的图像质量和用户提示遵从能力。

此外，PixArt-\Sigma 能够生成4K 图像，为创建高分辨率海报和壁纸提供了支持，有效地增强了电影和游戏等行业中高质量视觉内容的制作。