生成式图像编辑研究综述

作     者：程迪 史英杰 孙世鑫 杜方 王玮晶 CHENG Di;SHI Yingjie;SUN Shixin;DU Fang;WANG Weijing

作者机构：北京服装学院文理学院北京100029 宁夏大学信息工程学院宁夏银川750021 

出 版 物：《北京服装学院学报（自然科学版）》 (Journal of Beijing Institute of Fashion Technology：Natural Science Edition)

年 卷 期：2024年第44卷第3期

页      面：1-15页

学科分类：12[管理学] 1201[管理学-管理科学与工程(可授管理学、工学学位)] 081104[工学-模式识别与智能系统] 08[工学] 0835[工学-软件工程] 0811[工学-控制科学与工程] 0812[工学-计算机科学与技术（可授工学、理学学位）] 

基　　金：国家自然科学基金项目(62062058) 纺织服装智能化湖北省工程研究中心开放课题(2023HBITF01) 北京市教育委员会科学研究计划项目(KM202210012002) 

主　　题：图像编辑 深度学习 扩散模型 生成对抗网络 多模态基础模型 

摘      要：图像编辑是指保持图像非编辑区域内容不变,编辑区域根据输入条件改变的过程。生成式图像编辑利用深度学习模型,以编辑条件作为指导,通过生成图像的方式来修改图像的内容,包括但不限于修改图像中的对象、风格、颜色、纹理等特征。生成式图像编辑是计算机视觉研究中不可或缺的一环。生成式图像编辑具有重要的理论和实际应用价值,引起了学术界和工业界的广泛关注,然而目前对相关研究的综述工作相对较少。本文针对极具代表性的生成式图像编辑方法进行了综述,首先根据编辑方法不同,将编辑任务分为基于属性、基于文本、基于线稿和基于实物范例引导的图像编辑,结合损失函数、类型以及特点等对不同方法进行分析总结;同时进一步探讨了各方法对生成质量的影响,并详尽阐述了数据集和评价指标;最后,指出该领域未来面临的挑战和可能的研究方向。