您的位置：首页 > 论文页面
Voice-2-image：自然语言交互下的智能图像合成
发表时间：2021-01-08 浏览量：909 下载量：163
| 全部作者： | 吴丽佳，徐昆 |
| 作者单位： | 清华大学美术学院；清华大学信息科学技术学院 |
| 摘 要： | 基于自然语言处理以及智能图像处理算法，提出一种由语音自动生成真实感图像的方法。在实现中，由智能抠图得到图像素材，由语音识别、语意解析得到文本结构，以三分图计算、融合算法、图像语境匹配，自动生成真实感图像。相比于以往基于生成式对抗网络（generative adversarial network，GAN）进行文本合成图像、简笔画输入合成图像或用大量人工抠取素材合成图像的方法，本文所提方法更具趣味性、更能节约时间、达到更好的合成效果。该方法可以应用于多种类型的应用设计，如卡通图片合成、儿童学习型应用、照片合成等。 |
| 关 键 词： | 计算机应用；自然语言处理；图像处理；文本结构；真实感图像合成 |
| Title： | Voice-to-image: intelligent image synthesis based on natural language interaction |
| Author： | WU Lijia, XU Kun |
| Organization： | Academy of Arts & Design, Tsinghua University; School of Information Science and Technology, Tsinghua University |
| Abstract： | Based on natural language processing and intelligent image processing algorithms, we propose a method to synthesize realistic images automatically by voice interaction. In the preprocessing step, an image cutout database is built through image matting. At runtime, text semantic is reconstructed using voice recognition and text parsing, trimap is generated from mask, and then the realistic images are automatically synthesized by text and image context matching. Compared with the previous works that generating images from text based on generative adversarial network (GAN), sketches and labels, or a large amount of artificial material preparing, the proposed method is more interesting, time-saving and the synthesized images look more real. In addition, this method can be applied to different types of application designing, such as cartoon image synthesis, children learning applications, and photo synthesis. |
| Key words： | computer applications; natural language processing; image processing; text structure; realistic image synthesis |
| 发表期数： | 2020年12月第4期 |
| 引用格式： | 吴丽佳，徐昆. Voice-2-image：自然语言交互下的智能图像合成[J]. 中国科技论文在线精品论文，2020，13（4）：399-410. |
10
评论数 0请您登录
暂无评论
下载全文
多维论文