GAN系列(五) —— Text2Img文本生成图像
文本生成图像的GAN网络结构
文本生成图像的问题难点
多样化
- 一个描述对应多张图，搜索空间比图像生成文本更大
- 一个词的变化图就会发生很大的变化
文本生成图像的任务
- 生成真实的图像
- 生成与文字匹配的图像
模型结构
G
- 输入：随机向量+文本编码
- 输出：图像
D
- 输入：生成图像+文本编码
- 输出：图像与文本是否匹配+图像是否真实
文本是向量，不能当作图像来处理，这是和其他GAN不同的一个地方
应用的技巧
①分步，先将图像是否合理训练出来，再训练图像文本是否匹配
②除了<假图，描述>和<真图、描述>之外，添加<真图，不匹配描述>
算法流程
效果