【DataWhale学习】图像检索

从文字进行检索:TBIR
从内容检索:CBIR

CBIR应用场景:拍照购,服装检索,人脸识别,内容审核
【DataWhale学习】图像检索
检索的本质:特征提取和相似度计算

流程图如下:
【DataWhale学习】图像检索
图像检索特征:
如果图像相似,则图像特征也相似
局部特征:关键点:比如角点,数控不一
全局特征:图像整体的统计信息

局部特征:关注局部信息,比如sift特征点
优点:尺度不变性
缺点:提取的数量不固定,而且容易受到文字的影响

全局特征:全局信息,比如颜色直方图或者CNN特征
优点:关注全局信息,而且特征维度固定
缺点:对尺度变化敏感

图像检索的类别:【DataWhale学习】图像检索
比赛:Google-landmark

gem:广义归一化编码
或者使用分类和排序损失微调cnn模型

跨模态检索KDD Cup2020:从文本检索图像
给定query文本,product的类别信息和物体信息,完成文本到商品的检索

图像检索本质是针对任务的,不同任务针对不同的特征,需要不断尝试和实验,需要跟姐姐不同的检索任务设置不同的检索逻辑