反向图像搜索
反向图像搜索（以图搜图）是一种基于图像检索(CBIR)的查询技术，它涉及为 CBIR 系统提供样本图像，然后系统将基于该样本图像进行搜索；在信息检索方面，样本图像在其方式上非常有用。特别是，反向图像搜索的特点是缺少搜索词。这有效地消除了用户猜测可能会或可能不会返回正确结果的关键字或术语的需要。反向图像搜索还允许用户发现与特定样本图像相关的内容，图像的流行度，并发现操纵版本和衍生作品。
在热门搜索系统中的应用
[编辑]Google图片搜寻
[编辑]
Google图片搜寻的Search by Image是一种使用反向图像搜索的功能，允许用户通过上传图像或复制图像 URL 来搜索相关图像。谷歌通过分析提交的图片并为其构建数学模型来实现这一点。然后将其与谷歌数据库中的其他图像进行比较，然后返回匹配和相似的结果。如果可用，Google 还会使用有关图像的元数据，例如描述。2022 年，该功能被Google Lens取代，成为 Google 的默认视觉搜索方法。
TinEye
[编辑]TinEye是专门用于反向图像搜索的搜索引擎。提交图像后，TinEye 会为该图像创建一个“独特且紧凑的数字签名或指纹”，并将其与其他索引图像进行匹配。这个过程甚至能够匹配提交图像的非常编辑版本，但通常不会在结果中返回相似的图像。
eBay
[编辑]eBay ShopBot 使用反向图像搜索通过用户上传的照片查找产品。eBay 使用 ResNet-50 网络进行类别识别，图像哈希存储在Google Bigtable中；Apache Spark作业由Google Cloud Dataproc运营，用于图像哈希提取；图像排名服务由Kubernetes部署。[1]
SK Planet
[编辑]SK Planet使用反向图像搜索在其电子商务网站上查找相关时尚商品。它基于TensorFlow inception-v3开发了视觉编码器网络，具有生产使用的收敛速度和泛化能力。循环神经网络用于多类分类，时尚产品感兴趣区域检测基于Faster R-CNN。SK Planet 的反向图像搜索系统是在不到 100月的工时内建成的。[2]
阿里巴巴
[编辑]阿里巴巴于 2014 年发布了拍立淘应用程序。拍立淘允许用户通过拍摄查询对象的照片来搜索阿里巴巴电子商务平台上的商品。Pailitao 应用程序使用带有分支的深度 CNN 模型进行联合检测和特征学习，以在没有背景干扰的情况下发现检测掩码和准确的判别特征。GoogLeNet V1 被用作类别预测和特征学习的基础模型。[3][4]
Pinterest于 2014 年收购了初创公司VisualGraph，并在其平台上引入了视觉搜索。[5] 2015年，Pinterest在ACM Conference on Knowledge Discovery and Data Mining大会上发表论文，公开了系统的架构。该管道使用Apache Hadoop、开源Caffe 卷积神经网络框架、用于批处理的Cascading 、用于消息传递的PinLater和用于存储的Apache HBase 。提取图像特征，包括局部特征、深度特征、显著颜色特征和显著像素来自用户上传。该系统由Amazon EC2运行，只需要一个由 5 个 GPU 实例组成的集群来处理所有每天上传到 Pinterest 的图像。通过使用反向图像搜索，Pinterest 能够从时尚物品（例如鞋子、裙子、眼镜、包、手表、裤子、短裤、比基尼、耳环）中提取视觉特征，并提供看起来相似的产品推荐。[6][7]
京东
[编辑]京东在Middleware '18大会上公开了其实时视觉搜索系统的设计与实现。同行评议的论文重点介绍了京东的分布式分层图像特征提取、索引和检索系统所使用的算法，该系统拥有 3 亿日活跃用户。该系统在 2018 年部署到生产环境时，每小时能够维持 8000 万次数据库更新。[8]
微软Bing
[编辑]微软Bing在KDD'18大会上公布了他们的反向图片搜索系统架构。该论文指出，用户提交的查询图像的各种特征用于描述其内容，包括使用深度神经网络编码器、类别识别特征、人脸识别特征、颜色特征和重复检测特征。[9]
亚马逊的Amazon Shop the Look
[编辑]亚马逊公司在 KDD'22 大会上发表一篇描述 Amazon Shop the Look 的时尚和家居产品视觉搜索引擎架构的论文。 该论文还描述亚马逊在生产环境中部署时的经验教训，包括基于图像合成的数据增强以优化检索性能和提高准确性。[10]
开源实现
[编辑]2007 年，Puzzle 库以ISC许可证发布。Puzzle 旨在提供视觉上相似图像的反向图像搜索，即使图像已调整大小、重新压缩、重新著色和/或稍作修改。[11]
image-match 开源项目于 2016 年发布。该项目在 Apache 许可证下获得许可，实现了一个用Python编写的反向图像搜索引擎。[12]
Puzzle 库和image-match项目都使用在 2002 年 IEEE ICIP 会议上发布的算法。[13]
2019 年，欧莱礼媒体出版的一本书描述如何在几个小时内构建一个简单的反向图像搜索系统。这本书涵盖了图像特征提取和相似性搜索，以及更进阶的主题，包括使用 GPU 加速和搜索准确性改进调整。[14] 该系统的代码在GitHub上开源发放。[15]
参见
[编辑]
参考文献
[编辑]- ^ Yang, Fan; Kale, Ajinkya; Bubnov, Yury; Stein, Leon; Wang, Qiaosong; Kiapour, Hadi; Piramuthu, Robinson. Visual Search at eBay. acm.org. 2017: 2101–2110 [2023-02-05]. ISBN 9781450348874. S2CID 22367645. arXiv:1706.03154
. doi:10.1145/3097983.3098162. （原始内容存档于2019-03-10）.
- ^ Visual Fashion-Product Search at SK Planet. [2023-02-05]. （原始内容存档于2023-02-05）.
- ^ Zhang, Yanhao; Pan, Pan; Zheng, Yun; Zhao, Kang; Zhang, Yingya; Ren, Xiaofeng; Jin, Rong. Visual Search at Alibaba. acm.org. 2018: 993–1001 [2023-02-05]. ISBN 9781450355520. S2CID 50776405. arXiv:2102.04674 . doi:10.1145/3219819.3219820. （原始内容存档于2019-03-10）.
- ^ Shopping With Your Camera: Visual Image Search Meets E-Commerce at Alibaba. Alibaba Tech. September 2020 [2023-02-05]. （原始内容存档于2023-02-05）.
- ^ Josh Constine. Pinterest Acquires Image Recognition And Visual Search Startup VisualGraph. TechCrunch. AOL. 6 January 2014 [2023-02-05]. （原始内容存档于2023-02-05）.
- ^ Jing, Yushi; Liu, David; Kislyuk, Dmitry; Zhai, Andrew; Xu, Jiajing; Donahue, Jeff; Tavel, Sarah. Visual Search at Pinterest. acm.org. 2015: 1889–1898 [2023-02-05]. ISBN 9781450336642. S2CID 1153609. doi:10.1145/2783258.2788621. （原始内容存档于2019-03-10）.
- ^ Building a scalable machine vision pipeline. Pinterest Engineering. （原始内容存档于2015-09-06）.
- ^ Li, Jie; Liu, Haifeng; Gui, Chuanghua; Chen, Jianyu; Ni, Zhenyuan; Wang, Ning; Chen, Yuan. The Design and Implementation of a Real Time Visual Search System on JD E-commerce Platform. acm.org. 2018: 9–16. ISBN 9781450360166. S2CID 53713854. arXiv:1908.07389 . doi:10.1145/3284028.3284030.
- ^ Hu, Houdong; Wang, Yan; Yang, Linjun; Komlev, Pavel; Huang, Li; Chen, Xi (Stephen); Huang, Jiapei; Wu, Ye; Merchant, Meenaz; Sacheti, Arun. Web-Scale Responsive Visual Search at Bing. acm.org. 2018: 359–367 [2023-02-05]. ISBN 9781450355520. S2CID 3427399. doi:10.1145/3219819.3219843. （原始内容存档于2023-02-05）.
- ^ Amazon Shop the Look: A Visual Search System for Fashion and Home. [2023-06-18]. （原始内容存档于2023-06-06）.
- ^ The Puzzle library. [2023-02-05]. （原始内容存档于2023-02-05）.
- ^ ProvenanceLabs / image-match. [2023-02-05]. （原始内容存档于2022-08-14）.
- ^ An image signature for any kind of image. [2023-02-05]. （原始内容存档于2022-10-07）.
- ^ Koul, Anirudh. Chapter 4. Building a Reverse Image Search Engine: Understanding Embeddings. Practical Deep Learning for Cloud, Mobile, and Edge. O'Reilly Media. October 2019 [2023-02-05]. ISBN 9781492034865. （原始内容存档于2023-01-29）.
- ^ Practical-Deep-Learning-Book source repository. [2023-02-05]. （原始内容存档于2023-02-09）.
