向量检索服务实践测评-阿里云开发者社区

向量检索服务是一种基于阿里云自研的向量引擎 Proxima 内核，提供具备水平拓展、全托管、云原生的高效向量检索服务。向量检索服务将强大的向量管理、查询等能力，通过简洁易用的 SDK/API 接口透出，方便在大模型知识库搭建、多模态 AI 搜索等多种应用场景上集成。本文将从以下三个方面对向量检索服务进行最佳实践测评：
为了实现智能问答的功能，我们需要准备两个数据源：
为了简化问题，我们假设问题库和答案库的 ID 是一一对应的，即每个问题只有一个正确的答案，每个答案只对应一个问题。这样，我们就可以通过问题的 ID 来找到对应的答案，或者通过答案的 ID 来找到对应的问题。
为了使用向量检索服务，我们需要将问题库和答案库中的文本内容转换为向量表示。向量表示是一种将文本映射为高维空间中的点的方法，它可以捕捉文本的语义信息，使得语义相似的文本在向量空间中距离较近，语义不相似的文本在向量空间中距离较远。
向量生成的方法有很多，如 TF-IDF、Word2Vec、BERT 等。本文将使用阿里云的 模型服务灵积 来生成向量。模型服务灵积是一种提供灵活、易用的模型 API 服务的平台，它支持多种模态的模型，如文本、图像、音频、视频等。通过模型服务灵积，我们可以方便地调用预训练的模型，或者上传自己的模型，来实现向量生成的功能。
为了生成问题库和答案库的向量，我们需要做以下几个步骤：
将向量结果保存为 CSV 文件，格式为 ID,Vector，其中 ID 是问题或答案的 ID，Vector 是由逗号分隔的向量值。
有了问题库和答案库的向量表示，我们就可以使用向量检索服务来实现语义检索的功能。向量检索服务可以让我们快速地创建和管理向量集合，以及根据输入的向量查询与之相似的向量集合。向量检索服务的使用流程如下：
注册向量检索服务的账号，并获取 API-KEY 和 Endpoint。
从表中可以看出，向量检索服务在语义检索场景下表现出了很高的准确率和召回率，说明向量检索服务可以有效地捕捉文本的语义信息，实现高效的语义检索功能。我们还对一些具体的问题进行了测试，以下是一些示例：
从示例中可以看出，向量检索服务可以正确地返回与问题相匹配的答案，而不受关键词的影响。例如，对于问题“世界上最高的山是什么？”，如果使用基于关键词的检索方法，可能会返回一些包含“世界”、“最高”、“山”等词的文档，但不一定是正确的答案。而使用向量检索服务，可以根据问题的语义，直接返回正确的答案“珠穆朗玛峰”。
为了进一步评估向量检索服务的优势，我们将其与其他一些常用的向量检索工具进行了比较测评，包括 Elasticsearch、Milvus、Faiss 等。我们使用了相同的数据集和模型，以及相同的评估指标，对这些工具在性能、易用性、可扩展性、便捷性等方面进行了对比。我们的比较结果如下表所示：
从表中可以看出，向量检索服务在各个方面都表现出了较高的水平，具有以下几个优点：
相比之下，其他向量检索工具在某些方面存在一些不足，如：
Elasticsearch：Elasticsearch 是一种基于 Lucene 的开源搜索引擎，它支持多种类型的数据，如文本、数值、地理位置等，但对于向量数据的支持不够完善，需要安装额外的插件，如 Elasticsearch-Vector-Scoring、Elasticsearch-LTR 等，才能实现向量检索的功能。此外，Elasticsearch 的性能受到 Lucene 的限制，无法支持高维度的向量数据，也不支持多种索引类型的选择，因此在向量检索的效果上不如专业的向量检索工具。
关注阿里云公众号或下载阿里云APP，关注云资讯，随时随地运维管控云服务
© 2009-现在 Aliyun.com 版权所有 增值电信业务经营许可证： 浙B2-20080101 域名注册服务机构许可： 浙D3-20210002
浙公网安备 33010602009975号