阿里多模态检索智能体，自带o1式念念考过程！复杂问题稳固拆解

OmniSearch团队 投稿

量子位 | 公众号 QbitAI

多模态检索增强生成（mRAG）也有o1念念考推理那味儿了！

阿里通义实验室新计划推出自稳健谋略的多模态检索智能体。

名叫OmniSearch，它能模拟东说念主类治理问题的念念维方式，将复杂问题稳固拆解进行智能检索谋略。

径直看限制：

敷衍上传一张图，筹商任何问题，OmniSearch齐会进行一段“念念考过程”，不仅会将复杂问题拆解检索，况兼会笔据现时检索限制和问题情境动态诊治下一步检索战略。

比拟传统mRAG受制于其静态的检索战略，这种推测打算不仅提高了检索效率，也权臣增强了模子生成内容的准确性。

为评估OmniSearch，计划团队构建了全新Dyn-VQA数据集。

在一系列基准数据集上的实验中，OmniSearch展现了权臣的性能上风。极端是在处理需要多步推理、多模态常识和快速变化谜底的问题时，OmniSearch相较于现存的mRAG纪律发扬更为优异。

当今OmniSearch在魔搭社区还有demo可玩。

动态检索谋略框架，冲突传统mRAG局限

传统mRAG纪律遵守固定的检索经由，典型的重要如下：

输入滚动：给与多模态输入（举例图像+文本问题），将图像滚动为形色性文本（举例通过image caption模子）。单一模态检索：将问题或形色性文本动作检索查询，向常识库发送单一模态检索恳求（时常是文本检索）。固定生成经由：将检索到的信息与原始问题集结，交由MLLM生成谜底。

OmniSearch旨在治理传统mRAG纪律的以下痛点：

静态检索战略的局限：传统纪律采纳固定的两步检索经由，无法笔据问题和检索内容动态诊治检索旅途，导致信息取得效率低下。检索查询过载：单一检索查询往往包含了多个查询意图，反而会引入多半无关信息，打扰模子的推理过程。

为克服上述局限，OmniSearch引入了一种动态检索谋略框架。

OmniSearch的中枢架构包括：

谋略智能体（Planning Agent）：厚爱对原始问题进行稳固拆解，笔据每个检索重要的反映决定下一步的子问题及检索战略。检索器（Retriever）：执行骨子的检索任务，维持图像检索、文本检索以及跨模态检索。子问题求解器（Sub-question Solver）：对检索到的信息进行归来息争答，具备高度的可推广性，不错与不同大小的多模态大讲话模子集成。迭代推理与检索（Iterative Reasoning and Retrieval）：通过递归式的检索与推理经由，稳固接近问题的最终谜底。多模态特征的交互：有用处理文本、图像等多模态信息，纯真诊治检索战略。反映轮回机制（Feedback Loop）：在每一步检索和推理后，反念念现时的检索限制并决定下一步行径，以提高检索的精准度和有用性。

构建新数据集进行实验评估

为了更好地评估OmniSearch和其它mRAG纪律的性能，计划团队构建了全新的Dyn-VQA数据集。Dyn-VQA包含1452个动态问题，涵盖了以下三种类型：

谜底快速变化的问题：这类问题的布景常识束缚更新，需要模子具备动态的再检索能力。举例，筹商某位明星的最新电影票房，谜底会跟着本事的推移而发生变化。多模态常识需求的问题：问题需要同期从多模态信息（如图像、文本等）中取得常识。举例，识别一张图片中的球员，并恢复他的球队图标是什么。多跳问题：问题需要多个推理重要，条目模子在检索后进行多步推理。

这些类型的问题比拟传统的VQA数据集需要更复杂的检索经由，更检会多模态检索纪律对复杂检索的谋略能力。

在Dyn-VQA数据集上的发扬谜底更新频率：关于谜底快速变化的问题，OmniSearch的发扬权臣优于GPT-4V集结启发式mRAG纪律，准确率擢升了近88%。多模态常识需求：OmniSearch大略有用地集结图像和文本进行检索，其在需要非凡视觉常识的复杂问题上的发扬远超现存模子，准确率提高了35%以上。多跳推理问题：OmniSearch通过屡次检索和动态谋略，大略精准治理需要多步推理的问题，实验限制标明其在这类问题上的发扬优于现时开头进的多模态模子，准确率擢升了约35%。

在其它数据集上的发扬

接近东说念主类级别发扬：

OmniSearch在大多数VQA任务上达到了接近东说念主类水平的发扬。举例，在VQAv2和A-OKVQA数据集会，OmniSearch的准确率辞别达到了70.34和84.12，权臣超过了传统mRAG纪律。

复杂问题处理能力：

在更具挑战性的Dyn-VQA数据集上，OmniSearch通过多步检索战略权臣擢升了模子的发扬，达到了50.03的F1-Recall评分，比拟基于GPT-4V的传统两步检索纪律擢升了近14分。

模块化能力与可推广性

OmniSearch不错纯真集成不同限制和类型的多模态大讲话模子（MLLM）动作子问题求解器。

不管是开源模子（如Qwen-VL-Chat）依然闭源模子（如GPT-4V），OmniSearch齐能通过动态谋略与这些模子合营完成复杂问题的治理。

它的模块化推测打算允许笔据任务需求采纳最符合的模子，致使在不同阶段调用不同大小的MLLM，以在性能和算计本钱之间终了纯真均衡。

底下是OmniSearch和不同模子配合的实验限制：

Paper：https://arxiv.org/abs/2411.02937Github：https://github.com/Alibaba-NLP/OmniSearchModelScope Demo: https://modelscope.cn/studios/iic/OmniSearch/summary?header=default&fullWidth=false

— 完 —

量子位 QbitAI · 头条号签约

温煦咱们，第一本事获知前沿科技动态