MiniGPT-v2多模态

随着GPT-4V多模态模型的发布,具备图像识别的大语言模型,正在成为未来的趋势。 近日，KAUST 团队以及来自 Meta 的研究者宣布，他们将 MiniGPT-4 重磅升级到了 MiniGPT-v2 版本。 论文地址：https://arxiv.org/pdf/2310.09478.pdf 论文主页：https://minigpt-v2.github.io/ Demo: https://minigpt-v2.github.io/ 代码：https://github.com/Vision-CAIR/MiniGPT-4 具体而言，MiniGPT-v2 可以作为一个统一的接口来更好地处理各种视觉 – 语言任务。同时，本文建议在训练模型时对不同的任务使用唯一的识别符号，这些识别符号有利于模型轻松的区分每个任务指令，并提高每个任务模型的学习效率。 为了评估 MiniGPT-v2 模型的性能，研究者对不同的视觉 – 语言任务进行了广泛的实验。结果表明，与之前的视觉 – 语言通用模型（例如 MiniGPT-4、InstructBLIP、 LLaVA 和 Shikra）相比，MiniGPT-v2 在各种基准上实现了 SOTA 或相当的性能。例如 MiniGPT-v2 在 VSR 基准上比 MiniGPT-4 高出 21.3%，比 InstructBLIP 高出 11.3%，比 LLaVA 高出 11.7%。