[ad_1]
随着人工智能 (AI) 聊天机器人之战升温，微软推出了 Kosmos-1，这是一种新的人工智能模型，除了文本提示或消息外，它还可以响应视觉提示或图像。
多模态大型语言模型 (MLLM) 可以帮助完成一系列新任务，包括图像字幕、视觉问答等。 Kosmos-1 可以为 ChatGPT 文本提示之外的下一阶段铺平道路。
“语言、多模态感知、动作和世界建模的大融合是通向通用人工智能的关键一步。在这项工作中，我们介绍了 Kosmos-1，这是一种多模态大型语言模型 (MLLM)，可以感知一般模态，学习上下文并遵循指示，”微软的人工智能研究人员在一篇论文中说。
据 ZDNet 报道，该论文表明，要超越类似于 ChatGPT 的能力，实现通用人工智能 (AGI)，需要在现实世界中进行多模态感知或知识获取和“扎根”。
“更重要的是，解锁多模态输入极大地拓宽了语言模型在更多高价值领域的应用，例如多模态机器学习、文档智能和机器人技术，”论文中写道。
目标是使感知与 LLM 保持一致，以便模型能够看到和说话。 实验结果表明，Kosmos-1 在语言理解、生成甚至直接输入文档图像方面都取得了令人印象深刻的性能。
它还在感知语言任务中显示出良好的结果，包括多模态对话、图像字幕、视觉问答和视觉任务，例如带描述的图像识别（通过文本指令指定分类）。
“我们还表明 MLLM 可以从跨模态迁移中受益，即将知识从语言迁移到多模态，再从多模态迁移到语言。此外，我们还引入了 Raven IQ 测试数据集，该数据集可以诊断 MLLM 的非语言推理能力， “团队说。
[ad_2]
Source link
