浙江大学张宁豫、陈华钧团队提出首个海洋领域大语言模型 OceanGPT，该模型可根据海洋学家的指令回答问题，在各种海洋科学任务中表现出较高的专业知识，还在海洋工程方面获得了初步具身智能能力。
OceanGPT可用于什么
OceanGPT（沧渊）专为海洋领域而设计，可以处理各种海洋科学任务，包括特定于海洋的问答和内容生成。此外，我们试图验证 OceanGPT 在模拟水下具身智能方面的潜力。该模型仍然存在幻觉等局限性，我们将继续维护 OceanGPT，旨在增强其在海洋研究和探索中的实际应用能力。
OceanGPT是如何训练的
为了训练 OceanGPT（沧渊），收集了涵盖多个领域的海洋科学语料。由于每个子领域和主题都有其独特的数据特征和模式，我们提出了一个领域特定的指令生成框架 DoInstruct。该框架采用多智能体协作方法生成指令数据。我们基于开源模型（例如 Qwen、LLaMA、MiniCPM 等）训练 OceanGPT。
相关链接
论文地址：https://arxiv.org/pdf/2310.02031
项目地址：http://oceangpt.zjukg.cn
论文阅读
OceanGPT：海洋科学任务的大型语言模型
OceanGPT介绍
海洋覆盖了地球表面约 71% 的面积，在全球气候调节、天气模式、生物多样性和人类经济发展中发挥着至关重要的作用。海洋科学研究主要关注海洋的自然特性、变化规律以及与海洋资源开发利用相关的理论、方法和应用。因此，我们提出了一个专门针对海洋领域的大型语言模型 OceanGPT。它可以处理各种海洋科学任务，包括问答和内容生成。此外，我们尝试验证大型语言模型在模拟水下机器人操作方面的潜力，进一步探索 LLM 驱动的水下具身智能的实现。
方法
数据质量对于训练领域大语言模型至关重要。为了训练 OceanGPT，我们收集了涵盖多个领域的海洋科学语料。每个子领域和主题都有其独特的数据特征和模式，这促使我们提出了一个领域特定的指令生成框架 DoInstruct。该框架利用多智能体协作生成海洋科学指令的微调训练数据。这种方式既保证了数据的专业性和准确性，又实现了高效的并行数据生成性能。DoInstruct 框架使用智能体（如 GPT-3.5-turbo）作为每个海洋主题的专家，各个智能体通过相互协作快速扩展指令。
该框架定义了三个智能体：
进化数据合成代理：具体来说，该代理采用两种协作策略：一是补充和扩展种子样本的背景知识，二是细化分析以增强和完善种子数据所蕴含的知识。 微调文献阅读代理：首先对大型语言模型进行微调，开发专门用于文献抽取的智能模型，使代理能够从浩如烟海的海洋文献中提取出高质量的句子。 质量保证审核代理：预定义与海洋科学相关的特定句法和语义规则，通过提示过滤数据来构建该代理。 我们基于开源模型（如Qwen、LLaMA、MiniCPM等）和DoInstruct框架生成的指令训练了OceanGPT。
实验效果
我们发布了指令数据集OceanInstruct，并为海洋领域大型语言模型构建了基准数据集OceanBench。实验结果表明，OceanGPT 在绝大多数任务中的表现都优于基线语言模型。相比之下，现有的开源大型语言模型在需要海洋科学专业知识的任务上表现不佳。此外，我们设计的多智能体数据生成框架有效地使 OceanGPT 能够充当海洋领域各个子领域的专家。这表明 OceanGPT 是跨不同海洋领域的相对优越的专家模型。
模拟水下具身智能
我们评估了 OceanGPT 在模拟器中控制水下机器人的初步能力，包括轨迹规划等任务。
海洋科学任务案例分析。我们用蓝色字体表示差异，说明为: 如何开展重点放射性核素的界面化学和毒理学效应研究?
结论
本文介绍了首个海洋学预训练语言模型OCEANGPT， 它是各种海洋科学任务的专家。 以减轻获得海洋的困难 在此基础上，我们提出了一个名为dodirective的领域构建框架 多智能体协作的海洋指令数据集。我们设计的框架中的每个代理都是 被认为是某一特定领域的专家 负责生成相应的数据。 我们生成的数据集由不同的指令组成，以调整海洋科学问题中所需的行为。经过综合分析，我们 观察到，OCEANGPT不仅展示了 更高层次的海洋知识专长 科学的任务也得到了初步的体现 海洋工程中的情报能力。我们 将继续通过在更大的语料库上训练更大的模型来改进OCEANGPT(例如，30B， 70B)并通过添加新的组件来维护OCEANBENCH 数据和任务。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术，欢迎一起交流学习💗～
没有评论:
发表评论