珊瑚礁被称为“海洋中的热带雨林”，如何快速、高效、精准地实现珊瑚监测识别是全球共同关注且需解决的问题。目前高分辨率珊瑚水下图像识别，高度依赖专业知识和实践经验来进行人工判读。虽然计算机视觉问答（VisualQuestionAnswering,VQA）技术在自然图像领域发展迅速，但在珊瑚智能识别研究与应用中仍面临挑战：一是珊瑚公开数据集有限且标签标注混乱，二是珊瑚视觉问答维度复杂。传统VQA技术无法实现珊瑚视觉问答涉及的健康状态、共生关系等多维度信息识别，需借助和引入生态学等知识进行跨学科合作。
为解决上述问题，自然资源部南海发展研究院与北京邮电大学研究团队，基于跨区域的20科67属1.28万张珊瑚图像样本，从珊瑚类别、位置、数量等16个维度形成了27万个问答对，构建了首个面向珊瑚图像理解的多模态视觉问答数据集CoralVQA，设计了一套半自动化的视觉-语言数据处理流程。利用CoralVQA训练微调后的InternVL2.5模型，使得基础视觉问答任务平均准确率优于70%，生态健康评估任务平均准确率优于80%，与通用问答数据集训练结果相比，分别提升44%与36%。
CoralVQA的构建，旨在将系统的生态学知识、专业的分析识别转化为直观的、结构化的信息，实现了提供珊瑚图像、提出问题即可自动获取科学答案的目标，为非专业用户借助多模态大模型获取专业级生态信息提供了可能，同时为进一步检验和提升现有模型的泛化能力、复杂推理能力提供了全新基准。未来，自然资源部南海发展研究院将继续联合北京邮电大学等单位，通过优化珊瑚知识图谱、利用多源珊瑚数据持续开展预训练等方式，进一步提高AI模型对珊瑚科（属）级分类、健康状态、生态关系等方面的理解能力。
多种多模态大模型回复用户提出的珊瑚礁问题
CoralVQA数据集中珊瑚礁图像及其对应的16个维度下的问答对示例
上述研究成果已撰写成论文[1]于近日被“人工智能与机器学习三大顶会”之一的神经信息处理系统大会（NeurIPS）接收，并入选该会议2025年口头报告论文（OralPresentation，录取率仅为3‰），论文第一作者为南海发展研究院联合培养博士生韩洪勇。该研究依托自然资源部南海遥感测绘协同应用技术创新中心等创新平台，由南海发展研究院李明杰正高级工程师与北京邮电大学韩洪勇博士生、王微副教授、张高唯讲师、王祎教授等共同完成，研究得到了南海局科技发展基金项目、广东省重点研发基金项目及广东省促进经济发展专项资金资助。该联合研究团队相关文章见论文信息[2]。
论文信息：
[1]HongyongHan,WeiWang,GaoweiZhang,MingjieLi,&YiWang.(2025).CoralVQA:ALarge-ScaleVisualQuestionAnsweringDatasetforCoralReefImageUnderstanding.arXivpreprintarXiv:2507.10449.
论文链接：https://arxiv.org/abs/2507.10449
[2]HongyongHan,WeiWang,GaoweiZhang,MingjieLi,&YiWang.(2025,April).EnhancingVision-LanguageModelswithMorphologicalandTaxonomicKnowledge:TowardsCoralRecognitionforOceanHealth.InProceedingsoftheAAAIConferenceonArtificialIntelligence(Vol.39,No.27,pp.28052-28060).
论文链接：https://ojs.aaai.org/index.php/AAAI/article/view/35023/37178
撰稿：韩洪勇 李明杰
图片：南海发展研究院
粤公网安备 44010502000179号