大模型“天际”实现100平方公里城市实景三维建模

新华社上海7月7日电(记者周琳、董雪)在7月6日召开的2023世界人工智能大会上,上海人工智能实验室联合香港中文大学、上海市测绘院发布城市级实景三维大模型“天际”,该大模型能够对100平方公里范围的城市实景进行高精度快速建模。

图为天际大模型建模的陆家嘴实景。(上海人工智能实验室供图)

上海人工智能实验室青年科学家戴勃介绍,实景三维是对一定范围内人类生产、生活和生态空间进行真实、立体、时序化反映的数字空间。天际大模型集算法、算子、计算系统为一体,在高效训练的同时,可准确表征大规模三维城市场景,并达到高质量的神经渲染效果。

此前相关技术应用于物体或单个建筑,而天际大模型将范围扩大到城市的方方面面,实现了百平方公里的三维实景建模,在真正的城市尺度上验证基于人工智能的三维实景技术潜力的新鲜尝试。

天际大模型可实现大规模场景的三维实景建模。(上海人工智能实验室供图)

“无人机沿着城市飞一圈,天际大模型就能生成整个城市的实景三维模型,分辨率精度可达4K。”戴勃说。

据了解,天际大模型支持高精度实时渲染,具有城市实景三维模型编辑和风格转换等功能。根据研发人员现场演示,观众可从任意角度查看城市实景三维模型,设置目标建筑相关参数,即可在三维模型中移除、移动或复制目标建筑。

上海人工智能实验室主任助理乔宇表示,天际大模型是“书生通用大模型体系”中的三大基础模型之一。“书生”自2021年发布以来历经数次升级,从覆盖多种视觉任务的通用大模型,逐步升级为涵盖视觉、语言和三维等在内的大模型体系。

“大模型体系这次全面升级,模型家族进一步丰富,能力更强、覆盖模态和任务更广。实验室还在模型、数据、工具和评测等层面进行全方位开源,推动技术创新与产业进步。”乔宇说。