上海AI实验室发布全球首个三维大模型“书生•天际”

(资料图片仅供参考)

在7月6日举行的2023世界人工智能大会（WAIC 2023）开幕式和科学前沿全体会议上，上海人工智能实验室（上海AI实验室）联合香港中文大学和上海市测绘院发布全球首个城市级NeRF实景三维大模型“书生·天际（LandMark）”（简称“书生·天际”）。

书生·天际在大模型层面提出一种新的实景三维模型表征和训练范式，可以4K级图像精度准确呈现大规模三维城市场景。在重构出来的三维实景中，不仅具备包括移除、移动和新建城市建筑等城市布局的调整能力，还可以“上帝视角”调节光照、季节等城市风格。书生·天际已超越“城市重建”，突破性实现了“城市编辑”功能。

未来，上海AI实验室将对书生·天际的建模范围和功能进行扩展，并对书生·天际的算法、算子和系统全部进行开源。

“今天当谈到AIGC，我们想到的还是一张张照片；未来，AIGC将可能生成我们心目中的家、心目中的整个城市。”上海AI实验室林达华教授表示，书生·天际让超写实城市级三维实景成为可能，还将继续进化，覆盖更多城市区域和地标建筑，提供更多、更丰富的三维实景功能。

此外，上海AI实验室还与商汤科技联合香港中文大学、复旦大学、上海交通大学及清华大学发布全新升级的“书生通用大模型体系”（简称“书生大模型”），包括书生·多模态、书生·浦语和书生·天际等三大基础模型，以及首个面向大模型研发与应用的全链条开源体系。

（潘洁 摄）

目前，书生大模型在130多个评测中性能达世界领先或先进水平。其中，书生·多模态无缝整合了语言、图像、视频等多种模态，首次实现通过自然语言定义视觉任务，并具有多模态交互和跨模态生成能力；升级后的书生·浦语为国内首个正式发布的支持8K语境长度的千亿参数级语言大模型；书生·天际则是全球首个城市级NeRF实景三维大模型，具备千亿参数，在全球首次实现对100平方公里城市实景进行4K高精度建模以及编辑。

上海AI实验室主任助理乔宇教授表示，“实验室坚持以原始创新引领技术进步，以开源开放赋能创新生态，此次书生通用大模型体系全面升级，模型家族进一步丰富，能力更强，覆盖模态和任务更广。同时，实验室还在模型、数据、工具和评测等层面进行全方位开源，推动技术创新与产业进步。”