可协助残障人士找到座位的机器人“志愿者”，能对赛场视频进行多语种解说的多模态解说系统——9月27日，澎湃新闻（www.thepaper.cn)从北京大学了解到，北大计算机学院的最新“黑科技”在杭州亚运会期间亮相。
机器人“志愿者” 澎湃新闻记者 陆玫 图
“我们关注到，少数民族、残障人士等特殊观众群体，受限于语言、行动等多重因素，观看体育赛事仍然面临着一定的挑战。”北京大学项目相关发起人庄棨宁表示，为提升这部分人群的观赛体验，在学院黄铁军教授和仉尚航研究员的指导和支持下，专门开发了两套系统：多模态大模型智能赛场服务系统和高速运动多模态解说系统。
据介绍，多模态大模型智能赛场服务系统基于团队自研的感知生成一体化多模态大模型，能够精准地感知与理解场馆内外的视觉场景，生成准确丰富的语言描述，控制机器人执行智能志愿者服务任务。举例来说，它们可以为观众提供导览服务，协助视障人士进行引领和导航，解析视障人士需求并完成相应任务，帮助视障人士捡拾掉落的物品等。
高速运动多模态解说系统则可运用于乒乓球等比赛赛事中，清晰成像高速运动场景，捕捉体育比赛中的关键时刻，以脉冲流采集高质量视频数据。在高速脉冲相机的加持下，团队研发的X-Accessory一体化大模型工具链，设计多模态多语种视频解说系统，针对赛场实况或直播画面进行多个语种的解说和报道。
澎湃新闻从北京大学了解到，目前多模态大模型智能赛场服务系统已在杭州多个公共区域试用，高速运动多模态解说系统也已用于多场亚运赛事转播。
