我国盲人数量有1700多万，但为什么在大多数人的认知里，我们极少在街上看到盲人？这是因为，面对大量不安全因素，他们难以独自跨出家门。而如今，只需一枚摄像头和一对耳机，便能将画面转化成语言，描绘场景、提示风险，让视障者出行更安全、生活更便捷！
日前，在复旦大学自然语言处理实验室师生的努力下，基于多模态大模型“复旦•眸思”（MouSi）为视障者量身打造的“听见世界”APP上线，将成为视障人士的生活助手与智能管家。
2023年上半年，由复旦自然语言处理实验室开发的MOSS，被称为中国版的GPT。仅用半年时间，多模态模型“眸思”问世。“眸思”与MOSS同音，但和基于文本的MOSS不同，它能够理解并识别图片内容，致力于成为视障者的一双“眸”。
据介绍，基于“眸思”的“听见世界”APP，为视障者日常生活需求量身打造，设计了街道行走、自由问答、寻物等三种模式。
复旦大学自然语言实验室张奇教授说：“人工智能发展日新月异，科技应该要改变更多人的生活，希望‘眸思’能够帮助视障人士走出家门，让他们可以尝试更多工作，为人生书写更多可能。”
项目落地背后，是一支年轻的团队和开放的氛围。从本科生到博士生共25名复旦学子，及桂韬等多位教师、专家的加入，才有了“眸思”接续“MOSS”的成功。
张奇介绍，该项目的主导者，实际上都是“初出茅庐”的学生们。在组内头脑风暴会上，年轻学子总能提出开创性想法，能够找到另辟蹊径的解决办法。
为了更好地感受视障者的难处，团队成员同样模拟真实情境，蒙眼探索视障者“黑暗”世界，并邀请视障人士加入，进一步摸清真实而具体的需求。
在基于几亿张图片训练出的“眸思”大模型基础上，针对视障者提出的各类需求，团队又用上万张图片进行特殊样本训练，使“眸思”具备能够适配更多场景的能力。
今年上半年，团队将结合AR升级APP内的定位精度细化至亚米级别。下半年，团队希望将“眸思”升级到基于视频的判断。更多模式也正在开发中，比如能够服务盲人朋友点菜、读书的阅读模式，可以承担无障碍电影解说员工作的解说模式等。
在政府的支持下，团队计划与NGO组织、智算中心和硬件厂商等开展合作，致力于让视障者免费使用产品和相关服务。预计今年3月，“听见世界”APP将完成第一轮测试，在我国一、二线城市和地区同步开启试点，根据算力部署情况进行推广。
（通讯员：陈书灵 图片来源：复旦计算机科学技术学院）
