清晰的视觉:仿生眼的承诺
根据疾病控制和预防中心的说法,良好的视力对日常生活至关重要。然而,大约有12万40岁及以上的美国人患有视力障碍,其中包括1万法定盲人。
虽然一些受影响的个体可以通过手术或药物治疗,并且基因和干细胞疗法的最新进展很有希望,但对于许多因视网膜、视神经或皮层严重退化或损伤而失明的人来说,没有有效的治疗方法。在这种情况下,电子视觉假体或仿生眼可能是唯一的选择。
加州大学圣巴巴拉分校计算机科学、心理和脑科学助理教授迈克尔·贝耶勒(Michael Beyeler)旨在将一种可以产生人工视觉的人工智能仿生眼带入主流,以提高盲人或视力受损患者的生活质量。
“我设想了一种智能仿生眼,可以在柜台上找到放错位置的钥匙,读出药物标签,告知用户人们在社交互动中的手势和面部表情,并警告用户附近的障碍物并勾勒出安全路径,”他说。
凭借他的项目“迈向智能仿生眼:用于治疗无法治愈的失明的人工智能人工视觉”,Beyeler被选为美国国立卫生研究院(NIH)主任的新创新者奖。美国国立卫生研究院授予的这项为期五年、价值1万美元的赠款是本周授予的5项赠款之一,旨在使极具创造力的早期职业科学家能够突破生物医学科学的界限,并追求旨在推进知识和增强健康的高影响力项目。
“我向贝耶勒教授表示最诚挚的祝贺,他的创新研究获得了享有盛誉的NIH主任新创新奖,”工程学院临时院长兼美铝材料杰出教授Tresa Pollock说。“他利用计算机视觉,人工智能和神经科学的最新进展的新方法具有巨大的潜力,可以发现新知识,并通过智能仿生眼为数百万人提供有用的视觉。
“我非常荣幸和兴奋地获得这个奖项,”贝耶勒说,他之前曾获得NIH独立之路奖。“作为NIH高风险,高回报研究计划的一部分,该奖项将使我的团队能够解释仿生技术背后的科学,这些技术有朝一日可能会为数百万患有无法治愈的失明的人恢复有用的视力。
正如我们所知,仿生眼将头戴式摄像头捕获的光转化为电脉冲,这些电脉冲通过植入眼睛或视觉皮层的微电极阵列传递,然后被大脑解释为视觉感知或光幻影。尽管当前的设备通常提供了区分光线和黑暗背景并看到运动的改进能力,但它们提供的视觉是模糊的,扭曲的,并且通常难以解释。
因此,对于试图开发视觉假肢的科学家来说,一个主要挑战是预测植入物接受者在使用他们的设备时“看到”什么。目前的视网膜植入物使用者没有看到光的焦点,而是感知到高度扭曲的光幻影,这些光幻影通常无法组装成更复杂的感知对象。因此,目前假肢产生的视力被广泛描述为与自然视力“根本不同”,并且不会随着时间的推移而改善。
贝耶勒采取了不同的方法。他不是旨在使仿生视觉尽可能自然,而是建议专注于如何创建实用和有用的人工视觉,这些视觉将基于基于人工智能(AI)的场景理解,并根据影响盲人生活质量的特定现实世界任务量身定制,例如面部识别,户外导航和自我保健。
他为这个项目制定的新颖的多学科策略将研究视觉的神经密码,研究如何将电极刺激转化为人脑可以理解的代码。
“我们希望解决神经科学,计算机科学和人机交互交叉点的基本问题,以实现智能仿生眼的开发,这是一种视觉神经假体,可作为人工智能驱动的盲人视觉辅助工具,”Beyeler说。
为了实现为视障人士提供线索的技术,就像计算机视觉系统与自动驾驶汽车交谈一样,贝耶勒必须首先了解视觉假肢如何与人类视觉系统相互作用以塑造感知。他说,该领域一个常见的误解是,设备微电极阵列中的每个电极都可以被认为是图像中的一个像素,或者显示屏上的一个微小照明区域,并且要产生复杂的视觉体验,人们只需要打开正确的像素组合。然而,他的研究表明,当前假肢提供的视觉体验是高度扭曲的,与电极数量无关。
“目前的设备没有足够的图像分辨率来传达复杂的自然场景。因此,需要简化场景,“贝耶勒说。
根据Beyeler的说法,简化视觉场景和创建有用的人工视觉的一种方法是通过基于深度学习的计算机视觉,该视觉可用于突出显示附近的障碍物或消除背景杂乱。计算机视觉是人工智能的一个领域,它使计算机和系统能够从数字图像、视频和其他视觉输入中获取重要信息,并根据这些信息采取行动或提出建议。计算机视觉依赖于摄像头、数据和算法,而不是视网膜、视神经和视觉皮层。
他说,他的项目将以患者为中心,让设计过程各个阶段的人参与进来,以测试他的团队的理论预测。这些患者将由他在全国和西班牙四所大学的合作者提供。Beyeler的团队将设计实验,探索植入物的潜力,以支持涉及物体识别,场景理解和移动性的实际任务的功能视觉。这种方法偏离了在诊所进行的典型视力测试,这些测试测量敏锐度,对比敏感度和定向辨别。
由于与仿生眼接受者合作的独特要求,例如不断的帮助、设置时间和旅行,实验仍然耗时且昂贵。贝耶勒提出了一个临时解决方案。
“更具成本效益和越来越受欢迎的替代方案可能是依靠基于模拟假肢视觉(SPV)的沉浸式虚拟现实(VR)原型,”Beyeler解释说。
经典的SPV方法依赖于佩戴VR头戴式显示器(HMD)的视力对象。然后,受试者被剥夺了自然观看,只允许感知HMD中显示的光幻影。这种方法使视力正常的参与者在探索虚拟环境时能够通过仿生眼用户的眼睛“看到”。然后,研究人员可以根据任何所需的图像处理或视觉增强策略来操纵视觉场景。
“该领域的挑战不是关于构想新的增强策略,而更多的是关于找到有效的视觉表示来支持实际的日常任务,”Beyeler说。“这就是为什么在我的项目中,我们利用原型系统,使我们能够探索不同的策略,并在将设备植入患者之前找出有效的方法。
他说,在未来,智能仿生眼可以与GPS相结合,以提供方向,警告用户周围即将发生的危险,甚至通过使用红外传感器扩展可见光的范围,提供他所描述的“仿生夜间视觉”。但贝耶勒说,在这一切发生之前,必须解决基本的科学问题。
“这个项目的成功将转化为一种新的潜在治疗无法治愈的失明选择,影响全球近40万人,”Beyeler说,他计划将他的团队的所有软件,工具和去识别数据提供给科学界。“总的来说,这将是我的实验室在视力恢复领域做出重大贡献并改变世界的绝佳机会。
免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。