(来源:Nature Electronics)
例如,去电影院的时候,从明亮大厅走进黑暗电影厅时,刚开始眼前一片漆黑,过段时间后才能看清周围环境,这便是视觉暗适应过程。
而在刚看完电影从电影院走出来后,假如走在阳光下会觉得很刺眼,要等一会才能看清周围的景物,这一过程叫视觉亮适应,这和视觉暗适应过程正好相反。
受到视网膜结构和功能的启发,柴扬开始研究具备视觉适应功能的仿生视觉传感器。
他说,虽然此前也有类似工作的少量报道,但往往只能实现视觉亮适应功能,并不能模拟视网膜的暗适应过程,距离完整的视觉适应功能还有较大距离,最主要原因在于很难让同一个光电器件同时拥有光电增强和光电抑制这两种相反的特性。
为解决这一难题,该团队设计了光电晶体管型的视觉传感器,通过施加不同的栅极电压的来控制器件视觉亮适应和暗适应程度,从而模拟视网膜中光接收细胞和水平细胞的结构和功能,最终制备出仿生视觉适应传感器。
有潜力用于自动驾驶、人脸识别和太空探测
柴扬介绍称,该成果有潜力应用于自动驾驶、人脸识别和太空探测。在自动驾驶领域当汽车突然进入非常暗或非常亮的环境中时,视觉传感器可根据光照条件在传感端,实现光灵敏度的调节,进而准确感知图像。这样的好处在于,无需经过后端图像处理器或云端信息处理,大大提升了系统的信息处理效率。
人脸识别也是一个重要应用场景,当室外摄像头工作时,昼夜光强变化范围大,无论是白天的强光还是夜间的黑暗,视觉传感器能根据背景光强度,去调节光灵敏度从而准确识别人脸。
在太空探测领域,太空中或一些星球上的光强分布范围很广,把具有视觉适应功能的宽感知范围视觉传感器应用在探测设备上,除了正常光照条件下的感知外,还可以在极端光照条件下(极弱或者极强光)探测外界环境和识别目标。
这时,假如在机器人中使用具有视觉适应功能的仿生视觉传感器,将进一步提升机器人视觉系统的智能程度。
(来源:Nature Electronics)
对于后续计划,柴扬表示尽管此次展示了仿生视觉适应传感器的概念,并且具有较大的感知范围,但是视觉适应速度也和人眼的适应速度相当,因此要想应用在实际产品中,还有一系列问题需要解决。
柴扬曾表示其目标是“开发未来可广泛应用于半导体行业的器件结构”。该团队的后续计划主要有四方面:其一,进一步提升器件的视觉适应速度,以实现微妙到几十微秒量级;其二,进一步降低器件功耗,把器件现有功耗再降低 10 倍以上;其三,实现更大规模的器件阵列制备,近期目标是 100×100;其四,实现异质集成,将仿生视觉适应传感器和硅基控制电路集成在一起。
(来源:Nature Electronics)
另据悉,该团队的科研成果还曾受到香港特区行政长官林郑月娥的关注。2021 年 7 月,香港特区行政长官林郑月娥前来香港理工大学参观访问,柴扬科研团队通过实物演示和讲解的方式,向特首介绍了仿生视觉适应传感器。听完介绍后,林郑月娥非常感兴趣,并询问了该成果的应用前景和产业化问题,最后鼓励他们做出更多的成果。
放弃春节休息,大年初一坚持科研
据悉,此次发表发论文项目始于 2020 年,当时香港的新冠疫情非常严重,论文第一作者廖付友冒着疫情逆向而行来到香港加入柴扬团队。
图 | 柴扬团队于 2021 年 4 月在香港太平山顶合影
(左一为论文第一作者廖付友博士,左四为论文通讯作者柴扬老师)
在香港隔离结束后,廖付友立马全身心投入研究,在最初几个月,实验进展并不顺利,早期实验方案均以失败告终。团队成员一起反复讨论找出问题所在,重新设计方案之后,一步一步取得新进展。