贴福字,是中国春节传统习俗之一。2021年春节前夕,天津大学神经工程团队两位95后研究生——刘洋和罗睿心,通过团队自主研制的“哪吒”多脑协控智臂系统(以下简称“哪吒”),用脑电波共同操控智能机械臂,使其写出了一个漂亮的福字。他们“写”福字的过程被记录下来,该视频在微博、抖音等社交媒体刷屏。
首次尝试“脑—脑协同”模式
实验室里,刘洋和罗睿心戴好脑电采集帽,看着屏幕上的视图书写板,将注意力集中在构字笔画上。没有任何预存字体和外界辅助,仅靠脑电控制,二人通过“哪吒”齐“心”协力,让机械臂一笔一画地写出了一个福字。
“机械臂之所以能如此听话,主要是依托我们团队最新研发的超大指令高速脑—机接口技术。”罗睿心指着屏幕上密密麻麻闪烁的灰色方块对记者说,“当我们想输出某个指令时,就用眼睛注视该指令的执行区域,脑电采集帽捕捉到我们脑中产生的脑电波并将其传到系统后端,后端会对脑电波进行分析和解码,进而将其转化为引导机械臂运动的空间坐标,指挥它写出福字。”
本来完成这个写福字操作,一个人就可以,但单人完成时间会比较长,因此这次团队让两个人共同完成。在此次操作中,他们首次尝试了“脑—脑协同”的工作模式。
刘洋介绍,“脑—脑协同”并非简单的1+1=2。团队对系统现有108个指令集进行了改造,创新设计了基于“时—频—相”混合脑信息编码的“脑—脑协同”作业模式,将脑控视图空间分辨率由之前的9×12像元提升至12×18像元以上,大幅提升了脑控指令维度与输出速度,使“哪吒”的智臂能够完成更高阶的脑控动作。
回忆起实验前期,最让罗睿心印象深刻的,就是二人的任务分配环节。
罗睿心介绍,两个人完成同一任务,要形成合力,不能互相干扰,因此十分考验默契。“通过多次试验,最终决定以任务负荷作为刺激编码策略的指征,这样两个人的工作量基本相当,速度也最快。”
罗睿心还透露,为了体现传统文化,他们特意让机器臂手握毛笔写福字。“虽然比用普通笔写困难不少,但是脑控的效果让人满意。”她说。
“这次,我们写了个有点‘硬’的福字,未来可以增加指令集、多设置几个连接点,这样就可以写行书福字、楷书福字了。”刘洋说。
把科幻电影情节变为现实
性格活泼的刘洋,是活跃团队气氛的“主力选手”。“我性格比较外向,喜欢和同学朋友们交流,遇到困难也不会憋在心里,愿意和老师、同学多聊聊。说出来了之后会感觉放松很多,之后就又能活力满满地投入到研究中。”刘洋说。
“上初中看电影《阿凡达》,影片中主人公控制替身进行各种活动,当时我就想这么酷的情节何时能在现实生活中实现。”1996年出生的刘洋,是看着科幻电影长大的,他从小就对各种高科技产品很感兴趣。如今,他成为天津大学神经工程团队中的一员,照他的话说,“自己开始把科幻情节变成现实”。
罗睿心比刘洋小两岁,是个热情开朗的四川姑娘。从本科起,她就在天津大学读书,计划未来在母校继续读博。“在科研方面,我遇到问题一定要思考出为什么才罢休。”她说。
罗睿心儿时最大的梦想,是当一名救死扶伤的医生。虽然后来她投身工科,但进入天津大学神经工程团队也让她更接近自己的初衷。“‘哪吒’不仅会写字,还可以帮助残障人士,因为它的一个主要应用领域就是医疗康复。”罗睿心说,对于肢体行动受限的患者,“哪吒”将为他们提供“第三只手”,助他们一“臂”之力。此外,“哪吒”也可被应用到航空航天、机械制造等领域。
“写福字,对于‘哪吒’来说是小菜一碟,它还能做很多有价值的事儿,以后我们团队还要进一步挖掘它的潜力,让‘哪吒’带来更多的科技之福。”刘洋说。