异构融合的人工智能是一种多模态系统。驾驶自行车就是一个多模态任务，它需要语音识别，也需要视觉识别和追踪，这需要自行车上的电机或者传感器来发送和接受信息数据，而系统对两者信息处理的编码模式是不一样的，这就是所谓多模态。那么这个复杂的多模态任务就成了施路平团队验证其异构融合成果的展示平台。
对于“天机芯”的未来应用前景，裴京表示，由于这是一款异构融合芯片，因此不管是深度学习加速器还是神经形态芯片能够做到的事情，“天机芯”都能完成。同时，两者的结合能够完成一些原本单独无法完成的任务。
比如在运动视频分析中，若使用机器学习算法模型，由于传感器输出数据的速度有限且数据量大，通常会造成卡顿；用神经形态的方法，虽然数据量较少，但同时精度也会降低不少。而将两种模态结合后，则能在两者之间在代价和功能方面进行很好的平衡。
除了无人自行车，该芯片在自动驾驶汽车、智能机器人等领域上也有极大的发挥空间。此外，因其低能耗、低成本，这个芯片会在家庭和服务性场景中得到广泛应用。
据施路平透露，目前，“天机芯”已经在北京灵汐科技有限公司开始进行下一步开发。
专访施路平团队：如何理解异构融合?
DeepTech：如何理解异构融合？为什么说将类脑计算和机器学习融合是一个更好的做法？
施路平：异构融合有基于电脑的一套计算范式，也有基于人脑的一套计算范式，从大的思路上来讲，我们希望把这两个范式能够融合起来，因为它的特点是能够互补。
我们认为现在的计算机是将多维的信息转换成一维的信息流，主频越来越快，换句话说这是利用了时间复杂度；而在人脑中，一个神经元连接着 1 千到 1 万个神经元，这是利用了空间复杂度，且大脑是利用脉冲进行编码，换句话说这就引入了时间复杂度，因此代表了时空复杂度。
类脑计算就同时具备了空间复杂度和时空复杂度，这就是异构融合。事实上，异构融合的架构包含了多层的信息，有类脑和电脑的融合、计算和存储的融合、空间复杂性和时间复杂性的融合、空间编码和时间编码的融合，还有精确计算和近似计算的融合。
DeepTech：在实现通用人工智能的过程里，将人脑思维、计算机思维结合到一起的做法是不是业界、学界的共识？是否有其他的实现路径？
施路平：将两者结合的方法得到了很多业界人士和学者的认可，但核心的难度在于这是一个跨学科的研究，因此能够组织起多个院系共同研究的团队还不多。
此前所有来到清华交流的学术团队都认为我们这种交融和交叉模式是最成功的一个类脑计算的模式。同时欧洲也有团队将这种融合的模式作为一个课题提出。
DeepTech：如果是说我有两个芯片，一个芯片是类脑芯片，一个是电脑芯片，那么两个芯片能在同一个机器人身上运行实现异构融合效果吗？
施路平：这样不能实现异构融合。你这个问题在论文审稿的过程当中讨论过。从原理上讲可以，但是从实际上讲很难。为什么很难？两个芯片有不同的接口，其速度、性质、编码匹配，运行起来很困难。经过了反复论证，审稿人最后接受了我们的解释。
有审稿人问，同一个芯片上两个模块的协作和两个不同模块的芯片协作有何不同？要理解这个太复杂了。这相当于大脑的黑匣子，我们对大脑知之甚少，对左脑和右脑的协作知之甚少。这也是我们碰到的最难的问题之一。
DeepTech：在这个无人自行车试验中，我们能看到的哪些方面（或功能）是体现模拟人类大脑的，哪些方面（或功能）是体现机器学习算法的？
邓磊：自行车的语音识别、环境感知、平衡控制、避障等功能都需要背后的模型算法提供支持才能实现，这其中就包括了不同模态的模型。如语音识别、自主决策以及视觉追踪是模拟大脑的，而目标探测、运动控制以及躲避障碍等，则需要通过机器学习算法完成。
