利用光电的优点开发一种以人脑控制活动为基本原理的计算机,这种计算机将成为未来的信息处理工具。

神经网络(NNS)将成为未来计算机的基础,未来计算机将以大规模并行方式运转并通过自适应学习来处理信息。对于实用的“神经计算机”来说,模式识别、控制、专家分析等工作,所要处理的越复杂,则要求网络的并行程度越高。目前,关于用光接口连接专用光电设备阵列组成“光电神经网络”的研究已给信息处理业务带来了许多令人振奋的消息则上讲,自由空间的光连接能克服现今半导体计算机结构经历过的瓶现现象,使计算机大规模并行得以实现。目前提供的光学硬件尚存在一些需要克取的缺点。尽管如此,研究表明光电神经网络将是21世纪并行计算机的最重要构件。

在所有应用中,输入复杂信息经并行高速处理后所得到的输出通常是那些简单问题的答案。例如,在涉及机器人自动化的研究中,输入可能是障碍物视频图像,其输出则是回答“我向右转吗?”之类的问题,从这些相同或相近的答案出发,我们就能建成一个全自动化系统。

上述例子中那种计算机处理方法似乎与现有的人工智能系统相似,但它们的光电神经网络却是明显不同的。光电神经网络可以通过例子进行训练并有自适应性及模拟记忆能力。它们对二叉树问题的求解与传统计算机截然不同,光电神经网络能提供足够高的处理速度,光学连接结构适用于诸如计算机显像,个人接口系统等有大量信息需及时处理的地方。

光电神经网络之间也有不同,光计算结构和纯光学神经网络虽有细微差别,但通常只是定义上的问题。光计算结构能提供如AND、OR及XOR等函数的二进制计算,而神经网络却执行并行非线性模拟计算,钝光学神经网络不涉及并行电子计算,但在设备的输入输出端有光电接口,不同于光电神经网络内置光电处理器阵列。

神经网络原理

在神经网络中有许多简单处理器(通常是网络的净输入超过某固定值时才接通的单元)大规模地通过线性加权接口连接起来。之所以命名为神经网络并非要它精确描述人脑的活动,而是表明它相似于存在于人脑中的最基本结构。它们的确具有与人脑类似的功能,如具有通过例子完成处理任务而不需要用所要求的函数来编制详尽程序的能力。信息从相连接的单元流出,这些连接以权元素或神经突触使信号衰减或放大,网络输入就是给部分或全部单元提供确定的初始值,输出则可从最后被激活的部分或全部单元获得。确定网络如何处理的存贮器包含在加权触突或衰减连接中。“自适应”神经网络可通过例子学习,训练自己的触突权,最有趣的是它们能提供巨大的灵活性。

10.1

图1. 神经网络示意图

学习处理或训练突触权有两种主要方式,其一称为“管理”,即强制网络对某一输入产生所期望的输出,这就需要制造一台包含输入诸多例子和要求或目标输出的训练装置用来训练网络,使突触权调节到整个装置的实际输出和目标输出误差最小,一旦训练完毕,管理学习网络就“固定”下来,它们的连接不再改变,网络也就能简单地处理数据而无需再作进一步的适应了,第二种类型的训练是非管理式,所涉及的网络称为“自组织”。向网络提供一系列图案的连续输入,如果某一图案与先前某一图案所产生的输出相似,网络就会修正,以使两幅图案的输出特征与特定输出紧紧联系,这样便可实现成组数据的输入,使其用于数据压缩或更广泛的分类应用。对自组织网络不准备再作进一步的讨论,但其结构和硬件的考虑与所讨论过的管理学习网络相同。

尽管有上百种不同类型的网络(如Hopfield Net、Neocognition Kohome Nets等),然而它们都要求有大量的并行乘法和非线性处理。

网络规模是指输入神经个数和接口总数,以及它们某些功能的复杂程度与总体结构等方面的组合。网络越大就越复杂,其潜在功能也就越大,这好比常规计算机相关存储器(RAM)的大小一样。所需网络的规模与其应用有关。例如,预测股市趋势时,先前股票价格的输入数据可能相对少些,只有50个模拟值。作此类似计算的网络只要求有50个输入单元。一般接口的数量是N的平方,即要求有2500个接口。在语言识别方面,网络可用于识别单词,一个延时0.25秒特征宽带为2 KHZ常用单词,必须用一块有103个模拟输入信号的数据块表示。TV图像识别则要求有250000个信号输入,作用于我们视觉系统的立体彩色图像的处理N高达107,已制成的N低于100的电子仪器可以很好使用,而要制成N高于1000的并行电子仪器已不现实,这时只有光学设备和光电设备才是唯一解决问题的途径。

容易理解且应用最广泛的网络之一是多层视感控器。它由称之为反向误差传播监控法训练。由于所有公共网络的基本原理都相同。因此可以通过该网络了解OENN的执行过程,始于本世纪60年代,进一步发展于80年代的视感控器,由层间总体连接的单元层组成。数据沿一个方向由一层传到另一层,第一层输入,最后一层输出,所有单元都相同且有一非线性S形响应曲线,就是说它们的传输本身就有高低,至于说其绝对正负输出则是分别相对一个低水平的传输而言的,这里单元的输出和近似等于零。数据以向量形式输入第一层,每个单元传输其相应的分量值。输出亦是向量形式,其分量为最后一层单元的传输的输出,并行处理就是在每一层上进行一系列向量矩阵与权矩阵的乘法,然后再作非线性修正。从数学上讲,输出向量Ok由输入向量OKIK给出,即f(WkIk),Wk为第K层与K+1层之间的联接矩阵,f(A)为非线性标量函数(如反双曲函数f (A) =1/ (1+e-A))。因为是多层的,每一层都会把输出注入下一层,所以Ok=(Ik+1)。

对于事先确定好的训练装置来说,训练一个网络就是要让实际输出和期望输出之间的均方误差减至最小。从数学上讲,最后得到了常见并不断修正结果的反向误差传播法则。这里权矩阵随输入层与下一层误差δ的变化而改变,即?Wk∝IkδTk+1(T表示移位)。任何前一层的误差都可通过其后最贴近一层所产生误差的反向传播计算出来:δk∝Ok(1-Ok)WTkδk+1,对于一个多层网络,δn =T-On,这里T为处理器输入I1后的期望输出。矩阵代数各分量相乘的独立性为我们提供了并行执行装置,其中所有的乘法都能同时进行。

多层视感器的大多数并行装置中每层都有数量相近的单元。若网络实行并行处理,即输出能在输入的同一个同步脉冲周期里获得,那么网络的处理时间就受数据输入、输出的限制。若每层有N个单元,需用N时间来执行输入、输出数据(假定数据的接收来自或被传送到一常规中行计算机),这样处理复杂事物的数量级大约为N2。—台串行计算机的每一层将花费大约N2的时间去计算N2次乘法或加法,节省处理时间已使并行连接口成为大量输入网络的基础。

并行连接的需求是隐藏在使用光学神经网络背后的动力,因为光波非相干性为自由空间的光连接提供了并行性。电子连接的缺点是需要在孤立导体之间引线,通常是2维平面上的金属线。电子学连接这种众所周知的局限性将给某些简单网络带来错误,例如视感控器中,某单一导线就可能从诸多单元上汇集电信号,并使它成为众多连接的一部分。运用硅大规模集成电路技术及一维神经元阵列之间的平行连接即可制成视感控器网络。光电设备必定能同众多已被确认的技术竞争。这将从以下三方面努力:提供具有2维输入的大型系统——图像分析器;开发光学连接的双向性;可提供具有更复杂连接的复杂网络,这里只研究前两种方法。

神经网络装置的另一种重要形式是非线性处理器。目前在应用上还很困难的非线性光学效应得到传统电子技术的支持,这样就会出现了对神经网络光电子设备的研究,这样的网络中有用光连接的非线性电子处理的阵列。

基于对这种结构的考虑,光电神经网络很容易通过例子理解。从多层视感控器出发,我们考虑了两种有前途的硬件发展途径。第一用体积全息照相法作自适应连接,第二用固定的光连接,通过局部衰减或调节起连接作用的光束实现加权,此调节由空间光调制器完成,该调制器为大型独立调制衰减器或电子寻址像素阵列。

基于全息照相的动态系统

神经网络中大多数全息设备对单元某一层以平面波形式的输出进行编码,并让这些平面波穿过全息光栅后耦合到平面波上,再把它们作为单元下一层的净输入。每个2维单元阵列之间的特殊编码由富里叶变换透镜完成(如图所示)。同全息再现一样,光栅装置由能让相干扩展光束通过的输入掩膜(可能是一个SLM)和透镜组成,再让另一束相似的光(与第一束光相干)穿过全息材料使该光束改变并形成所期望的输出图像(参考光束必须输出平面波)。光束在材料中因干涉而形成光强度的周期性变化,用这样构造的光栅设备即可以从输入图像直接到输出图像。这样也就得到了适合的连接。

10.2

图2. 全息照相示意图

卤化银、重铬锰明胶(DCG)之类的全息材料及新近获得的掺铁铌酸锂,钛酸钡等动态光折射材料都具有能记录随光强变化而改变其光学特征(如透射率和折射率)的周期性晶格。全息材料一旦制成,它的每个晶格皆可看成是一个连接。连接强度由晶格距离及它的物理尺寸确定,这些连接就是权,在记录过程中,只有距离是动态变化的,一般按各光束振幅分量的比例记入晶格。对于自适应神经网络设备,全息材料必须是动态的,图像输入后晶格的不断变化即会显示出来,从原理上讲,这一切都是直截了当的。

对于视感控器,如果二光束的振幅分别对应输入及适合于输入输出单元的误差信号,那么其正确的外积就能得以校正。不过在大系统中,全息材料一定很厚(可达毫米级)。由于以下原因,光波与晶格的交叉干扰将使上述情况变得更加复杂。

一个已获得的大晶格可以耦合两列光波,其K矢量(平行于光波传播方向)被晶格光栅常量平分。由于晶格常量具有旋转对称性,所以同一个晶格能耦合多组光波。实际上这意味着两个高分辨率的(受衍射限制)二维单元阵列不可能用单元对之间的唯一连接绝对连接起来,这样,正确的输入输出数据安排形式必须从一开始就加以选择,更复杂的分析表明连接的可能数量级是M3而不是这里M4为衍射限制点的最大值。

代表单连接的晶格强度改变时,由于先前已记录晶格所发出基本光束的衍射,使全息材料中出现不应有的光波。用低效晶格即可解决这一问题。

晶格的连续记录可能导致晶格原先的记录被冲掉。容忍这点存在的网络才适合做动态全息装置。

如折光晶体之类的动态全息材料一般不可能很容易固定已训练好的全息。

在实用系统中,材料的调性及其不均匀将使上述问题变得更难解决,但这一方法的优点是能提供大规模并行(109连接/cm3或N=30000)及双向连接动态修正,因此它是实现多层视感控器网络的一种手段。当然,该系统仅有一小部分能力已得到验证。美国的Bell中心演示了一个高分辨率图像网络,该网络有完全互连相接对应N=105但有106连接的6个输出单元。美国的Northropin曾展示一个更有潜力的系统,该系统N=105,而可能连接数大于107。新动态全息材料的发现,晶格幅度值的更好控制及半导体激光作为压缩光源的发展,将使未来一代大型神经计算机的研究更具吸引力。

空间开关系统

一个可供选用的实现动态连接的方法是用某平面上的空间分隔光束作固定连接,该平面上自适应调节器阵列(SLMs)可用于对光束的调整或加权。从定义上看,这就是二维连接系统,它的连接数跟SLM的面积成比例。对任何给定值,它们提供连接的能力比三维立体全息方法提供的要小。SLM的可能尺寸一般用单位面积所具有的像素表示。100~1000个输出的中等规模网络最好用这种方法制造。超过上述规模时,用全息装置更为适合。

上述结构的一个简单例子是光的量矩阵倍增器(图3),输入单元发出的光经柱形透镜一维放大,再通过SLM加权,然后由另一透镜将其汇聚到正交方向放置的每个输出单元上。输入输出单元之间的连接由穿过SLM上调节像素的独特光束形成。这些光束衰减时即获得所欲得到之加权。处理复杂任务的大型层状网络是把这些光处理器串接起造成的,各层间配置光电装置阵列,提供所需之非线性接口。此基本向量倍增器只能处理一维信息,不适合处理更多有趣二维图像,不过光折射或衍射元件将导致二维图像输入、输出的放大或“扇出”,图4所示即为此例。透镜阵列或等效计算机产生的全息图把输入信息复现到图像平面上,其中输入信息散布到许多振幅编码点上。表示连接权的空间调节已获得。由于大面积探测器或更多光学元件的积累作用,在探测前即会发生“扇入”。

10.3

图3. 向量矩阵倍增器

10.4

图4,一般的二维SLM基神经网络

简单的视感控器及其改型装置在专家系统中得到了成功验证。如美国科罗拉多大学对太阳耀斑的预测,卡内基 - 梅隆大学对光吸收数据真伪的识别等都是成功应用的实例。更一般的SLM基神经网络在SLM的TV分辨率中已得到验证,该网络有105个连接,是美国宾州大学的Francis Yu研制的,而科罗拉多大学的简单向量矩阵倍增器结构有256个输入和6×104个连接。日本三菱公司研制的有35个输入和1800个连接的光电神经芯片更具商业意义。

用上述这些网络来说明目前光电设备的优点是很不够的,尽管更复杂的二维系统的调制装置的分辨率受网络规模的限制,但可用并行方式处理。希望它能输出具有视频分辨率的图像 · 这里所描述的二维系统,每一个矩阵元素或权都是一个空间分离的调制单元。调制器的期望分辨率为10 μm,这样,在一个10 cm的装置上就能提供10一个并行连接。更高分辨牟的图像处理任务则需要改用不受上述限制的另外系统,然而较低分辨率的图像处理仍可使用数据简化网络或稀少连接的网络。

图4所示的结构使用了空间光调制器作加权元件并使用了并行的光入/光出设备作光电连接。尽管SLMs可用砷化镓复合材料或微机制硅等制成,但液晶似乎是该设备的最佳选择,这是因为它具有低能耗及可与其它技术相匹配的特点,例如曾使用硅来作电子处理器底板,这里硅基电子设备作为探测器和每个像素上的液晶驱动器,它们的价格低而且能提供很大的面积,铁电液晶(FLCs)具有高速开关优势(<10 μs)足可以跟当前开关时间大约为50 μs的FLCs及开关时间大于10 ms的向列型液晶相匹敌。能储存永久数据,使该项技术更适合应用作空间开关光电神经网络装置。用液晶技术和硅底板处理制造设备是一个前景十分广阔的领域。

更新与训练所讨论的网络装置已经离题,网络装置中的权在其用电子方法记入SLMs前已由训练装置根据串行计算机模拟计算出来。由于实际存在系统误差,光处理机可作理想计算的设想是不可能实现的。为光处理机提供训练设备并用硬件的实际输出计算用作修正误差,已显示出其性能的不断改进。从原则上讲最佳设备应尽可能具有光导的SLMs及反向图像传播系统的相应属性。这一系统的研究将会随SLM技术的迅速发展而加快。

目前,人们研究光电神经网络的积极性很高,在全息图像设备研究方面。涉及该课题的研究小组有美国Cal技术研究院,科罗拉多大学、休斯公司和Bell中心、美国宇航研究中心及DRA等都是主角。SLM基的研究在美国宾州,科罗拉多和卡内基 - 梅隆等大学及英国伦教大学学院、爱丁堡和牛津大学里十分普遍,许多公司,如贝尔中心、日本NTT也都涉及此项研究。

未来展望

光电设备基本单元显示了使用这种硬件发展大型网络的巨大潜力。这种潜力所受到的重视多年来并无丝毫减弱,取得进展的相对缓慢表明了光电装置的难度,依我之见(众多同仁亦如是说),神经网络以其大规模及所提供图像的识别与理解的巨大潜力,将在今后的计算机应用中扮演非常重要的角色。由于自由空间光连接是唯一可预见的实现大规模并行连接的方法,因此这类网络的实现也就只是个时间和耐心的问题了。

[Physics World、1992年6月]