三菱电气公司中心研究实验室表演了世界第一台能识别字母表26个字母的神经计算机。这种主要由光学装置组成的神经计算机表演的成功,几乎应归功于专为光学信息处理而研究的“数字学习算法”。
这种神经计算机的独特特征是它能通过学习自动获得知识,随着时间的推移,它将变得更加精巧,和计算机学习一样,这种特征来自用数值表示神经原之间互连强度变化的数字学习算法。
这种神经计算机的基本元件是发光二极管阵列、数字操作光学连接强度(重力)元件(名叫空间光调制器)和光电二极管阵列。发光二极管阵列和光电二极管阵列分别发射、接收神经原之间的信号,而光学连接强度元件则控制以数字学习算法为基础的神经原之间的信号发射/接收强度。
当输入不完整形式的两可字母时,该系统就会对与字母表26个字符极相似的字母作出判断,输出正确的字母。
除制造能识别字母表所有字母的第一台神经计算机外,三菱公司的电气成就还具有其他方面的意义。数字学习算法可能使采用光学连接强度元件的系统表演复杂的学习,这种元件易用高可靠性数值制造和操作。而且,目前正在把这种神经计算机与已建立的神经晶片技术结合起来,为全面发展实用光学神经计算机开辟道路。
发展背景
最近几年,仿造生物最高信息处理潜力的神经计算机的研究得到了加强。神经计算机基本上是一种采用多神经网络互连型的超并行计算机,即在神经原之间采用时空型信号发射与接收强度。
不难预料,神经计算机可以完成现有计算机难以进行的复杂信息的处理,例如高速型识别(声识别、手写体字符识别和图像识别等)。
神经计算机的研究有集中于两个领域的倾向:1)创造生物大脑结构和功能模型;2)把建立在现有计算机上的有效神经系统应用于高速型识别。
如果要生产具有高速处理能力、成本低廉的神经计算机,就必须开展硬件的研制工作。这个问题的关键在于得到大量神经原之间互接强度的方法。
在这种背景下,1988年2月三菱公司利用光的空间平行性成功地制造出实验性“光学互连神经计算机”。该系统使用了许多神经光学模型,每个模型都由光学连接强度元件、光电二极管、比较器和发光二极管组成。然后使这些神经原彼此连接,并与光学连接强度元件制成的矩阵耦合。这种实验系统证实了光学互接技术的实用性和潜在速度。
接着,三菱公司于1988年11月研究了有可能制造出世界第一个光学神经晶片的集成电路技术。这种晶片就是由发光二极管阵列、光电二极管阵列和光学连接强度元件集成的半导体(镓砷)基片,它对促进光学装置与电子装置的结合(例大规模集成系统)是非常重要的,这也证实了今后成批生产神经晶片的可能性和高速处理、高密度集成系统的潜力。
然而,这些实验光学神经计算机仅能识别3个卞符,离实际应用要求的能力还差得远。因此,对于开发适合光学信息处理和具备光学互接型重写能力的光学神经计算机的新学习算法还要进行补充研究。
发展过程
数字学习算法
光学神经计算机由三层(输入层、隐蔽层和输出层)组成,输入层与隐蔽层之间的所有神经原和隐蔽层与输出层之间的所有神经原都是互连的。输入层的几个激发神经原(输入信号=1)依次激发隐蔽层的几个神经原,接着激发输出层的几个神经原。输出信号与输入信号的关系是由各种经盾之间的互接强度决定的,而强度又随学习而变,以便提供符合需要的全部输入信号的输出信号。这种改变互接强度的规则称为学习算法。
对于传统学习算法或“逆传播学习规则”,神经原之间的互接强度必须采用模拟值,但目前正在研制中的可重写空间光调制器大多数是用数值操作(开/关,或光/暗发射)。虽然有些空间光调制器采用模拟值,但其可靠性较低,不适合学习功能复杂的神经计算机。
因此,三菱公司研究了能把数值用于连接强度(重力)的学习算法。
在这种算法中,模拟值神经原之间的连接强度变成了-1,0和1三个数值。学习由采用数字化连接强度的逆传播学习规则进行。然后修改神经原之间的连接强度,并用数值表示。多次重复这种操作过程,直到网络连接强度模式对各种输入信号形成收敛为止。
对字母表26个字母进行的计算机学习模拟试验表明,这种算法是有效的。尽管连接强度数字化会导致信息量减少,但其识别率差不多和模拟值传统学习算法操作所得到的识别率相同。
字符识别光学神经计算机
这个系统基本上由发光二极管阵列、液晶空间光调制器、光电二极管阵列和提供阈功能的比较器组成。如前所述,该系统由三层(输入层、隐蔽层和输出层)组成。因此,尽管采用两个空间光调制器是理想的,但对这种时分操作实验系统只用一个光调制器就够了。输入层有30个神经原(在5×6矩阵内显示字符),隐蔽层有32个神经原,而对应于“a”到“z”字母的输出层则有26个神经原。
操作原理如下:打开或关掉回答输入信息(字母表的一个字母)的发光二极管列阵,同时由数字学习获得的输入层和隐蔽层之间的连接强度从外存储器经过控制器写入空间光调制器。然后,这个结果在光电二极管阵列中被转换成电信号。参考比较器的阈对这些电信号进行处理,就可从隐蔽层的神经原获得输出信号。接着,这些信号使发光二极管阵列再开或关,同时把隐蔽层和输出层之间的连接强度从外存储器经过控制器写入空间光调制器。结果光在光电二极管列阵中再一次被转换,而具最高值输出水平的神经原则对输入信号提供回答。例如,如果最左边的神经原输出值最高,回答就是“a”,如果最右边的神经原输出值最高,回答则是“z”。
计算机识别字母表的能力试验导致了正确回答26个字符(小写字母)的正确输出。至于计算机对不太完整的输出信息,行为特征作出反应的相联功能,和计算机模拟结果几乎相同。
在目前的发展阶段,由于受到空间光调制器反应速度的限制,所以读出速度仅为1个字符/秒。然而,如能给输入 - 隐蔽层和隐蔽 - 输出层之间的两个空间光调制器提供独立硬件,那么这一装置的时分操作就不再需要了。这样就可把读出速度提高至光电二极管的反应速度,即达到1,000~1,000,000个字符/秒。同时,由于光学神经计算机执行全并行处理,所以即使为更先进的处理目的增大神经计算机尺寸,其处理速度(识别速度)也基本不变。
今后目标
今后,三菱公司研究人员打算研制即使在字符倾斜、平行移位和胀缩时也能识别字符的神经计算机,下一步将建立专门识别字符的光学神经晶片形式的神经计算机系统。
研究工作也将促进新研究的数字学习算法在识别声、火箭控制等神经计算机上的应用,最终目标则是研制通用、可编程序的光学神经计算机。
[Science and Technology in Japan,1990年3月]