一种减少递归神经网络中神经元数量的方法

加拿大皇后大学的一个研究小组最近提出了一种减少随机递归神经网络(rRNN)的新方法，rRNN是一种人工神经网络，通常用于基于数据进行预测。他们的方法是提前在arXiv上发表的一篇论文中提出的，允许开发者最大限度地减少rRNN隐含层的神经元数量，从而提高其预测性能。

“我们的实验室专注于设计人工智能应用的硬件，”进行这项研究的研究人员之一Bicky Marquez告诉TechXplore。“在这项研究中，我们一直在寻找理解神经网络如何工作的策略，同时试图减少我们打算建立的网络中的神经元数量，而不负面影响它在解决任务时的性能。我们要解决的主要任务是预测，因为它一直是科学界和整个社会的巨大兴趣。”

开发可以从数据中预测未来模式的机器学习工具，已经成为世界各地许多研究团队的重点。这一点也不奇怪，因为预测未来事件可能在各个领域都有重要的应用，例如，预测天气、预测库存变动或绘制某些人类病理的演变图。

Marquez和他的同事进行的研究是跨学科的，因为它集成了非线性动力系统、时间序列分析和机器学习的相关理论。研究人员的主要目标是扩展之前可用于神经网络分析的工具包，最小化隐藏rRNN层的神经元数量，部分消除这些网络的黑箱属性。

为了实现这一目标，他们引入了一种新方法，将预测理论和机器学习结合到一个框架中。他们的技术可以用来提取和利用rNN输入数据的相关特征，并引导其隐含层的收缩过程，最终提高其预测性能。

研究人员通过使用他们研究中收集的见解，开发了一种新的人工神经网络模型，称为Takens inspiration processor。该模型由真实和虚拟神经元组成，在高质量和长期预测混沌信号等挑战性问题上取得了最先进的性能。

“我们模型的主要优势在于，它解决了由构成典型人工神经网络的大量神经元引起的问题，”马尔克斯解释道。“当考虑优化这种网络来解决任务时，这些模型中太多的神经元通常会变成计算成本高昂的问题。在我们的设计中包含虚拟神经元的概念是减少物理量的一个非常方便的步骤。神经元。

在他们的研究中，Marquez和她的同事还使用他们的混合处理器来稳定神经元兴奋性的心律失常神经模型，该模型被称为Fitz-Hugh-Nagumo。与其他标准神经网络相比，他们的方法允许他们将稳定神经网络的大小减少15倍。

“我们的方法使我们能够发现一些在网络空间创造的相关特征，这是成功预测的基本因素，”马尔克斯说。“如果我们能够识别并消除这些重要功能周围的噪声，我们就可以利用它们来提高我们网络的性能。”

Marquez和他的同事设计的方法是对以前用于rRNN开发和分析的工具的重要补充。在未来，他们的方法可以为更有效的预测神经网络设计提供信息，并减少其中包含的节点和连接的数量。他们的技术还可以使rRNN更加透明，允许用户获得关于系统如何得出给定结论的关键见解。

“我们专注于神经形态硬件，”马克斯说。“因此，我们的下一步将与这个随机循环网络的物理实现相关。我们的最终目标是设计出能够非常有效地解决人工智能问题的大脑启发型计算机：超快和低能耗。”

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！