计算机工程与信息技术学报

自组织潜在学习：增强 SOM 知识以训练监督神经网络，提高解释和泛化性能

上村亮太郎

自组织潜在学习：增强 SOM 知识以训练监督神经网络，提高解释和泛化性能

本文提出了一种称为“自组织势学习”的新型学习方法，以提高泛化和解释性能。在该方法中，自组织映射（SOM）用于产生关于输入模式的知识（SOM知识）。SOM 知识有时是多余的，并且在训练多层神经网络时不一定有效。引入本方法是为了关注知识中最重要的部分，该部分是通过考虑神经元的势来提取的。对于第一次近似，势是根据神经元的方差来定义的。然后，选择具有较大势的神经元作为监督学习中的重要神经元。该方法被应用于三个问题，即机器学习数据库中的人工数据、真实的第二语言学习数据和生物退化数据。在所有情况下，都发现就方差而言，势对于提取少量重要的输入和隐藏神经元是有效的。然后，泛化性能得到极大改善，特别是当考虑输入和隐藏神经元的潜力并且具有易于解释的连接权重时。