刘尚
- 作品数：6 被引量：37H指数：3
- 供职机构：辽宁工程技术大学更多>>
- 发文基金：国家自然科学基金更多>>
- 相关领域：自动化与计算机技术更多>>
- 互学习神经网络训练方法研究被引量：28
- 2017年
- 由于BP神经网络具有表达能力强,模型简单等特点,经过近30年的发展,在理论和应用研究上都取得了巨大的进步,然而容易陷入局部最优和泛化能力差等问题却限制了神经网络的发展.同时,大数据的出现和深度学习算法的提出与应用,为神经网络向更类脑的方向发展提出了新的要求.针对上述问题,该文从模拟生物双向认知能力的角度出发,构造了一种新的神经网络模型——互学习神经网络模型,该模型在标准正向神经网络的基础上,引入了与其具有结构对称性的负向神经网络,利用正、负向神经网络分别模拟生物的顺向和逆向认知过程,并在此基础上提出了一种新的神经网络训练方法——互学习神经网络训练方法,该方法通过网络连接权值转置共享,正、负双向交替训练的方式对互学习神经网络模型进行训练,从而实现输入数据和输出标签之间的相互学习,使网络具有双向认知能力.实验表明,互学习神经网络训练方法可以同时训练正、负两个神经网络,并使网络收敛.同时,在此基础上提出了"互学习预训练+标准正向训练"的两阶段学习策略和相应的转换学习方法,这种转换学习方法起到了和"无监督预训练+监督微调"相同的效果,能够使网络训练效果更好,是一种快速、稳定、泛化能力强的新型神经网络学习方法.
- 刘威刘尚白润才周璇周定宁
- 关键词：神经网络BP算法人工智能
- 互学习神经网络训练方法研究
- 人工神经网络经过近30年的发展，在理论和应用上取得了辉煌的成就，然而如何在确定的神经网络结构下，选择网络权值更新方法和训练方法，以解决传统神经网络易陷入局部最优，泛化能力差等问题，仍是神经网络研究的重点. 针对BP神经...
- 刘尚
- 关键词：BP神经网络权值更新泛化能力
- 模拟生物双向认知能力的新型神经网络模型及训练方法
- 本发明公开了一种模拟生物双向认知能力的新型神经网络模型及训练方法，该新型神经网络模型由正向神经网络和负向神经网络构成，正向神经网络完成由输入到输出的顺向认知过程的模拟，负向神经网络完成由输出到输入的逆向认知过程的模拟，两...
- 刘威郭旭颖刘尚周璇周定宁李瑞丰郭直清黄敏张宇王江付巍巍张雪董艳荣里莹黄梓洋张立忠鞠兴军黄玉凯李雁飞刘欣徐煦赵玉国张琦
- 模拟生物双向认知能力的新型神经网络模型及训练方法
- 本发明公开了一种模拟生物双向认知能力的新型神经网络模型及训练方法，该新型神经网络模型由正向神经网络和负向神经网络构成，正向神经网络完成由输入到输出的顺向认知过程的模拟，负向神经网络完成由输出到输入的逆向认知过程的模拟，两...
- 刘威郭旭颖刘尚周璇周定宁李瑞丰郭直清黄敏张宇王江付巍巍张雪董艳荣里莹黄梓洋张立忠鞠兴军黄玉凯李雁飞刘欣徐煦赵玉国张琦
- 文献传递
- BP神经网络子批量学习方法研究被引量：5
- 2016年
- 针对浅层神经网络全批量学习收敛缓慢和单批量学习易受随机扰动的问题,借鉴深度神经网基于子批量的训练方法,提出了针对浅层神经网络的子批量学习方法和子批量学习参数优化配置方法。数值实验结果表明:浅层神经网络子批量学习方法是一种快速稳定的收敛算法,算法中批量和学习率等参数配置对于网络的收敛性、收敛时间和泛化能力有着重要的影响,学习参数经优化后可大幅缩短网络收敛迭代次数和训练时间,并提高网络分类准确率。
- 刘威刘尚周璇
- 关键词：神经网络BP算法
- 动态数据约简的神经网络分类器训练方法研究被引量：5
- 2017年
- 针对神经网络分类器训练时间长、泛化能力差的问题,提出了一种基于动态数据约简的神经网络分类器训练方法(DDR)。该训练方法在训练过程中赋给每个训练样本一个权重值作为样本的重要性度量,依据每次网络迭代训练样本的分类错误率动态更新每个训练样本的权重值,之后依据样本的权重值来约简训练样本,从而增加易错分类的边界样本比重,减少冗余核样本的作用。数值实验表明,基于权重的动态数据约简神经网络训练方法不仅大幅缩短了网络的训练时间,而且还能够显著提升网络的分类泛化能力。
- 刘威刘尚白润才周璇周定宁
- 关键词：神经网络数据约简
