关键词:
L2,p-距离度量
Welsch损失函数
鲁棒性
非凸优化
双极限学习机
摘要:
鲁棒性能保证机器学习模型的稳定性和缓解异常值的负面影响,是机器学习和模式识别领域的热点研究问题之一.双极限学习机(Twin extreme learning machine,TELM)作为处理二分类问题的有效工具,不但继承了极限学习机(Extreme learning machine,ELM)扎实的理论基础,还进一步降低了计算成本,但面对噪声数据时仍然比较敏感,即鲁棒性依旧有待提升.本文以统计学和优化理论为基础,以建立鲁棒性更强的分类模型为目的,通过寻找更优的距离度量和损失函数来研究双极限学习机分类学习框架,达到有效抑制噪声影响和提升分类性能的效果,具体包括:1.鉴于样本数据中异常值点对模型分类能力的显著不利影响,本文提出了一种基于鲁棒距离度量的双极限学习机(Twin extreme learning machine based on a robust distance metric,CWTELM).该模型首次在TELM算法中引入了截断L2,p-范数距离度量和Welsch损失函数,增强了模型的鲁棒性.其次,为了加快模型的运算速度,本文还提出了 CWTELM中的最小二乘模型,即基于鲁棒距离度量的最小二乘的双极限学习机(Least squares twin extreme learning machine based on a robust distance metric,FCWTELM).最后,本文开发了两种高效的迭代算法,分别用于求解CWTELM和FCWTELM模型,并在理论上严格证明了这两种算法的收敛性.‘为了验证模型的鲁棒性和实际应用效果,我们在人工数据集和UCI数据集上进行了广泛的实验,结果充分证明了模型的可行性和稳定性.2.为了进一步提升CWTELM和FCWTELM模型的泛化性能,本文引入了流形正则化项将这两个模型扩展到半监督学习框架中并,提出了新的半监督鲁棒学习算法,即基于鲁棒距离度量的半监督双极限学习机(Semi-supervised twin extreme learning machine based on a robust distance metric,SS-CWTELM)和基于鲁棒距离度量的半监督最小二乘的双极限学习机(Semi-supervised least squares twin extreme learning machine based on a robust distance metric,FSS-CWTELM).其次,设计了两种有效的迭代算法来求解以上问题,这两种算法不仅容易实现,而且从理论上保证了合理的最优解的存在.在多个数据集上进行的大量实验表明,SS-CWTELM和FSS-CWTELM在鲁棒性和可行性方面具有竞争力.