EN|中文

您所在的位置:首页 > 资讯

周志华等提出RNN可解释性方法

2019-08-16

    结构化学习(Structure learning)的主要任务是处理结构化的输出,一般用于结构化输出的机器学习算法有各种概率图模型、感知机和SVM等。在过去的数十年里,结构化学习已经广泛应用于目标追踪、目标定位和语义解析等任务。然而,随着机器学习算法变得越来越复杂,它们的可解释性则变得越来越重要,这里的可解释性指的是如何理解学习过程的内在机制或内部流程。

    探索深度学习模型的可解释性通常都比较困难,然而对于RNN等特定类型的深度学习模型,还是有方法解决的。循环神经网络(RNN)作为深度神经网络中的主要组成部分,它们在各种序列数据任务中有非常广泛的应用,特别是那些带有门控机制的变体。

    除了我们熟悉的RNN以外,还有另一种工具也能捕捉序列数据,即有限状态机(Finite State Automaton/FSA)。FSA由有限状态和状态之间的转换组成,它将从一个状态转换为另一个状态以响应外部序列输入。与RNN不同的是,FSA的内部机制更容易被解释,因为我们更容易模拟它的过程。此外,FSA在状态间的转换具有物理意义,而RNN只有数值计算的意义。

    FSA的这些特性令周志华团队探索从RNN中学习一个FSA模型,并利用FSA的天然可解释性能力来理解RNN的内部机制。之前的方法主要关注结构化的预测或分类结果,这一篇文章主要关注中间隐藏层的输出结构。

论文:Learning with Interpretable Structure from RNN

论文链接:https://arxiv.org/pdf/1810.10708.pdf

    摘要:在结构化学习中,输出通常是一个结构,可以作为监督信息用于获取良好的性能。考虑到深度学习可解释性在近年来受到了越来越多的关注,如果我们能重深度学习模型中学到可解释的结构,将是很有帮助的。在本文中,我们聚焦于循环神经网络(RNN),它的内部机制目前仍然是没有得到清晰的理解。我们发现处理序列数据的有限状态机(FSA)有更加可解释的内部机制,并且可以从RNN 学习出来作为可解释结构。我们提出了两种不同的聚类方法来从RNN 学习FSA。我们首先给出FSA 的图形,以展示它的可解释性。从FSA 的角度,我们分析了RNN 的性能如何受到门控数量的影响,以及数值隐藏状态转换背后的语义含义。我们的结果表明有简单门控结构的RNN 例如最小门控单元(MGU)的表现更好,并且FSA 中的转换可以得到和对应单词相关的特定分类结果,该过程对于人类而言是可理解的。