Attentive Pooling Networks

其实就是那个 ABCNN的变种,只不过晚发了一段时间,感觉好悲惨


--------------------------


以前的attention 总是单向的,也就是我们往往attend答案,根据问题的表达,但是这样可能会有问题,所以这个文章提出了双向的attention-two way attention 具体的就是


我们看下面这个图

blob.png

在这个Q和A表达出来后,我们就可以给其中的某一部分给权值了,假设我们的问题的表达Q是d*m的 也就是d是隐层大小,m是句子长度,然后A是d*n的,n是答案长度,那么我们可以有一个矩阵就是我们的attention的,然后我们就开始计算这个attention 首先 这个G是m*n的 我们对这个m*n的矩阵按行取最大,按列取最大可以得到一个m维的向量还有一个n维的向量


然后这个m维的向量softmax一下就得到了一个概率矩阵。

然后我们问题和答案的表达就可以按照下面的这个

blob.png

======================================================================================

但是这篇文章最牛逼的是把QASENT(07-wang)的那个给发布出来了@!!!!

原味奉上~~

jacana-qa-naacl2013-data-results.tar.bz2

======================================================================================


最后实验也是一般般吧


留下您的评论

回复列表:

By王炳宁 on Feb. 22, 2016 | 类别 NLP

关于本站