上一页 下一页

Neural Headline Generation with Minimum Risk Training

我们首先根据现在的这套参数直接生成一个我们的headline y 然后定义我们的这个整个句子和真正的目标的句子的损失函数或者loss如下,就是直接是这个句子的生成的概率当作前面的,就是x也给你了y（headline）也给你了然后让你优化目标的概率,一般很小但是两个句子的语义差别一般用ROUGE 这个是衡量两个句子语义相似度的一个东西,我们细细来说以前的主要是这样就是训练目标是每个字根据上一个字然后

By 王炳宁 on May 9, 2016, 4:29 p.m.

Convolutional Neural Networks for Text Hashing

记住 右上角的B是已经学习出来的致密的0 1 表示 具体怎么得到的 其实也不清楚 反正这个B就是最后我们这个框架表示完之后的一个目标,B一般是这样获得的现在有很多标准的方法可以得到这个B 就是谱聚类那一套这个是相似度 右边的表示最近邻 我们看到这个东西其实是先预处理一下然后可以做了===============================好了 他们现在已经有了一套训练集了 训练的目标就是这个B

By 王炳宁 on April 15, 2016, 11:47 p.m.

REASONING IN VECTOR SPACE: AN EXPLORATORY STUDY OF QUESTION ANSWERING

来表示这个规则比如有下面的这个东西其中fmg都是实体的向量缩写而右边的那个clues是指的 x把y给z的这种关系,和包含者的关系,不仅仅是包含和被包含的关系了,所以可以都用这种方法来搞定作者比较的东西在下面这个里面体现（下面是以前的实验的结果）而作者用这种矩阵操作的方法得到的结果如下所示所有的都是非监督的 真心牛逼啊,and logical reasoning.==================

By 王炳宁 on Feb. 26, 2016, 3:06 p.m.

Combining Retrieval, Statistics, and Inference to Answer Elementary Science Questions

我们可以进行下一步对于每个sover的每一个候选答案i 我们可以设置一个东西来表示他这个特征fs 我们把这个过程成为 calibrated-因为我们的每个sover不仅仅有输出的确信度,还有一系列的特征表示这个 所以对特征的组合也要归一化然后对于某一个候选答案的确信度,而是用了一个two step的方法1）对上面的五个sover 每一个sover其实都有很多特征,作者最后将这几个方法结合在一起的不

By 王炳宁 on Feb. 22, 2016, 9:24 p.m.

Recurrent Memory Network for Language Modeling

另一个是为了表达我们的权重算的方法和以前的一样 就是这样p t = softmax(M i*h t )但是为了描述我们的顺序 作者加了一个东西其中的 T可以表示为位置矩阵然后就是表达最后就是和隐层一起表示了输出,r t is a reset gate. 所以最后的htm就是mn的输出 可以当作者这个词的隐层表达用一个图表示就是这样注意这个模型有两个表达,我们将以前的若干个词表示成我们memory

By 王炳宁 on Feb. 21, 2016, 10:28 p.m.

MAP和MRR

然后我们这4个答案检索出来3个 分别排在我们检索的第1,所以对于每个检索,每一个检索的答案有很多,还有一个答案没检索到那么我们的这个问题的检索的正确率就是,然后我们看这些答案的位置的加权平均比如 有一个检索a 应该有4个答案,我们看正确的答案你这个系统排在第几位,注意这个一般指的是只有一个正确答案,（1/1+2/3+3/8+4/无穷大）/4=51%然后所有的检索平均一下就是MAP了 也很直观吧,

By 王炳宁 on Jan. 17, 2016, 1:59 p.m.

Theano RNN in-build-in funtion

self.N_hidden)) self.b_o = theano.shared(np.cast[dtype](np.random.uniform(b_o_init[0],self.N_hidden)) self.b_i = theano.shared(np.cast[dtype](np.random.uniform(b_i_init[0],self.N_hidden)) self.b_f = theano.shared(np.cast[dtype](np.random.uniform(b_f_init[0],N_hidden)) self.W_ho = theano.shared(self.sample_weights(N_hidden,self.N_hidden)) self.W_ho = theano.shared(self.sample_weights(self.N_hidden,size=self.N_hidden))) self.W_hy = theano.shared(self.sample_weights(self.N_hidden,size=self.N_hidden))) self.W_xc = theano.shared(self.sample_weights(self.N_in,self.W_co) + b_o) h_t = o_t * self.act(c_t) y_t = sigma(theano.dot(h_t,,

By 王炳宁 on Jan. 12, 2016, 7:46 p.m.

上一页 下一页
关于本站