NLP

Unsupervised Machine Translation-Part 1

This step is a primal step for the alignment. Given two word embeddings and the corresponding word in English &#39 In a word

By 王炳宁 on Feb. 20, 2019, 6:13 p.m.

A chinese automatic poetry generation sysytem

if the model generate a sequence that contains the keywords if you input a word such as &#39 the system should generate poetry based on some keywords. In this setting

By 王炳宁 on Jan. 29, 2019, 2:17 p.m.

基于关注机制的神经网络机器翻译实战

nn.Linear(*&nbsp nn.Linear(n_inputn_input) 我还实现了很多模型

By 王炳宁 on Jan. 22, 2019, 2:58 p.m.

推理的几个概念

a frankfurter heated and served in a long split roll then one must deduce thatany hot dog served in a split roll is a sandwich.induction是从一些很小的事件里面归纳出来一些statement,推理蕴含蕴意看到 inference 主要就是我现在SCT-mc做的这

By 王炳宁 on Sept. 1, 2017, 4:22 p.m.

Text Summarization using Abstract Meaning Representation

然后再通过这个浓缩的表示生成最后的那个句子其中的一个 AMR的例子还是根据句法的,所以咱们看看这个他是怎么做的、Abstract Meaning Representation这一段非常重要,就是首先通过amr获取一些浓缩的表示,可以通过句法来搞,就是大概介绍了一下什么是 AMR 也就是谁对谁做了什么事这种结构然后这个工作,节点是一些concept 然后边是关系, ,

By 王炳宁 on June 7, 2017, 10:57 p.m.

语言学里的语法学

（程度状语）Theboyneedsverymuchthepenboughtbyhismother./男孩非常需要他母亲买的那支钢笔,状语修饰动词、形容词、副词或全句,表示时间、地点、目的的状语一般位于句子两头,almost）的副词状语通常位于、助动词、之后,男孩需要一支钢笔,（宾语较长则状语前置）Theboyreallyneedsapen./男孩真的需要一支钢笔,通常位于被修饰的词之前,Thebo

By 王炳宁 on April 25, 2017, 3:23 p.m.

LEARNING TO COMPOSE WORDS INTO SENTENCES WITH REINFORCEMENT LEARNING

就是增强学习首先以前人家的任务里面这个tree的结构都是已知的,这个任务里面作者用增强学习决定这个树的结构modelTree-LSTM 首先得有一个表示树的结构,那么最后的reward就是where we use W to denote all model parameters (Tree LSTM,也就是我们的这个reduce还有shift动作都是可以直接学（训练集有测试集没有）或者用的（训练测

By 王炳宁 on Nov. 30, 2016, 10:01 p.m.

Learning Concept Hierarchies through Probabilistic Topic Modeling

还有一些词在这个主题下的概率就是传统LDA的那一套然后我们可以对词语进行排序,这样就完成了概念抽取的过程然后是概念分类,因为这里是为了要对topic进行建模,注意这些词语是从那些包含主题词的句子中抽的,通过一个pos工具找出那些 Noun + Noun,然后有了这些指标我们再进行下一步就是提取一些关键的词This step is followed by a sentence extract

By 王炳宁 on Nov. 30, 2016, 5:38 p.m.

LEARNING A NATURAL LANGUAGE INTERFACE WITH NEURAL PROGRAMMER

这个文章是用来实现类似semantic parsing的东西==========================================是在ICLR16的文章《Neural programmer,可以执行查询等任务模型是这样的然后有几个概念我们需要注意到就是这个文章里面的主要核心主要是我们这个里面有这个table 就是有这个类似于背景知识库的东西这篇文章主要就是对去年ICLR的东西的一点

By 王炳宁 on Nov. 29, 2016, 5:26 p.m.

增强学习NLP应用

以后再DRL的东西用在NLP的都放在这个下面吧-Deep Reinforcement Learning for Multi-Domain Dialogue Systems这个是主要有很多的domain,也就是取最大的期望回馈-这个文章的一个主要的亮点在我看来是下面这几个东西也就是让减少词语空间,然后我们每一个domain都有自己独子的一个网络,做简化也就是把不常用的词换成常用的词,,

By 王炳宁 on Nov. 29, 2016, 12:49 p.m.

Deep Reinforcement Learning with a Combinatorial Action Space for Predicting Popular Reddit Threads

然后我们知道reward就是上面的那个红框框的分然后取了这个action之后的状态就是新的N个评论呵呵呵呵DQN里面把状态和action拆开了,当作当前状态,然后action是我们从当前n个评论里面找k个评论出来,我们知道reddit上面针对某一个post会有一个评论我们根据这个post的评论来判断某一个评论是不是会成为一个热点的话题,这个就是硬生生的在reinforcement学习上面做我来

By 王炳宁 on Nov. 25, 2016, 11:15 a.m.

QUASI-RECURRENT NEURAL NETWORKS

得到时间序列的东西注意现在所有的循环的操作都是只有这一点了而这个循环的式子比最上面那个传统的花时间的LSTM里面的循环简单多了,因为是随着时间序列的所以每一步都要算很多sigmoid tanh等操作所以这样很费时间这篇文章的核心就是我把费事的那些操作比如sigmoid 还有矩阵乘给从循环中拿出来,有一些输入信息Z 还有一些LSTM的门然后我们再对这些进行循环操作,就是每一个时间步骤单独

By 王炳宁 on Nov. 24, 2016, 4 p.m.

Modeling Rich Contexts for Sentiment Classiﬁcation with LSTM

and therefore long-range contexts are visible to a cur- rent tweet. We collected about 15k tweets con- sisting of over 1.6k tweet threads of 51 topics. We should notice that a tweet thread forms a tre

By 王炳宁 on May 31, 2016, 1:01 p.m.

Sentence Similarity Learning by Lexical Decomposition and Composition

linear and orthogonal可以看到这个就是我们要解码的对象就是找到相似的词语和不相似的词语首先是rigid 也就是很严厉的呵呵两个向量在空间中怎么可能完全一致呢这个sihat肯定是学出来的不可能等于的孩子然后线性的就是也就是相似的是自己的一个加权（阿尔法）然后我们再看看最后的那个正交的是什么样其实就是几何学上面的正交这个很妙然后把这三个再加权平均一下就得到了这个解

By 王炳宁 on May 28, 2016, 12:44 a.m.

Ask, and shall you receive?: Understanding Desire Fulﬁllment in Natural Language Text

然后看看最后这个要求是不是被满足,最后看看他的这个愿望是不是被满足了首先得有数据集,这个desire的最后判断都是由这个上下文来的然后看看作者提出了几个模型来解决这个问题,所以作者最后就是用了一个结构化的,然后看看是不是能够推出来这个desire expression 当然这个desire expression已经被转化成陈述句了2）unstructure 也就是把整个背景文档看成一个整体,th

By 王炳宁 on May 26, 2016, 11:05 p.m.

Neural Summarization by Extracting Sentences and Word

首先作者是用CNN把每个句子的语义表示出来,attention来源是当前的h_t然后我们对于文章中的所有的句子的attention weight做softmax 然后以前文档的这个就表示出来了,作者在这里用的是LSTMs注意st是CNN得到的句子的语义,这个模型呵呵呵呵作者还在这个文章中用了一点encoder-decoder的方法预训练了一下CNN,也就是我们预测的记住这里的第一行的ht还是上

By 王炳宁 on May 15, 2016, 9:42 p.m.

Generating Factoid Questions With Recurrent Neural Networks: The 30M Factoid Question-Answer Corpus

在计算的时候是是Enc(F)和前一个矩阵的隐含层拼到一块然后直接映射到一个三维的输出然后sigmoid一下就是最后这三个attention值呵呵呵其他的东西就非常ad-hoc了包括怎么样选取三元组还有在训练的时候把triple的名词代替成一个placeholder等等这个图是加了不同的embedding的效果,就是把三元组用向量表示用transE训练一下,所有的训练集都是simpleQues

By 王炳宁 on May 14, 2016, 11:06 p.m.

Recursive Neural Conditional Random Fields for Aspect-based Sentiment Analysis

就是看看这个opinion 是不是好的但是现在加入了aspect的检测,就是屏幕啊电量啊什么的 opinion 就是指好啊耐用啊什么的这个是情感分析里面的两个部分,我们要看看是情感点还是aspect的所以就是序列标注任务首先是先把一个句子依靠依存句法树用recursive neural Network表示出来可以看到是这个样子然后根据以前的那种网络结构我们就是一个词的embed

By 王炳宁 on May 13, 2016, 9:26 p.m.

关于本站