下一页

One-shot&Zero-shot learning

现在只是说一个比较简单的 方法啊,然后来的新的句子,会产生新的类别,看它的隐含层（01表达）就可以生成新的属性-one-shot learning就是有的样本只见过一两次,人为的给分配一些attribute（这样做总比标新的数据要方便一些）2）然后学这个输入到这些attribute的映射,我们的这些类别对应的属性,就是叫做提取 attribute 如下图可以看到b和c都是先提取出这个attribu

By 王炳宁 on June 8, 2017, 11:33 p.m.

Meta Learning

然后我们根据这个L去从训练集选取支撑集S 也就是随便找两个标签是北京和上海的样本,叫作 support set 也就是one-shot learning中那每一类只有一个数据的东西 支撑集应该是在knn里面有说 蓝本什么的现在重点来了 其实我们看论文如果只看它的模型的话,所以这种模型不用看（怎么算f怎么算g） 主要是它对一个任务的介绍首先是 在很多情况下 我们不是一个类别只有一个标签,这一步就很清

By 王炳宁 on March 9, 2017, 9:46 p.m.

Improving Variational Auto-Encoders using Householder Flow

使之能够成为上面的那个然后我们有一个公里所以好了 现在我们可以看看在VAE里面怎么去找这个flow了我们的这个转换就是这个householder转化,因此在VAE的求导函数里面所有的东西都没有变,但是volume preserving的那种要保证所有的行列式都是1 因此在上面那个式子里面保证了左边的那个det是0（ln后）然后我们看看作者怎么用Householder Flow来计算的,可以看到其中

By 王炳宁 on Dec. 21, 2016, 4:21 p.m.

Variational Inference with Normalizing Flows

然后这个y=f(x)这种单调转化 则在y那个极小空间里面概率应该一样 也就是p(y)dy=p(x)dx 因此我们有p(f(x))=p(x)/f(x) 这个就是单变量的函数转化密度方程对一个变量进行函数转化后的概率分布然后在多变量的情况下这个就可以变成上面的那个式子了 也就是行列式的形式进行了K次转化后,the initial density ‘?ows’ through the sequence

By 王炳宁 on Dec. 21, 2016, 2:19 p.m.

HYPERNETWORKS

这个产生权值的矩阵叫作超网络,可以看到参数是由一个网络生成的,HYPERNETWORKS这是一篇介绍神经网络里面权值的东西以前我们的神经网络里面 权值都是随即初始化的,权值是用另一个网络产生的,在这个里面作者将这个超网络分成两层,而它产生的这个权值矩阵w1,你可以看到这个z不是像cnn里面那样是直接有一个层数的embedding,而是根据超网络进行改变, ,

By 王炳宁 on Dec. 20, 2016, 2:50 p.m.

Deep Reinforcement Learning

这些动作的reward（当然最后还要更新这些critic）,又是Deepmind的东西这个就是传统的DQN里面的东西,但是我们知道这个里面每一个动作都是在当前的state的基础上面来进行的,而不是只选哪一个最大值输出的损失我们可以看到另一个论文里面也有相似的介绍,也就是在连续的动作空间怎么执行我们的action 这个文章是去年的ICLR16的工作《CONTINUOUS CONTROL WITH DEEP REINFORCEMENT LEARNING》首先最开始的目标是这样的也就是标准的形式如果我们的target policy也有的话 那么我们可以把上式那个期望给干掉也就是有一个具体的评估损失的东西,但是我们最通用的一个步骤就是把action还有我们的状态同时输入到网络里面,那个actor的输出是一个softmax类似的东西,现在下面的是一个在推荐系统里面的用的DRL的东西, ,

By 王炳宁 on Nov. 27, 2016, 3:44 p.m.

An Actor-Critic Algorithm for Sequence Prediction

首先说一下什么是在深度增强学习里面的actor和critic首先actor指的是由当前的状态执行一个动作 注意 输入是状态 输出是动作critic是指的输入的是一个动作,也就是对我们的当前的这个动作进行评价的指标这个文章是用actor-critic来做序列预测 也就是我们常说的翻译模型整个算法在下面这个里面首先 我们要注意几个东西 就是以往的DQN里面 我们每次都是取一个reward最大的动作,所

By 王炳宁 on Nov. 25, 2016, 5:36 p.m.

Revisiting Semi-Supervised Learning with Graph Embeddings

我们把它和元特征拼在一起生成label y然后 我们的训练目标就变成这样了可以看到右边还是那个结构预测（非监督的部分） 和miklov的一样 是看内积的大小但是这种方法有一个不好就是我们的这个embeddeing必须是训练样本中出现过的 我们才能结合在一起得到训练的label y 举个例子 就是我们的feature x可能是没有在训练样本中直接出现过,但是他的embedding（或者子部分的emb

By 王炳宁 on May 31, 2016, 1:27 p.m.

DEEP COMPRESSION: COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION AND HUFFMAN CODING

最后在剩下的这些还保留的weight上面继续训练一般这一步可以将参数减小10倍左右然后第二步是量子化也就是把所有的weight分层,也就是上图中的蓝色或者红色橙色绿色中的一个当然这些shared weight的初始值有很多种更新方法 有三个,就是根据线性 从小到大平均分成k等分更新的时候就和上面的上面的那个图一样 就是所有的这个bin里面的权值共同更新呵呵 都是一个工程的方法,注意 上面 我们把w

By 王炳宁 on May 29, 2016, 8:25 p.m.

拉格朗日乘子法和KKT条件

其中最后一个是为了满足现在的方程和原方程的最优解一样所以现在我们分析 一下啊 如果A1/4 那么直接是约束没什么用 但是我们需要看看所有的方程是否都满足所以最后-看看当A1/4的时候哈 这样13 会让u=0 但是这样不行 因为有一个约束被否定了 所以x4=A所以 我们知道很好吧===================================最后附上来两个文件,所以下一步就有公式8就是上面那个

By 王炳宁 on May 17, 2016, 10:17 a.m.

Pointer Networks

竟然也投到了NPIS中去了~~~核心思想就是以前的s-to-s是在每次解码的时候输出字典中的一项,然后输出一个值u 最后这个u再softmax一下就是输入中每个状态的概率,输出是针对于输入的了公式如下,但是解码的时候,也就是在解码的时候还是会有一个di,我们每次解码器输出的softmax维度是变的了,然后就可以输出了,然后它和编码器中的每个隐含层加权求和, ,

By 王炳宁 on May 16, 2016, 9:13 a.m.

Noisy Activation Functions

我们的函数的导数现在是这样的以往的sigmoid和tanh函数会在0-1之间有很大的导数,而且作者想了一个来使噪声饱和区很大,也就是直到那个地方才饱和出来作者在这个工作里面定义了两个hard function作者为了hard,逐步拉回来（从上面到下面）现在看作者怎么把这个噪声的激活函数加进去的the amount of noise added to the nonlinearity is proportional to the magnitude of saturation of the nonlinearity现在的激活函数有下面这样的形式,在两端会饱和 比如sigmoid 或者tanh 在我们的输入很大的时候会饱和 这个很让人苦恼,其中的u（x）是一阶泰勒展开可能会很大所以作者这样的定义之后,这个工作主要是在选择我们的激活函数上面=====================================================首先以前的激活函数都是这样的,going from large noise levels (σ → ∞) to no noise at all (σ → 0).并且这个函数有以下特征也就是当x在很两端的时候导数很大, ,

By 王炳宁 on May 12, 2016, 4:04 p.m.

下一页
关于本站