ML

上一页下一页

Fast Supervised Hashing with Decision Trees for High-Dimensional Data

也就是 -1 1的值作者用了这个方法所以现在我们的优化目标就变成了下面的这个目标函数,后面我们会看到怎么得到这个b===========首先我们的东西是最后要优化的目标,把这个cnn的输出转到汉明空间是这样的然后我们可以看到其实就是把cnn的输出给映射到一个新的空间里面现在的优化目标就变成end-to-end的了,在这里作者其实映射到的空间不是 0 1而是 -1 1现在我们可以在汉明空间计算两个样本的相似度,现在我们还没有具体的说到底怎么去得到这个hk(x) 也就是如何得到一个样本点的code但是我们的样本点的code 必须是满足上面的这个形式也就是一定要使上面的这个最小,而且zk^2=1现在其实就是优化上面公式的第三行Here z?denotes a binary code in previous bits.注意在作者的方法中,可以看到其实参数还是非常多的然后对于训练目标,首先我们的训练集可以分为好几个block然后优化目标是这个block内部的东西作者构造block的方法就是随机采样,,

By 王炳宁 on May 10, 2016, 9:01 p.m.

Deep Networks with Stochastic Depth

就是根据名字也能看出来就是deep learning里面隐含层的数目不一样====================================首先我们看一下Residual Networks (ResNets) 是什么样子模型是这样就是每一层除了由原本的输入也就是Hl-1现在再加上一个原来的映射也就是id（indentity mapping）它的示意图是这样的这样做的一个好处就是我们知

By 王炳宁 on May 6, 2016, 10:35 p.m.

Quantifying the vanishing gradient and long distance dependency problem in recursive neural networks and recursive LSTMs

最后的结果可以看到我们的LSTM—RNN还是能够很好的处理不同深度的问题但是那个RNN就不行了-实验三是看看最后那个误差是不是会exploding 或者vanishing它定义一个检测这个目标如下if the ratio 1,可以看到蓝色的是LSTM-RNN的准确度的boxplots 红色的是RNN的我们可以从图中发现当句子距离一大 RNN就不行了但是LSTM还是可以撑一段时间的-刚才的第

By 王炳宁 on April 18, 2016, 10:24 p.m.

FITNETS: HINTS FOR THIN DEEP NETS

we choose the guided layer to be the middle layer of the student network.也就是我们只需要在两个网络的中间加入就行了,教师网络已经有了一个函数（其实就是前向网络w1w2w3.）然后我们的目标就是让学生去mimic这个所以作者提出的一个就是其中uh代表教师网络隐含层的输出,先训练比较简单的样本,然后再总体上面KD注意到teach

By 王炳宁 on Feb. 26, 2016, 12:39 a.m.

ALL YOU NEED IS A GOOD INIT

首先是我们需要对所有的网络的权值矩阵进行一个标准化,这个过程可以依靠SVD或者QR分解来做,这个过程可以依靠刚才那片文章里面的方法来实现,然后对矩阵进行分解,往往要初始化其中的参数这个文章就对这种初始化的方法给予了比较好的方案================首先这个文章是在《Exact solutions to the nonlinear dynamics of learning indeep

By 王炳宁 on Feb. 25, 2016, 1:15 p.m.

Deeply-Supervised Nets

m表示层数最后的这个东西我们的参数表达就是现在,所以这个γ应该也是跟我们的层数有关）然后前面的α m表示的是我们对于这个隐含层判别能力的权重,其中Q表示输入经过一次变换之后的表达,Z表示的是经过pooling之后的表达,a discriminative classi?er trained on highly discriminative features will display better p

By 王炳宁 on Feb. 25, 2016, 9:44 a.m.

Batch-normalized Maxout Network in Network

其实标准的CNN就是一个卷积核弄出来好多然后pooling 现在是在多个卷积核上面进行MLP使之逼近任意的函数,我们可以看到现在这个NIN用的是标准的RELU当作每一层的激活函数,所以我们的现在的表达就是其中这样我们的这个层就可以逼近任意一个凸函数了,的maxout 其中k=5原文中还证明了为什么这个东西可以逼近任意的凸函数======================================然后,而且最后求max是凸函数,etc.).这个就是标准的东西用的是RELU当作激活函数,所以我们有一个方法就是用batch normalization作者提出的MIN Architecture 就是这样的一个网络也就是每两层之间是NIN,j上面max的However, ,

By 王炳宁 on Feb. 24, 2016, 7:38 p.m.

Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

就是在inference的时候我们的输入就不是以这个batch的均值还有方法来标准化了,所以我们必须对每一层的输入也进行标准化We de?ne Internal Covariate Shift as the change in the distribution of network activations due to the change in network parameters during

By 王炳宁 on Feb. 24, 2016, 9:13 a.m.

CONVOLUTIONAL NEURAL NETWORKS WITH LOWRANK REGULARIZATION

然后我们对剩下的这个矩阵进行svd变换得到了我们的这个目标的参数,所以我们经常需要对矩阵进行低维度分解来得到正确的表达传统上我们的卷积矩阵是一个四维的张量,所以K个就可能是K有了这个我们就可以对最上面那个式子重新进行处理了我们可以看一下这样做的好处============================仅仅通过原始的卷积操作也就是最上面的那个式子复杂度是O(ddNCXY )但是现在我们的复杂

By 王炳宁 on Feb. 23, 2016, 3:36 p.m.

BLACK BOX VARIATIONAL INFERENCE FOR STATE SPACE MODELS

we borrow from the toolkit of the standard Kalman ?lter. In an LDS model with Gaussian observations,the posterior is a multivariate Gaussian with a block tri-diagonal inverse covariance. This block-tr

By 王炳宁 on Feb. 20, 2016, 9:02 p.m.

Occam’s Gates

说实话这个文章不知道放在那个目录下面因为即是RNN的模型又是语言里面的应用===================================================================讲的是LSTM的东西但是加入了attention出发点很简单就是我们在表达一个句子或者一个序列的时候往往只会注重某一部分一个句子中只有一点点是有效的但是我们的RNN则是每个字词都是相同的权重但是这个不太好但是往往我们的LSTM或者其他的只是在我们的生成的时候给一个权重最后的所有的东西都是在Ht里面并不是在将每个Xt加入的时候就考虑到它的权重和在全局中的应用所以我们现在可以有一个显式的注重某个输入或者让某个输入不起作用的方法所以这个东西就叫做奥卡姆剃刀原理我们可以对比一下它和以前的LSTM的不同可以看出来最大的不同就是在输入的时候我们就有一个门来控制这个输入的大小或者说这个句子的重要性最后的这g occam就可以当作我们的attention weight然后我们的门的计算也和标准的一样是线性或者双线性的然后我们为了让有些门比较小有些门比较大所以对其中的门加了一个L1约束这个和普通的岭回归意思一样就是要表达一个东西我们不是用所有的特征而是只是用其中的一部分就可以了所以我们在attention的时候也是一样的原理但是上面的这个式子有一个缺陷就是在训练的时候容易陷入到局部最优解也就是所有的gates非常近所以有一种新的训练策略,即逐步增大权值以上就是这个模型可以看出来最后就是加了一个局部attention的作用最后在 paraphrase detection情感分析和babi20上面做了实验-整体文章有点简单模型描述的不太详细, ,

By 王炳宁 on Feb. 19, 2016, 9:45 p.m.

Transfer Learning

因为我这个任务分了两个部分,A Survey on Transfer Learning.pdf主要就是将一个任务的知识用在第二个任务上面,但是我现在的这个MC里面要是用外面的知识也只是部分的用而不是整个的用,所以还是要分开的处理, ,

By 王炳宁 on Jan. 17, 2016, 4:26 p.m.

CRF

而且主要是输出（隐变量）怎样以概率输出输入（x）.但是判别式模型主要是将他们联合在一起进行构建,但是一般还是叫后者的比较多参数学习现在我们有了模型,我们得有下面的这个概率注意上面公式在推导的时候3.10可以不要其实然后我们可以看到其实3.12比3.11少的就是那个p(x)现在看看怎么进行推理有了这个之后,整体的概率有然后我们现在把整体x的概率表示出来所以我们可以看出来这个东西其实就是不断的往前传递注意每一步都是求和,但是有向图就可以了在有向图里面是这样表示整体的概率的其中v可能就是指其中输出的某一维 pai（v）表示和这个输出的点的相关的可能全部是输入所以他们的差别就是在这个里面不是统一的构造了,而且最后的概率是由输出判别出输出的概率1）对于判别式模型来说,就如下而且还有好了现在判别式的写成一个概率只和的形式就是下面这样-(2)比较1和2 可以看出来参数有所变化呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵呵作者说,后来的两个在图里面是因为以前序列的两个只是考虑输出（隐变量）之间的连续的这种关系,,

By 王炳宁 on Dec. 8, 2015, 10:55 a.m.

变分推断

一般的假设我们的输入是x（n维）然后我们有一个隐变量z 是m维的我们假设additional parameters α that are ?xed.一般的 bayes那一套就是也就是对一个隐含变量的后验就是它的先验的一些做法有时候为了求得这个隐变量需要大量的计算就像上面的那个因为分母上面的积分所以我们的计算很辛苦现在我们可以考虑将这个东西换一下换成一个可以计算的要不然intr

By 王炳宁 on Dec. 6, 2015, 11 p.m.

好文章之-UNIFYING DISTILLATION AND PRIVILEGED INFORMATION

in addition to training data.比如词向量先在语言模型上面获取知识然后在我们的关系推到上面重新获取知识2 DISTILLATION这个第一步也是先和普通的一样然后这里其实最后的西格玛是一个sigmoid函数就是映射到输出上面的主要还是f输出不解释其中这个就是知识蒸馏的表示方法可以看的有一些区别首先目标函数是带s下标的表示不同的函数集合和上面的公式中t不一样

By 王炳宁 on Dec. 3, 2015, 11:58 a.m.

统计学习方法

从今天起开设一个专栏, ,

By 王炳宁 on Nov. 30, 2015, 1:56 a.m.

上一页下一页