新普金娱乐网址


剖析人脸检测的Haar分类器方法:Haar特征、积分图、 AdaBoost 、级联

数学Recommender Systems Handbook读书笔记之6

迅速代码的依个操作(二)

  • 十月 06, 2018
  • 数学
  • 没有评论


用最要命似然法来求解线性模型(3)-求解似然函数
文章中,我们受 logL 对 w 求一阶偏导数,让偏导数等于0,解出 w,这个 w
就是如果logL取最特别价值的w

率先感谢Nibnat的唤醒,昨天末一个检查2的盖的例子写错了,正确的办法应该是

那么为何让一阶偏导数等于0,求得的w就可知使
logL 取最特别价值吗?

return ( Number & ( Number – 1 )) ==0;

 

其一题材在二进制表示产于好掌握,2底次幂在二进制下的特色杀显:只有一个bit是1,其他bit都是0,于是任务变成怎么检查一个次之前行制数是由于一个’1’和诸多只’0’组成的。理解地方的运算,需要拿注意力放在Number中所有值为’1’的bit的最低位上(我们遂它吧最低’1’bit位)。根据定义,最低’1’bit位左边可能是0-1成的擅自序列,右边只能是多个0组成的行列。2的掩盖和非2的覆盖的别是无2盖的最低’1’bit左边一定生至少一个’1’bit,而2幂的最低’1’bit位左边全是0。

以高档数学中,对于同头版可导函数f(x)而言,一阶导数f(x)=0的点称为拐点。而拐点不自然是无比值点,一栽判断拐点是否是无限值点的道是:判断拐点处的二阶导数是否大于0

今天省上面的演算做了什么业务,Number-1之后,最低’1’bit位的值由1变成0,原来最低’1’bit位左边的队列保持无变换,右边的0序列变成1序列。跟Number按各进行与运算之后,Number最低’1’bit位右边的排保持无转移,最低’1’bit位及其左边的队全变成0.于是最后结出一定给检查Number的最低’1’bit位左边还来无发出别的’1’bit了。

倘拐点处的二阶导数大于0,则f(x)在拐点处取极小值;若拐点处的二阶导数小于0,则f(x)在拐点处取极大值;若拐点处的二阶导数等于0,则拐点处不是极其值。

0是新鲜情况,按照数学概念,0非是2之幂,不过者的法会输出TRUE,需要为此别的方式检查一下。

点的定论,可以用f(x)=x2
和 f(x)=x3
来验证。当然,结论的前提是f(x)凡是二阶可导的,如果二阶导数都非存在,上面的法子自然就未可知因此来判断极值点了。

既涉及最低’1’bit位这个概念了,今天尽管趁这个时介绍其他一个同之休戚相关的,我特意喜欢的事例。直接上代码先:

 

x;

y = x & -x;

c = x + y;

x = (((x ^ c) >> 2) / y) | c;

比方在机器上着,我们考虑的范本的性状有那么些,不止一个,因此我们所处理的函数一般是铺天盖地的(多只自变量)。

夫事例比较复杂,容我同一步一步解开大家心心的疑难。

比如 logL
是关于 w 的函数,而 w=[w1,w2] 是一个向量,logL
关于w求偏导数时,其实质就是是针对 w 个的各一个分量wi
求偏导数。

问题一:y是什么?

图片 1

急需事先验证一下,计算机被使用补码来囤积负数,所谓补码,就是仍号取反之后重新加1,所以-x其实相当给~x+1。x按个取反之后,原来最低’1’bit位变成了0,右边全改成1了。加1就犹如推到了第一块多米诺骨牌一样,从极度右边边开始将同串1还要转移回了0,骨牌效应到低’1’bit这里住,把她从0又投回成1了。总结一下,-x相当给才将低’1’bit左边内容变反,和x按位和运算之后,最低’1’bit为1,其他地方全是0。所以y其实是x的最低’1’bit。

上面的图片 2即便是:logL
关于w的偏导数,又曰梯度。从公式中唯独看:logL是一个实数,它是一个标量–我们的对象吧是摸索最要命之logL,而梯度是一个向量。

图片 3

凡是勿是想到了梯度方法?没错,梯度下降方法就是为此到了梯度的一个性能:

问题二:c是什么?

  1. 梯度性质:梯度方向图片 4就算是函数f
    在w处 增加极其抢之大势,因此而搜索函数f
    的无限老价值,往梯度方向搜索该是一个老好之索方向。

眼前说了了,y其实是x的最低’1’bit,那么x和温馨的低’1’bit位相加结果是啊呢?还是用多米诺骨牌来说明是历程。把x中之1设想变为多米诺骨牌,0想象成空地,加1就相当给推进到一个骨牌,只要下一致位还是1,那么即使见面直接往高位进位,直到遇见一个0之上才见面停进位。x可以清楚为被0隔开之等同段段连接的1,c就是拿x最右端的平切片1推进至晚再度来同样蹩脚进位的结果。

此间不讨论梯度的局部争辩,而是以梯度的根基及,再针对wT求导,就取了一个矩阵,如下所示:

图片 5

图片 6

问题三:x^ c是什么?

 

异或运算的条条框框是双方不同则结果吗实在,那咱们来看看x和c在哪bit上会见获得不同的值。依然把x理解为被0隔开之一模一样段子段连接的1,c是把x最右面端的均等切开1推向到成0之后的结果,那么可确定x和c不一致的地方,就是x最右端的那么同样错连续的1,所以x
^ c的结果其实就是x最右侧端的一致弄错1外加一不成进位。

这矩阵就是黑塞矩阵,而 logL 在 w 点
是否取极值就由这黑塞矩阵的性能来决定。

图片 7

  • 太小值定理:多元实值函数f(w)在定义域上二阶连续可微,w\*大凡定义域上的一个内点,如果w\*满足如下两只极:

  •  
    图片 8

  •  
    图片 9

  • 则w\*凡函数f(w)的一个严苛局部极小点。其中F(w)是黑塞矩阵。关于这定律的征不过参考:《最优化导论
    第四版》Edwin K.P.Chong著 孙志强译

((x ^ c) >> 2)比较好理解,就是右变两号。

 

问题四:除y做什么?

由于前的公式:图片 10,再对wT求导,得出:图片 11 

眼前第一独分析过,y是x的最低’1’bit。y只发生及时一个1,其他地方还是0,所以y是2之盖!计算机被除以2的挂,等价于右变运算。于是((x^
c) >> 2)|y的企图相当给把x^
c右变了2+log(y)bit
,实际是把x最右面端的一模一样拧1开足马力地于右边走,直到将一个1且挤下了。

从而,对于函数logL而言,它的黑塞矩阵是:F(w)=(-1/σ2)XT*X

图片 12

倘想使以w处logL取极大值,则黑塞矩阵:F(w)=(-1/σ2)XT*X
< 0 。也即:XT*X
> 0,也就是判矩阵XT*X是正定矩阵。

题目五:为什么而和c按各或?

而在以最可怜似然法来求解线性模型(3)-求解似然函数:中,矩阵X如下:

亚个问题屡遭剖析了c是把x最右端的同一差1推向到变成0,然后进迈进同号之结果,而((x
^ c) >> 2) /
y是x最右端的等同拧1着力地朝右边走直到挤出去同员之结果,他俩按位或运算,就是把x最右面端的一模一样失误1区划成稀独片,第一个bit往前进一各项,其余的被制止到最右端去。

图片 13

图片 14

 

漫天过程解释了了。

图片 15

题目六:这段代码到底在干啥?

得到XT*X是一个针对如矩阵。判断对如矩阵是正定矩阵的定律有:

把x理解成若干单1和0构成的次上前制字符串,从问题五的答案总可以见到,这段代码并没变动字符1的个数,而是把最好右面端的同一拧连续的1之岗位调整了瞬间。仔细考虑可以窥见,这是在确保1的个数不变换的前提下,下一个极小的x。这个效应在组成问题吃采用的特别多,可以帮助我们找到有由m个元素中选出n个元素的方案。

  1. 对称阵A为正定的尽管必要条件是:A的特征值均否刚刚
  2. 对称阵A为正定的尽量必要条件是:A的各阶顺序主子式都也刚刚
  3. 对于随意的一个非零向量z=[z1,z2]T,有
    zT*A*z > 0。也便针对如矩阵A的 二次型
    大于0

当时段代码是计算机界的大牛,Hacker界的鼻祖BillGosper发现的,因此为吃号称G函数。我们最终所以几单例证来显示一下里头的微妙

 

图片 16

当一个矩阵是针对如矩阵时,根据上面的定律判断其的正定性,是好便利的。这也是怎将一般矩阵转换成为对如矩阵来拍卖的缘由。

此以第二种植艺术,来验证
XT*X
正定矩阵,由于它们是2*2矩阵,故凡就出一定量只顺序主子序。

XT*X
的均等级顺序主子式为N,N>0
显然起。

XT*X
的二阶顺序主子式为:图片 17

 

这边打概率论中随机变量的方差角度发生犯来说明图片 18

 

将上式除以N的平方,得到:图片 19

 

还根据方差DX的概念,DX=E(X-EX)2是大于0的。故下面等式成立。

图片 20

从而证实了二阶主子式也大于0。故对如矩阵XT*X是正定矩阵。

因此,对于一阶偏导数等于0的点w\*而言,它的黑塞矩阵总是正定的。因而满足“极值定理”立之条件。故w\*凡是一个巨大值点。

 

参考文献:

  • 《a first course of machine learning》
  • 《最优化导论》第四版本 Edwin K.P.Chong著

原文:http://www.cnblogs.com/hapjin/p/6633471.html

相关文章

No Comments, Be The First!
近期评论
    分类目录
    功能
    网站地图xml地图