大家好,今天小编关注到一个比较有意思的话题,就是关于李航 统计学习方法的问题,于是小编就整理了3个相关介绍李航 统计学习方法的解答,让我们一起看看吧。
gbdt的残差为什么用负梯度代替?
先验知识:
提升树的优化目标: ,其中yi为真实label,为第m-1个模型,为残差。
——公式来自 李航《统计学习方法》P148
对于上述优化目标,L即损失函数是本次讨论的重点。
平方误差损失函数
当L为平方误差损失函数时,,
带入提升树,为
其中,。
可以看出来,损失函数的最小化可以看作让 r 尽量等价于残差。
r是什么呢,,使用平方误差损失函数时的残差值。
其他损失函数
平方误差损失函数的残差,其他损失函数却不一定是,那么有一个通用的残差吗?
大佬Freidman提出了梯度提升树(gradient boosting),这里就是使用损失函数的负梯度作为残差的近似值。
为什么损失函数的负梯度作为残差的近似值?
回到损失函数。
我们将f(x)而不是θ作为自变量。根据梯度下降法,可以得到损失函数参数的更新公式:
,
同时,因为提升树的定义:.
于是,就可以得到残差等于负梯度。
机器学习有哪些学习路线?
首先,你要了解算法的过程,可以专门买一本数据挖掘方面的书来看,其次,你说你懂Python,那么你要学习Python机器学习包,比如,numpy,pandas,skearn,matplotlib等库,要熟悉各种算法接口,尤其是算法类的参数,最后是提升,你要懂算法原理,只懂算法过程只能算是入门,但是要提高自己,必须要冻原理,算法原理涉及的数学知识比较多,统计学,概率学,微积分,代数等等,真正搞懂各个算法原理并不是容易的事,但是你说你有数学基础,那么学这些其实并不算很难。
当然,人工智能的发展,需要你对深度学习也要会,还要会spark分布式计算,这些可以慢慢来,工作中提升。
没有什么捷径,只有不断学习学习😊
我想你应该是还没有毕业的学生吧。刚毕业的应届生,企业要求不高,你在电脑上安装python,下载好机器学习库,然后安装一个深度学习框架,这样好入手,我用的是tensorflow,你也可以弄弄,然后建议你看看李航的《统计学习方法》和周志华的《机器学习》,在把深度学习里面经典网络跑一跑,弄清楚里面数据运算过程,这样秋招不用愁
对于人工智能而言,目前有哪些学习方法?
人工智能是一个多学科交叉的一个综合学科,不是能够编程就可以胜任的,特别是在某些专业领域,需要将一些统计学习,机器学习,深度学习的算法应用到专业领域上,这是一个持续的过程。所以扎实的编程基础和算法基础是一个前提条件,当然涉及的更深会牵涉到强化学习的内容,但是更重要的是对业务的处理,如果将最新的算法应用到实际业务上,这个很重要。如果与实际业务脱离,无法发挥实际作用,再好的算法也是白搭。所以想要学好人工智能,算法,编程和业务三者缺一不可。从算法角度建议从算法导论这种较为基础的书籍看起,一些排序算法,红黑书算法,遗传算法,蚁群算法以及数据结构是基础;更进一步,李航的统计学习,周志华的西瓜书是入门机器学习最好的选择,而对于深度学习,花书是一个不二选择;从编程的角度,主要是学好python,c++,c,Java等语言以及一些微服务架构,这是将算法变现的最直接的途径,python在于实现思路,而java则与大数据有紧密的结合;c语言能从底层优化算法;对于业务而言,要熟悉自己所在的专业领域的知识以及用户的需求,从产品经理的角度来思考算法的应用,多了解数据库间不同实体之间的关系。做到这三点,你就能在人工智能领域如鱼得水了。
到此,以上就是小编对于李航 统计学习方法的问题就介绍到这了,希望介绍关于李航 统计学习方法的3点解答对大家有用。