梯度下降算法中,为什么沿着梯度反方向是下降最快呢?用一种直观的方法”证明”一下。考虑两个features的情况。首先用泰勒一阶展开,问题转换为在点(a,b)附近(我们可以限制在以点为圆心的圆内)哪个方向可以使得函数值最小?
转换成一个更好理解的公式:
看一下公式的后两项,就是两个向量的点积,$[u,v]^ \top$是已知的,要使点积值最小(这里负值是最小的了),当然是和$[u,v]^ \top$方向相反,并且尽可能远的向量了:
参考
- 李宏毅,《machine learning》
缺失模块。
1、请确保node版本大于6.2
2、在博客根目录(注意不是yilia根目录)执行以下命令:
npm i hexo-generator-json-content --save
3、在根目录_config.yml里添加配置:
jsonContent: meta: false pages: false posts: title: true date: true path: true text: false raw: false content: false slug: false updated: false comments: false link: false permalink: false excerpt: false categories: false tags: true