9992019银河国际登录首页 资讯 文章 资源 小组 相亲 登录 注册 首页 最新文章 IT 职场 前端 后端 移动端

当前位置:9992019银河国际 > 9992019银河国际登录 > 9992019银河国际登录首页 资讯 文章 资源 小组 相亲 登录 注册 首页 最新文章 IT 职场 前端 后端 移动端
作者: 9992019银河国际|来源: http://www.wanbodhn.com|栏目:9992019银河国际登录

文章关键词:9992019银河国际,随机性模型

  使用不同的数据训练,机器学习算法会生成不同的模型。模型与不同数据之间的差异称为模型方差(如偏差方差权衡)。

  暴露给模型的数据顺序会影响模型的内部决策,有些模型对此比较敏感,如神经网络。

  固定的数据集顺序意味着固定的训练样本,也就意味着权值更新的方向是固定的,而无顺序的数据集,9992019银河国际登录意味着更新方向是随机的。(如果是固定顺序,网络可能会将顺序作为一个特征提取出来,后续的模型会严重依赖顺序,所以需要shuffle,将顺序打乱)

  如下图中的A点,如果固定的更新方向是红色箭头方向,则很难收敛到最优点,而如果更新方向是随机的,则有可能就沿着白色箭头方向收敛到最优点。

  所以固定的数据集顺序,严重限制了梯度优化方向的可选择性,导致收敛点选择空间严重变少,容易导致过拟合。

  所以模型是会记住数据路线的,所以shuffle很重要,一定要shuffle。

  对于基于deterministic method训练的算法来说,在vote相同的情况下,可能会依赖于随机性来解决。

  在神经网络中,假设将所有权重初始化为相同的值(例如,0或1)。在这种情况下,每个隐藏单元都会得到完全相同的信号。如果将所有权重初始化为1,则每个单元得到的信号等于输入(和输出)之和sigmoid(sum(inputs)))。如果所有的权重都是零,更糟糕的是,每个隐藏的单位都会得到零信号。无论输入是什么,如果所有权重相同,隐藏层中的所有单位也将是相同的。

  评估模型的时候进行采样,使用诸如将数据分割成随机训练和测试集、k-折叠交叉验证来生成k个随机分割数据集。用以评估模型的表现。

  通过在数据集上运行算法来生成模型。那么,是否能够每次在同一个数据集上运行算法都得到一样的模型呢?

  可以通过使用完全一样的代码、数据和一系列随机数来实现使用机器学习的可重复性。目前程序中的随机数是由伪随机数生成器生成的,这些伪随机数生成器的函数是确定性的,只要使用相同的随机种子,就能够得到相同的一系列随机数。

  通过给定相同的随机种子,可以比较算法和一些数据处理等(保证模型每次能生成相同的结果,以此控制变量,来评估做的一些处理、调整等对结果的影响)。It should be a default part of each experiment we run.

  首页 资讯 文章 资源 小组 相亲 登录 注册 首页 最新文章 IT 职场 前端 后端 移动端 数据库 运维 其他...

  机器学习术语表 本术语表中列出了一般的机器学习术语和 TensorFlow 专用术语的定义。 A A/B 测试 (...

  谷歌开发者机器学习词汇表:纵览机器学习基本词汇与概念 姓名:钟航 转载自:

  A 准确率(accuracy) 分类模型预测准确的比例。在多类别分类中,准确率定义如下: 在二分类中,准确率定义为...

  以西瓜书为主线,以其他书籍作为参考进行补充,例如《统计学习方法》,《PRML》等 第一章 绪论 1.2 基本术语 ...

网友评论

我的2016年度评论盘点
还没有评论,快来抢沙发吧!