三七厂家
免费服务热线

Free service

hotline

010-00000000
三七厂家
热门搜索:
行业资讯
当前位置:首页 > 行业资讯

ICLR2018_[#第一枪]

发布时间:2021-06-07 13:01:19 阅读: 来源:三七厂家

雷锋网按:本文由雷锋字幕组编译,原标题 Measuring the Intrinsic Dimension of Objective Landscapes,作者为 Uber AI Labs。

翻译 | 宥佑 余杭 整理 | 凡江

Uber研究团队在 ICLR 2018 上展示了这篇「 测量目标空间的固有维度 」,研究试图提出一种测量基本网络属性的简单方法,被称为“固有维度”。

下面的视频总结Uber的方法和发现:

过去十年来,神经网络彻底改变了机器学习。机器学习从一个相对晦涩的学术研究领域崛起成为工业支柱,在大量数据可用的地方为众多应用提供支持。Uber 将神经网络用于多种应用,建立基于计算机视觉模型的世界地图、使用自然语言理解实现更快的消费者反映、通过对骑手需求模式进行建模来缩短等待时间。

在许多情况下,最成功的神经网络采用大量参数,从几百万到几亿甚至更多 ,以实现最佳性能。更令人兴奋的是,这些庞大的网络通常运作得很好,无论他们的任务如何,都能有较好的表现。但是这样的模型基本上是复杂的系统,无需人工干预就可以学习大量的参数,因此易于理解。尽管如此,仍然需要进一步理解网络行为,因为随着网络对社会的影响越来越大,理解其运作变得越来越重要,更好地理解网络机制和属性将加速下一代模型的构建。

Uber研究团队的这篇「测量目标空间的固有维度」已经在ICLR 2018上展示了,研究试图提出一种测量基本网络属性的简单方法,被称为“固有维度”。他们提出,将固有维度作为模型复杂度的量化方式,并与其原始参数量相分离。与此同时,提供了一种使用随机投影来测量此维度的简单方法,发现很多问题的固有维度都比人们想象得要小。通过使用固有维度来比较跨域问题,例如,解决倒立摆问题比MNIST分类数字要容易100倍,利用像素玩 Atari Pong(雅达利游戏) 和分类 CIFAR-10 一样难。

论文参考:https://eng.uber.com/intrinsic-dimension/

雷锋网

泡沫减容机价格

活动卫生间图片

雨靴批发

相关阅读