图灵奖得主Bengio和LeCun:自监督学习可使AI达到人类智力水平

图片来源@全景视觉

文丨学术头条

在2020的ICLR线上大会上,蒙特利尔学习算法研究所主任、图灵奖得主Yoshua Bengio和Facebook 的副总裁兼首席人工智能科学家Yann LeCun,坦率地谈到了未来AI的研究趋势。

根据两位大咖的说法,自我监督学习可能使AI产生类人的推理能力

自监督学习,像人一样自觉观察世界

监督式学习需要在有标注的数据集上训练AI模型,而 LeCun 认为随着自我监督学习的广泛应用,这种训练模式的作用将逐渐减弱。自监督学习算法不再依赖标注,而是通过揭示数据各部分之间的关系,从数据中生成标签

自监督学习是一种机器学习的「理想状态」,重点在于如何自动生成数据标签,这一步骤被认为对于实现人类水平的智能至关重要。举一个例子,例如输入一张图片,把图片随机旋转一个角度,然后把旋转后的图片作为输入,随机旋转的角度作为标签。

很多网友比较关注的一个问题是,自监督学习和无监督学习是一个意思吗?

自监督类似无监督学习,都是从没有明确标签的数据中进行学习。但无监督学习侧重于学习数据的内在关系、结构,比如clustering、grouping、density estimation, or anomaly detection等等,而自监督是根据数据集本身生成标签。

为了进一步解释自监督学习,LeCun做了类比,「不管是我们人类,还是动物,在学习大多数事物时,都是在自我监督的模式下进行的而不是强化学习模式。这个模式本质上就是观察这个世界,然后不断与之增进互动,这种观察是自发的,而不是在测试条件下完成的。」LeCun表示, 「这种学习方式,比较难以用机器来复制。」

其中,不确定性是阻碍自监督学习成功的主要障碍。

连续分布和离散分布

数据的分布是这样一个表,它将变量所有可能的值与其出现的概率联系起来。在变量是离散的情况下,它们可以很好地表示不确定性,这就是为什么像Google BERT这样的架构如此成功。但目前,研究人员尚未找到一种方法来有效地表示连续变量的分布。

在斯坦福对话问答数据集上测试时,BERT 实现了93.2% 的准确率,分别优于最先进的机器学习水平和人类水平 。斯坦福问答数据集是一个阅读理解的数据集,包含了一组维基百科文章中提出的问题。在通用语言理解评估基准测试(一个用于培训和评估NLP系统的资源集合上,BERT的准确率达到了80.4% 。

解决连续分布问题

LeCun认为,找到一种能表示连续分布的模型,就会有新突破。

Lecun 指出,连续分布问题的一个解决方案是利用基于能量的模型(EBM),它能够学习数据集中的数学元素,并生成类似的数据集。

(责任编辑:非常棋牌网站)

本文地址:http://www.linkprivado.com/lankou/2020/1017/2735.html

上一篇:案例精选 非常棋牌网站| 中药智能制造项目规划设计和技术应用 下一篇:塞力斯再中标医院项目 实控人解读SPD业务逻辑

相关文章

  1. 塞力斯再中标医院项目

    1月2日,记者在采购与招标网上看到,塞力斯近日中标石家庄第一医院体外诊断试剂集中配送五年服务项目。 非常棋牌网站塞力斯实际控制人温伟告诉经济观察网,目前SPD领域全国正在经历 ...详情

  2. 案例精选 非常棋牌网站

    非常棋牌网站编者按:本文来自微信公众号 “物流搜索” 原创文章,转载请注明出处。 ▼ 项目背景 扬子江药业集团有限公司是中国医药工业百强榜首,传统中药的生产制造是其主要组成部 ...详情

  3. 三星GN1+骁龙865,这才是

    非常棋牌网站vivo X50 Pro+是vivo今年倾心打造的一款高端5G旗舰!凭借着出众的产品力,这款手机发布后很快就受到了消费者的广泛关注。而如今,#vivo X50 Pro+#终于进入了预售环节,使其人气再 ...详情

  4. 特斯拉无阳极电池技术新

    非常棋牌网站将含二氟硼酸锂和四氟硼酸锂盐的电解质用于锂金属和无阳极电池 撰文 / 朱 琳 编辑 / 张 南 设计 / 杜 凯 非常棋牌网站来源 / electrek,作者:Fred Lambert 特斯拉已经为一项新技术申请 ...详情

  5. 东芝正式结束笔记本电脑

    PingWest品玩8月10日讯,据Engadget中文网消息,东芝近日将手中持有的 19.9% Dynabook Inc. 股权转给了夏普,Dynabook成为夏普的全资子公司。这意味着东芝35年的笔记本历史在此画上了句号。 东 ...详情

  6. 莫兰特这次全票当选最佳

    联盟今日公布了本赛季最佳新秀一阵:贾-莫兰特,灰熊;肯德里克-纳恩,热火;蔡恩-威廉森,鹈鹕;布兰登-克拉克,灰非常棋牌网站熊;埃里克-帕斯卡尔,勇士这次灰熊新秀贾-莫兰特全 ...详情

  7. 15分,22分,22分!加入休

    NBA联盟总是有一些球员,在一支球队很难混下去,无球可打甚至被球队裁员,但是他们加入另一支球队却重获新生,大放异彩。这或许就是竞技体育的魅力,NBA赛场能够给球员们带来逆 ...详情

  8. 6中1!湖人神射正负值+

    北京时间9月25日,NBA季后赛湖人114-108掘金,西决大比分3-1领先,率先拿到赛点,掘金在前两轮季后赛均是在1-3落后的情况下逆转,本轮系列赛还能否上演奇迹,让我们拭目以待!湖人在 ...详情

  9. 国安官方:明显遭遇不公

    9月25日,在2020中国平安中超联赛第一阶段第十三轮的较量中,北京中赫国安迎战上海上港。上半场第4分钟,上海上港禁区内疑似手球,视频助理裁判介入后未认定点球。上半场第44分钟 ...详情

  10. 詹姆斯不是NBA历史第二?

    王猛认为詹姆斯永远不可能成为nba历史第二人,而很多人都有可能,理由说詹姆斯的打法无法改变一个时代。我不知道王猛说的“很多人都有可能”指的是谁,他自己也语焉不详@AnsonB ...详情

在线评论

想说什么就说点什么吧! * 为必填字段

今日头条
  • 输热火后,浓眉哥指出球队最大问题,卡鲁索揽责,老詹下最后通牒
    输热火后,浓眉哥指出球队

    111-108,凭借着巴特勒的出色发挥,热火艰难的击败了湖人,赢下了系列赛的G5,现在双方的大比分来到了2-3,热火如果能够赢下G6那么双方将会再次回到同一起跑线,系列赛的第六场会在 ...详情

  • 怎样运动才适合减肥
    怎样运动才适合减肥

    非常棋牌网站只要坚持都会有回报的,我最近也在减肥,我身高174cm,体重最开始是72kg[流泪],经过我半个月的打卡,现在是63.8kg以下是我的减肥方案,分享给你,看看适不适合你吧​ ...详情

  • CBA新赛季竞争非常棋牌网站激烈 各队教练将乱世争锋
    CBA新赛季竞争非常棋牌网站

    旺财体育10月18日讯: 今年夏天,很多CBA球队都更换了主教练,这在篮球新闻中曾引起热议。如今,CBA新赛季即将拉开帷幕,经历了换帅的球队都希望能有一个好的开端,新上任的 ...详情

  • 腾讯音乐将登非常棋牌网站陆SXSW 展示中国音乐多样之美
    腾讯音乐将登非常棋牌网站

    2019 SXSW西南偏南音乐节于3月8日在美国得克萨斯州奥斯汀拉开帷幕。作为世界上规模最大且唯一的音乐+科技+电影盛典,每年SXSW都会吸引数十万音乐、科技和艺术爱好者参加。值得注意的 ...详情

  • 台积电爆料苹果将取消Home键改屏幕识别
    台积电爆料苹果将取消Hom

    中国IT资讯网为您提供以下IT资讯  苹果被各种供应链、代工厂的猪队友曝光各种新机功能已经不是新鲜事了,但是这次台积电玩了一回大的,首次明确称苹果将放弃Home键采用屏幕下指 ...详情

人气点击

+