社会焦点

百度深度学习实验室于洋:深度学习系统本身面临的一些挑战(3)

字号+ 作者: 来源: 2017-03-23

在这里我也想介绍一些我们其他的工作,比如说我们写了一本深度学习实战手册,目前已经写完了八章,点击链接前往: 在这个手册里,我们举了八个例子,教大家深度学习应该怎么入门和怎么在真实的场景中使用。 每一个

  在这里我也想介绍一些我们其他的工作,比如说我们写了一本深度学习实战手册,目前已经写完了八章,点击链接前往: 在这个手册里,我们举了八个例子,教大家深度学习应该怎么入门和怎么在真实的场景中使用。

  每一个例子都是精心设计过的,比如说其中的一章情感分类。所谓情感分类就是将一个文本分类成正向情感还是负向情感,实际上就是一个简单的文本分类问题。单纯套用文本分类的模型,我们可以去解决如下图所列各种各样的问题。

  

百度深度学习实验室于洋:深度学习系统本身面临的一些挑战

  PaddlePaddle作为一个年轻的开源深度学习系统,也面临着非常多的挑战。我们会以更加开放的心态来迎接所有的挑战。PaddlePaddle作为一个开源软件,所有的开发,包括设计和讨论全在Github进行,目前已经有不少百度之外的团队参与到开发中来了。其中有从事AI的公司,也有做分布式操作系统技术的公司。大家一起在Github上借review设计和提交代码讨论交流。

  我们也希望可以看到更多的企业构建出更多支持AI的通用集群,帮助越来越广泛的企业将他们的业务变得更好,更awesome。同时PaddlePaddle作为源于百度企业里的深度学习框架,我们也会促进开源尽量多的工业界成熟模型,来帮助更多其他企业来提升自己的业务。

  钛坦白群友互动:

  1.请问人工智能公众服务如何保障用户的隐私和数据安全?

  于洋:我其实也不是这方面的专家,我谈一下自己的想法。就PaddlePaddle而言,我们的策略是提供一个能够在私有云或者说在本地直接部署的PaddlePaddle,这样用户就不需要将敏感的数据传递给PaddlePaddle这个平台。有一些论文给出的方案,是将深度学习训练直接部署在手机上,将增量训练好的模型上传给服务器,这样用户的数据就不需要从手机去上传到服务器,而是直接在手机上进行训练优化。

  2.如何保障训练服务对并发任务的资源配置的公平性?

  于洋:现在有一些开源的集群操作系统,比如Kubernetes使用这些集群操作系统,我们可以直接去调度CPU数和GPU数,也就是计算资源的数量,这样每个用户都可以有自己的一个配额。当用户的配额超过了他应该用的配额的时候,他的任务就只能等待,当用户的配额小于他实际上使用的配额,他就有可能会被调度,这些调度策略现在有非常成熟的开源平台,都可以提供。

  3.训练的硬件高投入在本地部署时有办法解决吗?

  于洋:训练硬件的高投入我觉得还是有办法解决的,解决的办法就是我前面说的,将这个企业的大部分机器都放在一个特别大通用集群里,这个集群既可以跑深度学习的任务,也可以跑其他的比如说web服务之类的东西。这样深度学习的机器虽然说你买GPU很贵,但是他平时也可以被其他的任务所利用,不会完全浪费。

  4.配额靠经济杠杆在多用户间协调吗?有没有定价策略,中小企业用得起吗?

  于洋:我记得亚马逊的公有云,也就是AWS上面应该是提供竞价实例的,也就是说大家一块去拍卖一个机器,谁出的价高谁就可以在这个时间段去用这个机器。这样经济杠杆就起作用了。

  (本文独家首发钛媒体,根据百度资深工程师、Paddle API重构设计负责人于洋在钛坦白上的分享整理)

  ………………………………

  钛坦白第33期,AI已来之机器学习2,今晚7点继续!

  地点:钛坦白 | 人工智能(微信群)

  报名听课、交流:

  钛坦白目前有医疗健康、人工智能、文娱社交、VR/AR、区块链、支付创新、体育、云计算、SaaS等九个专业群。

  1、钛媒体Pro专业版用户,可以点击链接,登录账号,在线免费、任意选择自己要进入的群,按提示操作;

  2、非钛媒体Pro专业版用户,可以添加微信号taitanbai0,在通过好友后,发99元红包给小钛,你将有权利从九个群中任选一个群进入,长期听课、交流。请告诉小钛你要进入哪一个群,然后等待小钛拉你入群~

  推荐钛客、赞助、合作:

  请与钛坦白负责人佳音联系,邮箱jiayinge@tmtpost.com

转载请注明出处。


1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关文章
  • 中兴通讯基于区块链的下一代电子证照共享平台亮相数博会

    中兴通讯基于区块链的下一代电子证照共享平台亮相数博会

  • 基于文本的远程医疗应用Lemonaid Health获得1100万美元的A轮融资

    基于文本的远程医疗应用Lemonaid Health获得1100万美元的A轮融资

  • 房贷申请太复杂?基于IBM Watson的虚拟助手可以帮助简化流程

    房贷申请太复杂?基于IBM Watson的虚拟助手可以帮助简化流程

  • 【读书】价格游戏之推翻基于成本的计算

    【读书】价格游戏之推翻基于成本的计算