TensorFlow:BigData平台与AI平台协作的桥梁

区块链资讯区块网2017-11-07 20:44:57  阅读 -评论 0

定义

BigData平台:是以大规模分布式存储、运算,以及展现作为目标的平台,属于通用计算平台。一般包括以下的几个过程:数据采集、数据存储、数据处理、数据展现(可视化,报表和监控)。

AI平台:定位于人工智能学习训练,用于训练各种多层神经网络模型,包括图像识别、语音识别,机器翻译等,属于专用计算平台。

两个平台主要区别

首先是硬件配置不同:

BigData平台使用普通的机器,集群规模可达几百台机器。计算能力依靠多核CPU,通信依靠以太网卡。

AI平台采用高性能计算(High Performance Computing),集群规模一般在几台左右。机器配备高性能的GPU显卡和InfiniBand网卡。GPU计算能力是CPU的几十倍甚至达到几百倍。依靠InfiniBand网卡进行高速传输,不通过 OS 内核以及 TCP/IP 协议栈在网络上传输数据,因此延迟非常低,CPU 消耗非常少。

其次是软件使用方式不同:

TensorFlow是谷歌研发的第二代人工智能学习系统,可被用于语音识别或图像识别等多项机器深度学习领域,支持CPU和GPU计算。目前在BigData平台和AI平台上都选择使用TensorFlow作为深度学习工具。

BigData平台上不安装独立的TensorFlow集群,通过Yahoo发布的新框架TensorFlowOnSpark,支持TensorFlow在Spark和Hadoop集群上分布式执行。

AI平台使用Kubernetes或Docker管理工具搭建独立的TensorFlow集群,使用原生的方式运行分布式TensorFlow任务。

两个平台如何协作?

BigData平台擅长数据预处理转换、全流程业务处理、模型发布。AI平台擅长深度学习网络层次设计,快速训练模型、调整参数权重。两个平台之间可以取长补短,相互合作关系如下图:

TensorFlow:BigData平台与AI平台协作的桥梁

步骤1,BigData平台数据仓库中保存大量原始数据,如图片库、自然语言数据集等,利用Spark集群并发处理,把原始数据转换成TensorFlow专用的TFRecords格式数据。  

TensorFlow:BigData平台与AI平台协作的桥梁

步骤2,AI平台接收到TFRecords格式数据,设计神经网络模型结构层次、参数信息,在TensorFlow集群上开始训练神经网络。

TensorFlow:BigData平台与AI平台协作的桥梁

步骤3,AI平台训练结束,输出模型文件。

TensorFlow:BigData平台与AI平台协作的桥梁

步骤4,BigData平台获取训练好的模型,在Spark集群上做进一步处理。使用TensorFlowOnSpark加载模型文件,然后使用新数据进行增量训练,进一步完善模型,提供识别准确率。

TensorFlow:BigData平台与AI平台协作的桥梁

步骤5,BigData平台增量训练结束,把最终生成的模型作为服务方式(例如Web服务方式)对外发布,供其它应用场景预测使用。

总结

综上所述,在当前人工智能产业蓬勃发展的大好形势下,BigData平台和AI平台不是竞争关系,而是紧密合作关系,可以实现共存共荣。

声明:链世界登载此文仅出于分享区块链知识,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。此文如侵犯到您的合法权益,请联系我们kefu@lianshijie.com

    参与讨论 (0 人参与讨论)

    相关推荐

    中信银行打造“区块链”信用证结算!

    中信银行打造“区块链”信用证结算!

    科技不会改变金融的实质,但却能让金融服务更高效,能让资金供、需方信息不对称的问题更好地解决。近期,中信银行首个区块链项目——基于区块链的国内信用证信息传输系统(简称BCLC)(一期)成功上线,这是国内银行业第一次将区块链技术应用于信用证结算领域。 据中信银行国际业务部总经理助理张栩青介绍,将现在流行的区块链技术应用在国内信用证中,改变了银行传统信用证业务模式,信用证的开立、通知、交单、承兑报文

    中国信息技术部门成立区块链研究实验室

    中国信息技术部门成立区块链研究实验室

    暴走时评:本月初,中国政府对国内的ICO和数字货币交易所的打击在世界范围内引起了强大反响,但政府已经多次声明不会将区块链与数字货币划等号,依然非常重视区块链技术在中国的发展。鉴于中国工业和信息化部成立了一个专门研究区块链的实验室,这一论调也得到了进一步的证实。 虽然中国政府最近在大力打击比特币交易所和ICO,但仍然致力于开发区块链在其他领域的潜力。 据财新网报道,中国工业和信息化部已经成立了一

     分布式账本中的生命科学

    分布式账本中的生命科学

    生物科学是医学领域涉及遗传研究,疾病预防和生活方式治疗(lifestyle treatments)的学科。它已经存在了很长时间,但区块链技术的基础设施应用给该学科提供了重大进步的可能性。 根据Pistoia Alliance进行的2016年6月份高级制药和生命科学领袖调查,83%的受访者表示,他们预计在五年内将全面采用区块链技术。 Pistoia Alliance是一个全球性的非营利组织,致

    区块链vs.核能:日本最大电力公司东京电力(TEPCO)寻求使用区块链减轻对核电的依赖

    区块链vs.核能:日本最大电力公司东京电力(TEPCO)寻求使用区块链减轻对核电的依赖

    东京电力公司 (TEPCO) 对于能源过度中心化的风险可以说绝不陌生。 也许最著名的就是2011年发生的福岛核电站事故,这个日本最大的能源公司如今正在寻求区块链技术来防止这种灾难再次发生。 然而,从使用微型风车的分布式风力发电到用于存储在电力成本低时购买的电力的智能电池,可替代能源项目一直以来都属于个人慈善事业。 然而,TEPCO风险投资部门主管Jeffrey Char认为区块链能够帮助为这

    继证监会发表代币发行声明之后,香港交易所Gatecoin将下线部分ICO币

    继证监会发表代币发行声明之后,香港交易所Gatecoin将下线部分ICO币

    经过一系列监管以及合规审查后,香港交易所Gatecoin将会下线那些被金融监管部门定性为"证券"的代币。 香港加密货币交易所Gatecoin透露,如果在该平台交易的ICO代币在法律上符合"证券"定义,他们就会下线这些代币。据巴比特上月报道,香港主要的金融监管部门证券及期货事务监察委员会(SFC)表达了对ICO这种日渐普及的募资模式的担忧。 尽管ICO中售卖的数字代币通常都被定义为虚拟商品,但

    IBM与超级账本共同加入去中心化身份基金会(DIF),推动创建区块链ID行业标准

    IBM与超级账本共同加入去中心化身份基金会(DIF),推动创建区块链ID行业标准

    IBM与超级账本已经签署协议加入去中心化身份基金会(DIF),这个于今年初成立的联盟旨在帮助推动基于区块链的ID系统的互操作性和标准。 这两个企业区块链大佬加入了这个有各种企业组成的团体,其中包括像微软和埃森哲这样的大企业,还有像Civic和Gem这样的创业公司,以及像uPort和Sovrin这样的开源项目。 DIF执行主管告诉Coindesk说: "这应该是一个信号,表明在这一领域有广泛的

    为打击人口贩卖,牙买加警方盯上了犯罪分子的比特币钱包

    为打击人口贩卖,牙买加警方盯上了犯罪分子的比特币钱包

    作为打击人口贩卖计划的一部分,牙买加警方已经开始行动,锁定了那些试图用比特币和数字支付来掩人耳目的犯罪分子。 越来越多的人口贩卖者都开始转向数字货币来帮助他们进行地下活动并接收非法活动所得,但牙买加警方已经盯上他们了。 牙买加的'大生意' 不幸的是,人口贩卖以及性奴市场规模十分庞大,预计涉资1500亿美元。在牙买加,大约有7000个妇女、儿童以及成年男性被奴役,他们的操控者出售奴役服务的价格

    深圳市将发布《深圳市扶持金融业发展若干措施》,奖励区块链、数字货币等金融创新

    10月9日,深圳市人民政府向各区人民政府,市政府直属各单位印发《深圳市扶持金融业发展若干措施》(以下简称"《若干措施》")。深圳市政府表示,此举是为进一步完善金融支持政策体系,吸引集聚优质金融资源,推动全市金融业可持续均衡发展,加快建设国际化金融创新中心。 《若干措施》共分五大项,33条。内容包括:坚持服务导向,优化金融政策环境;发展金融总部经济,鼓励金融总部企业做大做强;支持金融企业分支机构

    麦妖榜
    更新日期 2019-08-20
    排名用户贡献值
    1牛市来了24651
    2BitettFan24169
    3等待的宿命23810
    4区块大康20357
    5六叶树20310
    6linjm122718877
    7天下无双16192
    8lizhen00215280
    9让时间淡忘14552
    10yelanyi050511329
    返回顶部 ↑