解读至强的小秘密之
Analytics Zoo,打通大数据平台与 AI 应用的直通车

Analytics Zoo

  • 无缝地将人工智能模型扩展到具有数千个节点的大数据集群,以进行分布式培训或推理。

  • 这个统一的分析和人工智能平台建立在 Apache Spark*、TensorFlow*、PyTorch*、OpenVINO™ 和 Ray 这类开源框架之上,拥有一个可扩展的架构,可以支持更多库和框架。

author-image

作者

人工智能(AI)的发展,离不开算力、算法和数据这个“铁三角”组合的驱动,它们之间的平衡发展,对 AI 技术的快速进步和实践落地起到了至关重要的作用。因此,在先进算法为 AI 应用提供更多优化、至强处理器为 AI 负载提供更强算力和特定加速之余,通畅的数据获取和使用过程也成为了关键所在,否则,算力再强也会空转,算法再优也难持续演进。

众所周知,在过去多年的信息化、数字化转型进程中,比较有远见的企业或机构,都基于大数据平台积累了不少数据资产。这些传统的大数据平台就好比功能手机,其用途主要聚焦在对这些数据的存储、处理和分析上,就如同功能手机的功能也很硬核且单一,就是实现无线通信。

AI 应用场景相对传统大数据平台来说就要新潮得多,音视频解析、BI 分析、自然语言处理、时序预测,一系列应用附加之后,它就犹如可以安装和运行各种 APP 的智能手机,然而就像智能手机上的 APP 们无论再怎么酷炫,它们所依赖的,依然是基础的无线通信功能一样,AI 应用即便模型和场景再多样化,它们也不能脱离数据而存在和发展。

基于大数据平台和 AI 应用之间这种密不可分的关系,为了让企业更便捷、也更高效地将 AI 应用落地到自己的业务实践之中,打造大数据平台与AI任务之间的快捷通道势在必然。可现实是,在一些大型企业中,分布式数据节点往往多达上千个。如图一所示,此时,大数据平台与 AI 模型、框架和优化方法之间如果缺乏高效的通道予以链接,那么企业在 AI 能力的建设上,无疑将面临艰巨的挑战。

图一 企业亟需打通数据与 AI 之间的高效通道

Analytics Zoo,这个被誉为统一大数据分析和人工智能平台的软件工具,就是英特尔专门针对这一挑战开发和开源的解决方案,它基于可扩展的架构,将Apache Spark、TensorFlow、PyTorch、OpenVINO™ 工具套件以及 Ray 等常见框架和软件聚合在一起,可以为用户提供一条从数据采集、清洗、AI 训练、一直到推理应用的端到端处理流水线(Pipeline)。

用更通俗的话来解释,即 Analytics Zoo 能帮助企业用户在现有的、基于至强处理器的大数据平台上,直接背靠其积累的海量数据来无缝部署其AI应用。这一过程既不需要分别构建大数据平台和AI平台,免去将大吨位数据在不同平台间腾挪所消耗的高昂成本,也无需更换大数据平台的基础设施,这样一来,省钱的同时它还能让此前的既有投资换来额外回报。

这就像是功能手机突然变成智能手机,不但能立刻玩转多种炫酷的 APP,来充分压榨通信功能的价值,而且还不用更换手机的硬件!

同时,因为是由英特尔开发和开源,Analytics Zoo 先天就可对基于英特尔® 架构的硬件基础设施提供全面周到的性能调优,且能支持多种主流 AI 框架,如 TensorFlow、PyTorch、Keras、BigDL 等,并针对时间序列预测等活跃在绿色能源、智能制造以及智慧金融领域中的热门 AI 应用方向,给出了一系列完善的优化方案。

从问世至今的数年时间里,Analytics Zoo 已在诸多企业级 AI 应用场景中为用户提供了可靠的 AI 助力。如在智能制造领域,像图二所示,由 Analytics Zoo 提供的端到端 AI 解决方案,帮助美的这样的家电制造业巨头构建起了高效的工业视觉检测云平台,通过基于 AI 的机器视觉方案来实施产品缺陷检测,大大提升了生产效率,同时兼顾了更优的产品品质。

图二 引入 Analytics Zoo 的美的缺陷检测 AI 解决方案

具体来说,在美的这一 AI 方案数据采集及预处理优化阶段,Analytics Zoo 的助力,可帮助工业视觉检测云平台在50毫秒内就能完成图片的读取和处理。而在模型重定义阶段,Analytics Zoo 不仅可以执行参数调整,还可加速模型推理速度。相关测试数据表明,在采用英特尔至强平台和 Analytics Zoo 后,美的工业视觉检测云平台的模型推理时间从 2 秒缩短到了 124 毫秒。

在曾经更为重视大数据技术,而今又在 AI 技术应用上一马当先的金融领域,Analytics Zoo 无缝对接大数据平台和 AI 应用的“绝活”儿就表现得更加靓眼。某商业银行就借力 Analytics Zoo,在其既有大数据平台和基于深度学习的 AI 应用之间构建起了高速通道,并将其率先用于资产代发后管理的资产提升预测场景。测试结果表明:在基于英特尔® 至强® 可扩展处理器和 Analytics Zoo 打造的新平台上,该银行采用 PyTorch 框架对基于 MLP 模型的预测系统进行了多轮分布式的训练和优化迭代,最终预测效果(AUC值)如图三所示,达到了 93%,满足了该银行的预设目标。

图三 某商业银行资产提升预测场景优化效果 AUC 值

在绿色能源领域,Analytics Zoo 也已牛刀小试。金风慧能就基于它,将数据存储、数据处理以及训练推理流水线整合到了统一的、基于英特尔® 至强® 可扩展处理器平台的基础设施架构中,进而打造出全新的新能源智能功率预测方案。新方案不仅将 TensorFlow、Keras 模型透明地扩展到大数据集群,让训练或推理方案能够更便捷地采用分布式架构,也将英特尔提供的众多底层优化加速库,如英特尔® MKL、one-DNN 等集成至功率预测方案中,从而使新方案获得了更优的预测准确率和预测效率。如图四所示,其准确率由原方案的 59% 提升到了新方案的 79.41%,而在训练速度上,新方案的训练时间也有了大幅的降低。

图四 金风慧能功率预测新旧方案对比

1 如欲了解 Analytics Zoo 的更多技术细节,请访问:https://software.intel.com/content/www/cn/zh/develop/topics/ai/analytics-zoo.html?wapkw=Analytics%20Zoo

2 如欲了解美的案例的更多细节,请访问:https://www.intel.cn/content/www/cn/zh/customer-spotlight/cases/midea-case-study.html

3 某商业银行预测系统验证测试配置为:双路英特尔® 至强® 金牌 6248 处理器,主频 2.5GHz,20 核心/40 线程,超线程启动,睿频启动;操作系统:CentOS Linux release 7.6.1810/Ubun16.04.6;预测系统工作负载:CNN MLP;深度学习框架:PyTorch;Analytics Zoo 工具套件版本:Analytics Zoo 0.9.dev;Hadoop版本:CDH5.15/CDH6.2.0。

4 如欲了解金风慧能案例的更多细节,请访问:https://www.intel.cn/content/www/cn/zh/customer-spotlight/cases/create-power-forecasting-solutions.html