京东方人工智能应用案例

京东方基于英特尔提供的、适用于智能边缘计算平台的软硬件组合,整合产线工作负载,并通过云边协同、AI 和大数据技术实现更高效的产品缺陷检测及不良根因分析。

引言:

  • “ 利用边缘计算和云边协同,让我们工业互联网解决方案中的数据预处理、缺陷检测和不良品管控等应用在生产一线的降本增效中发挥了更大作用,也为我们快速从疫情中恢复产能提供了强有力的支撑。这其中,来自英特尔的高性能处理器平台和软件加速库,为新方案、新应用的部署和运行提供了可靠的支持。”

  • 李昭月 智能工厂解决方案技术专家 京东方科技集团股份有限公司

author-image

作者

为化解新冠疫情带来的危机,很多企业都在全力借助信息化技术,来加速自身甚至是整个行业数字化和智能化转型的步伐。作为全球创新型物联网企业,京东方科技集团股份有限公司 (以下简称 “京东方” ) 不仅凭借成熟、高效的产业协同能力,协助上、下游合作伙伴迅速实现了复工复产,扭转了疫情造成的影响;还通过在其行业领先的工业互联网架构中导入更为强大的边缘计算平台,打造出了更适用于生产一线的智能化品质管控解决方案,实现了产能与品质的双赢。

京东方的工业互联网架构是基于多年实践积累的生产制造经验,并利用人工智能 (Artificial Intelligence,以下简称 AI) 算法和大数据等技术研发而成,旨在实现高效衔接产业链上下游,采集、处理和智能分析生产数据,以及服务各种应用场景这三大目标。基于这个全面、强大的整体架构,京东方打造了全价值链智能工厂、园区物联、企业运营三大场景解决方案,服务于旗下 14 条半导体显示生产线、多个工业园区和制造基地,实现了智能化生产、数字化运维和精益化管理,且部署成熟的标准管理平台和研发平台已达 200 个。

京东方工业互联网首先应用于智能工厂场景,已实现生产经营中围绕人、机、物等关键环节的互联互通。每当其智能工厂接到客户订单,就会自动进入排产计划进行生产,通过生产设备和各类传感器件,收集生产数据并上传至云端,经过大数据平台的分析处理,最终将信息通过图表等形式在可视化智能看板中展示,供管理者快速做出经营决策。在这一过程中,人员、设备、信息与制造流程中的计划排产、生产过程管理、设备管理、物料管理、仓储管理、品质管控等协同联动,构成了工厂的 “神经网络”,来保障生产过程的良性运转。通过对整个生产链条中各项数据进行分析和智能决策,然后再不断优化生产环节,京东方工业互联网让每一次生产都能健康、低耗、高效地进行。

在生产过程中如果产生不良,京东方可先借助于 AI 技术,实现不良的快速检测、定位和分类,解决传统人工检测效率和准确率不高且成本居高不下等问题;而后再借助大数据技术,就可对应到发生不良具体是哪道工序,哪台设备,以及该设备上哪些相关参数造成的,并给出推荐的优化方案。这些新技术、新应用可使京东方不良根因分析的用时大大缩短,并推动产品良品率不断提升,检测工艺和维修工艺的操作人员也可因此减少 60% 以上,从而更全面地提升产线效率,并降低损耗和总拥有成本 (Total Cost of Ownership,以下简称 TCO)1

强化工业互联网的边缘计算能力为上述应用的研发和落地提供了必要的基础支撑,而在京东方构建工业互联网边缘计算平台并探索相关应用的过程中,英特尔始终相随,按需为其核心的边缘服务器及其他相关模块提供了包括英特尔® 至强® 可扩展处理器、OpenVINO™ 工具套件在内的一系列具备出色计算和 AI 加速能力的软硬件产品和技术,可在更快响应产线需求、确保生产连续性的同时,使产品品质更趋稳定。边缘计算平台的构建,及其对应用负载的整合,也为基于云边协同的一系列创新应用场景奠定了基础。而今,该平台已完成部署并投入实践应用,赢得了一线员工的认可,而京东方与英特尔的协作创新成果,也为其他制造业企业利用数字化、智能化方案加速复工复产、提升产能和品质提供了一份颇具价值的参考样例。

京东方工业互联网架构 + 边缘计算平台所实现的应用优势:

• AI 缺陷检测系统克服了人工检测方法的多种弊端。一线反馈表明,该系统不仅达到了 96% 的检测准确率,还使人工替代率达到了 70%2
• 大数据不良根因分析系统能帮助京东方大幅提升产线效率并降低损耗。来自实践的数据表明,该系统可以带来 56% 的效率提升3
• 基于工业互联网的供应链协同系统,可有效帮助京东方提升供应链上下游各环节的运作效率,使产线的准备和协调时间从 24 小时缩短到 1 小时4

2019 年底到 2020 年初突如其来的新冠疫情,一度让制造业陷入危机。与受到直接冲击的餐饮、旅游等服务行业不同,制造业中前后生产环节、上下游合作伙伴受疫情影响以及恢复速度的不同,都会对制造业企业整体性的产能恢复造成影响。

面对这一挑战,京东方的应对策略就是依靠先进的信息技术构建工业互联网解决方案,以数字化和智能化制造的理念,来化解企业复工复产中的不确定性问题。

例如,面对疫情期间原材料供应不稳定、物流配送紧张等供应链失调现象,京东方凭借工业互联网架构中成熟的应用中台,运用物料管理、仓储管理、自动搬送、批次跟踪等平台能力,对订单、物料、物流运输、供应商以及仓储等信息实施协同,不仅使京东方各厂区迅速跟上复工复产的快节奏,也帮助上下游供应商、物流商从中获益。

如图一所示,京东方基于工业互联网的供应链协同系统,采用了基于英特尔® 架构的硬件基础设施。其混合云模式中的公有云可用于同外部伙伴实施数据互联互通,而私有云则负责内部数据的采集、连通和共享,这样的组合可在保证信息安全的前提下,有效提升京东方供应链上、下游各个环节的运作效率。来自京东方内部的统计数据表明,新的供应链协同系统已帮助产线将准备和协调时间从 24 小时降低到 1 小时4

而这一成绩在京东方看来,仅仅是其加速工业互联网建设、实施企业智能化转型的成果之一。随着 “智造” 战略的不断深入,结合基于英特尔® 架构的边缘计算平台,京东方正在更大力度地强化其工业互联网架构中的边缘平台及应用,以及云边协同能力的建设,以实现更高效的分析预测、质量控制等智能制造解决方案,此方案也能帮助京东方在产能提升、品质管控、成本优化等场景中获取更多收益。

在边缘上整合产线工作负载,构建智能品控能力

目前,京东方在端口器件领域的产品线涵盖了 TF T-LCD、AMOLED 等一系列先进显示和传感器件,这些产品无一不对质量有着严苛的要求。也正因如此,京东方的显示屏市场占有率一路走高,正如全球市场调研机构 Omdia 数据显示,2020年上半年,京东方智能手机液晶显示屏、平板电脑显示屏、笔记本电脑显示屏、显示器显示屏、电视显示屏等五大应用领域出货量均位列全球第一5

为了能在产能与品质之间更好地保持双赢态势,京东方在多年前就基于数据分析方法,制订了端到端的产品品控流程。如图二所示,流程分为前端采集、数据整理、决策判断、样品分析和验证改善等关键步骤,并在厂区建设投产时,就预先部署大量的工控机、可编程逻辑控制器 (Programmable Logic Controller,PLC)、传感器等,对影响产品品质的数据实施采集,再统一传回数据中心作为人工或自动化检测的依据。

随着产业规模的不断扩大,基于人工的缺陷检测和不良根因分析,在效率上已经难以满足京东方进一步提升产能和品控的要求。为此,京东方开始通过加强工业互联网架构中大数据和人工智能平台的能力,以大数据分析、深度学习等方法来构建更高效的智能品质管控解决方案,这其中就包括了其自主研发的、基于深度学习来协助实现缺陷定位、缺陷检测、缺陷分类等功能的工业视觉平台软件 ADC (Automatic Defects Classification),以及借助大数据平台和 AI 算法来快速定位不良根因的智能分析产品。

这些应用上的创新,还需要 IT 基础设施的创新予以支撑。京东方既有的 “数据中心-工控机 / PLC” 模式,已无法满足全新智能品质管控解决方案部署和运行的要求。首先,遍及公司各厂区的 17,000 余台工控机 / PLC 时刻都在向数据中心推送着海量数据,既给网络带宽造成了压力,也对数据中心的分析处理能力提出了巨大考验;其次,新方案采用的大数据分析和深度学习方法对数据维度和丰富性要求更高,这就需要围绕产品工艺流程采集更多数据,来满足建模、分析和训练的需要。

为此,京东方与合作伙伴英特尔一起,开始在其工业互联网中导入更加强大、也更为智能的边缘计算技术,主要目标就是在靠近产线的地方将数据采集、预处理,产线管控等工作负载进行整合。如图三所示,一方面,新方案可以通过各类传感器和数据接入技术,将人、机、料、法、环等各维度的数据实施更全面的采集,并通过部署在生产一线的边缘服务器进行数据清洗、预处理等工作;另一方面,后端的数据中心或云也可以通过边缘服务器汇入的数据进行深度学习训练、大数据分析建模等工作,尔后再将更新的模型和分析结果返回边缘服务器,使之对产线进行更为高效的控制调整。可以看到,新方案这种将管控能力充分前置,并提供持续迭代优化的能力,非常有利于保证生产的连续性以及产品品质的稳定性。

目前,新方案在检测准确度、产线效率以及成本控制等方面都获得了出色的成绩。

英特尔® 至强® 可扩展平台在边缘加速 AI 缺陷检测

缺陷检测是屏幕、传感器等精密器件生产中的关键环节,此前的传统检测方式是通过电学或光学设备对产品进行测试比对来判断是否与初始设计相符,但这只能对缺陷进行定位,要获知缺陷严重程度、引发原因以及是否可修复,则仍需人工参与。

人工检测有着诸多先天不足,首先,培训一名熟练的检测工程师需要数月时间,而且,即便掌握全部工艺流程的工程师,每天面对 1 万到 2 万张的复杂图像,检测准确率也会大打折扣;其次,随着工艺飞速发展,涉及的缺陷类型越来越多,且许多已经很难用肉眼发现,例如一块大屏上可能存在上百种不同的缺陷类型,有些可以进行修复,有些则必须予以切割,一旦关键缺陷未被检出,就会造成整体不良率的上升。

为此,京东方曾经需要培训和安排大量检测工程师来确保产品质量。以某工厂产线为例,每天需要安排 36 个工程师,分三班轮流工作来保证检测效率和准确率,这无疑会带来巨大的成本支出,同时也难以确保精准且稳定的检测结果。为解决这一日渐困扰产能和品质提升的难题,京东方自主研发了基于深度学习方法的自动化缺陷分类 (Automated Defect Classification, ADC) 系统,与英特尔一起,利用边缘计算提升缺陷检测效率。

如图四所示,在新的 AI 缺陷检测系统中,历史积累的图像以及由自动光学检测 (Automated Optical Inspection,AOI) 等设备采集的图像,都会由边缘服务器预处理后汇入数据中心,并使用 ResNet、Faster-RCNN 等图像检测和分类算法进行训练,输出的模型会被部署到边缘服务器中。

在实际生产过程中,AOI 等设备采集的图像被输入边缘服务器后,服务器将选择合理的模型对其实施推理,并执行图像标注、不良分类、缺陷识别、趋势分析以及质量预警等任务,最终将结果输出到工程师的监控大屏上。

为有效提升 AI 缺陷检测系统的工作效能,京东方引入英特尔® 至强® 可扩展处理器作为其边缘服务器的核心计算引擎。该处理器不仅具备优秀的微架构设计,通过集成更多的核心、线程以及更大容量的高速缓存来提供出色的基础算力,它还集成了英特尔® 高级矢量扩展 512 (英特尔® AVX-512) 等技术,来对深度学习推理任务中的密集计算提供特定硬件加速支持。

与这款集成 AI 加速能力的处理器相搭配,京东方还引入了 OpenVINO™ 工具套件,为检测提供软件调优支持。这款由英特尔开源的工具套件对 OpenCV 图像处理库的指令集进行了全方位优化,在系统的实践运用中,来自 OpenVINO™ 工具套件的 OpenCV 被证明能有效提升系统的整体处理效能。基于云边协同的新 AI 缺陷检测系统在京东方各厂区上线部署后,不仅在检测准确率上取得了高达 96% 的优异成绩,同时还使人工替代率达到了 70%2

基于大数据技术打造不良根因分析系统

AI 缺陷检测解决的是生产过程中的检测效率问题,而为了降低整个产线,乃至整个工厂的产品不良率,京东方还依托边缘计算带来的数据采集和处理优势,基于云边协同体系和大数据技术研发了不良根因分析系统。

与前文谈及的、传统的缺陷检测类似,京东方的不良根因分析在过去也需要由人工完成,其流程是:首先,人工从芯片制造良率分析系统 (Yield Management System,YMS) 等系统中刷取报表来监控不良数据,而后人为地对相关数据等进行整合,并以工具或经验来对不良根因进行分析判断。这种较为依靠人工的方式不仅有着响应时间滞后、处理效率低、数据间关联性差等缺陷,而且还无法为决策判断提供详实可靠的数据支撑,工程师往往还要依靠经验进行调整。

在生产一线部署更强的边缘计算能力后,京东方运用大数据进行不良根因分析就具备了更为坚实的基础。如图五所示,新的分析流程包括了监控、聚类和根因分析三个主要部分。

在监控阶段,来自产线的各项数据,包括 Map 数据、检测数据、生产履历以及设备参数等数据,将通过各类传感器、工控机、PLC 等设备,被实时采集到边缘服务器中。边缘服务器会对海量数据开展抽取-转换-加载 (Extract-Transform-Load,ETL) 等预处理流程,然后才会把经过预处理的数据送往云或数据中心上的大数据平台进行进一步分析和处理。

在聚类阶段,大数据平台会选择合适的聚类算法对数据实施相关性分析和处理;在根因分析阶段,平台则会通过智能挖掘算法以及 Trace 分析等过程,对特定的不良相关性因素进行分析,并挖掘出影响产线效率的根本原因。

以产线中棘手的顽固性不良消除为例,由于顽固性不良根因往往无法通过数据显性获得,因此系统会对数据实施一系列的离散化、归一化处理,然后使用聚类 / 分类模型获得造成顽固性不良的影响因子,并根据权重进行排序。而后根据影响因子权重的大小,结合人工经验对相应工艺流程进行调整后再进行下一轮迭代。随着分析模型的不断优化,目前系统已从需要选取 30 个 TOP 影响因子,逐步优化为仅选取 5 个 TOP 影响因子就可对顽固性不良根因进行精准定位。

显而易见,上述流程中,在边缘服务器上实施数据预处理的能力,是影响方案整体效能的关键因素之一。为此,京东方同样选择了高性能的英特尔® 至强® 可扩展处理器作为其算力引擎。为了让中间过程数据获得更好的落盘性能,京东方还为其配备了在数据密集型工作负载中具有良好表现的英特尔® 固态盘产品。

这个通过云边协同实现的大数据不良根因分析系统在京东方各厂区进行部署实践后,也迅速收获了一线生产人员的认可。反馈回来的数据表明,新方案带来了 56% 的效率提升3

成果与展望

除提升了 AI 缺陷检测、大数据不良根因分析等方面的能力,强化了边缘计算能力的京东方工业互联网解决方案,也开始将其应用进一步扩展到园区管理、设备维护、能耗管控等场景中。

着眼未来,京东方还计划与英特尔一起,基于边缘计算带来的优势,利用 5G、人工智能、高性能计算、大数据分析等新技术,探索更多应用场景,为整个制造行业的智能化转型树立标杆。