報告編委
黃勇
愛分析合伙人&首席分析師
孟晨靜
愛分析分析師
外部專家(按姓氏拼音排序)
杜晨陽
力維智聯(lián) 五維實驗室主任
王哲
九章云極DataCanvas 雅圖BU總經(jīng)理
特別鳴謝(按拼音排序)
目錄
1. 報告綜述
2. 金融行業(yè)數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺
3. 工業(yè)數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺
4. 結(jié)語
1. 報告綜述
隨著數(shù)據(jù)體量的快速增長、算法迭代優(yōu)化以及CPU、GPU、DPU等多種算力技術(shù)的發(fā)展,以大數(shù)據(jù)建模為核心的機器學(xué)習(xí)技術(shù)正被企業(yè)廣泛應(yīng)用到營銷、廣告、風(fēng)控、生產(chǎn)等場景中。
機器學(xué)習(xí)涉及復(fù)雜的建模流程,如數(shù)據(jù)準(zhǔn)備、特征工程、模型訓(xùn)練、模型部署、模型運營等,需要數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師、BI、軟件工程師以及業(yè)務(wù)人員等多方協(xié)作。在企業(yè)傳統(tǒng)的建模方式中,建模以項目制為主,建模周期長,協(xié)作困難,建模門檻高且嚴重依賴數(shù)學(xué)科學(xué)家。
然而,市場環(huán)境、消費者需求的快速變化推動企業(yè)向敏捷性組織轉(zhuǎn)型,對業(yè)務(wù)決策時效性要求更加嚴格。對此,企業(yè)一方面需要提升建模效率以支持業(yè)務(wù)的持續(xù)更新、適應(yīng)廣泛的建模場景,另一方面也需要賦予一線業(yè)務(wù)人員建模能力,提升業(yè)務(wù)人員對市場的反應(yīng)能力。傳統(tǒng)建模方式難以滿足企業(yè)快速決策需求。
數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺為企業(yè)提供了一個高效的解決方案。數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺整合數(shù)據(jù)接入、數(shù)據(jù)準(zhǔn)備、特征工程、模型訓(xùn)練、模型部署、模型管理及模型運營等模型開發(fā)全流程,集成豐富的模型開發(fā)工具,不僅能有效提升模型開發(fā)效率,還能基于AutoML實現(xiàn)低門檻建模,滿足業(yè)務(wù)人員的建模需求。數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺正成為企業(yè)數(shù)智化轉(zhuǎn)型的必要基礎(chǔ)設(shè)施。
不同行業(yè)的企業(yè)對數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺的需求側(cè)重點不同。如對于具備專業(yè)建模人員的金融、醫(yī)療等行業(yè),需要數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺兼顧專業(yè)建模人員和業(yè)務(wù)人員的建模需求;而對于普遍不具備專業(yè)建模人員的其他傳統(tǒng)行業(yè),如工業(yè)、消費、能源等,更需要業(yè)務(wù)人員可快速上手的低門檻建模系統(tǒng)。
本報告選取具有代表性的金融行業(yè)、工業(yè)行業(yè)的數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺解決方案為研究對象,圍繞該解決方案在大中型企業(yè)的落地應(yīng)用展開研究,重點分析兩個行業(yè)中甲方對數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺的需求和解決方案。
2. 金融行業(yè)數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺
在領(lǐng)先的數(shù)字化轉(zhuǎn)型進程、海量數(shù)據(jù)積累、充分的科技人才儲備以及豐富的業(yè)務(wù)場景應(yīng)用需求等驅(qū)動因素下,金融行業(yè)對數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺應(yīng)用的滲透率明顯高于其他傳統(tǒng)行業(yè)。尤其在銀行業(yè),數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺的建設(shè)呈現(xiàn)出從全國性大型銀行向地域性城商行覆蓋的趨勢。數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺作為人工智能基礎(chǔ)設(shè)施正被納入更多金融機構(gòu)的數(shù)字化轉(zhuǎn)型規(guī)劃中。
以銀行業(yè)為例,銀行中的數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺的用戶可分為兩類人群:數(shù)據(jù)科學(xué)家和業(yè)務(wù)人員。其中數(shù)據(jù)科學(xué)家指具備專業(yè)建模能力的模型開發(fā)人員,負責(zé)模型的開發(fā)、算法的優(yōu)化,是模型開發(fā)的核心人員。業(yè)務(wù)人員諸如營銷、風(fēng)控、產(chǎn)品研發(fā)等場景下的數(shù)據(jù)分析人員、BI分析師。銀行的2C屬性使得更靠近C端消費者的業(yè)務(wù)人員對產(chǎn)品、服務(wù)的優(yōu)化更敏感,也更具話語權(quán),為實現(xiàn)銀行的精細化運營,業(yè)務(wù)人員對敏捷地模型開發(fā)及應(yīng)用的需求逐漸增強。兩類人群對數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺的需求也不同。
圖1:數(shù)據(jù)科學(xué)家和業(yè)務(wù)人員對數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺的需求
數(shù)據(jù)科學(xué)家在進行機器學(xué)習(xí)建模時,主要面臨以下挑戰(zhàn):
傳統(tǒng)項目制建模方式導(dǎo)致計算資源無法共享:在金融機構(gòu)傳統(tǒng)的機器學(xué)習(xí)建模過程中,數(shù)據(jù)科學(xué)家各自以項目形式對業(yè)務(wù)場景進行建模,對于計算資源的調(diào)用以申請高性能CPU或GPU服務(wù)器為主,計算資源分配不均勻,算力不能高效利用。
傳統(tǒng)建模方式下建模工具缺失:傳統(tǒng)的開發(fā)工具簡單,模型訓(xùn)練和模型部署都需要數(shù)據(jù)科學(xué)家手動實現(xiàn),尤其模型部署過程中涉及模型轉(zhuǎn)換、模型優(yōu)化以及模型在業(yè)務(wù)平臺運行的性能和穩(wěn)定性等復(fù)雜的工程化落地能力,數(shù)據(jù)科學(xué)家實現(xiàn)模型部署較為困難。此外,由于缺乏數(shù)據(jù)、代碼、模型的版本管理功能,建模過程中的數(shù)字資產(chǎn)無法共享、復(fù)用。
建模全過程多角色協(xié)同困難:由于模型開發(fā)過程會涉及到數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、模型部署以及模型運維等多個環(huán)節(jié),涉及數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家、軟件數(shù)據(jù)分析師等多角色共同協(xié)作完成,存在反復(fù)溝通、協(xié)作流程不明確等問題,帶來重復(fù)性工作。
業(yè)務(wù)人員對數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺的需求更偏向簡單易上手的建模工具,需要屏蔽數(shù)據(jù)準(zhǔn)備、模型訓(xùn)練、模型部署等環(huán)節(jié)的復(fù)雜性,實現(xiàn)一鍵建模,并能及時查看模型對業(yè)務(wù)決策分析的效果。
為同時滿足數(shù)據(jù)科學(xué)家專業(yè)建模需求和業(yè)務(wù)人員低門檻的建模需求,最大化算法模型價值推動實現(xiàn)高效決策,金融行業(yè)的數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺解決方案應(yīng)圍繞以下要點展開。
圖2:金融行業(yè)數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺解決方案要點
統(tǒng)一資源管理:對模型開發(fā)需要的CPU、GPU資源進行整合,以容器化的方式對算力虛擬化,實現(xiàn)彈性擴容、性能加速、資源共享,避免資源浪費。
建立數(shù)據(jù)管道:模型訓(xùn)練過程依賴金融機構(gòu)內(nèi)外的高質(zhì)量數(shù)據(jù),且智能應(yīng)用上線后,需持續(xù)對模型效果進行監(jiān)控,持續(xù)輸入新鮮的高質(zhì)量數(shù)據(jù)集進行模型迭代,因此需要建立數(shù)據(jù)管道,包括為金融機構(gòu)接入多種數(shù)據(jù)源如關(guān)系型數(shù)據(jù)庫、Hadoop大數(shù)據(jù)平臺,提供統(tǒng)一的存儲、治理、管理服務(wù),提供豐富的數(shù)據(jù)分析算子進行標(biāo)注、檢查、改進等數(shù)據(jù)預(yù)處理。
模型訓(xùn)練:兼容多種高性能訓(xùn)練和推理引擎框架,如TensorFlow、Pytorch、MXNet等。提供多種建模方式,包括自由度更高的Notebook建模、可視化建模、AutoML建模,適用于金融機構(gòu)不同建模人員使用。針對Notebook建模、可視化建模提供豐富的白盒算子,以供數(shù)據(jù)科學(xué)家進行優(yōu)化或是建立模型訓(xùn)練工作流;AutoML建模中則應(yīng)具備數(shù)據(jù)自動處理、模型自動訓(xùn)練、模型自動選擇等功能,使得業(yè)務(wù)人員只需提供原始數(shù)據(jù)集即可完成獲得特定業(yè)務(wù)場景下的模型開發(fā),開展智能應(yīng)用。
模型部署和運維:提供一鍵部署功能,實現(xiàn)模型快速部署;提供模型監(jiān)控功能,對模型漂移提供預(yù)警。
模型開發(fā)數(shù)字資產(chǎn)的沉淀:在模型開發(fā)過程中,針對數(shù)據(jù)接入、數(shù)據(jù)轉(zhuǎn)換、特征工程、模型訓(xùn)練、模型部署等環(huán)節(jié),提供數(shù)據(jù)、代碼和模型等的版本管理,實現(xiàn)模型數(shù)字資產(chǎn)的沉淀和復(fù)用。
案例1:AI中心加速山西銀行智能化轉(zhuǎn)型,打造數(shù)據(jù)驅(qū)動型組織
山西銀行是經(jīng)中國銀保監(jiān)會批準(zhǔn),于2021年4月28日掛牌開業(yè),以原大同銀行、長治銀行、晉城銀行、晉中銀行、陽泉市商業(yè)銀行為基礎(chǔ),通過新設(shè)合并方式設(shè)立的省級法人城市商業(yè)銀行,現(xiàn)有員工7000余名,擁有分行級機構(gòu)12家,各類營業(yè)網(wǎng)點387個,遍布全省10個地市、23個區(qū)、36個縣。
山西銀行成立之初,在對原大同銀行、長治銀行、晉城銀行、晉中銀行、陽泉市商業(yè)銀行科技系統(tǒng)整合的基礎(chǔ)上,為建立一套全行的可持續(xù)“讓數(shù)據(jù)用起來”的數(shù)據(jù)體系,于2021年啟動數(shù)據(jù)中臺項目群,推動包括數(shù)據(jù)開發(fā)平臺、數(shù)據(jù)管控平臺、數(shù)據(jù)服務(wù)平臺和客戶集市等功能實現(xiàn)。
建模方式不完善,亟待建模能力和建模系統(tǒng)全面升級
其中,為實現(xiàn)數(shù)據(jù)賦能業(yè)務(wù)需求,山西銀行擬圍繞以人工智能、大數(shù)據(jù)、云計算為代表的科技能力為基礎(chǔ)搭建自動化聯(lián)合建模平臺,為建模人員提供樣本導(dǎo)入、數(shù)據(jù)匹配、特征加工、模型訓(xùn)練及模型評估等一站式聯(lián)合建模服務(wù),并將聯(lián)合建模平臺作為數(shù)據(jù)開發(fā)平臺的重要組成部分。山西銀行對聯(lián)合建模平臺的需求主要體現(xiàn)在以下方面:
實現(xiàn)聯(lián)合建模。山西銀行中業(yè)務(wù)人員普遍不具備建模能力,而具備專業(yè)建模能力的科技人員對業(yè)務(wù)了解也不透徹,這導(dǎo)致科技人員在建模過程中需要與業(yè)務(wù)人員就具體需求、數(shù)據(jù)范圍、數(shù)據(jù)質(zhì)量、模型設(shè)計等方面進行反復(fù)溝通,耗費大量時間。山西銀行亟需為業(yè)務(wù)人員實現(xiàn)自動建模功能,為科技人員提供一站式建模平臺支撐,實現(xiàn)業(yè)務(wù)人員和科技人員聯(lián)合建模,提升模型開發(fā)效率。
提升算力。AI的算力強弱直接影響到AI模型訓(xùn)練的精度與推理結(jié)果。一方面,由于山西銀行數(shù)據(jù)由5家銀行數(shù)據(jù)合并而來,數(shù)據(jù)體量遠超之前單個銀行數(shù)據(jù)體量;另一方面,每個項目組都會各自申請計算資源,導(dǎo)致科技人員在進行模型訓(xùn)練過程中經(jīng)常面臨算力資源不足的問題,頻繁出現(xiàn)內(nèi)存溢出、開發(fā)工具重啟等現(xiàn)象。此外,不同的業(yè)務(wù)場景需要的資源類型也不同,如機器學(xué)習(xí)模型常用CPU計算,深度學(xué)習(xí)模型傾向用GPU進行計算,因此如何提升建模的算力支持,且為科技人員屏蔽復(fù)雜的算力管理細節(jié),專注于建模本身,是聯(lián)合建模平臺需要解決的主要問題之一。
實現(xiàn)數(shù)據(jù)、代碼等模型數(shù)據(jù)資產(chǎn)共享及沉淀。山西銀行技術(shù)人員在面向精準(zhǔn)營銷、智能風(fēng)控、產(chǎn)品設(shè)計等不同業(yè)務(wù)需求時,優(yōu)秀的數(shù)據(jù)集、代碼、模型版本等成果不能及時共享,需要聯(lián)合建模平臺支持建模過程成果沉淀。
基于以上需求,山西銀行將聯(lián)合建模平臺項目進行招投標(biāo),綜合考量技術(shù)先進性、對業(yè)務(wù)場景的適應(yīng)性、系統(tǒng)運行穩(wěn)定性、系統(tǒng)安全性、系統(tǒng)可拓展性以及信創(chuàng)環(huán)境支持等因素,最終選擇與九章云極DataCanvas合作。
北京九章云極科技有限公司(簡稱:九章云極DataCanvas)成立于2013年,是中國數(shù)據(jù)智能基礎(chǔ)軟件領(lǐng)軍者。公司專注數(shù)據(jù)智能基礎(chǔ)軟件的持續(xù)開發(fā)與建設(shè),通過自主研發(fā)的一系列企業(yè)級AI應(yīng)用所需的平臺軟件產(chǎn)品及解決方案,助力用戶實現(xiàn)數(shù)智化升級。目前,九章云極DataCanvas機器學(xué)習(xí)平臺業(yè)務(wù)涉及政府、金融、通信、制造、能源、交通、航空等十余個行業(yè),客戶覆蓋多個行業(yè)頭部和世界五百強企業(yè)。
基于DataCanvas APS機器學(xué)習(xí)平臺,建設(shè)AI中心
在九章云極DataCanvas協(xié)助下,山西銀行正式建設(shè)聯(lián)合建模平臺,基于九章云極成熟的DataCanvas APS機器學(xué)習(xí)平臺建立“模型實驗室”。該項目從2021年11月開始推進實施,歷經(jīng)近9個月的時間,于2022年8月初完成平臺建設(shè)并進行線上試運行,之后于2023年1月正式在全行推廣,針對全行范圍的數(shù)據(jù)、模型需求正式開展工作。山西銀行模型實驗室面向科技人員和業(yè)務(wù)人員實現(xiàn)一站式模型開發(fā),主要功能包括以下方面:
圖3:模型實驗室功能架構(gòu)圖/示意圖
1.異構(gòu)多引擎融合架構(gòu)
靈活計算環(huán)境支持:平臺功能基于Docker實現(xiàn)容器化封裝,底層計算資源支持Kubernetes集群、Hadoop集群和GPU集群等多種模式,提供彈性可伸縮的CPU和GPU資源,支持大數(shù)據(jù)量的分析和訓(xùn)練,實現(xiàn)計算資源合理利用。
工作流混合編排:在異構(gòu)多引擎融合架構(gòu)下,平臺算子封裝支持多語言模式,允許在同一個工作流中調(diào)用不同開發(fā)語言算子,可以快速融合機器學(xué)習(xí)和深度學(xué)習(xí)的多引擎的訓(xùn)練和推理,支持工作流程嵌套,如在平臺中支持編碼、可視化、AutoML三種建模方式,三種建模方式之間可相互調(diào)用,最大程度上提高建模流程的靈活性和模型資產(chǎn)的復(fù)用性。
2.簡化數(shù)據(jù)準(zhǔn)備,實現(xiàn)多源異構(gòu)大數(shù)據(jù)分析
模型實驗室支持多種數(shù)據(jù)連接器,山西銀行可便捷獲取包括本地數(shù)據(jù)、關(guān)系型數(shù)據(jù)庫、Hadoop大數(shù)據(jù)平臺等在內(nèi)的各類數(shù)據(jù)源,并且模型實驗室支持支持異構(gòu)多源數(shù)據(jù)的加工和混合處理,即在一個工作流中可以將多個異構(gòu)數(shù)據(jù)源中的數(shù)據(jù)作為輸入并調(diào)用平臺上的多種數(shù)據(jù)分析算子進行處理。
3.開放性算法支持
集成了主流的開源機器學(xué)習(xí)算法庫和深度學(xué)習(xí)框架,如TensorFlow、Caffee、H2O 等,不同框架間可開展協(xié)同工作。
提供豐富的開箱即用“白盒”算法庫,內(nèi)置100多種算法模型,包括企業(yè)常用的統(tǒng)計分析、機器學(xué)習(xí)、深度學(xué)習(xí)算法,面向數(shù)據(jù)分析應(yīng)用提供基礎(chǔ)算法支持。“白盒”模式下,算子代碼完全開放,支持客戶對代碼進行修改或開發(fā),滿足建模人員算子自定義、算子迭代需求。
建模人員可在集成Web IDE環(huán)境中,對算子進行開發(fā)。并基于容器技術(shù)對算子進行靈活封裝、集成,形成算子模塊并發(fā)布到算法庫中。發(fā)布后的算子模塊可被反復(fù)調(diào)用,提升新模型的開發(fā)效率。
4.提供三種編碼方式,適應(yīng)不同建模水平人員
代碼建模:支持科技人員在Web IDE環(huán)境中通過R、Python、Scala等編程語言進行算法開發(fā)
可視化建模:模型實驗室提供的算子模塊覆蓋模型生產(chǎn)全流程,包括數(shù)據(jù)準(zhǔn)備、特征工程、模型訓(xùn)練、模型評估、模型對比、模型發(fā)布等,支持了解建模流程的科技人員通過圖形化、拖拽式建模。
AutoML建模:針對不具備建模知識的業(yè)務(wù)人員,模型實驗室提供低門檻AutoML技術(shù),平臺可自動完成包括算法選擇、超參數(shù)優(yōu)化、模型評估、模型選擇及模型發(fā)布等系列過程,并生成面向生產(chǎn)系統(tǒng)的REST API調(diào)用服務(wù)。業(yè)務(wù)人員通過配置目標(biāo)即可實現(xiàn)自動化建模。
5.模型全生命周期管理
對數(shù)據(jù)接入、數(shù)據(jù)轉(zhuǎn)換、特征工程、建模可視化、模型倉庫、模型生產(chǎn)化等建模全過程的數(shù)據(jù)、環(huán)境、代碼、模型版本進行管理,實現(xiàn)數(shù)據(jù)、特征、模型的復(fù)用和迭代,沉淀數(shù)據(jù)資產(chǎn)。
6.支持高性能的分布式訓(xùn)練
融合主流分布式計算框架如Spark、TensorFlow、PyTorch、Dask等,并預(yù)置豐富的分布式訓(xùn)練場景;深度學(xué)習(xí)分布式支持單機單卡、單機多卡、多機多卡訓(xùn)練,用戶可以在復(fù)雜場景下快速高效完成模型訓(xùn)練。
以上是模型實驗室的重要功能。
山西銀行在搭建模型實驗室的基礎(chǔ)上,也在考慮如何改善模型開發(fā)流程讓模型實驗室發(fā)揮最大價值。由于模型開發(fā)流程包含業(yè)務(wù)需求分析、搜集數(shù)據(jù)、數(shù)據(jù)清洗、特征工程、模型訓(xùn)練、模型部署、模型運維等環(huán)節(jié),涉及業(yè)務(wù)部門、IT部門、算法開發(fā)人員等多個部門,為保證模型開發(fā)流程高效運轉(zhuǎn),在建設(shè)模型實驗室基礎(chǔ)上,山西銀行制定了一套完善的模型開發(fā)協(xié)作機制,如下圖所示。其中,業(yè)務(wù)部門提出業(yè)務(wù)需求并對模型最終效果進行確認。數(shù)金業(yè)務(wù)部承擔(dān)與業(yè)務(wù)部門溝通的職責(zé),包括業(yè)務(wù)需求確認、模型設(shè)計溝通、模型初訓(xùn)練的效果確認等。數(shù)金科技負責(zé)數(shù)據(jù)預(yù)處理、模型訓(xùn)練工作。
圖4:山西銀行跨部門模型開發(fā)協(xié)作流程示意圖
模型實驗室大幅提升建模效率、有效降低建模成本
模型實驗室作為山西銀行的AI中心,利用先進的異構(gòu)多引擎融合架構(gòu),適應(yīng)業(yè)務(wù)人員和科技人員的不同建模需求,為智能應(yīng)用建設(shè)生命周期提供完善的工具和支持,實現(xiàn)端到端一站式建模,有效解決算力瓶頸問題,大幅提升建模效率。
1.解決算力瓶頸問題
模型實驗室基于異構(gòu)多引擎融合架構(gòu),具有優(yōu)秀的可擴展性,利用Spark 分布式內(nèi)存計算提供強大的計算能力,支持海量數(shù)據(jù)計算分析。此外,模型實驗室能在模型開發(fā)的數(shù)據(jù)處理、模型訓(xùn)練等環(huán)節(jié)提供資源自動推薦,用戶也可對資源類型和配額進行調(diào)整,實現(xiàn)算力的高效利用。同時,模型實驗室對使用者屏蔽了大數(shù)據(jù)技術(shù)組件的復(fù)雜性,使業(yè)務(wù)人員和科學(xué)人員能輕松獲得大數(shù)據(jù)處理能力。
2.提升建模能力,提高建模效率
模型實驗室提供端到端一站式建模全流程支持,能大幅提升山西銀行在數(shù)據(jù)探索、預(yù)處理、特征工程、分析挖掘以及模型服務(wù)等環(huán)節(jié)的能力。另一方面,模型實驗室為業(yè)務(wù)人員提供的AutoML建模和圖形化建模方式,使業(yè)務(wù)人員能根據(jù)需求自主建模,基于模型效果再與科技人員溝通進行模型優(yōu)化或調(diào)整,改進建模流程,大幅縮短建模時間,實現(xiàn)對業(yè)務(wù)需求的敏捷響應(yīng)。
3.模型資產(chǎn)和建模方法論沉淀
建模過程中,包括數(shù)據(jù)集、數(shù)據(jù)清洗、特征工程、模型訓(xùn)練、模型上線等過程的代碼、數(shù)據(jù),以及建模的流程都能保留并提供下載,科技人員可以通過權(quán)限定義分享對象,從而實現(xiàn)人員協(xié)同、成果復(fù)用,沉淀模型資產(chǎn)、解決問題的方法論和流程。
4.有效實現(xiàn)成本控制:經(jīng)統(tǒng)計,基于模型實驗室,單個機器學(xué)習(xí)模型的建模成本縮減60%,運維成本降低30%。
3. 工業(yè)數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺
工業(yè)互聯(lián)網(wǎng)趨勢下,以AI模型為核心的人工智能通過融合工業(yè)機理知識與專家經(jīng)驗,實現(xiàn)設(shè)計創(chuàng)新、生產(chǎn)優(yōu)化、產(chǎn)品智能檢測、智能運維等價值,正廣泛應(yīng)用在企業(yè)的設(shè)計研發(fā)、生產(chǎn)制造、運維、供應(yīng)鏈管理、產(chǎn)品檢測等場景中。人工智能已經(jīng)成為工業(yè)企業(yè)提升生產(chǎn)效率、提高產(chǎn)品質(zhì)量、降低人力成本、實現(xiàn)環(huán)境可持續(xù)發(fā)展的新型基礎(chǔ)設(shè)施。
當(dāng)前,工業(yè)企業(yè)中的數(shù)字化轉(zhuǎn)型領(lǐng)先企業(yè),在試點驗證機器學(xué)習(xí)模型價值后,希望擴大智能應(yīng)用的范疇,對特定場景進行智能化改造,如化工、石化等流程工業(yè)企業(yè)的生產(chǎn)場景下,生產(chǎn)裝置的模擬與優(yōu)化普遍基于傳統(tǒng)的機理建模,以實現(xiàn)對生產(chǎn)過程的工況分析和流程優(yōu)化。但基于單個環(huán)節(jié)或是單個裝置的機理模型收斂慢、研發(fā)周期長且模型可移植性差,難以實現(xiàn)對系統(tǒng)過程全流程的模擬。
機器學(xué)習(xí)平臺通過融合機器學(xué)習(xí)建模和機理建模,不僅能簡化模型復(fù)雜度,還能實現(xiàn)對生產(chǎn)過程中各環(huán)節(jié)、各化工裝置實現(xiàn)建模開發(fā),從而達到對生產(chǎn)全流程的精準(zhǔn)控制和精準(zhǔn)預(yù)測。工業(yè)企業(yè)對應(yīng)用機器學(xué)習(xí)平臺的難點/需求,具體表現(xiàn)在:
圖5:工業(yè)企業(yè)應(yīng)用數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺的難點/需求
企業(yè)缺失專業(yè)建模人才。工業(yè)企業(yè)的IT人才儲備有限,企業(yè)不具備專業(yè)的機器學(xué)習(xí)建模人才。同時,企業(yè)的智能化進程需要為一線業(yè)務(wù)人員賦能模型開發(fā)、模型應(yīng)用能力,因此機器學(xué)習(xí)平臺必須低門檻、易上手。
實現(xiàn)知識資產(chǎn)沉淀和復(fù)用。工業(yè)下細分行業(yè)眾多,不同細分行業(yè)的生產(chǎn)流程差異巨大。企業(yè)在日常經(jīng)營中積累了豐富的場景知識和專家經(jīng)驗,需要將此類知識沉淀為數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺中的數(shù)據(jù)集模板、特征工程模板、模型模板或是工作流程,實現(xiàn)專家經(jīng)驗知識沉淀。
提供個性化行業(yè)場景預(yù)訓(xùn)練模型支持。工業(yè)在生產(chǎn)工藝、產(chǎn)品檢測等環(huán)節(jié)數(shù)據(jù)量有限,難以支撐需要大規(guī)模數(shù)據(jù)支撐的模型,需要合適的預(yù)訓(xùn)練模型實現(xiàn)小數(shù)據(jù)量下的模型開發(fā)。
為了解決工業(yè)企業(yè)在數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺應(yīng)用上的難點,廠商對工業(yè)企業(yè)的解決方案應(yīng)包括以下三方面內(nèi)容:
圖6:工業(yè)企業(yè)數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺解決方案要點
1. 平臺建設(shè):搭建端到端一站式模型開發(fā)平臺
建模方式:提供低門檻的建模支持,包括無代碼AutoML建模和低代碼圖形化建模。其中AutoML應(yīng)支持自動化的數(shù)據(jù)處理、特征工程、模型選擇、超參數(shù)調(diào)優(yōu)以及模型部署。
算法提供:提供豐富的數(shù)據(jù)預(yù)處理算法、機器學(xué)習(xí)算法、深度學(xué)習(xí)算法,供業(yè)務(wù)人員調(diào)用;提供業(yè)務(wù)場景適用的預(yù)訓(xùn)練模型,以保證業(yè)務(wù)場景下“小數(shù)據(jù)”的模型效果。
計算資源管理支持:支持算力資源的分布式管理和精細化管理,為模型訓(xùn)練提供自動化資源推薦,以及屏蔽大數(shù)據(jù)技術(shù)組件的復(fù)雜性,使業(yè)務(wù)人員能輕松獲得大數(shù)據(jù)處理能力。
2. 平臺部署:軟硬件環(huán)境適配
工業(yè)企業(yè)的軟硬件環(huán)境復(fù)雜,數(shù)據(jù)科學(xué)與機器學(xué)習(xí)建模平臺內(nèi)嵌在工業(yè)互聯(lián)網(wǎng)平臺中,面向多種業(yè)務(wù)系統(tǒng),需要針對性的進行兼容性適配開發(fā)。因此,廠商軟件開發(fā)人員需要與企業(yè)的工程師協(xié)同對認證系統(tǒng)、數(shù)據(jù)中臺、業(yè)務(wù)系統(tǒng)進行定制化的開發(fā)和對接聯(lián)調(diào)工作,以保證平臺的順利部署。
3. 平臺運維:培訓(xùn)建模流程、技巧
在數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺建設(shè)完成后,廠商的數(shù)據(jù)分析師、數(shù)據(jù)科學(xué)家應(yīng)提供培訓(xùn)教學(xué),為企業(yè)的業(yè)務(wù)人員培訓(xùn)機器學(xué)習(xí)基礎(chǔ)概念,同時通過實訓(xùn)方式讓業(yè)務(wù)人員上機實操,結(jié)合業(yè)務(wù)場景案例,快速掌握平臺建模能力。
案例2:某石化企業(yè)通過工業(yè)大數(shù)據(jù)分析建模平臺實現(xiàn)加氫裂化裝置工藝優(yōu)化,提升經(jīng)營效率
某石化企業(yè)是一家集石油化工、煤化工、石化產(chǎn)品銷售為一體,配套齊全的大型煉化一體化企業(yè),原油加工能力2200萬噸/年、芳烴生產(chǎn)能力100萬噸/年,加工規(guī)模和技術(shù)水平位居國內(nèi)煉油企業(yè)第一梯隊。
近年來,該石化企業(yè)積極推進信息化工業(yè)化兩化深度融合,基于工業(yè)互聯(lián)網(wǎng)提出“智能煉廠”,在裝置優(yōu)化、計劃優(yōu)化、供應(yīng)鏈優(yōu)化等環(huán)節(jié)推進相關(guān)應(yīng)用研究。目前,該企業(yè)工業(yè)互聯(lián)網(wǎng)已廣泛應(yīng)用于工藝、設(shè)備、HSE、能源、經(jīng)營管理、物流等領(lǐng)域。
與此同時,煉化企業(yè)為應(yīng)對低油價與成品油市場寒冬,紛紛以生產(chǎn)優(yōu)化為核心深入實施降本增效,進而對生產(chǎn)模型精度、模型開發(fā)效率以及模型應(yīng)用廣度等都提出更高要求。
而智能建模技術(shù)作為“智能煉廠”的核心技術(shù),以煉油生產(chǎn)為“目標(biāo)函數(shù)”,能通過快速創(chuàng)建智能化應(yīng)用,為安全生產(chǎn)、降本增效提供智能決策,成為石化企業(yè)普遍關(guān)注的關(guān)鍵技術(shù)。加氫裝置(包括加氫精制、加氫裂化)是石油煉化企業(yè)的關(guān)鍵環(huán)節(jié),該石化企業(yè)希望通過敏捷建模實現(xiàn)煉化生產(chǎn)智能化。
既有建模方式門檻高、難應(yīng)用
針對生產(chǎn)優(yōu)化,該企業(yè)早已應(yīng)用基于機理的傳統(tǒng)優(yōu)化建模軟件如Aspen、Petro-SIM、ProII,同時也在嘗試基于機器學(xué)習(xí)算法的大數(shù)據(jù)建模技術(shù),如將煉化機理知識與深度學(xué)習(xí)算法相結(jié)合,已經(jīng)實現(xiàn)加氫裝置原料油換熱器結(jié)垢預(yù)測、加氫催化劑床層溫度預(yù)測等場景的智能化應(yīng)用,并取得了較好效果。但兩種建模路徑都難以滿足業(yè)務(wù)需求,使企業(yè)處于“有數(shù)據(jù)、無模型、有模型、難應(yīng)用”的被動局面,具體痛點表現(xiàn)在:
1)技術(shù)門檻高。基于機理的傳統(tǒng)優(yōu)化建模嚴重依賴專家經(jīng)驗以及國外廠商提供的優(yōu)化求解軟件,且建模軟件模型收斂慢,調(diào)優(yōu)復(fù)雜。而機器學(xué)習(xí)建模過程涉及數(shù)據(jù)準(zhǔn)備、特征工程、模型構(gòu)建、模型部署,也嚴重依賴具備專業(yè)建模能力的數(shù)據(jù)科學(xué)家。該企業(yè)缺乏懂建模也懂業(yè)務(wù)的專業(yè)復(fù)合型人才,同時高技術(shù)門檻阻礙了建模技術(shù)在企業(yè)煉化場景的廣泛推廣應(yīng)用。
2)建模周期長,建模成本高。傳統(tǒng)優(yōu)化建模和機器學(xué)習(xí)建模都存在著“大數(shù)據(jù)、小任務(wù)”,執(zhí)行任務(wù)單一的特點。其建模過程中數(shù)據(jù)體量大、開發(fā)難度大、研發(fā)周期長,而開發(fā)的模型僅能適用于單個“小場景”。如果想覆蓋煉化過程的更多場景就需要定制化的開發(fā)多個模型,導(dǎo)致兩種建模方式均投入巨大,難以快速為企業(yè)帶來效益提升。
3)模型部署難。在該石化企業(yè)業(yè)務(wù)中,當(dāng)機器學(xué)習(xí)算法模型訓(xùn)練完畢部署到生產(chǎn)環(huán)境中時,數(shù)據(jù)采集、預(yù)處理和邊緣推理計算時均受智能設(shè)備影響,AI模型的實際效果與智能設(shè)備的選型、接入、點位選擇以及人力調(diào)試密切相關(guān)。然而該化工企業(yè)智能設(shè)備來源廣泛,不同生產(chǎn)領(lǐng)域的設(shè)備型號各異,缺少統(tǒng)一的接入標(biāo)準(zhǔn),且設(shè)備安裝、接入和調(diào)試需要耗費大量人力,導(dǎo)致模型在不同生產(chǎn)領(lǐng)域部署時均需以項目課題形式實施,模型部署難也進一步制約機器學(xué)習(xí)建模在企業(yè)的推廣應(yīng)用。
建設(shè)一站式煉化工業(yè)大數(shù)據(jù)分析建模平臺,支撐深度學(xué)習(xí)算法推廣應(yīng)用
鑒于機器學(xué)習(xí)建模在前期實驗中的出色效果,該石化企業(yè)決定將深度學(xué)習(xí)算法進行推廣應(yīng)用,將“智能煉廠”推進“深度編碼”階段,通過先進的技術(shù)手段,如容器化、分布式計算、低代碼等技術(shù),實現(xiàn)對深度學(xué)習(xí)算法在煉化領(lǐng)域落地的助推。而實現(xiàn)深度學(xué)習(xí)算法的推廣應(yīng)用,需要大數(shù)據(jù)建模平臺做支撐。該石化企業(yè)考慮到自建大數(shù)據(jù)建模平臺成本投入大、技術(shù)難度較高,如分布式計算環(huán)境對硬件資源要求高、大數(shù)據(jù)組件的開發(fā)與應(yīng)用難度大、模型部署對接各個系統(tǒng)復(fù)雜性較高等,于是決定與第三方廠商合作,綜合考慮行業(yè)服務(wù)經(jīng)驗、核心技術(shù)能力、兼容性、成本等方面,最終選擇與力維智聯(lián)合作。
力維智聯(lián)成立于2005年,是國家高新技術(shù)企業(yè),憑借泛在數(shù)據(jù)接入與匯聚和大數(shù)據(jù)智能等AIoT技術(shù)和十余年AIoT系統(tǒng)集成交付能力,提供軟硬一體的行業(yè)AIoT產(chǎn)品、解決方案與服務(wù)。同時,力維智聯(lián)通過低代碼機器學(xué)習(xí)開發(fā)平臺提供AI開發(fā)工具軟件和AI中臺解決方案,該平臺已服務(wù)于上海世紀(jì)出版集團、南方電網(wǎng)科研院、中海油、航天科技、國家5G中高頻器件創(chuàng)新中心等企業(yè)和公共服務(wù)平臺。
在力維智聯(lián)的協(xié)助下,該石化企業(yè)在既有工業(yè)互聯(lián)網(wǎng)平臺架構(gòu)下,針對石化煤柴油加氫裝置構(gòu)建起一站式煉化工業(yè)大數(shù)據(jù)分析建模平臺,集成數(shù)據(jù)預(yù)處理、主流機器學(xué)習(xí)算法、智能優(yōu)化算法和模型自動訓(xùn)練方法,最終實現(xiàn)生產(chǎn)數(shù)據(jù)到模型應(yīng)用的端到端建模平臺。
圖7:工業(yè)大數(shù)據(jù)分析建模平臺在工業(yè)互聯(lián)網(wǎng)的位置
圖8:工業(yè)大數(shù)據(jù)分析建模平臺架構(gòu)示意圖
1. 工業(yè)大數(shù)據(jù)分析建模平臺架構(gòu)
工業(yè)大數(shù)據(jù)分析建模平臺處于石化工業(yè)互聯(lián)網(wǎng)的工業(yè)PaaS層。架構(gòu)上,工業(yè)大數(shù)據(jù)分析建模平臺分為數(shù)據(jù)分析引擎和數(shù)據(jù)模型用戶端。
1)數(shù)據(jù)分析引擎
數(shù)據(jù)分析引擎分為底層架構(gòu)和業(yè)務(wù)架構(gòu)。底層架構(gòu)由Spark、MongoDB、Java Client、Webserver等技術(shù)組成。業(yè)務(wù)架構(gòu)包含數(shù)據(jù)讀入、數(shù)據(jù)處理、特征工程、機器學(xué)習(xí)、深度學(xué)習(xí)、智能優(yōu)化、AUTOML等模塊。數(shù)據(jù)分析引擎主要提供數(shù)據(jù)分析與挖掘、特征工程與模型訓(xùn)練功能,其中數(shù)據(jù)分析還包括數(shù)據(jù)輸出及數(shù)據(jù)可視化。
2)數(shù)據(jù)模型用戶端
數(shù)據(jù)模型用戶端底層架構(gòu)由Java Client、Azkban、Redis、Java Springboot等技術(shù)組成。業(yè)務(wù)架構(gòu)通過數(shù)據(jù)視圖——算子流構(gòu)建——模型管理——模型工作流——模型服務(wù)——發(fā)布應(yīng)用構(gòu)建起來。數(shù)據(jù)模型用戶端支持多種數(shù)據(jù)庫接入,但不對接入數(shù)據(jù)進行存儲,該石化企業(yè)另部署數(shù)據(jù)庫進行對接。
數(shù)據(jù)模型用戶端主要提供用戶權(quán)限管理、資源的定義和管理、任務(wù)調(diào)度以及數(shù)據(jù)的呈現(xiàn),其中資源包含數(shù)據(jù)視圖、算子流、工作流和應(yīng)用等。
2. 工業(yè)大數(shù)據(jù)分析建模平臺功能
基于以上架構(gòu),工業(yè)大數(shù)據(jù)分析建模平臺覆蓋數(shù)據(jù)準(zhǔn)備、統(tǒng)計分析、數(shù)據(jù)可視化、特征構(gòu)造、模型構(gòu)建和模型部署等智能應(yīng)用開發(fā)全流程。具體實現(xiàn)了以下功能:
1)提供豐富的算法:平臺包含的算法主要分為兩部分,一是通用數(shù)據(jù)科學(xué)挖掘算法,包括數(shù)據(jù)預(yù)處理和主流機器學(xué)習(xí)算法;二是優(yōu)化算法,包括模型自訓(xùn)練算法和智能優(yōu)化算法。一線煉化工程師可以根據(jù)自身需要設(shè)計算子流,對多種格式的數(shù)據(jù)數(shù)據(jù)進行預(yù)處理,或是根據(jù)業(yè)務(wù)場景進行建模。
2)煉化數(shù)據(jù)與大數(shù)據(jù)融合:一方面,平臺通過預(yù)置煉化過程“工藝、質(zhì)量”等領(lǐng)域?qū)n}數(shù)據(jù)集固化先驗知識,并對工藝特征工程進行遷移,為大數(shù)據(jù)算法落地提供特征模板與數(shù)據(jù)基礎(chǔ),將工程師的專家知識固化到平臺;另一方面,平臺預(yù)置豐富機器學(xué)習(xí)、深度學(xué)習(xí)算子,可為不同煉化過程大數(shù)據(jù)建模場景提供算法與數(shù)據(jù)的適配融合。
3)實現(xiàn)低門檻建模:一方面,基于應(yīng)用引擎、算子流和工作流的編排功能,工業(yè)大數(shù)據(jù)分析建模平臺為煉化工程師提供無代碼的圖形化“拖拉拽”建模支持,通過連接任意算子形成算子流,可便捷實現(xiàn)數(shù)據(jù)預(yù)處理、模型設(shè)計、訓(xùn)練和部署。另一方面,平臺支持無代碼的模型自訓(xùn)練(AutoML),包括自動數(shù)據(jù)準(zhǔn)備,自動機器學(xué)習(xí),自動模型調(diào)參,大大降低煉化工程師的建模門檻。
4)提供智能應(yīng)用開發(fā):模型部署后,平臺提供API服務(wù)的方式供其他業(yè)務(wù)系統(tǒng)調(diào)用,同時也支持借助BI+AI圖標(biāo)和控制組件開發(fā)動態(tài)可交互的可視化應(yīng)用。
5)資源分布式、項目制管理:通過集群部署,平臺實現(xiàn)了模型訓(xùn)練算力與推理算力資源的分布式管理,以項目為單位,對數(shù)據(jù)資源和硬件資源進行精細化管理控制。
6)軟硬件兼容適配:力維智聯(lián)在平臺部署時使用了容器化技術(shù),對國產(chǎn)化軟硬件進行兼容性適配開發(fā),保證平臺順利部署、穩(wěn)定運行。針對數(shù)據(jù)接口接入,力維智聯(lián)通過適配該煉化企業(yè)自有的工業(yè)互聯(lián)網(wǎng)平臺數(shù)據(jù)微服務(wù)接口,完成了煉化數(shù)據(jù)接入,保證數(shù)據(jù)流轉(zhuǎn)暢通。另外,平臺還額外提供了ETL能力,對數(shù)據(jù)進行治理與融合,實現(xiàn)算法建模前對數(shù)據(jù)進行預(yù)處理。
7)完備的流程管理:平臺提供從數(shù)據(jù)接入、數(shù)據(jù)分析處理、數(shù)據(jù)展示、特征工程、模型管理、模型部署以及智能應(yīng)用上線一站式實現(xiàn)和管理。
工業(yè)大數(shù)據(jù)分析建模平臺顯著提高建模效率、轉(zhuǎn)變模型開發(fā)方式
該石化企業(yè)通過大數(shù)據(jù)低代碼建模平臺,解決了煉油化工企業(yè)“有數(shù)據(jù)、無模型;有模型、難應(yīng)用”、“建模成本高、建模周期長”的問題。通過實踐證明在預(yù)測誤差、利潤產(chǎn)品收率、建模周期等方面均得到顯著改善。
1)模型性能提升,預(yù)測誤差降低
基于大數(shù)據(jù)建模平臺開發(fā)的“多通道多尺度卷積神經(jīng)網(wǎng)絡(luò)(MCMSCNN)”模型在加氫催化劑床層溫度預(yù)測、氫氣耗量預(yù)測方面誤差<3%,提升了煉化工程師對核心工況參數(shù)的監(jiān)控把握,大幅降低氫氣、燃料氣等生產(chǎn)成本。
基于低代碼平臺開發(fā)的“大數(shù)據(jù)預(yù)訓(xùn)練+工藝數(shù)據(jù)微調(diào)”遷移算法解決了因LIMS(實驗室信息管理系統(tǒng))化驗分析數(shù)據(jù)量不足而造成的產(chǎn)品性質(zhì)預(yù)測模型性能不佳的問題,實現(xiàn)了加氫裂化產(chǎn)品性質(zhì)的實時軟測量,利潤產(chǎn)品收率提高約0.8%。
2)建模門檻降低,建模周期大幅縮短
數(shù)據(jù)智能建模平臺實現(xiàn)了生產(chǎn)裝置海量數(shù)據(jù)的有效利用,從數(shù)據(jù)采集到模型部署,由2周大幅縮短為1天。其中建模環(huán)節(jié),因平臺支持通過建立與煉油裝置有關(guān)的工藝和質(zhì)量的專題數(shù)據(jù)集來固化先驗知識,遷移建模特征,為大數(shù)據(jù)算法落地提供特征模板與數(shù)據(jù)基礎(chǔ),使建模時間由原來的一周大幅縮短為8小時,建模效率大幅提高。
此外,該石化企業(yè)內(nèi)的模型開發(fā)工作也實現(xiàn)了“去中心化”,從原有信息中心的個別工程師在實驗室開發(fā),轉(zhuǎn)變?yōu)橐痪€工程師結(jié)合生產(chǎn)問題廣泛開發(fā),有效賦能生產(chǎn)。
3)模型資產(chǎn)實現(xiàn)復(fù)用
由煉化工程師自主研發(fā)的10余個機器學(xué)習(xí)模型,日調(diào)用量超1000余次。
廠商選型和企業(yè)科研意識是大數(shù)據(jù)低代碼建模平臺落地關(guān)鍵
該石化企業(yè)通過建設(shè)低代碼工業(yè)大數(shù)據(jù)分析建模平臺實現(xiàn)加氫裝置多環(huán)境的優(yōu)化,取得良好效果,其成功經(jīng)驗可以復(fù)用到煉化行業(yè)生產(chǎn)工藝環(huán)節(jié)、其他流程行業(yè)企業(yè),或是供已建設(shè)工業(yè)物聯(lián)網(wǎng)的企業(yè)借鑒,主要包括以下兩點:
1)廠商選型
石化企業(yè)的生產(chǎn)流程具有顯著行業(yè)特點,生產(chǎn)環(huán)境復(fù)雜,對產(chǎn)品的穩(wěn)定性、可靠性要求苛刻,且石化企業(yè)普遍不具備建模能力,建模平臺完成后需提供完善的售后服務(wù)。因此廠商應(yīng)具備以下能力。
廠商應(yīng)具備工業(yè)、制造業(yè)或是能源行業(yè)的服務(wù)經(jīng)驗,具備一定的行業(yè)Know-how積累,理解行業(yè)工業(yè)互聯(lián)網(wǎng)要求、了解企業(yè)業(yè)務(wù)流程。
廠商產(chǎn)品須為自主研發(fā),能針對企業(yè)個性化需求進行定制化開發(fā)。
廠商產(chǎn)品及技術(shù)應(yīng)兼容國產(chǎn)化軟硬件環(huán)境,能夠在國產(chǎn)CPU、AI加速芯片以及操作系統(tǒng)上穩(wěn)定運行。
廠商應(yīng)能提供數(shù)據(jù)分析師、數(shù)據(jù)科學(xué)家為企業(yè)提供培訓(xùn)教學(xué),讓一線工程師快速掌握基礎(chǔ)概念,結(jié)合業(yè)務(wù)案例,通過實訓(xùn)的方式讓工程師掌握平臺使用技能。
2)企業(yè)自身對數(shù)字化、對科研的重視
一方面,企業(yè)需要有強烈的科研意識,能夠緊跟新技術(shù)發(fā)展,勇于在自身業(yè)務(wù)領(lǐng)域進行創(chuàng)新;另一方面,企業(yè)管理層對工業(yè)互聯(lián)網(wǎng)、對數(shù)字化建設(shè)的重視也是機器學(xué)習(xí)建模平臺能順利落地的保障。
4. 結(jié)語
機器學(xué)習(xí)正在向更多行業(yè)滲透,市場對數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺的產(chǎn)品需求正變得更加復(fù)雜。一方面,不同行業(yè)的數(shù)字化進程、IT人才、建模人才儲備不同,使用數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺的的對象愈發(fā)多元化,包括不限于算法開發(fā)人員、模型開發(fā)人員、數(shù)據(jù)工程師、應(yīng)用開發(fā)人員、BI分析師、數(shù)據(jù)分析師等。不同對象對數(shù)據(jù)科學(xué)與機器學(xué)習(xí)平臺的功能訴求不同;另一方面,客戶對機器學(xué)習(xí)平臺解決方案的需求走向深水區(qū),強調(diào)適應(yīng)場景需求、產(chǎn)生業(yè)務(wù)價值,需要機器學(xué)習(xí)廠商能融合行業(yè)或場景知識,提供定制化的行業(yè)解決方案。
免責(zé)聲明:市場有風(fēng)險,選擇需謹慎!此文僅供參考,不作買賣依據(jù)。
關(guān)鍵詞: