國網黑龍江電力以數字化示范為契機,率先利用人工智能平臺識別數據深層次關系,自動形成數據中臺貼源層各表之間的關系圖譜,并利用算法模型發現數據異常情況,挖掘出新的數據質量核對規則,有效的提高了數據質量。

一是數據關系自動識別。基于公司數據中臺貼源層數據,通過字段特征識別、數據抽樣比較等算法,自動識別數據中臺現有數據之間的拓撲關系,為后續數據質量比對奠定基礎。

二是構建數據質量模型。設計了多套有監督及無監督數據質量算法模型,并開展了模型驗證工作,通過模型自動發現數據質量疑似問題。采用了線性回歸、支持向量機和決策樹等模型,通過深度學習進行模型集訓練,監測單字段間和字段與字段間的異常數據,降低誤差。

三是對數據質量問題進行確認和完善。通過數據主人視圖模塊,將疑似數據質量問題直接推送至數據主人視圖,并通過獎勵的方式讓數據主人對疑似數據質量問題進行確認,對于確認較快的數據進行額外獎勵。人工智能數據治理模塊上線以來,訓練、擬合數據內部規律得到了數據模型9個,發現了13種數據質量核查規則,確認3.9萬個數據質量問題,有效提升了公司數據質量。