南方電網(wǎng)數(shù)字電網(wǎng)與人工智能重大科研團(tuán)隊的攻關(guān)成果《基礎(chǔ)模型與知識融合的復(fù)雜電力巡檢視覺智能分析關(guān)鍵技術(shù)及應(yīng)用》獲得2023年度吳文俊人工智能科技進(jìn)步獎一等獎。
通過無人機高精度的定點飛行、拍照、攝像，讓運維人員即使在電腦前也可了解線路的運行狀態(tài)。 陳波 攝
近年來，全球新一輪科技革命和產(chǎn)業(yè)變革迅猛發(fā)展，如何推動人工智能關(guān)鍵核心技術(shù)攻關(guān)，加快實現(xiàn)產(chǎn)業(yè)化，是業(yè)界共同關(guān)心的焦點。南網(wǎng)報聚焦電力巡檢視覺智能分析體系，展示南方電網(wǎng)公司對人工智能產(chǎn)學(xué)研用全鏈條融合的探索。
——編者
在廣東電網(wǎng)機巡管理中心，技術(shù)應(yīng)用推廣部經(jīng)理劉高展示了一張?zhí)貏e的照片：50米高的輸電鐵塔和鐵塔頂部一個已經(jīng)松脫且僅有小拇指指甲蓋大小的螺栓銷釘。工作人員從地面舉著望遠(yuǎn)鏡看那螺栓帽，有如在一頭牛身上找一粒虱子，且僅憑肉眼很難判斷虱子的生存狀態(tài)。現(xiàn)在，指甲蓋大小的螺栓帽是否影響線路安全，智能識別算法可以直接做出判斷、評級，且將結(jié)果推送給生產(chǎn)部門。
更了不起的是，無人機從機巢自動起飛、拍攝照片、回傳圖片到缺陷識別，所有步驟都可以在線完成，這背后隱藏了高精度定位、人工智能等先進(jìn)技術(shù)應(yīng)用。2021年，南方電網(wǎng)公司電網(wǎng)管理平臺機巡圖像智能分析功能全面上線后，圖片識別速度大幅提升，目前可每分鐘處理700張圖片，已累計識別圖片超1.37億張，其中2023年為9000多萬張。
為什么需要人工智能?——人眼看不過來了
事情要從2013年說起。當(dāng)時南方電網(wǎng)公司已部署在全網(wǎng)推廣輸電線路機巡作業(yè)。無人機巡檢業(yè)務(wù)逐漸在公司展開。
短短幾年，從高壓到低壓，從東部到西部，全網(wǎng)逐漸形成“機巡為主，人巡為輔”的線路運維模式。無人機在電網(wǎng)的應(yīng)用場景發(fā)生質(zhì)的轉(zhuǎn)變——從最早的搶險救災(zāi)配合工具變成日常巡檢不可少的利器。南方電網(wǎng)公司輸配電部高級經(jīng)理樊靈孟說：“公司無人機巡檢起步早、應(yīng)用廣、認(rèn)識深。2016年，工信部啟動制定無人機領(lǐng)域國際標(biāo)準(zhǔn)，于2020年頒布，填補了國際上該領(lǐng)域技術(shù)標(biāo)準(zhǔn)的空白，南方電網(wǎng)就是主要貢獻(xiàn)單位。”機巡業(yè)務(wù)的大規(guī)模發(fā)展，意味著無人機采集輸電線路設(shè)備航拍照片在成指數(shù)級增長。
2015年浙江大學(xué)博士畢業(yè)后，黃文琦加入南方電網(wǎng)公司。“那時公司做人工智能的還比較少，面試官看到我的研究方向是視覺自主導(dǎo)航系統(tǒng)與機器學(xué)習(xí)，很感慨地說，‘這個方向在南方電網(wǎng)大有可為，我們率先發(fā)展了無人機巡檢’。”這句話，徹底打消了黃文琦對于所學(xué)恐無用武之地的顧慮。
機巡推廣應(yīng)用后，靠人力來看圖片這件事變得頗為吃力。到2016年，這種矛盾愈發(fā)明顯。巡檢人員白天飛無人機，晚上回來看圖片查找缺陷。巡檢拍回來近萬張圖片，每張圖片要查看十幾個關(guān)鍵部件，班組人員根本忙不過來。而那時圖片量還主要集中在廣東電網(wǎng)公司，全網(wǎng)的大規(guī)模無人機自動巡檢也還沒有開始。
黃文琦算了一筆賬：每個桿塔精細(xì)化巡檢要拍約35張圖片，按兩座高壓桿塔之間距離約500米來估計，整個南方電網(wǎng)架空線路超過百萬公里，光是精細(xì)化巡檢單次全覆蓋產(chǎn)生的圖片就超7000萬張。巡檢頻次上按重要程度，分為半年巡、季度巡和月度巡，部分關(guān)鍵線路甚至需要每周巡視。積累的數(shù)據(jù)非常驚人。
怎么辦?必須上人工智能。
研究人才從哪來?——南網(wǎng)人工智能聯(lián)合實驗室聚合人才
南方電網(wǎng)公司一直在布局電網(wǎng)數(shù)字化、智能化相關(guān)的技術(shù)。早在2013年，公司就圍繞芯片研發(fā)、智能微型傳感器以及智能算法開展研究。2017年，公司組建了透明電網(wǎng)重大攻關(guān)團(tuán)隊(以下簡稱“團(tuán)隊”)，由中國工程院院士李立浧擔(dān)任團(tuán)隊負(fù)責(zé)人。
黃文琦加入公司后一直從事智能算法研發(fā)。經(jīng)過兩年的積累和觀察，在團(tuán)隊年度會議中，黃文琦作了一次技術(shù)報告：“當(dāng)時報告的主題就是怎么利用計算機視覺技術(shù)在電力巡檢中找缺陷。”這份報告也引起李立浧的注意，他鼓勵黃文琦在這個技術(shù)方向做下去。
同時，2015年廣東電網(wǎng)機巡管理中心成立后，一方面大力推廣無人機巡檢業(yè)務(wù)，另一方面研發(fā)無人機如何脫離飛手自動巡檢，這涉及巡檢目標(biāo)快速識別、運動跟蹤、自動拍攝等一系列無人機自主巡檢關(guān)鍵技術(shù)。如同汽車無人駕駛一樣，需要激光雷達(dá)掃描、三維重建、高精度定位、神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)等人工智能技術(shù)。而讓機器在復(fù)雜環(huán)境中通過視覺智能分析判斷，無論在機巡的前端(比如和人一樣自動找到絕緣子并拍照)，還是機巡后端圖片分析中都至關(guān)重要。
這一關(guān)鍵技術(shù)的突破還是在2019年——南方電網(wǎng)公司提出，“數(shù)字電網(wǎng)”是“數(shù)字中國”在電網(wǎng)行業(yè)的具體實踐，從頂層設(shè)計上明確了人工智能技術(shù)作為支撐電網(wǎng)數(shù)字轉(zhuǎn)型的目標(biāo)。團(tuán)隊正式更名為南方電網(wǎng)數(shù)字電網(wǎng)與人工智能重大科研團(tuán)隊，公司二級領(lǐng)軍技術(shù)專家梁凌宇、公司三級領(lǐng)軍技術(shù)專家吳洋等優(yōu)秀的人工智能人才不斷地加入進(jìn)來。
南方電網(wǎng)公司還通過公司新型電力系統(tǒng)人工智能聯(lián)合實驗室將科研人員與生產(chǎn)一線以及社會上的智力資源、產(chǎn)業(yè)資源聚合在一起。這次獲得2023年度吳文俊人工智能科技進(jìn)步獎的項目組成員既有來自南方電網(wǎng)公司的科研、業(yè)務(wù)專家骨干，也有清華大學(xué)深圳國際研究生院、浙江大學(xué)、商湯科技等科研院所、企業(yè)的學(xué)者、研究人員。
人工智能與無人機的結(jié)合聽上去高大上，做起來并不容易，每一步都需要非常腳踏實地。幾年時間里，公司上下聯(lián)動搭建出一套機巡智能分析系統(tǒng)，將線下的業(yè)務(wù)流變成線上的業(yè)務(wù)流，把所有的圖片匯聚起來實現(xiàn)智能識別。為了解決實際業(yè)務(wù)痛點，廣東電網(wǎng)公司廣泛征集技術(shù)路線，一方面邀請高校、企業(yè)以專班的形式集中式、針對性開發(fā)一些急需的缺陷識別模型;另一方面，為了優(yōu)中選優(yōu)，廣東電網(wǎng)公司在2021年舉行了4次行業(yè)比拼測試，面向全社會征集。百度、阿里等實力選手都來參賽，也包括黃文琦的算法團(tuán)隊。
“當(dāng)時主流算法對弱行業(yè)屬性的圖片識別能力很強，比如鐵塔下面有輛卡車，能夠很好識別。但遇到電力行業(yè)的設(shè)備外觀缺陷，識別能力就不太行，準(zhǔn)確率大多在30%以下。這就涉及到我們針對電力視覺的主要創(chuàng)新，通過基礎(chǔ)模型與知識融合解決復(fù)雜的電力巡檢視覺智能分析難題。”黃文琦說。
教會人工智能有多難?——基礎(chǔ)模型與知識融合是破局之法
知識融合是對算法模型的一種專業(yè)強化。電力巡檢視覺智能分析主要面臨兩大痛點：一是應(yīng)用場景開放，南方電網(wǎng)公司電力線路總長度近120萬公里，覆蓋海拔4500米，涉及森林、湖泊、村莊、城市等多種場景，環(huán)境干擾多，對模型泛化性能要求高;二是業(yè)務(wù)邏輯復(fù)雜，設(shè)備種類多、缺陷類型多、缺陷等級多、定級規(guī)則復(fù)雜，識別難度高，尤其是桿塔、絕緣子等電力設(shè)備上，通過人工智能技術(shù)解決缺陷識別難題的積累也不多。
要解決這兩個難點，必須開發(fā)出足夠聰明的模型。解決的方法是與生產(chǎn)一線的同事一起磨。
“劉高等機巡中心的專家同事，都是我們的師傅。”黃文琦和梁凌宇口中的“師傅”最常講的例子是鳥巢。鳥巢圖片識別中遇到的第一個問題是怎么判斷它是否在電網(wǎng)的鐵塔上?很有可能地上的一攤草也會被算法識別成鳥巢。第二個問題，怎么判斷鳥巢是否影響到電網(wǎng)安全?
所以必須要將電力行業(yè)的這種針對性的邏輯關(guān)系教給機器。也就是說不僅是要識別鳥巢，還要識別它周圍的設(shè)備。首先想辦法解決圖片更加清晰的問題，算法團(tuán)隊提出了多層次、多維度的大規(guī)模場景圖像數(shù)據(jù)增強方法，這能讓機器把圖片“看”得更清楚。其次，還要想辦法用一個網(wǎng)絡(luò)將它們的位置關(guān)系構(gòu)建出來，這就是多元知識嵌入的電力圖像專精化理解方法，即要讓算法可以用更高的思維來思考問題。
回到文章開頭提到的劉高的那張圖片。必須得讓機器在一定范圍內(nèi)更強地學(xué)習(xí)，比如尺寸大小的關(guān)系等，要讓機器的注意力定在尺寸比例的關(guān)系中去，不要漫天地去找無關(guān)的東西。因此，那個銷釘在機器里的表述應(yīng)該是“在某個部件的下方或者旁邊”等，需要將機器的注意力引到這里——這種關(guān)系就叫做概率傳遞。但是又不能全部限死，因為人類無法枚舉所有情況，只能用知識嵌入的方法“軟約束”它，讓機器在那個范圍學(xué)習(xí)，這種方法就是知識融合。
“在具體的算法模型開發(fā)中，平衡則很重要。我們不是純粹在實驗室里搞研究，做出來的東西必須要為一線生產(chǎn)排憂解難。實現(xiàn)這點，算法一定要足夠精妙。”梁凌宇認(rèn)為，“算法不能太笨，比如一天要識別幾十萬張圖片，一張圖片的識別速度哪怕從2秒變成1秒，這也可以提升后續(xù)消缺速度，這就涉及非常技術(shù)層面的問題。總之，你研究出來的東西一線人員得愿意用、容易用。”
無論是平臺還是算法模型開發(fā)，最終都要過生產(chǎn)者這一關(guān)。研發(fā)階段要做內(nèi)測，開發(fā)完畢，還要過現(xiàn)場人工復(fù)核。任何一關(guān)過不了都要返工。梁凌宇說起研發(fā)過程的喜樂與困難：“風(fēng)光有四時。開發(fā)時，我們的算法用的主要是春天、夏天的樣本，到了冬天，背景或者什么情況發(fā)生變化了，機器就會產(chǎn)生新的理解。那我們就要處理，為什么算法把一些背景干擾識別進(jìn)來。通過類似正樣本、負(fù)樣本優(yōu)化我們的算法。人常說學(xué)無止境，機器也一樣。”
項目不落地就是“花架子”，怎么辦?——人工智能要廣泛適應(yīng)電力巡檢場景
所有這些其實并不容易。有一段時間，算法團(tuán)隊很迷茫，壓力很大。一方面是機巡電力設(shè)備外觀缺陷的種類太多，且大部分缺陷缺乏明確的分類與量化判定規(guī)則。比如，僅僅絕緣子一類設(shè)備，常見的缺陷就包括污穢、破損、自爆和表面灼傷等等。從圖片特征來看，對應(yīng)著顏色異常、紋路異常與幾何形態(tài)異常，疊加拍攝角度不一，缺陷的程度很難量化定義。更不用說還有小尺寸金具、絕緣子、接地裝置和附屬設(shè)施類缺陷，更難判斷。
另一方面，缺陷總是偏少的，大部分缺陷類型的圖片樣本更是極其稀少，無法通過“喂”大量的圖片讓機器學(xué)會識別。“如果有幾十億數(shù)量的缺陷圖片，我相信深度神經(jīng)網(wǎng)絡(luò)能夠靠純數(shù)據(jù)驅(qū)動的方法準(zhǔn)確識別。但是缺陷樣本往往是稀缺的。”黃文琦解釋道。
怎么辦?如果項目遲遲無法落地，不能給生產(chǎn)一線的兄弟使用，技術(shù)想得再好都是“花架子”。那段時間里，黃文琦很害怕聽到南方電網(wǎng)公司首席技術(shù)專家李鵬的詢問：“研究了這么久，為何遲遲不見落地應(yīng)用的成效?”不過，幫助黃文琦撥云見霧的也是李鵬，他給了黃文琦兩條建議：第一，技術(shù)要成體系，要做到能夠廣泛適應(yīng)電力巡檢場景人工智能模型，不能只解決個別問題;第二，目標(biāo)是解決電力視覺領(lǐng)域的問題，可考慮兼顧通用視覺技術(shù)的能力與專業(yè)領(lǐng)域的知識。
很快，視覺基礎(chǔ)模型與知識融合的技術(shù)路線被提了出來。“南方電網(wǎng)公司輸配電部組織了數(shù)字輸電人工智能提升專項工作，調(diào)動廣東、廣西、云南、貴州、海南五省區(qū)上百位業(yè)務(wù)專家參與到電力場景圖像專精化理解技術(shù)研發(fā)中來，與算法專家共同梳理業(yè)務(wù)知識。”樊靈孟介紹，“公司定期召開技術(shù)研討、生產(chǎn)工作會議，讓業(yè)務(wù)專家與算法專家能夠坐在一起，找真問題，解決真難題。”
輸配電部還結(jié)合生產(chǎn)實際對電力巡檢視覺智能分析項目的技術(shù)路線、標(biāo)準(zhǔn)化設(shè)計做了專業(yè)化指導(dǎo)，發(fā)動全網(wǎng)匯聚海量電力巡檢圖像數(shù)據(jù)，制定“地域全覆蓋、缺陷準(zhǔn)識別、多模態(tài)融合”的技術(shù)推進(jìn)路線，構(gòu)建電力巡檢視覺智能分析平臺體系，加速了項目成果在南方五省區(qū)的產(chǎn)業(yè)化落地。
商湯科技、清華大學(xué)深圳國際研究生院與浙江大學(xué)在基礎(chǔ)模型、圖片增強、目標(biāo)檢測等關(guān)鍵技術(shù)研發(fā)中發(fā)揮了重要作用。大家合力大幅提升了銷釘缺失、鳥巢等關(guān)鍵缺陷的識別精度，項目實現(xiàn)了真正意義上的落地。
目前，平臺已經(jīng)搭建好，一些通用模型也已嵌入。對于巡線人員來說，無人機什么時候飛、做計劃、圖片識別等一長條的業(yè)務(wù)鏈條都可以數(shù)字化實現(xiàn)。但是，對于黃文琦和劉高等人來說，所有這些仍然只是萬里長征中的第一步。
如今，在南方電網(wǎng)公司，每個省公司甚至地市局都可以針對量小且有特色的問題開發(fā)算法模型，并嵌入領(lǐng)域知識專門針對個性化缺陷識別需求。劉高已經(jīng)列了很長的工作計劃，它要解決500多個缺陷識別的問題，目前才解決了120多個缺陷(識別)。“這件事值得干一輩子，優(yōu)化永無止境。”
廣東電網(wǎng)機巡中心也有了新的打法——有了自己的算法團(tuán)隊，非常清晰的開發(fā)流程，相對固定的工作人員，這給了劉高非常大的信心。“而且我們每個算法開發(fā)出來都會經(jīng)過一線人員的測評，2月底我們剛試驗了兩個。同時，我們現(xiàn)在也鼓勵基層供電局自己做開發(fā)，舉辦內(nèi)部人工智能競賽，發(fā)掘培養(yǎng)人才。”
黃文琦想的則是如何將解決電網(wǎng)“眼睛”智能化的技術(shù)，進(jìn)一步用于探索電網(wǎng)運行的“大腦”。“如果能夠?qū)㈦娏ο到y(tǒng)運行的物理規(guī)律如同知識一般嵌入到深度神經(jīng)網(wǎng)絡(luò)中，那么電力系統(tǒng)積累的海量多源數(shù)據(jù)將釋放出更大的能量。”
南網(wǎng)報記者 劉杰 通訊員 朱盈 余盛燦
作者：劉杰 朱盈 余盛燦
評論