遠(yuǎn)光軟件精研Hadoop 提升電力財(cái)務(wù)大數(shù)據(jù)處理能力
- 時(shí)間:2013-08-01
- 來(lái)源:
日前,2013年全國(guó)博士后學(xué)術(shù)論壇“電子科學(xué)技術(shù)與信息產(chǎn)業(yè)發(fā)展”在電子科技大學(xué)舉行。來(lái)自全國(guó)50余家高校、企業(yè)共200余名專(zhuān)家學(xué)者、博士后代表參加了論壇。遠(yuǎn)光軟件博士后科研工作站諶章義博士在會(huì)上就研究課題《基于Hadoop的海量電費(fèi)數(shù)據(jù)處理模型設(shè)計(jì)與實(shí)現(xiàn)》發(fā)表了主題演講,該研究成果被《電子科學(xué)技術(shù)與信息產(chǎn)業(yè)發(fā)展論文集》收錄。
《基于Hadoop的海量電費(fèi)數(shù)據(jù)處理模型設(shè)計(jì)與實(shí)現(xiàn)》一文以國(guó)內(nèi)某特大型電力集團(tuán)為例,提出了電費(fèi)數(shù)據(jù)新的處理模型,建立了基于Hadoop和Hive的電費(fèi)明細(xì)處理平臺(tái)。實(shí)驗(yàn)證明該模型能有效解決海量電費(fèi)數(shù)據(jù)處理性能瓶頸,提高電費(fèi)數(shù)據(jù)處理速度和效率,并可提供高性能的明細(xì)數(shù)據(jù)查詢(xún)功能。

(2013年全國(guó)博士后學(xué)術(shù)論壇現(xiàn)場(chǎng))
據(jù)悉,隨著電費(fèi)數(shù)據(jù)量快速增長(zhǎng),某特大型集團(tuán)公司財(cái)務(wù)管理信息系統(tǒng)面臨海量數(shù)據(jù)難題,其中電費(fèi)業(yè)務(wù)是最突出的問(wèn)題之一。集團(tuán)超過(guò)30個(gè)子公司,平均每個(gè)子公司用電客戶(hù)規(guī)模在500萬(wàn)至800萬(wàn),每個(gè)月用電明細(xì)數(shù)據(jù)近億條。財(cái)務(wù)管理信息系統(tǒng)原電費(fèi)數(shù)據(jù)處理模型是從電力營(yíng)銷(xiāo)系統(tǒng)采集用電客戶(hù)信息表、應(yīng)收電費(fèi)明細(xì)表等文本,上傳至中間數(shù)據(jù)庫(kù),財(cái)務(wù)管理信息系統(tǒng)從中間數(shù)據(jù)庫(kù)采集相關(guān)數(shù)據(jù),同時(shí)對(duì)數(shù)據(jù)進(jìn)行合并、轉(zhuǎn)換處理。由于電費(fèi)明細(xì)數(shù)據(jù)量過(guò)于龐大,處理過(guò)程嚴(yán)重消耗數(shù)據(jù)庫(kù)服務(wù)器資源,進(jìn)而影響整個(gè)財(cái)務(wù)管理信息系統(tǒng)的性能。也因此,通常只能選擇夜間運(yùn)行該業(yè)務(wù),導(dǎo)致暫時(shí)無(wú)法提供電費(fèi)明細(xì)數(shù)據(jù)查詢(xún)業(yè)務(wù)。
基于拆分、融合、重構(gòu)的設(shè)計(jì)思路,遠(yuǎn)光軟件針對(duì)此瓶頸提出了解決方案:引入Hadoop分布式計(jì)算平臺(tái)來(lái)進(jìn)行電費(fèi)明細(xì)數(shù)據(jù)的處理,處理后的結(jié)果數(shù)據(jù)再存入財(cái)務(wù)管理信息系統(tǒng)數(shù)據(jù)庫(kù)。為了易于實(shí)現(xiàn),選用分布式數(shù)據(jù)倉(cāng)庫(kù)Hive來(lái)存儲(chǔ)和處理電費(fèi)明細(xì)數(shù)據(jù)。通過(guò)實(shí)驗(yàn)測(cè)試,在硬件不占優(yōu)勢(shì)的情況下,Hive執(zhí)行性能有20%--200%的提升;利用Hive的分區(qū)功能,大表處理數(shù)據(jù)顯著提升。同時(shí)在Hive表上建立分區(qū),還可以提供高性能的歷史數(shù)據(jù)查詢(xún),這是原模型難以實(shí)現(xiàn)的功能。
遠(yuǎn)光軟件的成功實(shí)踐效果證明:Hadoop不僅能提升財(cái)務(wù)管理信息系統(tǒng)可用性,使得幫助系統(tǒng)更高效地解決更復(fù)雜的問(wèn)題,而且節(jié)省時(shí)間和成本,創(chuàng)造更大的價(jià)值。諶章義博士表示:“該技術(shù)應(yīng)用范圍并非局限于電費(fèi)明細(xì)數(shù)據(jù)的合并與查詢(xún),還可以應(yīng)用于電價(jià)分析、電價(jià)預(yù)測(cè)模型等深入分析業(yè)務(wù)?!?
大型集團(tuán)企業(yè)的管理軟件集中部署已成為潮流趨勢(shì),管理軟件的開(kāi)發(fā)也從單個(gè)業(yè)務(wù)領(lǐng)域開(kāi)發(fā)專(zhuān)項(xiàng)“統(tǒng)一”集成平臺(tái)的開(kāi)發(fā),必然面臨海量業(yè)務(wù)數(shù)據(jù)分析處理問(wèn)題。因此,本系統(tǒng)的應(yīng)用前景廣闊。


AI中臺(tái)
智能硬件
RPA云平臺(tái)
數(shù)智人

新一代企業(yè)數(shù)字核心系統(tǒng)(YG-DAP)


粵公網(wǎng)安備 44049102496133號(hào)
