亚洲ⅴ国产v天堂a无码二区,无码人妻一区二区三区免费视频,新婚少妇浑圆雪白的臀,午夜男女很黄的视频,亚洲,国产成人av

遠光動態(tài)

大數(shù)據(jù)如何改變DBA工作模式

  • 時間:2014-10-23
  • 來源:

    遠光軟件(來源:CIO時代網(wǎng)  作者:佚名)

   技術支持團隊通常是支持熟悉的軟硬件配置。在操作系統(tǒng)和數(shù)據(jù)庫管理軟件上特定組合的專業(yè)化是很常見的,而且這也允許某些團隊成員在一家企業(yè)的IT環(huán)境中獲得極為有價值的深層經(jīng)驗。

    大數(shù)據(jù)是如何改變這種模式的呢?

    數(shù)據(jù)庫支持團隊

    技術支持團隊的目標之一就是要與管理層協(xié)作來把他們的工作區(qū)分出優(yōu)先次序。管理層提出戰(zhàn)略規(guī)劃,團隊將之轉化為所需時間和資源的可估計任務,然后他們共同協(xié)作來執(zhí)行這些任務。

    這些任務分為三類:

    1.“常規(guī)類型”

    2.項目相關型

    3.自行決定型

    第一類通常是典型的被動任務,它們有一個標準的或固定的周期和操作。這些包括頻繁數(shù)據(jù)庫備份,軟件升級,參加例會,填寫狀態(tài)報表,完成文檔等等。

    項目相關的任務也是典型的被動類型,而且對應的工作包括為一個已定義項目配套的技術規(guī)范。舉例如:設計并創(chuàng)建新的數(shù)據(jù)庫和表;從一個數(shù)據(jù)庫向另一個數(shù)據(jù)庫拷貝數(shù)據(jù);檢查程序邏輯和SQL;以及在應用程序測試期間對性能進行監(jiān)控。

    最后一類通常是積極型的工作,包括磁盤和CPU容量規(guī)劃,設計和執(zhí)行顯示趨勢的異常報表,分析數(shù)據(jù)庫和SQL以發(fā)現(xiàn)性能調(diào)優(yōu)方面的問題。

    用大數(shù)據(jù)來支持數(shù)據(jù)庫

    大數(shù)據(jù)應用程序通常包括:

    1.一個或更多的需要進行存儲和分析的大型數(shù)據(jù)源;

    2.一個針對數(shù)據(jù)存儲和高速訪問軟硬件混合的解決方案(設備);

    3.專用數(shù)據(jù)分析軟件。

    為了支持一個或更多的數(shù)據(jù)應用程序,DBA團隊需要技術環(huán)境的專業(yè)知識,這包括:

    1.大型數(shù)據(jù)源的業(yè)務應用案例;

    2.設備的安裝,配置和監(jiān)控;

    3.支持對專業(yè)分析查詢進行性能調(diào)優(yōu)的工具。

    這對于DB支持團隊來說是新的專業(yè)知識。起初可能少數(shù)專家會了解這些知識,或是必須參加專門的培訓課程。最終,大多數(shù)團隊必須接受培訓并在管理和控制大數(shù)據(jù)環(huán)境上積累豐富的經(jīng)驗。

    大數(shù)據(jù)和DB團隊操作

    DBA經(jīng)理仍然對團隊提出了戰(zhàn)略規(guī)劃,并且這些規(guī)劃現(xiàn)在包括設計和實施大數(shù)據(jù)解決方案。涉及這一支持的任務會跨越所有三個任務類別,盡管這在一開始可能并不明顯。

    團隊現(xiàn)在必須使用新知識通過他們當前的軟硬件條件為新的大數(shù)據(jù)應用程序制定戰(zhàn)術規(guī)劃和任務。這將會有多套與大數(shù)據(jù)相關的常規(guī)任務,但是它們與標準比起來相差迥異。其中有些任務如下:

    數(shù)據(jù)庫備份。一般來說,大數(shù)據(jù)文件是很大的!文件如此之大,執(zhí)行數(shù)據(jù)庫備份可能并不可行??赡軟]有足夠的磁盤和磁帶存儲可以裝下這些備份,媒質(zhì)的成本可能會很高,而且執(zhí)行備份流程很可能會很耗時。

    軟件升級。大多數(shù)軟件升級要求在升級期間不能運行軟件。這對于一個大型應用程序解決方案來說可能困難重重,因為它們對企業(yè)來說通常是非常重要的。大數(shù)據(jù)架構(磁盤存儲,專業(yè)軟硬件等等。)是昂貴的,而且企業(yè)只有在具有投資回報可能性的時候才會實施。

    數(shù)據(jù)拷貝。典型的大數(shù)據(jù)設備通常會實施所有權數(shù)據(jù)存儲和訪問方法。出于性能和數(shù)據(jù)管理的原因,DBA團隊會在數(shù)據(jù)庫管理系統(tǒng)和專業(yè)設備上實施大數(shù)據(jù)存儲。從戰(zhàn)術上講,這會轉換為同時加載進DB2表和設備的數(shù)據(jù)。

    容量規(guī)劃。大數(shù)據(jù)設備相對較新,而且包含存儲媒質(zhì),CPU,以及高級數(shù)據(jù)訪問通道。DBA團隊現(xiàn)在必須意識到如何利用這些資源,監(jiān)控利用率,以及匯報資源利用趨勢。他們會負責選擇性能調(diào)優(yōu)和硬件升級的混合方案來取悅企業(yè)。

    大數(shù)據(jù)管理的趨勢

    管理層會看到這樣的情況,即隨時間的推移DBA團隊的知識和技能在他們處理大數(shù)據(jù)支持的過程中進行傳承。而大多數(shù)的傳承是在多面手和專家間進行的。

    多面手通常是新手,或者是尚未掌握專業(yè)技能的DBA.對于多面手來說,最適合他們的工作就是由標準流程定義好的那些工作。這主要包括:

    1.開發(fā)并維護數(shù)據(jù)庫備份和恢復流程;

    2.開發(fā)基于DBMS的程序以協(xié)助調(diào)優(yōu),例如用來收集數(shù)據(jù)分布統(tǒng)計信息的腳本;

    3.實現(xiàn)正常和異常報表的自動化,例如資源容量使用情況。

    最后一項(自動化)是值得進一步探討的。自動化的優(yōu)勢不僅僅是速度;將工作自動化可以幫助DBA遠離諸如報表和分析之類的被動任務而專注于更加積極的工作。

    以下是一個典型的流程列表,很多DBA仍然手工操作,而它其實是可以由一個自動化報表或數(shù)據(jù)收集流程取代的:

    1.為SQL訪問路徑分析執(zhí)行一個EXPLAIN流程

    2.收集諸如System Management Facility(系統(tǒng)管理工具SMF)會計和統(tǒng)計報表質(zhì)量的性能報表

    3.驗證新表擁有遵循標準慣例并與企業(yè)數(shù)據(jù)模型和數(shù)據(jù)字典兼容的名字和屬性列

    4.驗證對生產(chǎn)數(shù)據(jù)的訪問是通過正確的授權GRANT予以妥善控制的

    5.監(jiān)視應用程序線程活動以防止死鎖和超時

    6.檢查控制臺日志和DB2地址空間日志以發(fā)現(xiàn)錯誤消息和潛在問題

    大數(shù)據(jù)專家

    大數(shù)據(jù)為獲取和使用專業(yè)知識提供了充足的機會。如前所述,以下方面的技能為DBA團隊提供了非常強大的支持足以對業(yè)務產(chǎn)生積極的影響:

    業(yè)務用例。對于一個數(shù)據(jù)建模師來說,首要的是要理解如何使用數(shù)據(jù)。對大數(shù)據(jù)DBA來說同樣如此。陳舊的數(shù)據(jù)會被存檔還是清除呢?最重要的數(shù)據(jù)訪問會被限制在特定時間段內(nèi)么?某些數(shù)據(jù)元素子集是注定被分析最多的么?這些問題的答案會幫助DBA決定數(shù)據(jù)分區(qū)方案,數(shù)據(jù)庫備份頻率,表和索引設計等等。

    設備管理。雖然大多數(shù)設備供應商會傾向于提供鑰匙解決方案,但DBA團隊仍然有進行監(jiān)控和調(diào)優(yōu)的責任。如果沒有什么可配置和調(diào)優(yōu),企業(yè)還會和供應商繼續(xù)合作么?未來會看到可調(diào)優(yōu)設備,并且DBA必須時刻跟上行業(yè)趨勢。可以確定的是你所在的企業(yè)需要大數(shù)據(jù)解決方案在短期內(nèi)是不會消失的。

    分析查詢調(diào)優(yōu)工具。大數(shù)據(jù)應用程序的宣傳掩蓋了這樣一個基本事實:如果一家企業(yè)不能及時獲得可用數(shù)據(jù),那么解決方案的成本會超出收益。大多數(shù)供應商的解決方案包括承諾(或預測)以極快的速度運行查詢。雖然現(xiàn)在是這樣,但是將來也會如此么?如果你實施了多個非常大的額外數(shù)據(jù)存儲呢?如果你開始積累多年的歷史數(shù)據(jù)用于分析呢?如果數(shù)百(或數(shù)千)額外用戶開始運行又新,有長且復雜的查詢呢?DBA在這種環(huán)境下對查詢進行調(diào)優(yōu)就是不可或缺的了。

    總結

    雖然在DBA團隊中有很多類型和層次的專家,對大數(shù)據(jù)應用程序的支持會改變他們的工作,優(yōu)先級,以及管理方式。起初可能只是少數(shù)專家擁有必要的知識和技能;但是隨著企業(yè)實施更多的應用程序并加入更多的用戶,那么整個團隊就必然會參與到對大數(shù)據(jù)的支持中來。