北京快乐8走势图彩经网|北京快乐8上玩彩吧

大數據時代地方政府大數據治理戰略
來源:中國電子政務網 更新時間:2019-04-15

全球各地的組織正在投資于能夠以先前無法想象的方式容納和處理數據的系統。在某些情況下,企業甚至會根據這些新系統重新構建現有的IT環境。這些大數據系統產生了切實的成果:增加收入和降低成本。然而,積極的結果遠未得到保證。要真正從一個人的數據中獲取價值,必須對這些新平臺進行管理。

數據治理一詞在許多數據從業者的心中引起了恐懼。由于它經常被模糊地定義和誤解,許多人只是轉而采用僅限技術的方法來解決他們的治理需求。許多大數據系統帶來的復雜性使得這種基于技術的方法特別具有吸引力,盡管眾所周知,單靠技術很少就足夠了。可能鮮為人知的是,在優化數據治理時,必須重新審視技術本身。

定義數據治理

在我們定義數據治理之前,或許了解哪些數據治理不是很有用。

數據治理不是數據沿襲,管理或主數據管理。這些術語中的每一個通常都與數據治理相結合,甚至代替數據治理。實際上,這些實踐是某些組織的數據治理計劃的組成部分。它們是重要的組件,但它們僅僅是組件。

數據治理的核心是正式管理整個企業的重要數據,從而確保從中獲取價值。雖然成熟度水平因組織而異,但數據治理通常通過人員和流程的組合來實現,其中技術用于簡化和自動化流程的各個方面。

以安全為例。即使是基本的治理級別,也需要保護企業的重要敏感數據資產。進程必須防止未經授權訪問敏感數據,并將這些數據的全部或部分內容暴露給具有合法“需要知道”的用戶。人們必須幫助確定誰應該或不應該訪問某些類型的數據。身份管理系統和權限管理功能等技術可簡化和自動化這些任務的關鍵方面。一些數據平臺通過綁定到現有的基于用戶名/密碼的注冊表(來進一步簡化雜務,并且在分配權限時允許更大的表現力,超出POSIX模式位提供的相對較少的自由度。

我們還應該認識到,隨著數據的速度和數量的增加,人類幾乎不可能及時對這些數據進行分類。組織有時被迫將新數據鎖定在保留單元中,直到有人對其進行適當分類并將其暴露給最終用戶。有價值的時間丟失了。幸運的是,技術提供商正在開發創新方法來自動對數據進行分類,無論是直接采集還是之后不久。通過利用這些技術,滿足授權過程的關鍵先決條件,同時最大限度地縮短洞察時間。

大數據時代的數據治理有何不同?

到目前為止,我們大多數人都熟悉大數據的三個特性:

數量:大數據系統中的數據量可達到數PB甚至更多。

多樣性:數據不再只是簡單的關系格式; 它可以是結構化的,半結構化的,甚至是非結構化的; 數據存儲庫跨文件,NoSQL表和流。

速度:數據需要從全球各地的設備中快速攝取,包括物聯網來源。必須實時分析數據。

管理這些系統可能很復雜。組織通常被迫將單獨的集群拼接在一起,每個集群都有自己的業務目的,或者存儲和處理獨特的數據類型,如文件,表或流。即使仔細地完成拼接本身,也會快速暴露間隙,因為在多個存儲庫中一致地保護數據集可能極易出錯。

融合架構極大地簡化了治理。在融合系統中,幾種數據類型被集成到單個數據存儲庫中,可以一次性管理和保護。本身沒有拼接,因為整個系統都是從同一塊布上剪下來的。

除了三個V之外,還有另一個更微妙的區別。大多數大數據分布包括不同分析和機器學習引擎的合并,這些引擎位于數據存儲“頂部”。這種靈活性對最終用戶來說非常有用,因為他們可以選擇最適合其特定分析需求的工具。從治理的角度來看,問題在于這些工具并不總是遵循相同的安全機制或協議,也不能完全,一致地記錄操作,也不能在可擴展的存儲庫中記錄,至少不是開箱即用。

因此,大數據從業者在試圖滿足合規性或審計師對數據沿襲的要求時可能會陷入困境,數據沿襲旨在回答問題的治理組成部分“這些數據來自何處以及發生了什么隨著時間推移呢?“

基于流的數據沿襲體系結構

幸運的是,可以使用更具規范性的方法以及與大數據需求成比例擴展的系統來解決數據沿襲問題。特別是,基于流的體系結構允許組織“發布”在集群內被攝取和轉換的數據。然后,消費者可以“訂閱”這些數據,并以任何必要的方式填充下游系統。

現在回答基本的血統問題是一件簡單的事情,例如“為什么我的結果看起來不對?” 只需使用流來回放并重放事件序列以確定出錯的地方。此外,管理員甚至可以從流中重放事件,以便在下游系統損壞或發生故障時重新創建。

這可以說是解決數據沿襲問題的一種更符合法規要求的方法,但必須滿足某些條件。特別:1.流必須是不可變的;2.為所有活動的發布者和訂閱者設置權限;3.審計日志設置為記錄誰消耗數據以及何時消耗數據;4.流允許全局復制,如果給定站點發生故障,則允許高可用性。



北京快乐8走势图彩经网 鑫宝国娱乐pt游戏平台 福建时时下载 广东时时官网评价 网赌MG是不是人为控制 北京塞车计划 幸运时时彩全天计划 分时指标公式 时时彩安卓计划软件 大乐透胆拖复式投注金额计算表 麻将玩法介绍