如題：請不要將數據中臺做成BI！
筆者在為企業做數據中臺設計規劃時，經常有客戶這樣叮囑。話里話外都是對“數據中臺”滿滿的期待和對“BI”的內心的失望！為什么會這樣呢？BI作為IT界“顏值擔當”，那可是一直是一項叱咤風云的數據應用技術。曾幾何時，為了一張報表、一個大屏，有多少企業都愿意為其“豪擲千金”！為什么現在很多企業又都對其失去了興趣了呢？今天我們一起聊聊這個話題！歡迎留言區談談您的觀點。
— 01 —
Business Intelligence（商業智能），簡稱BI。BI一詞最早是由Gartner在1996提出的，Gartner 將商業智能定義為：描述了一系列的概念和方法，通過應用基于事實的支持系統輔助商業決策的制定。也有的說BI這個概念，早在1989年 IBM的研究員就開始使用了，他將商業智能定義為：對事物相互關系的一種理解能力，并依靠這種能力去指導決策，以達到預期的目標。但不論是Gartner提出的還是IBM提出的，不論是1989年還是1996年，總的來說，BI不是一個新事物，而且已經有近30年的歷史了。BI為企業提供了一種迅速分析數據的技術和方法，包括收集、管理和分析數據，通過將這些數據轉化為有用的信息，從而幫助企業進行決策。可以肯定的是，在過去的30多年里，BI還是在一定程度上發揮了它的價值的，例如：給領導提供了一些輔助決策的數據報表，以及一些漂亮的可視化數字大屏，等等。隨著數字化的不斷發展，人們對數據洞察力的期望越來越高，漸漸的人們發現：不是企業不再需要BI，而是成功的BI實在太少了。那些原本為領導提供決策的數據報表，往往被領導束之高閣，而那些“漂亮的數字大屏”也淪為了“面子工程”，只有在上級領導視察，或外部單位考察的時候才拿出來“裝裝門面”。說好的“數據驅動”呢？，說好的“幫助企業做出明智的業務決策”呢？除了上了一個BI工具，開發了一套數據報表，似乎什么也沒剩下！就這樣，傳統BI項目的失敗率一直居高不下，這讓越來越多的企業對其失去了信心！
— 02 —
說到“傳統BI的失敗”，90%的人都會想到的是：傳統的數據倉庫、數據分析技術不能滿足日益增長的客戶用數需求,企業應該需要有一個更靈活、更敏捷、更智能的BI工具。的確。“傳統BI工具不好用，在功能、性能方面應對企業日益增長的數據量和用數需求顯得越來越力不從心”！這確實是一個導致傳統BI項目不好用、沒人用的一個原因。但這還不是傳統BI項目失敗的本質原因。根據筆者多年在數據領域的經驗和觀察，BI項目之所以失敗，本質上概括為以下兩方面原因：很多企業實施BI項目，都是通過BI領域的供應商去實施的，在既定的項目框架（目標、范圍）下，由供應商負責需求調研、方案設計、數據建模、數據采集、數據處理、數據分析界面開發等項目全過程。而在這個過程中，企業作為業主方參與的深度不足，技術和知識沒有從供應商哪里很好的傳遞下來，從而導致將 BI 項目做成了一個一次性的“工具型項目”。企業的管理和業務是靈活多變的，缺乏持續的數據運營機制，沒有配套的數據分析人員，而只是依靠供應商提供的幾個固定的分析界面、固定的數據報表，再加上數據更新不及時，這樣的BI 注定是用不起來的。在傳統BI的實施過程中，常常出現一期項目看起來效果不錯，但企業后續的新需求、新項目就變得遙遙無期，或者爛尾。這是項目制 BI 固有的頑疾！如果說，將 BI 作為一個“工具型項目”、“項目型項目”去做，由供應商交付項目驗收之后，BI工具就被束之高閣，是傳統BI項目失敗的一個核心原因。而另一個原因就是：沒把 BI 當做一個“項目”去做。大家都知道項目有三個要素：時間、成本和質量。而這三個要素傳統 BI 項目做的都不好。時間上。業務需求不明確，業務與IT之間往往需要來回倒騰、確定需求。當然也存在技術上的延遲問題，導致BI項目無法按計劃及時完成。模糊的需求、技術的延遲，拉長了交付的周期，等需求開發完了，發現業務需求已經發生了變化。成本上。企業采購機構BI軟件往往需要耗費大量成本，尤其是一些國外的軟件，例如：SAP BO、Oracle BIEE等。另外，BI項目要獲得一個較好的分析結果就需要對數據進行有效的處理，缺乏數據治理能力的BI項目，往往耗費大量的人工成本，來對臟數據清理和大量長尾數據的處理，既消耗了大量的成本，又出不來有價值的分析。質量上。數據的不及時、不完整、不準確是數據分析項目最大的問題。另一個問題是：太技術導向，導致業務與技術之間脫節，從而使得BI項目的目標偏航，讓 BI 淪為老板看的報表系統而不是當作整個公司數據驅動系統。
— 03 —
數據中臺的誕生！
毋庸置疑，數據是有價值的，將數據作為生產要素，把數據比作石油、金礦，其實毫不為過！在如今的數字化時代，數據大爆炸，對于企業來講，缺少的并不是數據，而是如何有效的管理和利用數據的手段。事實上，企業對于數據利用的探索一直沒有停止，除了BI、還有數據倉庫、數據集市、數據湖、大數據平臺、數據中臺等等。經過了大量的實踐驗證，當前很多企業都將期望放在了數據中臺上！關于數據中臺的概念，網上有很多種不同的說法。筆者在以往的文章中，也有相關數據中臺概念的定義。常見的一種定義是：數據中臺指數據采集交換、共享融合、組織處理、建模分析、管理治理和服務應用于一體的綜合性數據能力平臺，在大數據生態中處于承上啟下的功能，提供面向數據應用支撐的底座能力。其實這個定義還是太技術化，相比我更喜歡以下這個說法：數據中臺是一套“讓企業的數據可持續用起來”的機制，一種戰略選擇和組織形式，是依據企業特有的業務模式和組織架構，通過有形的產品和實施方法論支撐，構建一套持續不斷把數據變成資產并服務于業務的機制。數據中臺需要具備數據匯聚整合、數據提純加工、數據服務可視化、數據價值變現 4個核心能力，讓企業員工、客戶、伙伴能夠方便地應用數據。數據中臺是在組織數字化轉型過程中，對各業務單元業務與數據的沉淀，構建包括數據技術、數據治理、數據運營等數據建設、管理、使用體系，實現數據賦能、數據驅動。在企業的數據中臺架構中，BI 屬于數據前臺的范疇，提供數據分析和可視化能力，是數據中臺的用戶對象之一。而數據中臺更多是一種統一的數據管理架構，它是一種技術和組織的解決方案，可以支持商業智能（BI）分析，并可以實現數據積累，數據清洗，數據集成，數據建模，數據可視化等。因此，我們看到業內數據中臺解決方案中，常常將BI融合其中，搭配使用。數據中臺是從數據源獲取數據，整合、清洗和統一管理數據，然后通過接口服務將數據提供給各個系統使用。BI則是從數據中臺獲取數據，使用報表、圖表等工具，分析和可視化數據，為決策者提供支持。對于大型集團公司而言，BI工具可以有多套（要么購買、要么自主開發），而數據中臺一般建議只建設一套。數據中臺與BI 雖然都是數據平臺，也有很多類似的地方，但它們本質上是兩類不同的數據平臺。兩者的主要區別在于：解決的問題不同：數據中臺主要用于收集、存儲、整合和管理不同數據源的數據，以便更好地支持業務分析；而BI則是通過分析和可視化數據，以找出潛在的問題和機會，從而幫助企業更好地執行決策。技術的架構不同：數據中臺主要采用分布式架構，可以支持大規模的數據存儲及計算；而BI主要采用集中式架構，可以支持多維度、高效的數據分析。提供的服務不同：數據中臺主要提供數據資源到數據資產和轉化，以及API化（或其他共享方式）的數據服務；而BI主要提供數據報表、數據應用可視化服務。處理的數據不同：數據中臺的數據主要是原始數據，例如：原始的日志數據、業務數據、IOT數據等；而BI的數據主要是加工過的數據，例如：報表數據。面向用戶不同：數據中臺主要面向IT部門，IT部門負責搭建和維護數據技術平臺，沉淀數據資產、并提供數據服務；而BI面向業務部門，負責利用平臺上的數據進行分析和挖掘，從而獲取有價值的數據洞察、以作出更加明智的決策。雖然說了數據中臺與BI這么多的不同點，但是他們之間很多相同之處，例如：兩者都是數據應用的重要工具，都可以幫助企業更有效地分析數據，挖掘有價值的信息。兩者都可以將數據從多種來源組織起來，提供直觀的可視化效果，以支持數據分析。兩者都可以幫助企業實現數據驅動，幫助企業發現潛在的商機，改善企業決策制定的過程。另外，還有一個重要的相同點，那就是從實施方法上都屬于業務驅動。相對于傳統的數據倉庫、大數據平臺的技術驅動，數據中臺和BI都是業務驅動的，離業務更近，業務驅動的第一出發點不是數據，而是業務，一開始不用看你系統里面有什么數據，而是去解決你的業務問題需要什么樣的數據服務，加速企業從數據到數據資產，再到數據價值的過程。
— 04 —
數據中臺 + BI ，真正實現數據驅動！
數據中臺+BI，兩者各司其職確相互融合，并提供一站式數據應用，是打通企業數據資產應用的最后一公里的關鍵。數據中臺+BI，提供一站式數據工作臺，將加速推動企業的數據平民化進程，讓“人人都能成為數據分析師，人人都會找數據、用數據，用數據說話、用數據決策”，真正實現企業的“數據驅動”。沒有 數據中臺 的 BI，很難實現持續數據運營，而沒有 BI 的數據中臺，數據價值將無法直觀體現。下面我們看下，如何融合數據中臺和BI能力，發揮數據的真正“威力”！自上而下梳理是一種以業務視角進行數據梳理的方式，通過對企業的相關制度文件、職能體系、業務流程、業務單據等進行全面分析，逐層分解，梳理數據資產的三級目錄、業務屬性和相關管理屬性。三級目錄，即數據資產的分類，是按照業務視角對企業數據資產的梳理和分解，例如：數據域-數據主題-數據子主題-數據對象，（注：三級目錄不限于三級，但一般建議控制在五級之內為宜）。業務屬性，即用來描述數據資產的業務元數據。如上圖所示，常見業務屬性包括：所屬數據域、數據主題等分類屬性，數據對象、業務定義、業務規則、敏感等級等。管理屬性，即用來描述數據資產的管理、維護、使用相關元數據。如上圖所示，常見管理屬性包括：管理部門、管理人員、聯系方式、更新頻率、最后更新時間、數據共享條件等。注：業務視角下，數據資產的管理屬性可能無法全部梳理出來，這就需要在技術盤點環節對其進行補充完善。關于數據資產的盤點方法，請參考《數據資產管理：數據資產怎么盤？》數據治理、數字化轉型首先是需要消除企業痛點，這是見效最快的方式。但同時我也發現，很多企業最大的痛點是不知道自己的痛點在哪里。對此，筆者給出以下思路供參考：（1）找到那些對業務影響很深的點，如不解決業務就無法順暢執行；（2）找到那些對業務影響很廣的點，牽一發而動全身，做好一點帶動全局；（3）找到那些對業務有高價值的點，能夠為客戶帶來更好產品或服務、更好的體驗，亦或是為企業帶來更多的收入和利潤；（4）找到那些相對成熟且容易實現的點，先易后難，逐步推進，不要上來就選擇一個根本無法完成的目標。將企業數據轉化為生產力，需要業務用戶快速定位、理解和充分利用數據。與傳統數據倉庫不同，數據中臺的目標是將企業的數據資源經過統一梳理、采集、加工、處理……，然后形成數據資產，并自動注冊形成數據資產目錄。數據資產目錄解決了跨部門數據資產的共享問題，方便業務決策者找到、理解、信任，他們想要的數據，以支持業務部門利用數據來優化他們的業務。通常，IT人員不會從業務的角度理解數據，他們只專注于數據相關的技術問題，而業務人員缺乏IT技能，也很難將數據轉換為業務的洞察力。數據中臺提供了有效的數據管理方法和工具，幫助企業管理數據資產，并將其轉化為對企業有價值的信息和有意義的業務洞察力。數據中臺建設的意義，在很大程度上是實現了IT和業務的拉通，讓IT與業務形成合力，朝著同一個方向和目標努力。數據中臺 + BI 構建企業的數據供應鏈。堅持“以終為始”的原則，以業務需求為導向，通過數據中臺的數據采集、數據處理、數據計算等能力，按需對數據進行加工處理和組裝，形成可供調用的維度表、事實表、匯總表等數據模型。再利用BI工具連接這些模型，對數據進行分析和可視化，從而實現企業數據資產的一站式應用。數據中臺提供了數據萃取服務、數據共享服務、數據資產運營服務等等支撐能力，是構建企業數據供應鏈的關鍵，讓企業的數據能夠以服務的形式快速供給相關業務。數據即服務——這是數據中臺的靈魂。敏捷BI是從工具側和方法側，對傳統BI的全新升級。關于敏捷BI，你可能聽過這些關鍵詞：更快速、更靈活、更簡單、更自動......，很多人談敏捷BI都側重其工具和技術，當然這是一個很重要的方面。而另一方面，敏捷BI與傳統BI的區別在于交付方法上。傳統BI更多的是由IT人員進行數據報表開發，業務人員只管“看”，十分被動。而敏捷BI更強調業務的自助式分析，即：業務人員自己進行數據探索和分析，增強了業務人員對數據的洞察能力。其實，不論是傳統BI還敏捷BI，要能夠讓其用起來的一個重要前提是：數據的及時性、完整性和準確性，而數據中臺為保障數據的及時、完整和準確提供了能力支撐。數據中臺建設成敗的一個衡量標準，就是是否為業務用戶提供了自助分析能力，以及業務自助分析的靈活度。
最后，給大家留個思考題：如果企業建設的數據中臺脫離了BI，在沒有數據集成共享需求的情況下，面對業務用戶，您將提供什么，如何讓數據用起來，以及如何驗證數據中臺的各種數據模型和數據服務的有效性？歡迎留言區討論。
該文章在 2023/5/31 9:25:16 編輯過
400 186 1886
