散文網(wǎng) » 科技 »學(xué)習(xí) » 實現(xiàn)億級費用減省,B站大數(shù)據(jù)治理之路

實現(xiàn)億級費用減省,B站大數(shù)據(jù)治理之路

2023-04-11 12:00 作者:嗶哩嗶哩技術(shù) 0人讀過 | 我要投稿

本期作者

B站大數(shù)據(jù)歷史

B站大數(shù)據(jù)成立歷史
公司流量快速增長、數(shù)據(jù)必然爆發(fā)式增長
以增加資產(chǎn)解決資源瓶頸已不是長期方案

互聯(lián)網(wǎng)公司發(fā)展到一定階段，各種場景的數(shù)據(jù)需求會越來越多，業(yè)務(wù)通過數(shù)據(jù)進行快速迭代、決策，已成為各家互聯(lián)網(wǎng)公司必備的能力。要解決猛增數(shù)據(jù)的清洗以及海量歷史數(shù)據(jù)的加工，勢必要引入大數(shù)據(jù)能力。B站是 09 年成立的互聯(lián)網(wǎng)公司，但整體大數(shù)據(jù)體系的建設(shè)相對較晚，17年成立大數(shù)據(jù)團隊，19年才開始規(guī)?；慕ㄔO(shè)，隨著公司快速發(fā)展，數(shù)據(jù)規(guī)模也在爆發(fā)式的增長。

截至 23 年 B站數(shù)據(jù)已經(jīng)達到 EB + 超大規(guī)模體量。爆發(fā)式的增長，長期通過采購服務(wù)器來滿足資源瓶頸，已不切實際。我們需要有一套長期地、合理的資源管理模式。既能滿足業(yè)務(wù)增長過程中的數(shù)據(jù)使用，也能有效控制公司在大數(shù)據(jù)體系整體投入的預(yù)算、費用。?但要達成預(yù)期數(shù)據(jù)治理效果，我們將要面臨的巨大挑戰(zhàn)，包括：

多個業(yè)務(wù)線，各自管理數(shù)據(jù)，無統(tǒng)一管理體系；
業(yè)務(wù)數(shù)據(jù)、技術(shù)數(shù)據(jù)混合在一起；
資產(chǎn)歸屬認(rèn)證體系缺失，存在大量無主數(shù)據(jù)；
數(shù)據(jù)上報無統(tǒng)一標(biāo)準(zhǔn)、格式等。

如何能有效地解決現(xiàn)有問題？21 年下半年，數(shù)據(jù)平臺開啟公司大數(shù)據(jù)治理之路（立項 —— 望樓 1.0）。

“望樓”項目啟動，

存儲淤泥中從0到1的掙扎

望樓，是古代觀敵預(yù)警、登高望遠(yuǎn)的樓閣。項目以此為名，寓意最終必須構(gòu)建一套能從高處全盤掌控數(shù)據(jù)資產(chǎn)情況，長期地監(jiān)控異常、及時地警示風(fēng)險、權(quán)威地解決問題的治理框架。

在立項時，有兩個問題是首要考慮的：

（1）如何啟動治理這件事？

（2）如何讓用戶改變習(xí)慣和觀念，參與資產(chǎn)治理？

問題一：如何啟動？

其一，讓資產(chǎn)元數(shù)據(jù)鋪開治理的第一塊磚

資產(chǎn)治理本質(zhì)是一個為業(yè)務(wù)賦能的過程。它要先有業(yè)務(wù)數(shù)據(jù)建設(shè)，再談為業(yè)務(wù)賦能。在具體的實施上，映射為先做資產(chǎn)元數(shù)據(jù)模型，再建治理指標(biāo)體系。

資產(chǎn)元數(shù)據(jù)模型

建設(shè)之初，公司的大數(shù)據(jù)資產(chǎn)規(guī)模、明細(xì)，都是一個混沌的狀態(tài)。

這個階段需要自下而上的建設(shè)路線，先圈定平臺主要數(shù)據(jù)資產(chǎn)項（hive表、調(diào)度任務(wù)），再列出資產(chǎn)項生命周期各環(huán)節(jié)的業(yè)務(wù)過程（建表、建任務(wù)、發(fā)布、運行、授權(quán)、消費、下線等），輸出一個較完整但不鉆細(xì)節(jié)的元數(shù)據(jù)主題。這些數(shù)據(jù)輸出，是為了支撐起資產(chǎn)盤點、問題發(fā)現(xiàn)、治理策略探索等初期準(zhǔn)備工作。

當(dāng)資產(chǎn)規(guī)模和歷史問題有一定的盤點后，工作內(nèi)容從發(fā)現(xiàn)問題轉(zhuǎn)向用策略解決問題。這個階段就要逐步進入自上而下的建設(shè)路線，以治理指標(biāo)體系作為數(shù)據(jù)建設(shè)的主要需求輸入，最終數(shù)據(jù)的輸出，是為了治理策略執(zhí)行服務(wù)。

治理指標(biāo)體系

指標(biāo)體系從來不是獨立成章的，它與運營方法牢牢綁定在一起。沒有運營落點的指標(biāo)，產(chǎn)生不了價值，沒有指標(biāo)指導(dǎo)的運營，容易迷失方向。

B站的治理指標(biāo)體系模型，由治理目標(biāo)、治理策略、策略評估三者組成。

治理目標(biāo)：指一段時間內(nèi)要完成的目標(biāo)指標(biāo)（即北極星指標(biāo)）。策略從目標(biāo)拆解，所以要先確定目標(biāo)指標(biāo)。
治理策略：從目標(biāo)指標(biāo)拆解出實施策略。策略制定分為策略方向和實施項。

策略評估：包含兩類指標(biāo)。
判斷是否命中實施策略的問題命中指標(biāo)
評估策略好壞、實施效率的治理效果指標(biāo)

B站的治理運營方法，由指標(biāo)、問題、標(biāo)準(zhǔn)、實施四項組成。

指標(biāo)->問題：通過問題命中指標(biāo)，發(fā)現(xiàn)資產(chǎn)清單中存在哪些問題。
問題->標(biāo)準(zhǔn)：確定問題后，建立出能夠規(guī)避問題、解決問題的標(biāo)準(zhǔn)。
標(biāo)準(zhǔn)->實施：標(biāo)準(zhǔn)建立后，依照標(biāo)準(zhǔn)制定運營策略，并付諸實施。
實施->指標(biāo)：實施周期后，觀察效果指標(biāo)，評估該運營策略與此次實施行為的效率。

其二，選擇合適的發(fā)力點，讓運營方法首次轉(zhuǎn)動

資產(chǎn)規(guī)模大，存量問題繁雜，必須先專注于一個發(fā)力點，來實踐、驗證數(shù)據(jù)與策略。正如本節(jié)標(biāo)題所說，存儲治理成為了項目的第一個發(fā)力點。

發(fā)力點的探索

為什么選擇了存儲治理？發(fā)力點要如何探索確定？?思路應(yīng)當(dāng)是，找到瓶頸，當(dāng)前最痛的地方。

立項之初，幾乎每個月都要面臨存儲水位到達90%以上，緊急組織數(shù)據(jù)清理的狀況。同時從大數(shù)據(jù)資產(chǎn)的成本分布來看，離線存儲也是最大單項。

存儲治理階段性目標(biāo)的確定

為了讓人力工時從存儲水位的應(yīng)急響應(yīng)中釋放，需要一波足夠大的存儲治理量，將水位降至安全線以下，并能在約半年的自然增長下，依然保持無風(fēng)險狀態(tài)。根據(jù)水位情況與預(yù)測增長趨勢。在21年的數(shù)據(jù)試水后，我們定下22年年內(nèi)優(yōu)化?整體存儲資源 50%?的目標(biāo)。

存儲治理策略的拆解、排序

定好目標(biāo)是優(yōu)化存儲量，首先拆解第一層策略方向。

我們先將視角放到歷史存量方向，利用命中指標(biāo)“存量存儲量“，可以拉出一批存儲量最高的TOP列表，分析TOP列表，找出列表中資產(chǎn)存在的共性問題，比如：

下游無使用
TTL過長，超出該數(shù)據(jù)的時效意義
數(shù)據(jù)未經(jīng)壓縮

等。

找出問題后，針對問題做出標(biāo)準(zhǔn)定義，制定策略：

三項策略制定好之后，依照人力工時的投入上限，我們還需對三項策略x上萬資產(chǎn)項的組合做好執(zhí)行優(yōu)先級的排序。排序以“實施成本低，效果收益高”的順序為最佳。

模型與指標(biāo)的建設(shè)

在策略確定后，預(yù)定義所需的指標(biāo)。

以預(yù)定義好的指標(biāo)體系作為模型建設(shè)需求，做好數(shù)據(jù)源調(diào)研，確定指標(biāo)統(tǒng)計口徑。如果數(shù)據(jù)源的質(zhì)量或形態(tài)不滿足預(yù)定義指標(biāo)的口徑，則須重新定義替代指標(biāo)。

同時，還需定義策略實施中關(guān)注的維度。通常，在存儲治理實施中會有以下維度值得關(guān)注：

在不同維度下，策略可依據(jù)屬性值做階梯、特例等微調(diào)。

存儲治理的持續(xù)化運營

按既定策略將策略指標(biāo)建好后，將其投入突擊性集中推進實施，或按天、按周、按月的周期性實施循環(huán)中。直至問題完全解決，或階段性解決。

向問題資產(chǎn)項的owner發(fā)布問題清單，并通知他應(yīng)當(dāng)在何時完成優(yōu)化。

當(dāng)我們解決了第一批問題，依然可以繼續(xù)找新的問題，定義新的標(biāo)準(zhǔn)和策略。

舉例第二批問題：

新的問題，新的指標(biāo)建設(shè)，新的策略實施，持續(xù)不斷地進行下去?？梢杂么笮蓚€循環(huán)來描述這種持續(xù)性。

?問題二：如何讓用戶配合？

其一，培養(yǎng)用戶對大數(shù)據(jù)資產(chǎn)成本和管理規(guī)范的意識jin

絕大多數(shù)用戶在跑查詢、做報表時，不會產(chǎn)生“我花了多少錢”這樣的意識，也不會產(chǎn)生“我這個行為是錯誤的、不規(guī)范的“這樣的意識。因此，想要用戶配合成本治理的實施，首先必須將這種意識種入用戶的大腦中。

花了多少錢，用賬單告知。

為了讓用戶感知到大數(shù)據(jù)成本，同時，也為描述當(dāng)前大數(shù)據(jù)平臺的資產(chǎn)規(guī)模，我們發(fā)布了部門、空間、個人三級賬單。賬單以資產(chǎn)大項、小項分別統(tǒng)計，再匯總。截至目前覆蓋的資產(chǎn)大小項包含：

賬單的計算，應(yīng)以兩個準(zhǔn)字為標(biāo)準(zhǔn)。

歸屬準(zhǔn)

賬單建設(shè)初期，由于存量資產(chǎn)存在大量來源不明、歸屬不明問題，我們遇到了不少阻礙。

為解決資產(chǎn)歸屬問題：

嚴(yán)格要求后續(xù)所有新數(shù)據(jù)資產(chǎn)通過數(shù)據(jù)平臺界面注冊，記錄注冊者信息。
要求資產(chǎn)元數(shù)據(jù)能覆蓋到數(shù)據(jù)平臺支持的全部資產(chǎn)項。
杜絕由于交接異常導(dǎo)致的失主，重新梳理交接流程，且規(guī)定生產(chǎn)任務(wù)與產(chǎn)出數(shù)據(jù)表的owner信息保持一致。
推動客戶端鑒權(quán)與數(shù)據(jù)平臺權(quán)限打通，避免由客戶端操作導(dǎo)致的失主或歸屬異常。

當(dāng)歸屬異常的入口被關(guān)閉，對歷史存量，就要以一套基礎(chǔ)的歸屬追溯邏輯去批量尋主，使其找到歸屬人、歸屬部門。

度量準(zhǔn)

大數(shù)據(jù)資產(chǎn)賬單的計算公式可簡化為——用量 * 單價。

因此，記賬準(zhǔn)，就要求資源用量的數(shù)據(jù)源、統(tǒng)計任務(wù)，需要全鏈路的數(shù)據(jù)質(zhì)量保障。

最早做賬單任務(wù)鏈路時，流量資源、實時存儲資源等大項，存在無底層組件數(shù)據(jù)源、上層數(shù)據(jù)源也不穩(wěn)定，可用性堪憂的情況。這導(dǎo)致賬單發(fā)布的頭幾個月，記賬數(shù)據(jù)產(chǎn)出延遲、個別實例用量丟失等質(zhì)量問題，成為家常便飯。每月賬單產(chǎn)出前，都需要人工做二次確認(rèn)，評估賬單總額、部門波動是否符合預(yù)期，如有違預(yù)期，還需找出異常原因，臨時設(shè)計修復(fù)方案。

到如今，數(shù)據(jù)平臺已將所有資源用量數(shù)據(jù)源替換為組件底層數(shù)據(jù)，且通過常規(guī)方式入倉，上下游對其運維等級有統(tǒng)一的認(rèn)知，保障賬單產(chǎn)出的穩(wěn)定性和準(zhǔn)確性。

行為規(guī)范與否，用治理分告知。

為了讓用戶感知到資產(chǎn)管理規(guī)范，我們設(shè)計了一套評分模型，將一些基礎(chǔ)治理項的存量或?qū)嵤┺D(zhuǎn)化為加減分，以一個分值來體現(xiàn)各業(yè)務(wù)部門的治理規(guī)范水平。

治理評分模型的設(shè)計，有以下三個理念：

應(yīng)當(dāng)體現(xiàn)出平臺的治理經(jīng)驗。是歷史上經(jīng)驗教訓(xùn)的總結(jié)，是已論證確實獲得效果收益的策略。能向用戶普及數(shù)據(jù)治理的概念，改變用戶只用不治的習(xí)慣。

應(yīng)當(dāng)體現(xiàn)出權(quán)威指導(dǎo)性。指標(biāo)并非固定不變，會做周期性更替，每一期更替依照公司當(dāng)前治理重點來調(diào)整。治理優(yōu)先級為重要參考因素，將高優(yōu)項納入評分，低優(yōu)項可排除出評分。

應(yīng)當(dāng)體現(xiàn)出執(zhí)行上的循序漸進。同類項，隨周期逐步加強要求，提高評分標(biāo)準(zhǔn)。模型規(guī)范，隨周期從ODS層逐步往高層推進。超前于當(dāng)前治理重點的指標(biāo)可做加分項，但后期應(yīng)更改為減分項。

摘錄第一期、第二期的指標(biāo)如下：

治理分的發(fā)布，幫助我們快速摸清公司的存量問題，控制和指導(dǎo)每一階段的大方向和優(yōu)先級，評估部門間的進度差異。

評分指標(biāo)項獲得業(yè)務(wù)部門認(rèn)可后，平臺與業(yè)務(wù)治理目標(biāo)、利益關(guān)系達成一致，加速推進。在公司每半年的技術(shù)大會上，設(shè)置了依據(jù)治理分評選出的部門級數(shù)據(jù)治理獎項，對當(dāng)個半年治理成效突出的部門予以表彰。

其二，提高用戶對成本治理實施的意愿

治理實施意愿取決于很多因素，但在幾次用戶調(diào)研中，可以發(fā)現(xiàn)最大的因素在于“歷史存量龐大，工時消耗過多”。用戶面臨數(shù)據(jù)平臺交予的治理任務(wù)時，會陷入好像怎么努力也做不完的苦惱中，何況用戶有自己的業(yè)務(wù)主線，不可能把工作時間全部投在治理實施上。

因此，為了提高用戶的實施意愿，需要幫助用戶解決：

做好自動化：可自動化實施的問題項，避免用戶人工處理。
做好問題攔截：可攔截的問題不要持續(xù)新增，讓用戶看到徹底解決的希望。

做好分類：讓用戶知道哪些問題可以合并處理，節(jié)省時間。
做好排序：不同治理項之間、不同資產(chǎn)之間的優(yōu)先級，明確地告知用戶。
做好功能引導(dǎo)：怎么執(zhí)行、去哪里執(zhí)行，有什么注意事項，主動將此類引導(dǎo)給到用戶。

做好工時評估：讓用戶知道每一項工時多久，并按周期提供用戶治理實施的工時統(tǒng)計。

做好效果量化：治理項實施之后，得到怎樣的效果收益，按周期提供給用戶統(tǒng)計值。

階段性成果

通過資產(chǎn)元數(shù)據(jù)與治理指標(biāo)體系的搭建，協(xié)同賬單與治理分的輔助，平臺在存儲治理這一單項上，兩年間取得了巨大效果收益。

截止22年，已實現(xiàn)整體存儲資源??55%?的治理，22年全年增長速率從?21年?226%下降至34%?，累計節(jié)省B站大數(shù)據(jù)側(cè)預(yù)算億級規(guī)模?，最終超額完成整年的目標(biāo)。

化被動為主動，多元化治理的蛻變

雖然望樓項目在21～22年間成功實現(xiàn)存儲治理的巨大收益，但它依舊存在決定性的缺點與不足。其中最為突出的問題是：被動治理與單點治理。

問題一：如何化被動為主動？

發(fā)起存儲治理的原因是“痛”，當(dāng)痛點已經(jīng)出現(xiàn)，水位瀕臨決堤，不得不投入人力去治理，這種治理模式是被動的。被動治理的弊處是，治理執(zhí)行節(jié)奏、時間預(yù)期，都取決于危機的逼近，不可自行控制。它會打斷業(yè)務(wù)常規(guī)工作，讓執(zhí)行者疲憊。

因此，將被動治理轉(zhuǎn)化為主動治理，是在多元化治理鋪開前必須實現(xiàn)的轉(zhuǎn)變。

其一，提前規(guī)劃長線治理目標(biāo)，搶在問題爆發(fā)前，預(yù)備好數(shù)據(jù)和策略

面對存儲之痛時，計算并非不痛，只是小規(guī)模體現(xiàn)，或等待爆發(fā)時機。主動的第一步，是將還不痛的資源治理納入規(guī)劃。

22年Q4，我們在深入實施存儲治理的同時，已對YARN、Flink、Kafka等多項資源展開瓶頸摸排、數(shù)據(jù)建設(shè)和策略預(yù)設(shè)的工作。23年H1，上述資源治理的計劃全部體現(xiàn)在OKR目標(biāo)中。

其二，水位風(fēng)險的發(fā)生可預(yù)測，且要有階梯預(yù)警與響應(yīng)機制

資源用量的增長有其規(guī)律性，這使得水位上升量是可預(yù)測的。平臺可以早于風(fēng)險真正發(fā)生，就提前發(fā)布預(yù)警。同時，預(yù)警需要與階梯性的響應(yīng)機制掛鉤，確保預(yù)警發(fā)出后，確實有人介入處理。

其三，每個階段的治理目標(biāo)和策略，有組織能快速自上而下傳達

以往，數(shù)據(jù)平臺與業(yè)務(wù)部門的治理溝通，是通過部門老板指派對接人。這種模式下，同一策略反復(fù)宣講、意見調(diào)和的溝通成本很高。且由于對接人不承擔(dān)治理責(zé)任、部門組織架構(gòu)調(diào)整帶來的人員變動等原因，使得對接人失效率很高。往往只有在事態(tài)緊急或者老板明確授權(quán)下，才能推進部門治理工作的落實。

22年Q4，B站組建了公司數(shù)據(jù)委員會，以委員制例會的形式，討論、頒布大數(shù)據(jù)治理標(biāo)準(zhǔn)和策略。大數(shù)據(jù)平臺不再對業(yè)務(wù)部門的治理實施負(fù)責(zé)，只從公共策略層面掌舵公司的治理實施方向與節(jié)奏。相關(guān)信息由委員傳達到部門內(nèi)，由委員調(diào)配部門內(nèi)的治理工作。

截止目前，數(shù)據(jù)委員會已頒布的標(biāo)準(zhǔn)與策略：
成本管理主題，制度標(biāo)準(zhǔn)2項，執(zhí)行策略3項
質(zhì)量管理主題，制度標(biāo)準(zhǔn)1項，執(zhí)行策略4項
安全管理主題，制度標(biāo)準(zhǔn)1項，執(zhí)行策略1項

其四，問題的預(yù)警和清單，有工具能快速分發(fā)到個人

同樣是22年Q4，平臺發(fā)布了一個可以將治理工作分發(fā)到個人的產(chǎn)品——治理中心。治理中心將問題發(fā)現(xiàn)、策略解釋、危機預(yù)警、治理執(zhí)行、收益統(tǒng)計五大塊內(nèi)容，集成到同一個產(chǎn)品模塊，使用戶能在一個頁面解決散點問題。

建立好以上前置條件，從23年起，B站的大數(shù)據(jù)資源治理工作形成一個主動性極強的閉環(huán)。

在這套主動機制建立之前，一次存儲高水位應(yīng)急預(yù)案的實施需要數(shù)天，并且要平臺與業(yè)務(wù)部門發(fā)起緊急臨時協(xié)調(diào)才能將問題解決。該機制下，高水位得以提前預(yù)測，無須平臺拉起溝通，業(yè)務(wù)部門響應(yīng)人員自行介入處理。伴隨著主動性提高，存儲水位由前兩年長期盤踞在?90%，下降至穩(wěn)定在?75%?左右。

?問題二：如何化單點為多元？

前文中提到，主動治理需要在各項資源的問題爆發(fā)前，預(yù)備好數(shù)據(jù)和策略。但只是照本宣科地做數(shù)據(jù)和策略，無法真正實現(xiàn)多元化治理。

多元化治理的核心矛盾點，在資源類型的多元化與人力工時的恒定不變之間。因此，如何提高人效，是實現(xiàn)多元化的關(guān)鍵。為提高人效，我們定義了一個治理操作框架。該框架，確保數(shù)據(jù)輸出是為治理應(yīng)用服務(wù)，確保上一個治理項的發(fā)布與實施，能為下一個治理項積累經(jīng)驗、沉淀工具。

其一，平臺運營人效

當(dāng)公司有了主動治理閉環(huán)，平臺人員的精力，更多放在標(biāo)準(zhǔn)和策略上。運營提效的重點在于靠三個統(tǒng)一來提升標(biāo)準(zhǔn)制定和策略探索的效率。

統(tǒng)一的標(biāo)簽?zāi)Ｐ?/p>

為了治理項能快速發(fā)布和迭代，我們基于資產(chǎn)元數(shù)據(jù)構(gòu)建了資產(chǎn)對象的指標(biāo)字典和標(biāo)簽字典。例如成本治理中，原本成百上千的治理指標(biāo)，被合并歸納成7個資產(chǎn)對象， 23個業(yè)務(wù)過程，160個標(biāo)簽。通過標(biāo)簽組合匹配的形式，治理策略的探索變成一項簡單事務(wù)，即便一些新人也可快速上手輸出有效的治理清單。

統(tǒng)一的管控策略

QUOTA限制，是公司數(shù)據(jù)委員會上發(fā)布過的重磅管控策略之一。它起于存儲QUOTA，規(guī)定了業(yè)務(wù)部門的存儲用量達到該部門存儲QUOTA后，將觸發(fā)大數(shù)據(jù)資源使用限制，直至用量恢復(fù)到QUOTA以下。

23年多元化治理啟動后，QUOTA限制策略陸續(xù)將在離線計算、實時計算、傳輸流量等資源項上實施。同一套方案，多處實施，每一項資源只要明確QUOTA值與用量口徑，管控機制就可迅速上線。

同時，平臺也支持將這一策略分層實施，即公司層面對部門限制，部門層面對下屬工作空間限制。不僅是平臺運營人力得到釋放，業(yè)務(wù)部門的數(shù)據(jù)委員也因此受益。

統(tǒng)一的策略實施流程

資源治理的實施經(jīng)常是一些銷毀操作，而銷毀操作需要慎之又慎。為了兼顧快速與謹(jǐn)慎，平臺對銷毀操作制定了從消費任務(wù)到生產(chǎn)任務(wù)倒序關(guān)閉、每個步驟都可快速回滾的標(biāo)準(zhǔn)流程。該流程可使平臺并行鋪開多個批次的銷毀，又確保每個批次有足夠的時間觀察銷毀影響。

其二，用戶實施人效

用戶單位時間治理效果的提升，可以通過降低實施耗時、提升實施收益來實現(xiàn)。

自動化工具沉淀，降低工時投入

由于不同資源治理由不同團隊推進，發(fā)布清單和操作工具不同，用戶需要面對多個溝通群，理解背景、獲取清單、學(xué)習(xí)如何處理的成本也很大。治理中心上線后，用戶的治理流程被抽象為接收治理中心的推送，通過推送信息進入問題清單，在問題清單進入對應(yīng)操作模塊，操作完回到治理中心查看效果，這樣簡單的操作框架。