• <pre id="63pvv"><del id="63pvv"></del></pre>
  • <tr id="63pvv"></tr>
  • <td id="63pvv"><del id="63pvv"></del></td>

    <pre id="63pvv"></pre>

  • 電商| 物流| 科技| 創業| 經商| 運營| 科普| 財經| 文娛| AI| 物聯| 品牌| 會議| 政策| 時尚| 健康| 家居| 金融| 農業| 汽車| 房產| 百科| 生活| 游戲| 管理| 快訊
    ?
    首頁 ? 資訊 ? 科技 ? 中小企業數字化轉型破局之道:華為云大數據“輕”模式

    中小企業數字化轉型破局之道:華為云大數據“輕”模式

    放大字體??縮小字體 時間:2022-03-04 21:20    熱度:243
    現階段我們國家從政府到企業都在進行數字化轉型,數字化轉型的核心是數據,對于有著開。。。

    現階段我們國家從政府到企業都在進行數字化轉型,數字化轉型的核心是數據,對于有著開發實力和基礎的大公司來講,他們可以有著完備的數據處理體系和開發人員儲備,可以高效的利用手中的資源對數據進行再加工,讓數據成為企業的生產要素。

    我們知道,“二八定律”作為一個經濟學原理揭示了任何一組事物最重要的構成只占其中的一小部分,其余的大部分多數構成的很小比例在經濟學上被稱為“長尾效應”。企業也是一樣,處于中長尾的企業想要數字化轉型,數據技術、人才、資金的高門檻往往讓他們望而卻步。他們亟需大數據行業的領導者,能做出企業的通用模式,節約數字化成本,降低用數門檻。雖然企業不少選擇將業務上云作為數字化的一個方向,但上云后產生的數據不管理、不加工、不分析,這讓這些數據上云失去了意義。

    華為云基于華為 IT 流程數據治理方法論推出華為云大數據輕量級解決方案,配合華為云資產可以輕資源、輕開發、輕部署、輕運維的快速數據治理體系,全 Serverless 方案對中長尾企業來講使用靈活,企業無需關注底層技術棧、云資源性能,可按需使用降低運營成本。

    華為云大數據相關服務提供數據全生命周期的一站式管理和開發,幫助中長尾企業大幅簡化數據治理的流程,在這種輕模式的支持下,中長尾企業可以快速高效的應對大量數據的分析,降低用數門檻,加快企業數據變現,完成企業的數字化轉型。

    接下來,我們就通過具體的實例來對華為云數據湖治理中心 DGC 進行全方位的認識和了解,透過華為理念下形成的輕量級通用解決方案探討中長尾企業如何應對數據治理上的難題。

    華為云大數據輕量級解決方案介紹

    針對中長尾企業的數據治理需求,華為云推出了大數據輕量級解決方案幫助企業進行高效的數據治理。我們都知道 Serverless 本質是將復雜留給自己,將便利提供給客戶,加速用戶的敏捷創新,這也是華為云大數據輕量級解決方案的核心思想。

    華為云這套輕量級的解決方案區別于企業自建自管自運營的模式,全 Serverless 方案對于企業來講不需要額外考慮資源管理、部署、運維,云上模式讓企業大大降低了用于硬件管理與擴容、跨 AZ 可靠調度、Bug 修復、軟件安全、AI 引擎調優等問題,只需專注業務開發即可,業務的使用與運營更加靈活。

    華為云大數據輕量級解決方案作為一項通用的大數據治理解決方案為企業提供了豐富的拓展能力,支持對象存儲、NoSQL、OLTP、OLAP 等數據庫類型,支持跨云數據治理、自建數據中心數據治理。企業不需要變更自己的底層數據技術棧就能實現大數據的治理和分析。

    針對中長尾企業的數據治理場景,華為云 DGC、DLI、CDM、RDS 等服務提供輕量化、靈活的技術棧,通過將華為云服務串聯,打造數據治理輕量化模式。涉及到以下核心服務:

    • CDM:高效、易用的數據遷移服務,支持批量和增量數據遷移,提供超過 40 種數據源到數據湖倉遷移能力;

    • DRS:基于事物日志(如 MySQL、Oracle)的數據庫復制進行增量同步;

    • DGC:數據標準和數據模型的規范設計,可進行在線開發和編排調度,數據質量稽核等一站式數據管理;

    • DLI:完全兼容 Apache Spark、Apache Flink、Presto 生態,提供批、流、交互式一體的 Serverless 融合處理分析,完全兼容 SQL 語法,開發難度低;

    • BI:通過華為云 DLV 數據可視化服務或專業 BI 軟件實現 2D 或 3D 數據展示,通過拖拉拽式布局,幫助企業快速進行大屏數據可視化呈現。

    對于企業來講,華為云大數據輕量級解決方案通過一站式的大數據分析服務,實現了企業多端數據采集,并在統一框架下進行數據采集、分析、歸納。

    通過全棧式技術能力,依托 DLI 數據湖探索服務以及配套的數據同步方案,可以滿足企業海量數據分析的需求,完成快速數據分析,釋放數據的價值。

    由于 DGC 提供高度可視化的 ETL 任務開發、管理、調度的能力,同時 DLI 等數據服務支持通用 SQL 語法,這些對于企業來講可以的大幅的降低開發過程中的門檻,實現簡單易用、靈活高效的數據開發模式。另外通過專業的 BI 廠商,可以很好的滿足企業對可視化 BI 工具的需求,數據生產到最后直觀的可視化呈現,為運營分析降低門檻。

    這 DGC 提供一站式的數據全生命周期的運營管理,配合華為云其他大數據產品,DGC 作為華為云輕量級大數據解決方案的核心,它可對接多種數據湖引擎,幫助進行統一開發,并提供統一的數據資產管理。方便企業進行全鏈路數據治理管控。數據運營全場景可視,統一調度和運維帶來全方位的安全保障。

    開發人員無需復雜配置就可以完成對數據的導入,DGC 提供數據管理、數據集成、腳本開發、作業開發、作業調度、運維監控、全場景可視化等功能。方便企業不同部門的打破相互隔離,以此建設統一的數據平臺,統一技術規范、數據標準和訪問接口。

    DGC 提供豐富的大數據平臺組件,方便多種數據和分析需求,降低數據治理的人工工作量,以此提升數據管理效率。DGC 提供一套完整的數據治理方法論落地,通過這套方法論實現業務上下游數據的快速傳遞和共享,以此指導實際業務的運作。通過數據質量持續為企業提供預警,以此減少糾錯成本,降低運營風險,提升服務質量。

    在分析處理上,DLI 數據探索服務則成為華為云輕量級大數據治理方案的重要組成。這套方案中,通過 DLI 等基礎云服務實現數據探查、數據監控、數據標準化,形成有指導意義的集市層數據。DLI 它支持結構化和無結構化的數據處理,并支持豐富的編程語言接口,同時成本也非常低。DLI 完全兼容 Apache Spark、Apache Flink、HetuEngine(基于 Presto)。

    DLI 采用批流交互式一體架構,兼容標準 JDBC 協議,可以直接對接第三方 BI 軟件,完成一站式大數據分析、用數的閉環場景。

    由于 DLI 兼容標準的 SQL 語法且均基于 Serverless 進行分析計算服務,因此用戶無需關心底層的計算架構,只需要通過連接服務即可進行數據分析,大大降低了開發的難度和門檻。DLI 還支持免搬遷全域數據聯合查詢,過濾條件支持只能下壓到數據源,減少傳輸數據量。由于 DLI 支持 Kubernetes,因此 DLI 還支持資源按需分配,自動彈性伸縮。

    接下來我們進入實例場景,通過對門店坪效的全流程設計來了解華為云大數據輕量級解決方案的各項服務能力,并快速的進行業務指標的模擬輸出。

    華為云大數據輕量級解決方案坪效實例場景體驗

    坪效作為零售行業的典型指標,是這次實例場景所要計算的一個指標,這樣的數據分析模型是華為云大數據輕量化解決方案主要的運用場景,在進行坪效實例場景的演示操作前,我們首先了解下什么是坪效。坪效是衡量一個地區或門店某一時間段單位面積產出情況,即每坪經營面積可以產出多少營業額。坪效計算公式如下:

    坪效越高,店鋪整體的經營效率也就越高,一般計算都以年為周期。華為云大數據輕量級解決方案的指導及下,我們以過去一年門店坪效指標和地區坪效指標作為目標,進行項目的設計和規劃,其中涉及華為云大數據及其他云服務,包括 VPS、OBS、RDS、CDM、DGC、DLI、DLV 等。

    零售業店鋪在獲取到坪效數據后,可以針對性的對門店業務、門店規模、人員結構進行調整。這一案例中涉及到 DGC 開發的數據集成、規范設計、數據開發、數據質量、數據資產、數據服務模塊以及華為云大數據其他關聯服務工具。

    通過這些模塊的體驗,我們得以實現對華為云大數據輕量級解決方案的全面了解,對中長尾的大數據治理進行整體的設計、開發、分析、運營,在這種輕模式下,企業可以對數據進行敏捷開發。

    輕資產:按需使用,無需擔心底層技術棧及安全問題

    在對于中長尾企業而言輕量化的資產管理體系可以省去大量云服務建設成本,華為云大數據輕量級解決方案絕大部分資源都建設在云上,對企業而言,可按需購買,購買即用,不需要額外關注底層的硬件性能和技術實現,并且不需要考慮相關工具軟件的迭代和安全問題。

    這里我們通過華為云 CDM 云數據遷移服務,集成 RDS MySQL 數據庫模擬數據元門店系統及訂單系統數據,利用華為云 DLI 數據湖探索服務的計算能力實現數據清理、指標計算和匯總,并最終使用華為云 RDS MySQL 作為集市層數據展現,最終通過 DGC 作業開發將上述操作串聯,形成完整的流水線,并通過 DGC 數據服務能力將數據 API 接口輸出,以此將數據輸出到 BI 報表分析工具或通過華為云 DLV 數據可視化服務對數據進行直觀的屏幕輸出。上述 CDM、RDS、OBS 等服務均支持按需購買,大幅降低企業的資產購置壓力。

    其中 OBS 負責存儲 DGC 的日志和臟數據;DLI 作為貼源層的存儲和計算技術棧,DLI 由于存儲量大且價格便宜,并采用分布式計算模型,因此進行大量數據運算的時候速度較、支持高并發;通過 DLI 生成主題庫和專題庫后,將這些數據倉庫存儲在 RDS MySQL 數據庫中,這一服務可以進行專業的 BI 分析;DGC 作為整個項目的數據運營技術棧,繼承了數據集成、規范設計、數據開發、數據質量、數據資產、數據服務功能,也是華為云大數據輕量化解決方案的核心技術模塊,作為數據湖運營平臺,DGC 提供了數據的全生命周期管理,在此案例中我們通過上述功能模塊完成了一整條數據治理流水線的建設;在所以數據分析歸納后,再通過 DLV 數據可視化服務對指標進行結果展示。

    華為云大數據輕量級解決方案對于企業而言不需要變動其底層的數據源,這套方案在數據集成上已經有很好的支持,無論是華為云數據庫、第三方云數據庫還是企業自建數據中心,都支持數據遷移。這里我們通過 RDS 作為模擬數據源導入并最終匯總生成集市層數據,在進行配置前,我們首先要購買對應資源才能實現一整套的數據治理流程,具體需購買和提前創建的資源如下:

    • 創建 VPC、子網、安全組

    • 創建 OBS 桶,創建存儲作業日志和臟數據目錄

    • 購買 DGC 實例,并配置默認工作空間

    • 購買 CDM 集群,正式項目可考慮使用 ROMA

    • 購買 RDS 實例

    • 購買 DLI 隊列實例

    在購買完對應資源后,需對原始數據進行導入,即將數據 SQL 文件導入到 RDS MySQL 數據庫中,這一操作只需進入 RDS 數據管理頁面,上傳腳本即可快速完成數據導入。數據源包含兩張表,分別是門店表 (t_user_store_info) 和訂單表(t_trade_order)。

    RDS MySQL 原始數據導入后,我們需要在 DLI 中建立相同的表結構進行貼源層數據導入。進入 DLI 庫表管理新建一個 DLI 庫,以此作為項目表存放 DLI 數據庫。

    隨后在 DLI 的 SQL 編輯器中將建表腳本導入建表,表結構和表名稱最好與 RDS MySQL 中原表一致。

    數據導入后,在 OBS 服務中完成 DGC 日志數據和臟數據文件夾建立,以便后續 DGC 正常使用。

    接下來就需要對數據進行入湖處理,這里采用 DGC 的數據集成模塊,DGC 批量數據遷移 CDM 提供同構或異構數據元之間批量數據遷移服務,可以幫助企業實現數據的自由流動,支持關系型數據庫、數據倉庫、NoSQL、大數據云服務、對象存儲等數據源。

    這些數據源涵蓋華為云 DWS、華為云 DLI、FusionInsight LibrA、Hadoop、OBS、阿里云 OSS、FTP、SFTP、NAS、MySQL、HWSQL、PostgreSQL、SQL Server、DDM、Oracle、Db2、Redis、MongoDB、CSS、Apache Kafka 等 30 多種數據源。

    這些數據源可以作為源也可以作為遷移目的,租戶可以按需付費,控制和租戶之間是完全分離的,數據始終是在原始位置,后續的作業、對數據的操作都是與原始數據隔離,通過 CDM 可以更加安全的保護原始數據。

    之前我們導入的 RDS MySQL 云數據庫服務作為源數據,另外一個則是數據湖探索 DLI 的連接,通過 CDM 服務我們快速生成 DLI 內貼源數據導入。

    這里,CDM 提供自動化的字段映射,對于不同數據源數據類型不同這樣的情況,CDM 支持數據類型一鍵轉換。在 CDM 遷移之前,我們已經提前將對應的表在 DLI 中建好,分別是 t_trade_order 和 t_user_store。這樣 CDM 就可以進行快速匹配。

    通過 CDM 我們就快速實現了源數據導入貼源數據的數據遷移工作,由于原始數據可能存在不斷生成的問題,這里 CDM 也提供周期作業以此對數據進行導入。接下里,我們再進行具體的業務場景設計和相關腳本的開發。

    輕開發:開發高度可視化,SQL 腳本通用簡單

    華為云大數據輕量級解決方案最重要的特點是全流程的高度可視化,沒有復雜的代碼編寫過程,對開發人員的技術要求不高,可以從業務層面需求出發進行系統化的建模,再通過建模實現對應開發腳本的生成。整個過程非常的快速高效,由于華為云大數據解決方案中的 DLI、DWS 等服務均支持標準 SQL 語句,因此各類腳本編寫上難度不大。在本例中首先需要對業務進行建模,在形成對應的業務指標對貼源數據進行清洗加工并輸出有實際指導意義的參數。

    華為云大數據輕量級解決方案將業務實體與實現細節緊密結合讓需求方無需了解太多編程相關的細節,讓開發方不必考慮業務實現的邏輯。通過這套解決方案的 DGC 規范設計模塊就能初步實現各類業務的需求指標設計并對數據進行標準化,包含主題設計、數據標準設計、數據模型設計、數據指標設計,通過規范設計可以根據客戶的業務需求,進行統一的數據分類、數據標準化、指標定義和數據模型體系建設。

    通過上述四個步驟,將業務數據化需求進行抽象化,就可以輸出企業標準化數據中臺設計。完成數據模型體系的建設,對于未來同行業的解決方案建設也有了參考價值。通過主題設計可以很快的完成信息架構的設計,針對不同類型的信息,還可以指定數據類型。

    在主題設計完成后,就可進行數據建模。首先根據之前的主題設計進行建模,這里提供關系建模和維度建模兩種建模方式,關系建模符合 3NF,主要是去除數據冗余,使數據標準化,當存在多個數據描述同一個情況時,需要使用關系建模進行合并。維度建模則采用數據結構化的方法進行建模,針對需求和指標對數據源進行維度、事實建模,相比于關系建模,維度建模緊緊圍繞業務指標,非常直觀顯示出業務模型中的業務問題。維度建模包括維度、維度表、事實表、匯總表。

    維度表多為業務指標的環境信息,比如時間、空間信息等,這里我們建模對門店和地區維度進行建模,這就是典型的空間信息。維度表是用戶用來分析數據的窗口,一個維度表可以對一組數據進行分類,且分組后的數據可以用來分析。我們以門店維度表為例,門店包括門店編碼、店鋪類型、營業狀態、門店名稱屬性。我們如果要計算坪效指標,可以進行門店坪效指標的計算、某一類型門店坪效指標的計算、營業中門店坪考指標計算等,通過這些指標可以定義一組數據。

    事實表內容主要分為三類,分別是維度表外鍵、事實屬性和度量屬性。比如門店事實表包含地區外鍵、門店編碼外鍵、經營面積、開業時間等信息。

    匯總表則可以對上述維度和事實進行歸納總結,得出相應的技術指標,我們以地區坪效指標的設計為例??梢钥吹綄獙傩院拖嚓P內容的匯總信息,地區坪效指標可以通過技術指標進行確定。

    DGC 將指標分為業務指標和技術指標兩類,業務指標模塊主要是以文字的形式定義某一指標,并以此為參考指導技術指標實現,我們以坪效為例,坪效位于進銷存管理中,根據坪效的定義,坪效就是門店銷售額與門店面積的比例。通過這一文字定義,我們來到技術指標中,完成坪效這一指標的技術定義。我們也可以對員工的銷售額與績效關系進行統一的界定,對于需求調研層面的人員來講,這些只需要文字描述就可以快速完成各種指標和屬性的確定。

    通過以上的需求建設和管理,需求方很快的就將自己的業務需求確定好,整個過程都是可視化的,接下里再進一步的對指標進行運算分析,最終形成有實際意義的指導數據,這里則通過技術指標完成對業務指標的具體實現,包含原子指標、衍生指標、復合指標。原子指標是最基礎的算子,是緯度在模型中某一個屬性或屬性的簡單運算,在坪效計算中,主要用于坪效計算的就是門店的經營面積以及實際門店產生的銷售額。這兩個指標構成了坪效計算的原子指標。

    精品久久久久久中文字幕无码
  • <pre id="63pvv"><del id="63pvv"></del></pre>
  • <tr id="63pvv"></tr>
  • <td id="63pvv"><del id="63pvv"></del></td>

    <pre id="63pvv"></pre>

  • 關于中小企業數字化轉型破局之道:華為云大數據“輕”模式的要點介紹,希望對大家了解中小企業數字化轉型破局之道:華為云大數據“輕”模式有所幫助,如有侵權,聯系我們37442552@qq.com。
    ?
    你可能感興趣:
    ?
    芬蘭政府指責微軟對諾基亞始亂終棄 承諾一個都

    2016-05-28

    本周早些時候,微軟宣稱它將會裁減1850個工作崗位,其中有1350個工作位于芬蘭。人們認為微軟裁員之舉預示著該公司新手機開發工作的終結。據外電報道,芬蘭政…

    三星最新發布的C5酷似iPhone 6 售價只有后者一半
    三星最新發布的C5酷似iPhone 6 售價只有后者一

    2016-05-28 三星 C5

    三星最新發布的C5酷似iPhone 6 售價只有后者一半;三星周四在中國市場發布的最新款智能手機C5酷似蘋果iPhone 6和6S。

    蘋果下架騰訊全系產品只是虛驚一場 淘寶、京東

    2016-05-29 蘋果 騰訊 APP

    蘋果下架騰訊全系產品只是虛驚一場 淘寶、京東等APP也未能幸免;蘋果下架騰訊全系產品,搜索出現大面積癱瘓,淘寶、京東等APP也未能幸免。據了解,騰訊也曾因…

    華為為何要在此時向三星發起專利戰?背后的原因究竟是什么?
    華為為何要在此時向三星發起專利戰?背后的原因

    2016-05-29 華為 三星 專利

    華為為何要在此時向三星發起專利戰?背后的原因究竟是什么?作為中國企業的華為,其在專利,尤其是與通信相關的專利的申請和積累在全球均名列前茅。而華為之…

    2016中國互聯網大會時間地點主題 互聯網大會有何亮點?
    2016中國互聯網大會時間地點主題 互聯網大會有

    2016-06-02 2016 中國 互聯網 大會

     由中國互聯網協會主辦的2016(第十五屆)中國互聯網大會將于6月21-23日在北京國際會議中心舉行。本屆大會主題為“繁榮網絡經濟 建設網絡強國”。

    Facebook周四下架了突發新聞通知應用Notify
    Facebook周四下架了突發新聞通知應用Notify

    2016-06-04 Facebook Notify

    Facebook周四下架了突發新聞通知應用Notify;Facebook發言人在發給科技博客The Verge的聲明中表示,Notify采用的技術將集成到Messenger中,所以內容發布商可…

    阿里回應被SEC問詢 馬云:那并不代表公司有問題

    2016-06-04

    近期,阿里巴巴接受美國證券交易委員會問詢,16年來日本軟銀集團首度出售手中阿里股份,阿里股價震蕩,相關消息持續引發關注。2

    iphone7上市時間確定 國行或5288元起售

    2016-06-04

    根據國外網站PC-Tablet的報導稱,蘋果仍將下一代iPhone的發布時刻定在今年9月份,至于詳細日期則為美國當地時刻9月9日或9月16日

    印度最大手機廠商明年來華搶市場 有戲嗎?

    2016-06-04

    Micromax聯合創始人維卡斯賈因(VikasJain)當天在香港舉辦的一場科技大會上表明,公司的目標是在2020年前變成按銷量核算的全球第

    索尼Xperia X系列終于要來了6月8日攜手周杰倫發

    2016-06-04

    索尼的手機一直以來都是以拍照以及顏值聞名的,在今年的MWC2016大會上,索尼曾經發布了一款Xperia X系列產品中的Xperia XPerform

    ?
    熱點圖文
    三星最新發布的C5酷似iPhone 6 售價只有后者一半

    三星最新發布的C5酷似iPhone 6 售價只有后者一半

    華為為何要在此時向三星發起專利戰?背后的原因究竟是什么?

    華為為何要在此時向三星發起專利戰?背后的原因究竟是什么?

    2016中國互聯網大會時間地點主題 互聯網大會有何亮點?

    2016中國互聯網大會時間地點主題 互聯網大會有何亮點?

    Facebook周四下架了突發新聞通知應用Notify

    Facebook周四下架了突發新聞通知應用Notify

    戴爾確認出售軟件業務:4年凈賠16億美元

    戴爾確認出售軟件業務:4年凈賠16億美元

    沉迷于成人VR的日本年輕人  年輕男女都拒絕戀愛(圖)

    沉迷于成人VR的日本年輕人 年輕男女都拒絕戀愛(圖)

    今日頭條母公司字節跳動科創板上市成功幾率多大?

    今日頭條母公司字節跳動科創板上市成功幾率多大?

    余承東回應:華為開發自有系統 以防美國科技巨頭不授權現有系統

    余承東回應:華為開發自有系統 以防美國科技巨頭不授權現有系統

    ?
    經商寶 — 經商創業營銷推廣電子商務門戶 網站地圖 | 關于我們 | 特惠服務 | 人才招聘 | 聯系我們 | 法律聲明
    ?