• 論文大全
  • 作文大全
  • 總結報告
  • 演講致辭
  • 心得體會
  • 領導講話
  • 黨建材料
  • 常用范文
  • 應用文檔
  • 學習心得
  • 實習報告
  • 當前位置: 双色球近800期 > 領導講話 > 正文

    竞彩总进球:【電信運營商大數據應用和實踐】 大數據應用實踐

    双色球近800期 www.rmcxb.com 時間:2019-08-09 10:41:35 來源:双色球近800期 本文已影響 佳訊范文網手機站

    電信運營商大數據應用和實踐

    錢嶺

    中國移動通信有限公司研究院

    2012年6月

    目錄

    1323

    大數據處理技術發展概況電信運營商大數據需求中國移動大數據應用實踐

    全球數據量高速增長,全球數據量高速增長,信息成為企業戰略資產

    ?信息社會的信息增量在高速發展

    ?隨著互聯網/移動互聯網、數碼設備、物聯網/傳感器等技術的發展,全球數據生產在高速增長?據IDC 研究報告,未來10年全球數據量將以40+%的速度增長,2020年全球數據量將達到35ZB (35,000,000PB ),為2009年(0.8ZB )的44倍

    ?信息成為企業戰略資產,市場競爭和政策管制要求越來越多的數據被長期保存

    ?企業越來越需要長期保存各類數據,以進行用戶行為分析、市場研究,信息服務企業更是需要積累越來越多的信息資源

    ?為了遵從薩巴斯、上網日志審計等管制要求,企業需要長期保存越來越多的生產數據

    大數據實時處理技術

    ①發生了什么?

    ②為什么會發生?

    ③將會發生什么?

    ④正在發生什么?

    ⑤希望發生什么?

    戰略與戰術的結合

    數據倉庫的幾項趨勢:性能優化、內存數據庫、實時海量數據分析主要是批處理批處理統計查詢主要關鍵技術 基于內存的分

    析:訪問內存獲得數據而非磁盤,如SAP HANA 并行計算:采用并行計算

    大規模并行計算技術,如Facebook 。

    SAP HANA/內存數據庫:單PC 服務器(32核、0.5T 內存、1.3TB 數據)每小時完成10000個查詢,每個查詢在秒時間

    ---Gartner 2011

    事件驅動

    動態查詢分析動態查詢功能逐漸增加分析預測預測挖掘模型持續數據更新及快快速響應查詢速響應

    Facebook Insight for Website /HBase 數據庫使用大規模HBase 集群,每天處理200億消息

    大數據非結構化數據大數據非結構化數據的管理結構化數據的管理

    10年間,年間,在非結構化數據占比加大的同時,在非結構化數據占比加大的同時,業界對非結構化數據的重視極度上升,業界對非結構化數據的重視極度上升,超越結構化數據

    主要關鍵技術 低成本低成本、、海量數據存

    儲管理。儲管理。單系統需要管理高達10PB 甚至更大規模的數據 搜索引擎技術(搜索引擎技術(IR )。

    包括自然語言理解、索引等技術 大規模并行計算:采大規模并行計算

    用大規模并行計算技術

    目前,基于Google 搜索引擎基礎設施研發的開源軟件Hadoop 系列是非結構化數據處理的最

    佳工具,具備成本低、存儲規模大、易集成、相關工具多的特點。

    目前Hadoop目前Hadoop是大數據領域的事實標準Hadoop 是大數據領域的事實標準

    可擴展性好:最大可以達到

    4000節點

    通用性強:可以用于各種類型數據的處理,MapReduce 幾乎就是標準接口

    系統高可用,數據可靠:數據三個副本,自動負載均衡 易于管理:磁盤和節點自動管理

    社區活躍,衍生產品多

    ?????

    Yahoo 最大Hadoop 集群約4000節點,所有Hadoop 服務器超過1萬臺。用于完成從廣告推薦,用戶行為分析在內的各種計算

    Facebook 擁有超過2000節點的至少2個Hadoop 集群,用于數據批處理和即席查詢,同時將HBase 用于實時數據統計

    淘寶擁有超過2000節點的Hadoop 集群,用于替代現有的Oracle 系統,完成數據分析工作

    eBay 部署超過500節點的Hadoop 集群(Cloudera 提供),用于點擊流分析等,目前超過1500節點

    百度擁有超過4000臺服務器的Hadoop 集群,用于日志分析、機器學習等應用

    目錄

    3123

    大數據處理技術發展概況電信運營商大數據需求中國移動大數據應用實踐

    海量數據的出現、海量數據的出現、數據結構的改變,數據結構的改變,對數據管理及數據管理及分析帶來挑戰

    ?傳統數據倉庫難以滿足日益增長的業務數據帶來的存儲、傳統數據倉庫難以滿足日益增長的業務數據帶來的存儲、計算需求

    –隨著業務發展數據量的增加,隨著應用復雜導致的數據量增加,這些數據量導致了數據存儲和處理壓力;數據倉庫無法線性擴容,管理難度加大,成本高擴容壓力大,效率下降等

    ?傳統數據倉庫難以滿足非結構化數據的處理要求

    –移動互聯網和物聯網業務帶來的非結構化數據、半結構化數據(如網頁)對分析系統提出了不同以往的處理要求,如自然語言處理、網頁分類等

    • 論文大全
    • 作文大全
    • 總結報告
    • 演講
    • 心得
    • 講話
    • 應用文檔