偷窥 亚洲 色 国产 日韩

<ruby id="alub7"><bdo id="alub7"></bdo></ruby>

<span id="alub7"></span>
  • <tbody id="alub7"></tbody>
    <button id="alub7"></button>
    <button id="alub7"></button>

      <em id="alub7"></em>
    1. 侵權投訴

      實時數據體系建設的總體方案的三部分

      2020-05-31 11:02 ? 次閱讀

      隨著互聯網的發展進入下半場,數據的時效性對企業的精細化運營越來越重要, 商場如戰場,在每天產生的海量數據中,如何能實時有效的挖掘出有價值的信息, 對企業的決策運營策略調整有很大幫助。

      此外,隨著 5G 技術的成熟、廣泛應用, 對于工業互聯網、物聯網等數據時效性要求非常高的行業,企業就更需要一套完整成熟的實時數據體系來提高自身的行業競爭力。

      本文從上述現狀及實時數據需求出發,結合工業界案例、筆者的實時數據開發經驗, 梳理總結了實時數據體系建設的總體方案,本文主要分為三個部分:

      第一部分主要介紹了當下在工業界比較火熱的實時計算引擎 Flink 在實時數據體系建設過程中主要的應用場景及對應解決方案;

      第二部分從實時數據體系架構、實時數據模型分層、實時數據體系建設方式、流批一體實時數據架構發展等四個方面思考了實時數據體系的建設方案;

      第三部分則以一個具體案例介紹如何使用 Flink SQL 完成實時數據統計類需求。

      一、Flink 實時應用場景

      目前看來,Flink 在實時計算領域內的主要應用場景主要可分為四類場景, 分別是實時數據同步、流式 ETL、實時數據分析和復雜事件處理,具體的業務場景和對應的解決方案可詳細研究下圖, 文字層面不再詳述。

      二、實時數據體系架構

      實時數據體系大致分為三類場景:流量類、業務類和特征類,這三種場景各有不同。

      在數據模型上,流量類是扁平化的寬表,業務數倉更多是基于范式的建模,特征數據是 KV 存儲;

      從數據來源區分,流量數倉的數據來源一般是日志數據,業務數倉的數據來源是業務 binlog 數據,特征數倉的數據來源則多種多樣;

      從數據量而言,流量和特征數倉都是海量數據,每天十億級以上,而業務數倉的數據量一般每天百萬到千萬級;

      從數據更新頻率而言,流量數據極少更新,則業務和特征數據更新較多,流量數據一般關注時序和趨勢,業務數據和特征數據關注狀態變更;

      在數據準確性上,流量數據要求較低,而業務數據和特征數據要求較高。

      1、實時數據體系整體架構

      整個實時數據體系架構分為五層,分別是接入層,存儲層,計算層、平臺層和應用層,上圖只是整體架構的概要圖,每一層具體要做的事情,接下來通過文字來詳述。

      1)接入層:該層利用各種數據接入工具收集各個系統的數據,包括 binlog 日志、埋點日志、以及后端服務日志,數據會被收集到 Kafka 中;這些數據不只是參與實時計算,也會參與離線計算,保證實時和離線的原始數據是統一的;

      2)存儲層:該層對原始數據、清洗關聯后的明細數據進行存儲,基于統一的實時數據模型分層理念,將不同應用場景的數據分別存儲在 Kafka、HDFS、Kudu、 Clickhouse、Hbase、Redis、Mysql 等存儲引擎中,各種存儲引擎存放的具體的數據類型在實時數據模型分層部分會詳細介紹;

      3)計算層:計算層主要使用 Flink、Spark、Presto 以及 ClickHouse 自帶的計算能力等四種計算引擎,Flink 計算引擎主要用于實時數據同步、 流式 ETL、關鍵系統秒級實時指標計算場景,Spark SQL 主要用于復雜多維分析的準實時指標計算需求場景,Presto 和 ClickHouse 主要滿足多維自助分析、對查詢響應時間要求不太高的場景;

      4)平臺層:在平臺層主要做三個方面的工作,分別是對外提供統一查詢服務、元數據及指標管理、數據質量及血緣;

      5)應用層:以統一查詢服務對各個業務線數據場景進行支持,業務主要包括實時大屏、實時數據產品、實時 OLAP、實時特征等。

      其中,平臺層詳細工作如下:

      統一查詢服務支持從底層明細數據到聚合層數據的查詢,支持以SQL化方式查詢Redis、Hbase等KV存儲中的數據;

      元數據及指標管理:主要對實時的Kafka表、Kudu表、Clickhouse表、Hive表等進行統一管理,以數倉模型中表的命名方式規范表的命名,明確每張表的字段含義、使用方,指標管理則是盡量通過指標管理系統將所有的實時指標統一管理起來,明確計算口徑,提供給不同的業務方使用;

      數據質量及血緣分析:數據質量分為平臺監控和數據監控兩個部分,血緣分析則主要是對實時數據依賴關系、實時任務的依賴關系進行分析。

      平臺監控部分一是對任務運行狀態進行監控,對異常的任務進行報警并根據設定的參數對任務進行自動拉起與恢復,二是針對 Flink 任務要對 Kafka 消費處理延遲進行監控并實時報警。

      數據監控則分為兩個部分:

      首先流式 ETL 是整個實時數據流轉過程中重要的一環,ETL 的過程中會關聯各種維表,實時關聯時,定時對沒有關聯上的記錄上報異常日志到監控平臺,當數量達到一定閾值時觸發報警;

      其次,部分關鍵實時指標采用了 lambda 架構,因此需要對歷史的實時指標與離線 hive 計算的數據定時做對比,提供實時數據的數據質量監控,對超過閾值的指標數據進行報警。

      為了配合數據監控,需要做實時數據血緣,主要是梳理實時數據體系中數據依賴關系,以及實時任務的依賴關系,從底層ODS 到 DW 再到 DM,以及 DM 層被哪些模型用到, 將整個鏈條串聯起來,這樣做在數據/任務主動調整時可以通知關聯的下游,指標異常時借助血緣定位問題,同時基于血緣關系的分析,我們也能評估數據的應用價值,核算數據的計算成本。

      2、實時數據模型分層

      離線數倉考慮到效率問題,一般會采取空間換時間的方式,層級劃分會比較多;實時數倉考慮到實時性問題,分層則越少越好,另外也減少了中間流程出錯的可能性,因此將其分為四層。

      1)ODS 層

      操作數據層,保存原始數據,對非結構化的數據進行結構化處理,輕度清洗,幾乎不刪除原始數據。

      該層的數據主要來自業務數據庫的 binlog 日志、埋點日志和應用程序日志。

      對于 binlog 日志通過 canal 監聽,寫到消息隊列 Kafka 中,對應于埋點和應用程序日志,則通過 Filebeat 采集 nginx 和 tomcat 日志,上報到Kafka 中。

      除了存儲在 Kafka 中,同時也會對業務數據庫的 binlog 日志通過 Flink 寫入 HDFS、Kudu 等存儲引擎,落地到 5min Hive 表,供查詢明細數據,同時也提供給離線數倉,做為其原始數據;另外,對于埋點日志數據,由于 ODS 層是非結構化的,則沒有必要落地。

      2)DWD 層

      實時明細數據層,以業務過程作為建模驅動,基于每個具體的業務過程特點,構建最細粒度的明細層事實表;可以結合企業的數據使用特點,將明細事實表的某些重要維度屬性字段做適當冗余,也即寬表化處理。

      該層的數據來源于 ODS 層,通過簡單的 Streaming ETL 后得到,對于 binlog 日志的處理主要進行簡單的數據清洗、處理數據漂移,以及可能對多個 ODS 層的表進行 Streaming Join,對流量日志主要是做一些通用ETL 處理,將非結構化的數據結構化,關聯通用的維度字段。

      該層的數據存儲在消息隊列 Kafka 中,同時也會用 Flink 實時寫入 Hive 5min 表,供查詢明細數據,同時要提供給離線數倉,做為其原始數據。

      3)DIM 層

      公共維度層,基于維度建模理念思想,建立整個業務過程的一致性維度,降低數據計算口徑和算法不統一風險。

      DIM 層數據來源于兩部分:一部分是Flink程序實時處理ODS層數據得到,另外一部分是通過離線任務出倉得到。

      DIM 層維度數據主要使用 MySQL、Hbase、Redis 三種存儲引擎,對于維表數據比較少的情況可以使用 MySQL,對于單條數據大小比較小,查詢 QPS 比較高的情況,可以使用 Redis 存儲,降低機器內存資源占用,對于數據量比較大,對維表數據變化不是特別敏感的場景,可以使用HBase 存儲。

      4)DM 層

      ①數據集市層

      以數據域+業務域的理念建設公共匯總層,對于DM層比較復雜,需要綜合考慮對于數據落地的要求以及具體的查詢引擎來選擇不同的存儲方式,分為輕度匯總層和高度匯總層,同時產出,高度匯總層數據用于前端比較簡單的KV查詢, 提升查詢性能,比如實時大屏,實時報表等,數據的時效性要求為秒級,輕度匯總層Kafka中寬表實時寫入OLAP存儲引擎,用于前端產品復雜的OLAP查詢場景,滿足自助分析和產出復雜報表的需求,對數據的時效性要求可容忍到分鐘級;

      ②輕度匯總層

      輕度匯總層由明細層通過Streaming ETL得到,主要以寬表的形式存在,業務明細匯總是由業務事實明細表和維度表join得到,流量明細匯總是由流量日志按業務線拆分和維度表join得到。

      輕度匯總層數據存儲比較多樣化,首先利用Flink實時消費DWD層Kafka中明細數據join業務過程需要的維表,實時打寬后寫入該層的Kafka中,以Json或PB格式存儲。

      同時對多維業務明細匯總數據通過Flink實時寫入Kudu,用于查詢明細數據和更復雜的多維數據分析需求,對于流量數據通過Flink分別寫入HDFS和ClickHouse用于復雜的多維數據分析, 實時特征數據則通過Flink join維表后實時寫入HDFS,用于下游的離線ETL消費。

      對于落地Kudu和HDFS的寬表數據,可用Spark SQL做分鐘級的預計算,滿足業務方復雜數據分析需求,提供分鐘級延遲的數據,從而加速離線ETL過程的延遲, 另外隨著Flink SQL與Hive生態集成的不斷完善,可嘗試用Flink SQL做離線ETL和OLAP計算任務(Flink流計算基于內存計算的特性,和presto非常類似,這使其也可以成為一個OLAP計算引擎),用一套計算引擎解決實時離線需求,從而實現批流統一。

      對于Kudu中的業務明細數據、ClickHouse中的流量明細數據,也可以滿足業務方的個性化數據分析需求,利用強大的OLAP計算引擎,實時查詢明細數據,在10s量級的響應時間內給出結果,這類需求也即是實時OLAP需求,靈活性比較高。

      ③高度匯總層

      高度匯總層由明細數據層或輕度匯總層通過聚合計算后寫入到存儲引擎中,產出一部分實時數據指標需求,靈活性比較差。

      計算引擎使用Flink Datastream API和Flink SQL,指標存儲引擎根據不同的需求,對于常見的簡單指標匯總模型可直接放在MySQL里面,維度比較多的、寫入更新比較大的模型會放在HBase里面, 還有一種是需要做排序、對查詢QPS、響應時間要求非常高、且不需要持久化存儲如大促活動期間在線TopN商品等直接存儲在Redis里面。

      在秒級指標需求中,需要混用Lambda和Kappa架構,大部分實時指標使用Kappa架構完成計算,少量關鍵指標(如金額相關)使用Lambda架構用批處理重新處理計算,增加一次校對過程。

      總體來說 DM 層對外提供三種時效性的數據:

      首先是 Flink 等實時計算引擎預計算好的秒級實時指標,這種需求對數據的時效性要求非常高,用于實時大屏、計算維度不復雜的實時報表需求。

      其次是 Spark SQL 預計算的延遲在分鐘級的準實時指標, 該類指標滿足一些比較復雜但對數據時效性要求不太高的數據分析場景,可能會涉及到多個事實表的join,如銷售歸因等需求。

      最后一種則是不需要預計算,ad-hoc查詢的復雜多維數據分析場景,此類需求比較個性化,靈活性比較高,如果 OLAP 計算引擎性能足夠強大,也可完全滿足秒級計算需求的場景; 對外提供的秒級實時數據和另外兩種準實時數據的比例大致為 3:7,絕大多數的業務需求都優先考慮準實時計算或 ad-hoc 方式,可以降低資源使用、提升數據準確性,以更靈活的方式滿足復雜的業務場景。

      3、實時數據體系建設方式

      整個實時數據體系分為兩種建設方式,即實時和準實時(它們的實現方式分別是基于流計算引擎和 ETL、OLAP 引擎,數據時效性則分別是秒級和分鐘級。

      1)在調度開銷方面,準實時數據是批處理過程,因此仍然需要調度系統支持,調度頻率較高,而實時數據卻沒有調度開銷。

      2)在業務靈活性方面,因為準實時數據是基于 ETL 或 OLAP 引擎實現,靈活性優于基于流計算的方式。

      3)在對數據晚到的容忍度方面,因為準實時數據可以基于一個周期內的數據進行全量計算,因此對于數據晚到的容忍度也是比較高的,而實時數據使用的是增量計算,對于數據晚到的容忍度更低一些。

      4)在適用場景方面,準實時數據主要用于有實時性要求但不太高、涉及多表關聯和業務變更頻繁的場景,如交易類型的實時分析,實時數據則更適用于實時性要求高、數據量大的場景,如實時特征、流量類型實時分析等場景。

      4、流批一體實時數據架構發展

      從1990年 Inmon 提出數據倉庫概念到今天,大數據架構經歷了從最初的離線大數據架構、Lambda 架構、Kappa 架構以及 Flink 的火熱帶出的流批一體架構,數據架構技術不斷演進,本質是在往流批一體的方向發展,讓用戶能以最自然、最小的成本完成實時計算。

      1)離線大數據架構:數據源通過離線的方式導入到離線數倉中,下游應用根據業務需求選擇直接讀取 DM 或加一層數據服務,比如 MySQL 或 Redis,數據存儲引擎是 HDFS/Hive,ETL 工具可以是 MapReduce 腳本或 HiveSQL。數據倉庫從模型層面分為操作數據層 ODS、數據倉庫明細層 DWD、數據集市層 DM。

      2)Lambda 架構:隨著大數據應用的發展,人們逐漸對系統的實時性提出了要求,為了計算一些實時指標,就在原來離線數倉的基礎上增加了一個實時計算的鏈路,并對數據源做流式改造(即把數據發送到消息隊列),實時計算去訂閱消息隊列,直接完成指標增量的計算,推送到下游的數據服務中去,由數據服務層完成離線&實時結果的合并。

      3)Kappa 架構:Lambda 架構雖然滿足了實時的需求,但帶來了更多的開發與運維工作,其架構背景是流處理引擎還不完善,流處理的結果只作為臨時的、近似的值提供參考。后來隨著 Flink 等流處理引擎的出現,流處理技術成熟起來,這時為了解決兩套代碼的問題,LickedIn 的 Jay Kreps 提出了 Kappa 架構。

      4)流批一體架構:流批一體架構比較完美的實現方式是采用流計算 + 交互式分析雙引擎架構,在這個架構中,流計算負責的是基礎數據,而交互式分析引擎是中心,流計算引擎對數據進行實時 ETL 工作,與離線相比,降低了 ETL 過程的 latency,交互式分析引擎則自帶存儲,通過計算存儲的協同優化, 實現高寫入 TPS、高查詢 QPS 和低查詢 latency ,從而做到全鏈路的實時化和 SQL 化,這樣就可以用批的方式實現實時分析和按需分析,并能快速的響應業務的變化,兩者配合,實現 1 + 1 > 2 的效果;該架構對交互式分析引擎的要求非常高,也許是未來大數據庫技術發展的一個重點和方向。

      為了應對業務方更復雜的多維實時數據分析需求,筆者目前在數據開發中引入 Kudu這個 OLAP 存儲引擎,對訂單等業務數據使用 Presto + Kudu 的計算方案也是在探索流批一體架構在實時數據分析領域的可行性。此外,目前比較熱的數據湖技術,如 Delta lake、Hudi 等支持在 HDFS 上進行 upsert 更新,隨著其流式寫入、SQL 引擎支持的成熟,未來可以用一套存儲引擎解決實時、離線數據需求,從而減少多引擎運維開發成本。

      三、Flink SQL 實時計算 UV 指標

      上一部分從宏觀層面介紹了如何建設實時數據體系,非常不接地氣,可能大家需要的只是一個具體的 case 來了解一下該怎么做,那么接下來用一個接地氣的案例來介紹如何實時計算 UV 數據。

      大家都知道,在 ToC 的互聯網公司,UV 是一個很重要的指標,對于老板、商務、運營的及時決策會產生很大的影響,筆者在電商公司,目前主要的工作就是計算 UV、銷售等各類實時數據,體驗就特別深刻, 因此就用一個簡單demo 演示如何用 Flink SQL 消費 Kafka 中的 PV 數據,實時計算出 UV 指標后寫入 Hbase。

      1、Kafka 源數據解析

      PV 數據來源于埋點數據經 FileBeat 上報清洗后,以 ProtoBuffer 格式寫入下游 Kafka,消費時第一步要先反序列化 PB 格式的數據為 Flink 能識別的 Row 類型,因此也就需要自定義實現 DeserializationSchema 接口,具體如下代碼, 這里只抽取計算用到的 PV 的 mid、事件時間 time_local,并從其解析得到 log_date 字段:

      public?class?PageViewDeserializationSchema?implements?DeserializationSchema?{??

      public?static?final?Logger?LOG?=?LoggerFactory.getLogger(PageViewDeserializationSchema.class);??

      protected?SimpleDateFormat?dayFormatter;??

      private?final?RowTypeInfo?rowTypeInfo;??

      public?PageViewDeserializationSchema(RowTypeInfo?rowTypeInfo){??

      dayFormatter?=?new?SimpleDateFormat("yyyyMMdd",?Locale.UK);??

      this.rowTypeInfo?=?rowTypeInfo;??

      }?

      @Override?

      public?Row?deserialize(byte[]?message)?throws?IOException?{??

      Row?row?=?new?Row(rowTypeInfo.getArity());??

      MobilePage?mobilePage?=?null;??

      try?{?

      mobilePage?=?MobilePage.parseFrom(message);??

      String?mid?=?mobilePage.getMid();??

      row.setField(0,?mid);??

      Long?timeLocal?=?mobilePage.getTimeLocal();??

      String?logDate?=?dayFormatter.format(timeLocal);??

      row.setField(1,?logDate);??

      row.setField(2,?timeLocal);??

      }catch?(Exception?e){??

      String?mobilePageError?=?(mobilePage?!=?null)???mobilePage.toString()?:?"";??

      LOG.error("error?parse?bytes?payload?is?{},?pageview?error?is?{}",?message.toString(),?mobilePageError,?e);??

      }?

      return?null;??

      }?

      2、編寫 Flink Job 主程序

      將 PV 數據解析為 Flink 的 Row 類型后,接下來就很簡單了,編寫主函數,寫 SQL 就能統計 UV 指標了,代碼如下:

      public?class?RealtimeUV?{??

      public?static?void?main(String[]?args)?throws?Exception?{??

      //step1?從properties配置文件中解析出需要的Kakfa、Hbase配置信息、checkpoint參數信息??

      Map?config?=?PropertiesUtil.loadConfFromFile(args[0]);??

      String?topic?=?config.get("source.kafka.topic");??

      String?groupId?=?config.get("source.group.id");??

      String?sourceBootStrapServers?=?config.get("source.bootstrap.servers");??

      String?hbaseTable?=?config.get("hbase.table.name");??

      String?hbaseZkQuorum?=?config.get("hbase.zk.quorum");??

      String?hbaseZkParent?=?config.get("hbase.zk.parent");??

      int?checkPointPeriod?=?Integer.parseInt(config.get("checkpoint.period"));??

      int?checkPointTimeout?=?Integer.parseInt(config.get("checkpoint.timeout"));??

      StreamExecutionEnvironment?sEnv?=?StreamExecutionEnvironment.getExecutionEnvironment();?

      //step2?設置Checkpoint相關參數,用于Failover容錯?

      sEnv.getConfig().registerTypeWithKryoSerializer(MobilePage.class,?

      ProtobufSerializer.class);??

      sEnv.getCheckpointConfig().setFailOnCheckpointingErrors(false);??

      sEnv.getCheckpointConfig().setMaxConcurrentCheckpoints(1);??

      sEnv.enableCheckpointing(checkPointPeriod,CheckpointingMode.EXACTLY_ONCE);??

      sEnv.getCheckpointConfig().setCheckpointTimeout(checkPointTimeout);??

      sEnv.getCheckpointConfig().enableExternalizedCheckpoints(??

      CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);?

      //step3?使用Blink?planner、創建TableEnvironment,并且設置狀態過期時間,避免Job?OOM?

      EnvironmentSettings?environmentSettings?=?EnvironmentSettings.newInstance()??

      .useBlinkPlanner()??

      .inStreamingMode()??

      .build();??

      StreamTableEnvironment?tEnv?=?StreamTableEnvironment.create(sEnv,?environmentSettings);?

      tEnv.getConfig().setIdleStateRetentionTime(Time.days(1),?Time.days(2));??

      Properties?sourceProperties?=?new?Properties();?

      sourceProperties.setProperty("bootstrap.servers",?sourceBootStrapServers);??

      sourceProperties.setProperty("auto.commit.interval.ms",?"3000");??

      sourceProperties.setProperty("group.id",?groupId);?

      //step4?初始化KafkaTableSource的Schema信息,筆者這里使用register?TableSource的方式將源表注冊到Flink中,而沒有用register?DataStream方式,也是因為想熟悉一下如何注冊KafkaTableSource到Flink中?

      TableSchema?schema?=?TableSchemaUtil.getAppPageViewTableSchema();??

      Optional?proctimeAttribute?=?Optional.empty();??

      List?rowtimeAttributeDescriptors?=?Collections.emptyList();??

      Map?fieldMapping?=?new?HashMap<>();??

      List?columnNames?=?new?ArrayList<>();?

      RowTypeInfo?rowTypeInfo?=?new?RowTypeInfo(schema.getFieldTypes(),?schema.getFieldNames());?

      columnNames.addAll(Arrays.asList(schema.getFieldNames()));??

      columnNames.forEach(name?->?fieldMapping.put(name,?name));??

      PageViewDeserializationSchema?deserializationSchema?=?new??

      PageViewDeserializationSchema(??

      rowTypeInfo);??

      Map?specificOffsets?=?new?HashMap<>();??

      Kafka011TableSource?kafkaTableSource?=?new?Kafka011TableSource(?

      schema,?

      proctimeAttribute,??

      rowtimeAttributeDescriptors,??

      Optional.of(fieldMapping),??

      topic,?

      sourceProperties,??

      deserializationSchema,??

      StartupMode.EARLIEST,??

      specificOffsets);??

      tEnv.registerTableSource("pageview",?kafkaTableSource);?

      //step5?初始化Hbase?TableSchema、寫入參數,并將其注冊到Flink中?

      HBaseTableSchema?hBaseTableSchema?=?new?HBaseTableSchema();?

      hBaseTableSchema.setRowKey("log_date",?String.class);??

      hBaseTableSchema.addColumn("f",?"UV",?Long.class);??

      HBaseOptions?hBaseOptions?=?HBaseOptions.builder()??

      .setTableName(hbaseTable)??

      .setZkQuorum(hbaseZkQuorum)??

      .setZkNodeParent(hbaseZkParent)??

      .build();?

      HBaseWriteOptions?hBaseWriteOptions?=?HBaseWriteOptions.builder()?

      .setBufferFlushMaxRows(1000)??

      .setBufferFlushIntervalMillis(1000)??

      .build();??

      HBaseUpsertTableSink?hBaseSink?=?new?HBaseUpsertTableSink(hBaseTableSchema,?hBaseOptions,?hBaseWriteOptions);??

      tEnv.registerTableSink("uv_index",?hBaseSink);?

      //step6?實時計算當天UV指標sql,?這里使用最簡單的group?by?agg,沒有使用minibatch或窗口,在大數據量優化時最好使用后兩種方式?

      String?uvQuery?=?"insert?into?uv_index?"??

      +?"select?log_date,\n"??

      +?"ROW(count(distinct?mid)?as?UV)\n"??

      +?"from?pageview\n"??

      +?"group?by?log_date";??

      tEnv.sqlUpdate(uvQuery);??

      //step7?執行Job??

      sEnv.execute("UV?Job");??

      }??

      }?

      以上就是一個簡單的使用 Flink SQL 統計 UV 的 case, 代碼非常簡單,只需要理清楚如何解析 Kafka 中數據,如何初始化 Table Schema,以及如何將表注冊到 Flink中,即可使用 Flink SQL 完成各種復雜的實時數據統計類的業務需求,學習成本比API 的方式低很多。

      說明一下,筆者這個 demo 是基于目前業務場景而開發的,在生產環境中可以真實運行起來,可能不能拆箱即用,你需要結合自己的業務場景自定義相應的 kafka 數據解析類。

      收藏 人收藏
      分享:

      評論

      相關推薦

      沃達豐:排除華為或將導致英國喪失5G領導地位

        6月10日消息,來自國外媒體的報道,針對英國近日一連串的舉措,全球第二大移動運營商沃達豐集團 (....
      的頭像 牽手一起夢 發表于 06-10 14:10 ? 0次 閱讀
      沃達豐:排除華為或將導致英國喪失5G領導地位

      華為對5G產業的重要性,已成為所有供應商提供的行業標準

      在ABI Research周一發布的報告中,分析總監Dimitris Mavrakis總結了華為對5....
      的頭像 牽手一起夢 發表于 06-10 11:52 ? 83次 閱讀
      華為對5G產業的重要性,已成為所有供應商提供的行業標準

      比亞迪首款搭載華為5G技術的量產車型,智能駕駛輔助系統大大提速

      今年5月,比亞迪在歐洲推出了純電動汽車“漢”。這款電動車將于今年6月底在中國上市。據國外媒體報道,該....
      的頭像 牽手一起夢 發表于 06-10 11:47 ? 118次 閱讀
      比亞迪首款搭載華為5G技術的量產車型,智能駕駛輔助系統大大提速

      5G時代,數字化社區為市民打造智慧生活環境

      數字化社區”指運用各種信息技術和手段,整合社區資源,在社區范圍內為政府、物業服務機構、居民和各種中介....
      的頭像 牽手一起夢 發表于 06-10 11:43 ? 88次 閱讀
      5G時代,數字化社區為市民打造智慧生活環境

      天誠5G NB-IOT智能門鎖助力公安維護網約短租市場

      解決此類問題一直是各級監管部門的難題,到底有何辦法可以有效遏制此類情況?接下來就讓5G NB-IOT....
      的頭像 牽手一起夢 發表于 06-10 11:35 ? 118次 閱讀
      天誠5G NB-IOT智能門鎖助力公安維護網約短租市場

      中國聯通構建新一代智能基礎設施,多領域加速5G應用落地

      6月6日,“5G周年起勢騰飛”為主題的中國聯通喜提5G牌照一周年成果發布頒獎典禮暨5G無人機系列發布....
      的頭像 牽手一起夢 發表于 06-10 11:27 ? 162次 閱讀
      中國聯通構建新一代智能基礎設施,多領域加速5G應用落地

      中興通訊提出“5G超級天線”方案,聯手國潮品牌打造“5G國潮”

      值得一提的是,全新發布的中興天機Axon 11 SE是首款同時支持移動、聯通、電信以及廣電四大運營商....
      的頭像 牽手一起夢 發表于 06-10 11:22 ? 69次 閱讀
      中興通訊提出“5G超級天線”方案,聯手國潮品牌打造“5G國潮”

      5G套餐普及用戶滲透率有限,三大運營商降低5G套餐資費

      去年6月6日,工信部向移動、電信、聯通和廣電四大運營商發放了5G商用牌照,去年10月底,移動、電信和....
      的頭像 牽手一起夢 發表于 06-10 11:15 ? 109次 閱讀
      5G套餐普及用戶滲透率有限,三大運營商降低5G套餐資費

      華為在英國媒體發起閃電戰 臺積電已經做好最壞打算

      華為副總裁、英國業務負責人Victor Zhang告訴BBC,他希望英國采取基于證據和事實的方法,并....
      的頭像 章鷹 發表于 06-10 11:15 ? 209次 閱讀
      華為在英國媒體發起閃電戰 臺積電已經做好最壞打算

      手機信號升級5G網絡后,原先使用的4G手機該如何處理

      雖然目前5G網絡已經正式商用,但是網絡覆蓋非常不完善,4G網絡依然是最主流的移動網絡,雖然5G網絡的....
      的頭像 牽手一起夢 發表于 06-10 11:12 ? 86次 閱讀
      手機信號升級5G網絡后,原先使用的4G手機該如何處理

      三星在5G領域不如華為,但韓系廠商通訊領域的發力不可小覷

      5G技術自然是華為強,前些天正好在看德國專利數據公司IPlytics最新(2020年5月發布)的全球....
      的頭像 牽手一起夢 發表于 06-10 11:06 ? 123次 閱讀
      三星在5G領域不如華為,但韓系廠商通訊領域的發力不可小覷

      德國牽手歐洲28國向華為增加5G訂單,破冰之旅終見曙光

      有消息稱,華為宣布,德國將牽手28個國家向華為下單5G設備,美制裁華為計劃或將破滅!
      的頭像 牽手一起夢 發表于 06-10 11:00 ? 131次 閱讀
      德國牽手歐洲28國向華為增加5G訂單,破冰之旅終見曙光

      高通莫倫科夫:5G助力全球經濟復蘇,合作促進5G規?;渴?/a>

      面對突如其來的新冠肺炎疫情,跨國企業身處一線,對疫情帶來的危機、挑戰、機遇及下一步如何應對有著自己的....
      的頭像 牽手一起夢 發表于 06-10 10:51 ? 84次 閱讀
      高通莫倫科夫:5G助力全球經濟復蘇,合作促進5G規?;渴? />    </a>
</div><div class=

      探秘浪潮智能化存儲管理平臺InView的極致管理能力

      隨著數據量和數據中心規模的擴大,以及各種新存儲介質和技術的應用,存儲系統變得越來越復雜。用戶需要的存....
      的頭像 lhl545545 發表于 06-10 10:13 ? 59次 閱讀
      探秘浪潮智能化存儲管理平臺InView的極致管理能力

      三大運營商推5G套餐補貼_折扣低達七折以下

      新京報記者近日走訪三大運營商北京地區營業廳發現,用戶現在最低可以88元的價格享受到原價128元的5G....
      發表于 06-10 10:04 ? 15次 閱讀
      三大運營商推5G套餐補貼_折扣低達七折以下

      互聯網的技術應用將引領智慧工地快速發展

      中國建筑市場數字網絡平臺結合企業互聯網+建筑工地理念將互聯網+的理念與技術引入建筑工地中,采集施工現....
      發表于 06-10 10:03 ? 44次 閱讀
      互聯網的技術應用將引領智慧工地快速發展

      5G將成為后疫情時代助力各企業復工復產、沖出重圍的有力武器!

      在2019年10月31日開幕的中國國際信息通信展覽會上,華凌湘鋼天車工首席技師袁方??岽袅?!身處北京....
      的頭像 機器人大講堂 發表于 06-10 10:03 ? 100次 閱讀
      5G將成為后疫情時代助力各企業復工復產、沖出重圍的有力武器!

      5G產業鏈_5G面臨的技術難題

      第五代移動通信技術,簡稱5G,是最新一代蜂窩移動通信技術,繼4G、3G和2G系統后的延伸。
      發表于 06-10 09:40 ? 23次 閱讀
      5G產業鏈_5G面臨的技術難題

      5G成為工業互聯網發展的助推器

      工業互聯網是連接人、數據、機器的網絡,是推動工業智能化發展的基礎。5G具有寬帶傳輸速度大、低延時廣通....
      發表于 06-10 09:36 ? 17次 閱讀
      5G成為工業互聯網發展的助推器

      5G最大用處是To B市場,移遠、Qorvo、芯訊通和宏電做對了什么?

      新冠疫情前后,企業洞察到哪些5G市場需求和技術走向?5G射頻產品如何應對基站部署需求和客戶的供貨要求....
      的頭像 章鷹 發表于 06-10 08:53 ? 547次 閱讀
      5G最大用處是To B市場,移遠、Qorvo、芯訊通和宏電做對了什么?

      新疆5G建設加速 今年將投入20億建5G基站

      (綜合自新華社 IT之家) 4月,自治區人民政府發布《新疆維吾爾自治區推進5G網絡建設發展實施方案》....
      發表于 06-09 17:55 ? 151次 閱讀
      新疆5G建設加速 今年將投入20億建5G基站

      加強新型基礎設施建設,助力產業升級

      “新型基礎設施建設”寫入2020年政府工作報告。政府工作報告提到,重點支持既促消費惠民生又調結構增后....
      的頭像 機器人大講堂 發表于 06-09 17:43 ? 367次 閱讀
      加強新型基礎設施建設,助力產業升級

      數據分析報表無法響應業務變化?

      業務有了變化,數據分析報表還是老樣子,無法響應新需求,無法展現新變化?你需要一份高效的智能可視化報表。簡單來說就是通過拖...
      發表于 06-09 17:21 ? 43次 閱讀
      數據分析報表無法響應業務變化?

      2019年互聯網家裝市場規模近4338.2億元,各項服務滿意度均超過7分

      互聯網裝修是在“互聯網+”的背景下,借助互聯網思維和互聯網工具,改造傳統裝修存在的問題,通過去中介化....
      的頭像 牽手一起夢 發表于 06-09 17:14 ? 54次 閱讀
      2019年互聯網家裝市場規模近4338.2億元,各項服務滿意度均超過7分

      華為助力運營商打造端到端綠色高效的站點網絡

      在華為分析師大會上,華為數字能源產品線副總裁方良周面向全網發布了《華為數字能源,為智能世界提供綠色源....
      的頭像 牽手一起夢 發表于 06-09 16:56 ? 253次 閱讀
      華為助力運營商打造端到端綠色高效的站點網絡

      美國三招卡脖子華為手機發展 蘋果未來能稱霸5G手機市場嗎?

      在美國媒體譏笑華為只是取得短暫的成功后,我仔細審視了國際分析機構Countpoint Researc....
      的頭像 章鷹 發表于 06-09 16:56 ? 805次 閱讀
      美國三招卡脖子華為手機發展 蘋果未來能稱霸5G手機市場嗎?

      半導體技術與 EIRP 需求的適應性比較

      氮化鎵(GaN)是一種二進制 III/V 族帶隙半導體,非常適合用于高功率、耐高溫晶體管。氮化鎵功率....
      的頭像 lhl545545 發表于 06-09 16:19 ? 117次 閱讀
      半導體技術與 EIRP 需求的適應性比較

      長飛:全方位布局5G,拓展垂直行業市場

      2020年6月6日,中國5G發牌一周年紀念日。工信部當天披露了中國5G成績:5G基站已經建設超過25....
      的頭像 牽手一起夢 發表于 06-09 16:12 ? 181次 閱讀
      長飛:全方位布局5G,拓展垂直行業市場

      5G帶來的智慧生活新體驗

      市民回到家,客廳吊燈自動亮起,窗簾和空調按照設定的模式自主開啟,廚房的微波爐里一早放入的食物已經預熱....
      發表于 06-09 15:51 ? 82次 閱讀
      5G帶來的智慧生活新體驗

      5G未來已來_5G手機套餐資費下降

      曾有業內人犀利評論:高昂的套餐費用乃是阻擋5G普及的一座大山,若不解決,5G將很難像4G那樣迅速地普....
      發表于 06-09 15:49 ? 55次 閱讀
      5G未來已來_5G手機套餐資費下降

      我國5G建設按下“快進鍵”,網絡充分共建共享是最具特色的創新模式

      在5G發牌一周年之際,工業和信息化部宣布:我國5G基站的數量以每周新建1萬多個的速度增長,目前已建成....
      的頭像 牽手一起夢 發表于 06-09 15:48 ? 149次 閱讀
      我國5G建設按下“快進鍵”,網絡充分共建共享是最具特色的創新模式

      5G發展取得積極進展_5G基站周增超1萬

      5G牌照發放一年來,我國5G發展取得積極進展,網絡建設速度和規模超出預期。
      發表于 06-09 15:46 ? 51次 閱讀
      5G發展取得積極進展_5G基站周增超1萬

      F5G時代正在到來,助推我國F5G快速發展的因素有哪些

      “固定網絡技術代際持續演進,如今F5G時代正在到來?!敝袊畔⑼ㄐ叛芯吭杭夹g與標準研究所所長、中國寬....
      的頭像 牽手一起夢 發表于 06-09 15:41 ? 122次 閱讀
      F5G時代正在到來,助推我國F5G快速發展的因素有哪些

      守住中國市場才能得天下市場,OPPO的5G能如愿轉身嗎

      從機海戰術的再次應用到高層人事變動,從線下的調整到重新梳理產品線,OPPO似乎坐不住了。
      的頭像 牽手一起夢 發表于 06-09 15:30 ? 160次 閱讀
      守住中國市場才能得天下市場,OPPO的5G能如愿轉身嗎

      大唐移動推動形成全球統一的5G國際標準,加快我國5G新基建布局

      6月6日,中國信科集團副總工程師、首席科學家,大唐移動副總經理、總工程師王映民博士在人民郵電報社主辦....
      的頭像 牽手一起夢 發表于 06-09 15:25 ? 104次 閱讀
      大唐移動推動形成全球統一的5G國際標準,加快我國5G新基建布局

      四川移動全力打造“5G﹢四川”,開放共享新型產業生態圈

      日前,中國移動四川公司宣布,年內將在四川建成5G基站超過1.6萬個,實現全省所有市州主城區5G連續覆....
      的頭像 牽手一起夢 發表于 06-09 15:21 ? 193次 閱讀
      四川移動全力打造“5G﹢四川”,開放共享新型產業生態圈

      廣東移動勇立5G潮頭,成為5G發展“優等生”范本

      廣東移動超常規推進5G網絡建設,從“5·17”世界電信和信息社會日5G基站規模超過2.6萬個,到6月....
      的頭像 牽手一起夢 發表于 06-09 15:10 ? 247次 閱讀
      廣東移動勇立5G潮頭,成為5G發展“優等生”范本

      5G繽紛應用正加速孵化,助力“數字福建”持續發展

      業界人士稱,廈門遠海自動化碼頭的成功建設,為自動化港口行業提供了范本,而5G技術所展現出的強大潛力,....
      的頭像 牽手一起夢 發表于 06-09 15:07 ? 185次 閱讀
      5G繽紛應用正加速孵化,助力“數字福建”持續發展

      湖北移動計劃加快推進5G建設發展,推進5G融入百業拓展5G﹢X應用

      2020年6月6日,我國5G發牌滿一周年。一年來,中國移動湖北公司深入實施“5G+”計劃,加快推進5....
      的頭像 牽手一起夢 發表于 06-09 15:01 ? 261次 閱讀
      湖北移動計劃加快推進5G建設發展,推進5G融入百業拓展5G﹢X應用

      大唐移動聯合產業合作伙伴助力雄安成為國家車路協同標桿城市

      6月5日上午,雄安新區綠色智能交通先行示范區車路協同體驗活動在雄安市民服務中心舉行?;顒佑尚郯残聟^管....
      的頭像 牽手一起夢 發表于 06-09 14:52 ? 211次 閱讀
      大唐移動聯合產業合作伙伴助力雄安成為國家車路協同標桿城市

      三大運營商共同降低5G資費,新時代或將到來

      三大運營商共同降低5G資費,實現5G自由的時間到了? 不止是5G手機,三大運營商的5G資費也正在降價....
      發表于 06-09 14:25 ? 22次 閱讀
      三大運營商共同降低5G資費,新時代或將到來

      武玉剛:打造世界一流數字底座,云數智+5G助力行業數字化轉型

      2019年6月6日,工信部正式向中國電信、中國移動、中國聯通和中國廣電頒發了5G商用牌照。在短短一年....
      的頭像 牽手一起夢 發表于 06-09 11:50 ? 293次 閱讀
      武玉剛:打造世界一流數字底座,云數智+5G助力行業數字化轉型

      發揮5G、人工智能等技術支撐 為新基建注入新的動力

      目前,中央對加快新型基礎設施建設進度接連作出重要部署,多地推出了許多投資和建設計劃,科技行業特別是數....
      發表于 06-09 11:46 ? 69次 閱讀
      發揮5G、人工智能等技術支撐 為新基建注入新的動力

      5G創新應用提升工程為5G發展按下“加速鍵”,個行業步入全新智能世界

      在遠程醫療領域,通過5G技術,全國許多醫院已在遠程協作辦公、通信、遠程診斷、遠程B超等方面提供了實際....
      的頭像 牽手一起夢 發表于 06-09 11:44 ? 274次 閱讀
      5G創新應用提升工程為5G發展按下“加速鍵”,個行業步入全新智能世界

      愛立信Q2季度中國5G合同的利潤率將受影響,下半年將產生積極影響

      愛立信官網今日發布新聞公告稱,通過與中國三大電信運營商簽訂5G合同,愛立信擴大了在中國的市場份額。增....
      的頭像 牽手一起夢 發表于 06-09 11:38 ? 187次 閱讀
      愛立信Q2季度中國5G合同的利潤率將受影響,下半年將產生積極影響

      “5G+工業互聯網”在建項目超600個,5G核心優勢具體表現在哪些方面

      在5G技術的支持下,AR/VR可以在教育領域實現更好的應用。比如,教師利用AR/VR技術模擬各種場景....
      的頭像 牽手一起夢 發表于 06-09 11:32 ? 343次 閱讀
      “5G+工業互聯網”在建項目超600個,5G核心優勢具體表現在哪些方面

      聞庫:推動5G行業網絡部署,需降低部署成本促進應用落地

      一是降低5G行業應用門檻,推動行業網絡部署。開展5G與行業應用匹配性研究,攻克網絡切片、邊緣計算等技....
      的頭像 牽手一起夢 發表于 06-09 11:25 ? 184次 閱讀
      聞庫:推動5G行業網絡部署,需降低部署成本促進應用落地

      5G終端連接數已超3600萬,四大運營商發布最新5G發展目標

      5G發牌一年來,中國移動已開通近14萬個5G基站,發展了超過5500萬5G套餐用戶。接下來,中國移動....
      的頭像 牽手一起夢 發表于 06-09 11:20 ? 456次 閱讀
      5G終端連接數已超3600萬,四大運營商發布最新5G發展目標

      對于消費端來說,移動網絡與Wi-Fi互不打擾

      不僅是消費端,就連企業端也將可享受到5G大頻寬、大連接,以及低時延的好處;不過就會有人問未來有了5G....
      的頭像 牽手一起夢 發表于 06-09 11:16 ? 126次 閱讀
      對于消費端來說,移動網絡與Wi-Fi互不打擾

      中國廣電即將完成商用放號,700MHz頻段是王牌

      在5G發牌一周年之際,中國廣電官方表示,將盡快完成商用放號,實現全國廣電5G網覆蓋。如此一來,三大運....
      的頭像 牽手一起夢 發表于 06-09 11:11 ? 174次 閱讀
      中國廣電即將完成商用放號,700MHz頻段是王牌

      地攤經濟中,有零售數據分析意識的,擺地攤都比別人賺的多

      地攤經濟火了,全網上下都想著到街上擺個小攤,但可別得意忘形了,擺地攤不僅要懂推銷話術,更需要零售數據分析意識(沒零售數據...
      發表于 06-05 17:23 ? 172次 閱讀
      地攤經濟中,有零售數據分析意識的,擺地攤都比別人賺的多

      為更快讀懂報表,我們將數據可視化了

      將數據可視化后,即使是復雜難懂的數據也會瞬間變得簡單易懂,難就難在怎么快速將海量數據中的復雜數據信息提取,不同場景下該用...
      發表于 06-05 17:21 ? 158次 閱讀
      為更快讀懂報表,我們將數據可視化了

      基于大數據可視化技術的畢業生就業分析服務項目?

      基于大數據可視化技術的畢業生就業分析服務項目 (軟件創新設計期末報告)...
      發表于 05-29 10:04 ? 41次 閱讀
      基于大數據可視化技術的畢業生就業分析服務項目?

      【課程筆記】OurwayBI全新UI之圖片上傳應用

      在這次的奧威BI數據可視化工具操作分解課程中,我們將學習如何上傳商場平面圖,實現商場平面圖與其他圖表的聯動分析,以及鼠標...
      發表于 05-27 16:50 ? 174次 閱讀
      【課程筆記】OurwayBI全新UI之圖片上傳應用

      【課程筆記】儀表盤和數字圖的應用

      這期我們的主要任務是學習OurwayBI數據可視化工具上的儀表盤和數字圖。從作用上來說,這兩個可視化圖表都是用于分析展示關鍵指...
      發表于 05-14 14:59 ? 131次 閱讀
      【課程筆記】儀表盤和數字圖的應用

      從使用效果來看,數據可視化工具離不開數據中臺嗎?

      數據可視化工具具有數據智能分析、數據可視化展現兩大作用,同時數據可視化報表還具備實時運算、分析的功能,而從功能實現途徑來...
      發表于 05-12 14:14 ? 117次 閱讀
      從使用效果來看,數據可視化工具離不開數據中臺嗎?

      不用配電腦,PLC設備的數據也能處理后存入服務器數據庫了

      通過智能網關采集多臺設備數據到SQL數據庫:詳細案例分享 ...
      發表于 05-05 11:52 ? 470次 閱讀
      不用配電腦,PLC設備的數據也能處理后存入服務器數據庫了

      什么是大數據?

      幾分鐘看懂什么是大數據?
      發表于 04-30 14:24 ? 171次 閱讀
      什么是大數據?

      大數據計算服務MaxCompute的使用教程

      阿里云大數據計算服務MaxCompute使用教程
      發表于 04-30 07:57 ? 81次 閱讀
      大數據計算服務MaxCompute的使用教程
      偷窥 亚洲 色 国产 日韩
      <ruby id="alub7"><bdo id="alub7"></bdo></ruby>

      <span id="alub7"></span>
    2. <tbody id="alub7"></tbody>
      <button id="alub7"></button>
      <button id="alub7"></button>

        <em id="alub7"></em>