大數據基礎套件
立即咨詢
提供數據采集功能,適配主流數據傳輸協(xié)議的高性能離線和實時數據集成的工具,能夠將數據穩(wěn)定可靠的導入大數據平臺上。支持結構化和非結構化數據采集,及主流的接口和傳輸協(xié)議; 可以將不同數據源的數據實時或分批的發(fā)送到大數據平臺進?數據分析,除了基本的數據讀取、解析、變換、發(fā)送、刪除等功能,同時還具有集群管理、可視化?頁?配置等強?的功能。
結構化數據存儲:支持傳統(tǒng)數據倉庫式功能以及結構化數據的多級分目錄存儲的HDFS及GP存儲功能; 非結構化數據存儲:支持分布式消息存儲及分布式全文檢索; 在線與離線計算:提供海量數據的分布式并行分析和計算,可以圖形化使用、圖形化部署; 流式計算:流數據處理引擎,支持分布式靈活部署,滿足實時性流式分析的要求; 數據倉庫建模工具:采用多維視圖Cube來描述數據集的結構,深度掌握數據信息;提供解決方案助力提速多維實時分析。
應用門戶:支持B/S架構與移動端訪問/單點登陸/統(tǒng)一身份認證/授權認證/應用管理; 基礎管理:提供元數據、數據地圖、數據標準化、數據質量、數據安全等多維度數據管理,作業(yè)管理以及集群管理; 日志監(jiān)控:告警日志統(tǒng)一管理;提供數據平臺各組件服務監(jiān)控及分布式管理工具,并進行日志集中采集和監(jiān)控管理; 數據共享:API生成及管理,支持REST形式API的信息發(fā)布、自動生成多語言客戶端代碼、調用申請、申請審核、調用關系展示等API管理功能。
OLAP分析:提供多種分析工具、多維建模及OLAP分析功能,支持大數據平臺之外的數據源連接,可進行預聚合操作和緩存優(yōu)化功能; 報表工具:敏捷報表的定義、開發(fā)、配置工具,輕量化應用,可連接多類數據源,并基于多租戶實現(xiàn)開發(fā)管理; 敏捷BI:提供多種圖形控件并依據流行趨勢快速擴展圖庫,支持多類數據源,支持結構化和非結構化集中展示功能; 機器學習:預置主流機器學習算法庫,提供面向普通分析用戶的黑盒式機器學習分析工具,同時提供面向數據科學工作者的參數及算法選擇調試工具,數據挖掘、分析及呈現(xiàn)有機結合。
提供服務申請、服務管理、服務使用以及用戶安全管理等多項平臺基礎管理服務; 支持PaaS平臺的統(tǒng)一資源調度、統(tǒng)一配置和服務管理能力??筛鶕嵤┮?guī)劃配置多個資源池以及配置資源池所提供的容器或虛擬機資源; 平臺具備開放性,能夠無縫集成開源Gitlab、SVN或商業(yè)的容器鏡像倉庫等工具,可對平臺的租戶和用戶進行統(tǒng)一管理,設置租戶資源配額和租戶管理員權限等。