首頁 > 解決方案 > 金融IT核心系統解決方案

離線數據分析業務平臺

本平臺是基于大數據平臺一套構建離線數據倉庫與分析系統的解決方案,以開源框架airflow作為調度引擎,支持多種執行引擎構建大數據倉庫。同時支持SparkML、sklearn、TF進行相關的機器學習和深度學習。


blob.png

 

整個過程分為三部分:

l  數據加載

將結構化數據和非結構化數據加載到ODS層。ODS是貼源層,維持和數據源保持一致;

l  數據加工

在ODS的基礎上進行數據的匯總和寬表加工等ETL操作;

l  數據探索

運用多種分析工具進行數據的探索,最后利用機器學習和深度學習算法形成成熟的解決方案;

 

方案特色:

?  支持多種類型數據接入,如結構化RMDB、半結構化json、非結構化日志;

?  支持自定義執行引擎,如hql、impala、sparksql;

?  支持配置化調度作業,自動化部署。根據模版配置生成DAG調度作業,一鍵部署;

?  支持調度作業日常監控、錯誤預警和報表生成;

?  支持多種分析工具接入,如sparkML、Sklearn、Tensorflow等。


小隔斷.jpg

星星.jpg


地址:上海市徐匯區欽州北路1198號智匯園82號樓7層、8層、19層

郵編:200235

電話:021-64703688



使用條款  |   隱私條約    版權所有 (c)     江蘇潤和軟件股份有限公司    蘇ICP備13052318號    蘇網文[2016]5223-122號

香港内部一码中特