大数据存储计算平台架构
WeShare-Hadoop提供分布式缓存层，数据可以通过消息中间件和分布式缓存（Redis）将数据缓存起来；提供分布式存储层，支持文件式存储、关系型数据存储、非关系型数据存储，满足复杂的数据存储场景；提供分布式计算层， 支持离线计算、实时计算、内存计算、离线分析、交互式查询，满足各种计算场景，并且提供ES全局搜索功能；提供业务处理层，完成数据的统计与分析，支持人工智能算法库，实现数据挖掘，支持平台日志审计；最上层是平台的应用功能层，实现基础的平台功能。
针对大容量静态数据集，提供分布式存储、列存储引擎，提供分布式计算、并行计算能力，灵活应对海量数据集的离线分析；平台支持TB级、PB级离线数据处理
提供流数据的实时计算能力，将结果可及时投递到在线系统，毫秒级低延迟，实现实时数据流的快速处理和反馈
提供交互式SQL查询，千万级数据查询秒级响应，给数据分析人员提供快速实验、验证想法的大数据分析能力
提供全局的ES搜索功能，支持实时全文检索，支持多值索引模糊搜索，搜索接口秒级响应，满足企业数据查询、文件检索等多种需求
控制台可提供可视化管理界面，提供全面的资源管理能力；支持大规模集群的多维监控、统一告警、性能调优、安全防护
平台具备稳定的扩展能力，保障当前任务正常运行，实现零感知服务器、节点扩容
微信公众号
总部电话：0311-88990020
