AWS Redshift数仓服务
帮助客户构建一套适配业务需求的数据仓库服务体系,包含多源数据收集、实时/非实时数据传输、数据高效的转换处理、最具成本价值的数据存储/归档、丰富数据洞察可视展示。以Redshift为核心,集成Amazon Kinesis、Amazon S3、Amazon Glue、 Database Migration Service、Amazon DynamoDB、Amazon OpenSearch Service、Amazon EMR、Amazon Athena、Amazon QuickSight等服务,实现资源的自动弹性扩缩,优化最佳成本策略,实现快速搭建且简单使用的最具现代化的数据仓库服务。
多源数据仓库服务体系
通过建立多源数据汇集的数据采集管道,包括关系型数据(如:关系数据库)的实时与非实时收集、文档/对象数据的采集、实时流数据的收集,将数据进行最佳分类存储,利用云资源的弹性计算能力,高效地处理数据,准确的分析定位,提供可视化展示和敏捷洞察。

流式数据的数仓收集与分析
随着大数据处理技术与效率的不断提升,为了及时精准的分析数据,分析的数据转向实时产生的流式数据,常见的应用场景包括订单交易处理、点击流分析、日志数据分析、订单交易处理、物联网设备IoT监测、社交媒体分析等,在这些应用场景中需要对产生的实时流数据进行收集/传输、转换/处理、计算/分析/展示,每秒事件处理量可能会从几十快速提升至数千之巨,资源的需求必须在可扩展性、可靠性及低延迟等方面建立严格保障,才能实际支持各类应用。例如,通过对埋点日志进行收集,分析用户的行为数据,深入了解用户的行为,从而改进产品设计、提升用户体验并优化营销策略。

特色服务


数仓一体化服务
数仓成本优化服务
通过建立多源数据汇集的数据采集管道,包括关系型数据(如:关系数据库)的实时与非实时收集、文档/对象数据的采集、实时流数据的收集,将数据进行最佳分类存储,利用云资源的弹性计算能力,高效地处理数据,准确的分析定位,提供可视化展示和敏捷洞察。
数据仓库体系服务,尽量采集Serverless服务按需使用,根据数据特性优化数据流向及引起的服务用量,对于Redshift合理选取节点实例类型、设计弹性扩展策略、以及购买RI的方式降低了Redshift使用成本。
将数据进行分类存储,把Redshift中不经常使用的数据卸载到S3,使用 Spectrum从S3中的文件有效地查询和检索结构化和半结构化数据,节省Redshift的存储空间。
对Redshift中的查询工作负载进行规划和管理,确保系统的吞吐量、响应时间、查询的隔离度和稳定性。针对客户业务场景,设计WLM队列,配置查询优先级和启用并发扩展,合理的利用集群资源,提高系统的响应速度和运行效率。
指导客户利用联合查询直接查询RDS 或Aurora中的PostgreSQL或MySQL外部数据库中的数据,实现跨数据库、数据仓库和数据湖查询和分析数据,将实时数据整合到业务情报 (BI) 和报告应用程序。
客户案例

帮助琥珀创想构建数仓
北京琥珀创想科技有限公司开发的琥珀天气、Apex桌面等系列产品累计服务过上亿的海外用户并且受到众多用户的好评。琥珀希望能够通过分析日志数据通过对用户行为的分析,深入了解用户的行为,从而改进产品设计、提升用户体验并优化营销策略。神州泰岳帮助琥珀构建完整的埋点日志收集分析解决方案,使用自动扩缩的EC2部署Nginx服务来收集埋点日志,使用Kinesis将数据传输到S3中进行存储,使用Glue对数据进行清洗,使用Redshift作为数据仓库存放数据,使用QuickSight对Redshift中加工后的数据进行可视化展示。