帮助哈乐沃德构建生成式AI异步推理应用

关于哈乐沃德

武汉哈乐沃德网络科技有限公司成立于2014年9月，主要从事移动互联网产品的研发、发行及运营服务。作为国内最早开拓海外互联网市场的团队，哈乐沃德对海外市场有着敏锐的嗅觉和独到的领悟力，成功打造了Thehotgames海外游戏发行平台和多个娱乐内容站点，拥有全球TOP3的用户体量；自研自发数十款休闲手游，成功发行《坦克进化大作战》、《健身俱乐部》、《商业街》等游戏，多次获得Google和苹果的全球推荐，登顶全欧美、日韩、港澳台等地区游戏榜单，游戏累计下载超1亿。

客户痛点

哈乐沃德希望针对C端用户继承场景下构建低成本的异步推理应用，但是在使用模型的时候，遇到了性能上问题。在扩展模型使用的时候，又发现了资源浪费，所以希望能有一个架构可以有足够的弹性支持应用负载，又能够节省成本避免资源预置过多导致的成本增加。 针对推理速度慢的问题，计划通过使用加速计算硬件(GPU，AI芯片)等提升单任务推理速度，降低用户等待时间提升用户体验；在ToC场景中，由于最终用户请求有较大的不确定性，所以需要更高的弹性扩缩来节省成本；为了避免复杂的管理和维护，应用将尽可能的利用托管服务，无服务器产品方案来降低运维难度。

解决方案

使用Stable Diffusion on Bedrock解决方案， 哈乐沃德通过其业务应用集成基于无服务的前端任务调度器和基于Bedrock APl的后端推理平台，使用Amazon APl Gateway、AWS Lambda、Amazon SNS、Amazon SQs和S3等服务构建无服务器和快速扩展的图像生成架构。基于APIGateway+Lambda的后端架构根据前端接收到的请求数自动进行服务调用和弹性伸缩， 结合 Bedrock 无需管理任何基础设施，减少前端用户的等待时间、提升文生图的整体效率。
  1. 用户通过Amazon Cloudfront向运行在AWS Fargate上的应用程序发送提示。
  2. 应用程序后端将提示发送到Amazon api Gateway。
  3. AWS Lambda验证请求，并将前端输入的提示字发送到Amazon Bedrock API。
  4. AWS Lambda将Bedrock API返回的图像存储到S3中。
  5. AWS Lambda将输出发送到SNS主题，应用程序后端接收来自SQS队列的通知。
  6. 使用Amazon CloudWatch监视应用程序运行状况和资源利用率。建立预警机制，及时发现和解决问题。
  7. 使用Amazon IAM保护数据和应用程序，进行身份和访问管理。

项目成果

  • 高可靠性：采用无服务器产品无需任何额外的工作来配置自动扩展或恢复过程。
  • 成本优化：使用完全无服务器选项允许工作负载完全动态地扩展和缩减，在停用期间不会产生任何费用，同时还能够扩展以处理流量高峰。
  • 卓越运营：图片存储至S3，利用CloudFront直接提供给最终用户，流量无需经过客户业务应用，减少运维成本和单点故障几率。

关于神州泰岳

北京神州泰岳软件股份有限公司（简称“神州泰岳”）成立于2001年，是国内首批创业板上市公司（股票代码：300002）。神州泰岳坚持“互相尊重、值得信任、成就他人”核心价值观和“创新驱动、全球布局”发展战略，立志成为有持续创新能力的数字经济领军企业，打造行业精品，支撑客户提升，推动产业发展。

神州泰岳一直专注于提供亚马逊云科技专业的顾问咨询服务与技术支持服务，其中包括了云咨询、迁移、账单服务、CDN服务、云托管服务以及企业出海服务等。并且针对制造、媒体、游戏、电商等行业提供专业的解决方案，以交付价值的理念为客户提供优质服务。