泰岳云业务

云生态增值服务提供商

分类： Uncategorized

Uncategorized

redshift 数据共享datashare

5月 8, 2023 由 沝渁

使用数据共享，您可以在 Amazon Redshift 集群或 AWS 账户或 AWS 区域之间相对安全、轻松地共享实时数据，以用于读取目的。

数据共享可以提高组织的敏捷性。它使您可以即时、精细、高性能地访问 Amazon Redshift 集群中的数据，而无需手动复制或移动数据，从而实现此目的。通过数据共享，您可以实时访问数据，以便您的用户可以在 Amazon Redshift 集群中查看更新的最新、最一致的信息。

1、创建新集群consumer cluster

按文档redshift使用手册操作，创建新集群

2、使用控制台连接数据库创建数据共享

  • 在 Cluster details（集群详细信息）页面上，从数据共享选项卡中，在我的命名空间中创建的数据共享中点击连接到数据库
  • 在连接到数据库后，点击create datashare按钮，创建数据共享
  • 添加数据共享对象
  • 添加数据使用者（Namespace为第1步中创建的新集群的名称）
  • 数据共享创建完成后，可在列表中看到创建的数据共享

3、接收数据共享

  • 在新集群的数据共享选项卡中，来自其他命名空间和 AWS 账户的数据共享中点击连接到数据库
  • 数据库连接成功后，可在列表中看到步骤2中创建的数据共享
  • 从数据共享中创建数据库

4、查询共享数据

打开查询编辑器v2，连接新集群，可看到共享数据库

Uncategorized

使用redshift加载S3桶数据

3月 22, 2023 由 沝渁

1. 创建S3桶

区域选择东京，创建S3桶s3-redshift-dw

2. 准备数据

2.1. 创建策略从其它账号S3桶复制数据

2.1.1. 创建策略AcrossAccountCopyS3
2.1.2. 对dw_user用户添加策略AcrossAccountCopyS3
2.1.3. 创建并下载dw_user的访问密钥
2.1.4. 使用访问密钥从其它账号S3桶中复制测试数据

3. 创建redshift

3.1. 对dw_user用户添加策略

https://docs.aws.amazon.com/redshift/latest/mgmt/query-editor-v2.html

AmazonRedshiftReadOnlyAccess

AmazonRedshiftQueryEditor
AWSKeyManagementServicePowerUser

AmazonRedshiftQueryEditorV2FullAccess

AmazonRedshiftQueryEditorV2ReadSharing

AmazonRedshiftQueryEditorV2NoSharing

AmazonRedshiftQueryEditorV2ReadWriteSharing

3.2. 创建用于redshift的S3只读权限的角色

3.3. 使用控制台创建Redshift

3.3.1. 在Redshift控制台点击右上角区域，选择东京
3.3.2. 创建Redshift

点击集群->创建集群，在新打开的页面中进行如下操作：

  • 输入集群标识符redshift-dw-test01
  • 集群用途选择生产
  • 节点大小选择ra3.4xlarge
  • AQUA (高级查询加速器)默认自动
  • 节点数改成4
  • 不勾选加载示例数据
  • 勾选自动生成密码或输入数据管理员用户密码，此步骤输入的密码_1234Qwer
  • 集群权限选择3.2中创建的RedshiftRole-S3ReadOlny
  • 点击页面下方创建集群，等待集群创建

3.4. 连接Redshift数据库

点击集群->连接到Redshift集群->查询数据，打开Redshift操作页面

3.5. 创建表

将创建表的sql语句粘贴到命令窗口，点击Run，执行sql语句创建表

create table slim_shred (

user_pseudo_id varchar(60),

advertising_id varchar(60),

event_timestamp int8,

event_name varchar(60),

country varchar(20),

version varchar(10),

id varchar(60),

user_first_touch_timestamp int8,

event_params super

);

创建完成后，在public下可以看到表slim_shred

4. 从S3加载数据

4.1. 执行以下命令，从s3加载数据

copy slim_shred from ‘s3://s3-redshift-dw/trans03/part’

iam_role ‘arn:aws:iam::961692981863:role/RedshiftRole-S3ReadOnly’

json ‘auto ignorecase’ MAXERROR 1000;

4.2. 执行过程报错

在执行过程中出现因country字段长度超过20，version字段长度超过10，导致插入数据失败

4.3. 对表结构进行调整

alter table slim_shred ALTER COLUMN country TYPE varchar(50);

alter table slim_shred ALTER COLUMN version TYPE varchar(20);

4.4. 重新执行加载命令

再次执行命令，经过22分钟21秒加载完成

4.5. 执行查询sql

执行以下sql，经过59秒查询出结果，共921条

SELECT

 first_open_date,

 country,

 event_name,

 DATE_DIFF(‘d’,retention_date, first_open_date) AS date_diff,

 COUNT(DISTINCT first_uid) AS users,

 COUNT(first_uid) AS events

FROM ((

 SELECT

 DATE( date_add( ‘h’,-8,date_add(‘us’,event_timestamp,’1970-01-01′))) AS first_open_date,

 country AS country,

 user_pseudo_id AS first_uid

 FROM

 slim_shred

 WHERE

 event_name = ’19d2da1d0d3c1cd08a318cbd5c04a3b0′

— AND _TABLE_SUFFIX BETWEEN ‘20200830’

— AND ‘20200918’

— AND app_info.id = ‘com.root.clean.boost.explorer.filemanager’

 GROUP BY

 first_open_date,

 country,

 first_uid )

 INNER JOIN (

 SELECT

 DATE( date_add( ‘h’,-8,date_add(‘us’,event_timestamp,’1970-01-01′))) AS retention_date,

 event_name,

 user_pseudo_id AS retention_uid

 FROM

 slim_shred

 WHERE

 event_name IN (‘e37b4b622992267149d25437cbb75237’)

— AND _TABLE_SUFFIX BETWEEN ‘20200830’

— AND ‘20200918’

 GROUP BY

 retention_date,

 event_name,

 retention_uid )

 ON

 first_uid = retention_uid)

GROUP BY

 first_open_date,

 country,

 event_name,

 date_diff

HAVING

 date_diff BETWEEN 0

 AND 15

ORDER BY

 first_open_date,

 country,

 date_diff

4.6. 执行重复sql

在新窗口中再次执行上述sql，经过7毫秒，查询出结果

Uncategorized, 产品介绍
Uncategorized

使用AWS Glue自定义连接器将数据从BigQuery迁移到S3

12月 14, 2022 由 沝渁

1. 从 Google Cloud 下载服务帐号凭据 JSON 文件

1.1. 点击IAM和管理->服务账号，进入服务账号管理页面

1.2. 选择账号，进入密钥管理

1.3. 创建新密钥，选择json类型，点击创建后，会自动下载json格式的密钥文件到本机。

1.4. 对密钥文件进行base64编码

若为windows机器，请使用在线工具进行编码

若为Linux 和 Mac，您可以使用将文件内容打印为 base64 编码的字符串。

执行base64 service_account_json_file.json，将打印出来的内容复制到文本中，注意删除换行符。

2. 获取GoogleCloud的项目ID

点击项目名称，获取对应项目ID，保存以备用。

3. 使用AWS Secrets Manager管理密钥bigquery_credentials_poc

使用Secrets Manager 控制台，创建密钥，选择其它类型密钥,键输入：credentials，值输入使用base64编码后的字符串

输入密钥名称：bigquery_credentials_poc，其它选项默认填写，点击存储生成密钥。

在密钥列表，点击bigquery_credentials_poc，打开详情信息，复制密钥ARN以备用。

arn:aws:secretsmanager:us-west-2:260527533511:secret:bigquery_credentials_poc-wCHyT3

4. 创建S3桶s3-redshift-glue

4.1. 选择AWS区域（东京）创建S3桶s3-redshift-glue，不开放公有访问权限。

复制的s3-redshift-glue的arn以备用。arn:aws:s3:::s3-redshift-glue

4.2. 在S3桶s3-redshift-glue中创建存放数据的文件夹

文件夹名称可根据要导出的表名进行创建。此次创建文件夹311_service_requests。

5. 创建策略policy_secrets_s3

使用以下json创建策略policy_secrets_s3，允许访问密钥bigquery_credentials_poc，S3桶s3-redshift-glue。

{

“Version”: “2012-10-17”,

“Statement”: [

{

“Sid”: “GetDescribeSecret”,

“Effect”: “Allow”,

“Action”: [

“secretsmanager:GetResourcePolicy”,

“secretsmanager:GetSecretValue”,

“secretsmanager:DescribeSecret”,

“secretsmanager:ListSecretVersionIds”

],

“Resource”: “arn:aws:secretsmanager:us-west-2:260527533511:secret:bigquery_credentials_poc-wCHyT3”

},

{

“Sid”: “S3Policy”,

“Effect”: “Allow”,

“Action”: [

“s3:GetBucketLocation”,

“s3:ListBucket”,

“s3:GetBucketAcl”,

“s3:GetObject”,

“s3:PutObject”,

“s3:DeleteObject”

],

“Resource”: [

“arn:aws:s3:::s3-redshift-glue”,

“arn:aws:s3:::s3-redshift-glue/*”

]

}

]

}

6. 创建IAM角色roleGlueBigqueryS3

创建角色roleGlueBigqueryS3，受信任实体类型选择Glue，添加以下三个策略：

7. 使用AWS Marketplace订阅 AWS Glue Connector for Google BigQuery

7.1. 点击了解产品，搜索 AWS Glue Connector for Google BigQuery

7.2. 选择继续订阅

7.3. 查看条款和条件、定价和其他详细信息

7.4. 选择继续配置

7.5. 对于Fulfillment option，选择您的交付方式；对于Software version，选择您的软件版本，然后选择继续启动

7.6. 在使用说明下，选择在 AWS Glue Studio 中激活 Glue 连接器

7.7. 创建glue connectors：bigquery

输入连接的名称bigquery，密钥文件选择bigquery_credentials_poc

8. 在 AWS Glue Studio 中创建 ETL 作业

8.1. 创建job

  • 在 Glue Studio 上，选择Jobs。
  • 对于源，选择AWS Glue Connector for Google BigQuery。
  • 对于目标，选择S3。
  • 点击创建。

8.2. 删除ApplyMapping

选中ApplyMapping并删除它。

8.3. 配置AWS Glue Connector…

8.3.1. 连接选择bigguery。
8.3.2. 在连接选项中添加以下键值
  • 键： parentProject，值： <<google_project_id>> #第步骤2中获取的项目ID
  • 键: table,值:bigquery-public-data.austin_311.311_service_requests #bigquery中表名

8.4. 配置S3

8.4.1. 选中S3 bucket，选择导出到S3的数据格式，此次POC验证选择JSON
8.4.2. 选择压缩类型
8.4.3. 指定 S3 目标位置

8.5. 配置Job_details

  • 输入Name：Glue_BigQuery_S3
  • 选择IAM Role：roleGlueBigqueryS3   #为步骤6中创建的角色
  • 选择类型：Spark
  • 选择Glue version：Glue 2.0 – Supports Spark 2.4, Scala 2, Python3
  • 其余选项保留为默认值，点击Save保存

9. 运行ETL作业Job

9.1. 点击详情中右上角Run，运行作业

9.2. 点击Runs,查看执行情况

9.3. 执行成功后查看S3桶中文件

9.4. 下载文件，查看文件格式

10. 总结

至此，使用glue自定义规则从BigQuery同步数据到S3桶已完成，若需要将数据加载到redshift，请在redshift中创建对应表，再使用copy命令导入S3数据到表中。详细操作请见上一份POC文档《Redshift测试工作截图》。

Uncategorized

构建现代数据平台：从数据采集到智能分析

10月 26, 2022 由 沝渁

构建现代数据平台：从数据采集到智能分析

在当今数字化时代，数据被认为是新时代的石油。对于企业来说，正确地收集、存储、处理和分析数据是取得竞争优势的关键。数据平台是实现这一目标的核心要素之一。本文将探讨构建现代数据平台的关键组成部分和最佳实践。

 

  • 数据采集

数据平台的第一步是数据采集。这意味着从各种来源获取数据，包括应用程序、传感器、社交媒体、日志文件等。以下是一些数据采集的最佳实践：

  • **数据源识别**

首先，要明确定义您需要采集的数据源。这可以是业务应用程序、数据库、Web服务或其他数据源。数据源识别是确保数据平台成功的关键一步。在这个阶段，您需要仔细考虑哪些数据源对于您的业务目标至关重要。这可能包括：

– 业务应用程序：您的企业可能使用多个应用程序，这些应用程序产生了丰富的业务数据，包括销售、客户关系管理、库存等。

– 传感器数据：如果您的业务涉及到物联网设备或传感器，您需要收集和分析这些设备生成的数据，以便实时监控和管理。

– 社交媒体：社交媒体平台是了解客户反馈和市场趋势的重要来源。您需要从社交媒体网站收集数据以进行情感分析和声誉管理。

– 日志文件：应用程序和系统生成的日志文件包含了宝贵的信息，可以用于故障排除和性能优化。

 

  • **数据抓取**

使用适当的工具和技术来从数据源中提取数据。这可以包括ETL（提取、转换、加载）过程或实时数据流。一旦确定了数据源，下一步是建立有效的数据抓取机制。这可能包括：

– ETL流程：ETL（提取、转换、加载）是将数据从源抓取到目标存储的常见方法。在提取阶段，您将从源系统中提取数据。在转换阶段，您可能需要清洗、规范化和转换数据以满足分析需求。最后，在加载阶段，数据将被加载到目标数据存储中。

– 实时数据流：对于需要实时数据的场景，使用流式处理技术，如Apache Kafka或Amazon Kinesis，来实时捕获和处理数据。这对于监控、预测和快速反应至关重要。

  • **数据质量**

确保采集的数据是准确、完整和一致的。数据清洗和验证是确保数据质量的关键步骤。确保数据质量对于数据平台的成功至关重要。低质量的数据可能导致错误决策和不准确的分析结果。数据质量的关键方面包括：

– 数据验证规则：定义数据验证规则，以确保数据的完整性和准确性。这可能包括数据类型、范围、唯一性等方面的规则。

– 数据清洗：清洗数据以处理缺失值、异常值和不一致性。数据清洗过程可能需要使用自动化工具和手动干预。

– 数据监控：建立实时数据监控系统，以及时检测潜在问题并触发警报，以便采取纠正措施。

 

  • 数据存储

一旦数据被采集，接下来的关键步骤是数据存储。以下是一些数据存储的最佳实践：

  • **数据湖还是数据仓库**

根据需求选择数据湖（适用于半结构化和非结构化数据）或数据仓库（适用于结构化数据）来存储数据。在选择数据存储方案时，需要考虑数据的类型和用途：

– 数据湖：如果您的数据具有半结构化或非结构化特性，或者您需要在原始形式中保留数据，数据湖是一个合适的选择。数据湖允许您以较低的成本存储大量数据，并根据需要对其进行模式化。

– 数据仓库：如果您处理结构化数据，并需要支持复杂的分析查询，数据仓库可能更合适。数据仓库提供高度优化的查询性能，适合大规模的数据分析。

  • **云存储**

考虑使用云存储解决方案，如AWS S3、Azure Blob Storage或Google Cloud Storage。云存储解决方案在现代数据平台中变得越来越受欢迎，因为它们提供了弹性、可伸缩性和低成本的存储选项。一些受欢迎的云存储服务提供商包括：

– AWS S3（Amazon Simple Storage Service）

– Azure Blob Storage

– Google Cloud Storage

这些服务允许您根据需要扩展存储容量，并以按使用量付费的模式使用存储。

  • **数据安全**

确保数据在存储过程中得到充分的保护是至关重要的。以下是数据存储安全的关键实践：

– 数据加密：对数据进行加密，包括数据在传输和数据在存储时的加密，以防止数据泄露。

– 访问控制：实施严格的访问控制策略，确保只有授权用户能够访问特定的数据。使用身份验证和授权机制来管理访问。

– 数据备份和灾难恢复：定期备份数据，并建立灾难恢复计划，以应对数据丢失或损坏的情况。

在数据存储方面的这些实践将有助于保护数据的安全性和可用性，从而确保数据可供进一步处理和分析。

 

  • 数据处理

一旦数据存储在平台上，接下来的关键步骤是数据处理。以下是一些数据处理的最佳实践：

  • **批处理和流处理**

数据处理是将原始数据转化为有用信息的过程。根据数据的实时性需求，选择适当的数据处理模型，批处理适用于处理历史数据，而流处理适用于实时数据。您可以选择使用批处理或流处理：

– 批处理：批处理适用于处理历史数据，通常在固定的时间间隔内运行。它适用于离线分析和大规模数据处理。

– 流处理：流处理是实时处理数据的方法，适用于需要及时决策和实时监控的场景。它可以帮助您在数据流中捕获和响应重要事件。

  • **数据转换和转换**

数据通常需要进行清洗、转换和聚合，以便进行分析。使用适当的ETL工具或数据流处理框架来执行这些任务。

– 数据清洗：清洗数据以处理缺失值、异常值和不一致性。这可能包括删除重复项、填充缺失值、纠正数据格式等。

– 数据转换：数据转换是将原始数据映射到目标模式或格式的过程。这可能涉及到将日期和时间数据格式化、单位转换、计算派生指标等。

– 数据聚合：数据聚合是将数据汇总为更高级别的摘要信息的过程。这有助于生成报告、仪表板和洞察。

 

  • **分布式计算**

如果您处理大规模数据集，考虑使用分布式计算框架可以提高数据处理的效率和速度：

– Apache Spark：Spark是一个强大的分布式计算框架，支持批处理和流处理。它可以处理大规模数据并提供高性能的数据处理和分析。

– Hadoop：Hadoop生态系统包括Hadoop分布式文件系统（HDFS）和MapReduce，用于处理大规模数据。

这些分布式计算框架可以帮助您充分利用集群中的多个计算节点，以加速数据处理过程。

 

  • 数据分析

数据平台的目的是为业务提供有价值的信息。以下是一些数据分析的最佳实践：

  • **数据可视化**

数据可视化是将数据转化为图形和图表的过程，以便业务用户更容易理解和利用数据。以下是数据可视化的最佳实践：

– 使用数据可视化工具：利用数据可视化工具如Tableau、Power BI、matplotlib等，将数据呈现为直观的图表、仪表板和报告。

– 选择合适的图表类型：根据数据的性质和目标受众，选择适当的图表类型，如柱状图、折线图、饼图等。

– 添加交互性：通过添加交互功能，如过滤器和下钻功能，使用户能够自己探索数据。

  • **机器学习和人工智能**

机器学习和人工智能（AI）技术可以为数据分析提供更深入的洞察和预测性能：

– 建立预测模型：使用机器学习算法构建预测模型，以根据历史数据进行未来趋势的预测。这可以应用于销售预测、客户细分、风险管理等领域。

– 自动化决策：基于数据和机器学习模型，开发自动化决策系统，以支持实时决策和自动化流程。

  • **实时分析**

某些应用程序需要即时数据分析，以快速做出决策。为实现这一目标，可以考虑以下实时分析解决方案：

– 复杂事件处理（CEP）：CEP引擎可以用于实时数据流中检测和分析复杂事件。它可以用于监测交易欺诈、网络安全等领域。

– 实时仪表板：构建实时仪表板，以监视关键性能指标和重要事件。这有助于快速响应变化的市场条件。

构建现代数据平台是实现数据驱动业务成功的关键一步。通过正确的数据采集、存储、处理和分析，企业可以获得深入的洞察，并做出更明智的决策。因此，在构建数据平台时，请考虑以上最佳实践，并根据实际需求进行适当的定制。只有这样，您的数据平台才能真正发挥其潜力，为企业带来持续的价值。

Uncategorized

流量优化攻略

9月 14, 2021 由 隋, 华锋

流量优化攻略

您是亚马逊云的用户的话，想必对EC2虚机、RDS托管数据库等云资源和费用不陌生，但云中数据流量多大、分布如何，特别是占了多少费用，很多人就不太了解了。事实上，大多用户的流量费用会占用云费用的10%以内，有的用户流量费甚至会超过虚机、数据库，成为最大的成本。这些流量费用怎么组成的，花的冤不冤，有没有节省空间，甚至有无可能又省钱又提速？本文就这些疑问为您提供一些思路。

 上CDN，就上Cloud Front

省钱指数 * 风险指数 *** 难度指数 ** 用户感知 *****

CDN是“内容分发网络”的缩写，可以把网站上的静态网页、图片、音视频，以及可缓存的和动态内容，通过分布在世界各地的边缘节点分发给用户。用户从最近的边缘节点，以最小的延迟、最佳的性能获取数据，避开互联网骨干的拥堵，实现数据秒回、界面秒开的效果，从而大大提升用户感知。

面向互联网用户的应用系统，几乎100%使用了CDN加速。换言之，如果没有了CDN底层的默默支撑，互联网用户习以为常的物联网会慢的难以忍受。如果您浏览过未被CDN加速过的海外网站，对什么叫“难以忍受”会有切身体会。

对原理好奇的同学可以看下图体会，从难以忍受到身心愉悦的魔幻效果，是因为走了1-2-3的路径获取内容(这个边缘节点很可能就在用户所在城市)，省去了3a-3b这段跨省、跨国、跨洋的远征之旅。就像是您的快递是从隔壁、而不是从远在天边的工厂发挥那样，到货速度当然天差地别。

探索心爆棚的小伙伴，可能会问，要是隔壁的边缘节点没货咋办，是不是还得走3a-3b？那不还是很慢吗？恭喜您，答对了。要是用户不幸中招、隔壁没货，确实是走1-2-3a-3b-3c这条漫漫长路。专业术语(业内黑话)把这条过程叫“回源”、长路的终点叫“源站”。要是您遇到过偶尔很慢的情况，有可能是这个原因哟。好在第一次的货经过3b-3c送达的同时，会在边缘节点存一份，这样后来者就不用再次长途跋涉了。这其实就是CDN的主要工作原理：CDN就是个快递公司，靠第一个请求者要货时缓存，实现牺牲我一个、幸福全村人的效果。

主流快递公司有三通一达、顺丰、FedEx，主流CDN厂商有蓝汛、网宿、Cloudflare、Akamai；各大电商都开快递公司，各大云云厂商也都有CDN加速服务；京东牛了、京东快递也牛，京东购物首选京东快递，亚马逊云全球一哥、Cloud Front也就表现不俗。

不用说，这个Cloud Front就是亚马逊的CDN服务，就叫CF吧。这个CF不但出身名门、覆盖全球，与Akamai这样的老牌专业CDN比，价格还便宜，正所谓大牌放心、价格实惠量又足，实在是广大互联网服务商之首选、服务互联网用户之必备。对于“工厂”（源站）就在亚马逊云上的用户，CF还有配置简单、回源免费的优势，想不火都难。

要是您的系统为广大互联网用户访问，赶紧考虑上CDN；要是您的系统再亚马逊云，先配一下CF看看效果吧，按流量收费，不用不收费；随时启用、随时停止，完全由您掌控；要是想找给水电工咨询帮忙，联系泰岳云服务吧。

不过网站和CDN就跟管工电工似的，技术本身还是有专业性的；对源站和使用也可能有影响。综合评价：省钱指数：一颗星，风险指数：两颗星，难度指数：三颗星，用户感知：五颗星。

流量又大又稳 就买亚马逊流量包

省钱指数 *** 难度指数： * 风险指数 ***

咱们先以CF为例，说说CDN是怎么计费的。如下图：➊货物存在云上要收存储费，这个严格说不算CDN流量费用，是云上工厂费用的一部分；➌回源流量和请求数要收费，就像工厂发货长途货运要收费一样。好在正常场景下这个比例很低。

CDN收费的正主儿和大头儿是➋，也就是送货到家的快递费。这里讲究较多，有点儿复杂：CDN主要按流量计费(类似按包裹重量算)，也要考虑请求数(快递多个小包裹肯定比一个大包裹贵)，以及是否是Https、字段加密数据等因素(快递包装好坏价格也有差别)。还有一个重要因素，就是不同地区的收费不一样，而且差别很大，南美、非洲等网络设施差的地区，收费就高不少，就像快递送到老少边穷地区成本更高是一个道理。你要是嫌贵，CF允许配置南美流量走美国发货，南美那段就走公网好了。

新一代互联网人，不但对品质有追求，对低价的追求更是无限的。有了淘宝、还要拼多多。香奈儿、爱马仕也得有折扣店。品质大牌厂商，该降价还得降价。您可能不一定知道，亚马逊CF新出了(2021年2月份)折扣流量包，叫做CloudFront Security Savings Bundle，提供“充70、得100”这样的优惠。

亚马逊CF流量包最高能节省 30% 的CF费用；还会获得一些WAF积分，冲抵防火墙的费用。当然，有好处就得付代价，亚马逊CF流量包必须定额连买一年，当月定额当月消费，过期作废不累积。举例来说，您承诺在连续一年每月付420美元，可得600美元的积分，用于抵扣600美元的CF费用。如果该月CF实际费用不到600美元，剩余积分作废不累计。极端情况下，如果下月开始您不用CF了，还得按承诺每月付420美元。这种机会成本是您的代价。

综合评价：省钱指数三颗星、能省30%；难度指数一颗星，毫无难度；风险指数三颗星，时间和机会风险。

追求极致和完美 就买泰岳流量包

省钱指数 ***** 难度指数： * 风险指数 *

如果您是亚马逊用户，就会发现亚马逊CF流量包的原则跟预留实例是一样的，都是承诺用量和时间换优惠。很多用户都对承诺一年甚至三年的政策不满意，毕竟想着占便宜、又不用负责人是人之常情，要不怎么会有“渣男”这个词呢。

世上有这种好事儿吗？

世上有这种好事儿吗？

世上有这种好事儿吗？

重要的事情说三遍，这种天上掉的馅儿饼真有！如果您用上了亚马逊CF，不管有没有买亚马逊流量包，都可以考虑泰岳分销的流量包。泰岳流量包分为CFRC-U、CFRC-A两种：CFRC-A跟亚马逊流量包类似，需承诺每月最低流量用量和默认数据包大小，约定不同地区每G流量单价，以及超额的请求包数单价，并按照实际流量的分布计费。不同之处在于直接半价起算，简单粗暴！

还想来点儿更猛的吧？CFRC-U不用区分地区和数据包大小，不用承诺用量和时间，按照每G流量一口价，而且价格也差不多腰斩。是不是更加简单粗暴？无需承诺、不用负责、价格跳水，就问你爽不爽，幸福是不是来的太快了？

且慢！！！

长的象馅儿饼的，大多是陷阱。互联网精英又不是韭菜，可不能掉坑里，必须得仔细研究，看看能否从字缝里看出字来。这个泰岳流量包是何方神圣？该不是个李鬼吧？凭什么又灵活又便宜？这羊毛出在谁身上了？这得容小编一一道来：

首先，所谓泰岳流量包，就是分销的亚马逊CDN流量，您用的是货真价实的CF流量，跟您以前在亚马逊中设置使用是一毛一样。只要您配置一次，就不会怀疑是个假李逵。

其次，这羊毛是出在了批零差价上，可不是“割猫尾儿，拌猫食儿”，拿您当韭菜。CF流量亚马逊实行分销政策，泰岳作为分销商，花大价钱买了分销资格这张门票，拿到了较低的流量价格。您得到的价格优惠，就是在这个批发价基础上让利出来的；您不承担用量和时间的责任，是泰岳汇集所有客户替您担着，万一您用少了，说不定别人正好用多了呢。实在补不齐的，泰岳作为专业分销商兜底。

您看，这事儿没有在字缝里暗藏陷阱吧？您要实在谨慎，泰岳流量包为您提供3天犹豫期，要是反悔随时中止。话说回来，如果您买CFRC-U，又不需要承诺，您可以随时终止，继续使用您原价流量。

动心了，怎么买呢？如果您的亚马逊账单已经由泰岳代付，可即可登录泰岳云服务官网www.upcloudx.cn，在线下单。如果尚未代付或由他家代付，也可在泰岳云服务官网www.upcloudx.cn注册登录、或接洽泰岳云服务销售人员，了解更多细节情况和优惠措施。

综合评价，采用泰岳流量包，省钱指数5颗星、5折起步；风险指数和难度指数都是1颗星，简单易行无风险。

Uncategorized

转向托管Kubernetes服务的理由

4月 30, 2021 由 沝渁

作者：Scott Carey UK Group Editor, InfoWorld 

前言

把你的Kubernetes集群交给一个托管服务提供商就像送你的孩子去上大学一样——一开始很吓人，但最终家里的工作就少了很多。

三大公共云提供商Amazon、谷歌和微软的托管Kubernetes或称Kubernetes即服务(KaaS)在过去几年里都取得了巨大的进步，帮助客户运行和编排他们的容器化工作负载，而不必了解YAML配置文件的输入和输出，也不必担心自动伸缩、更新和集群管理。

“当企业考虑战略问题时，最初的倾向是自己经营。然后随着时间的推移，他们会意识到，自主经营不会给他们任何竞争优势，更有可能是供应商能比他们更好地运行它，”专注于开发者的分析公司RedMonk的联合创始人Stephen O’Grady说。“每个企业都在走这条路吗?”目前还没有，但演进和方向似乎都很明确。”

以下是考虑托管Kubernetes服务。

降低管理开销

让我们先从最明显的原因开始。旅游科技公司Amadeus负责技术平台和工程的高级副总裁西尔万·罗伊(Sylvain Roy)说，“我们应该清楚，工作量更少了。”他说，“它是为我们运作的，这很重要，因为我们面临着一个挑战，我们需要所有的人来管理Kubernetes。”

同样的，建筑公司Strabag的一小群工程师自2006年以来一直在自己运营容器，并在过去4年里转变为Docker和Kubernetes自行管理的开源项目。现在集团正寻求尽可能多的集群管理的自动化,通过现代化的现有应用程序和将底层Kubernetes集群的管理交给公有云。

Strabag云服务团队负责人马里奥•克莱纳瑟(Mario Kleinasser)表示:“这个过程是把适合交给别人的任务交给别人。”

彭博社的计算基础设施主管安德烈Rybka说：”当你没有SRE(软件可靠性工程)团队或团队管理Kubernetes的发布周期,专注于运行应用程序和且不想管理Kubernetes，利用供应商是非常有意义的”。如今，彭博仍在本地运行其大部分Kubernetes工作负载，但它也开始在适当的地方使用公有云供应商的托管工作负载。

需要更少的专家

Kubernetes的管理技能很难获得，而且成本很高，特别是当您正在编写自己的YAML配置文件时。如果您有专人可以手动调优Kubernetes集群，那么您可能希望将集群的管理交给更普通的工作负载，从而将他们释放出来，以便管理您的内部平台或任何特别重要或棘手的工作负载。Amadeus的Roy说:“为这些技术获取和留住人才并不容易，这显然是一个挑战。”

更好的可靠性

简单地说，大型云供应商通常比您自己更适合管理您的Kubernetes集群，这是由于他们的工程团队的规模、他们对客户部署的广泛了解以及他们对这些部署的底层遥测的访问。

RedMonk的O ‘Grady说:“供应商很可能会把它运行得更好。”“供应商有遥测技术，而且可以看到所有客户都在运行这个系统，这与单个企业只有自己的模型可以参考不同。”

以Bloomberg为例，它在2015年的鼎盛时期就转向Kubernetes，当时Kubernetes还只是一个alpha版本，在2017年进行了必要的持续集成、监控和测试后才投入生产。Rybka说，尽管彭博的工程师们仍然在很大程度上对内部应用程序的Kubernetes集群进行自我管理，但当工作负载在公共云中运行时，使用托管选项越来越有意义，特别是“从可靠性的角度来看”。

不用担心升级和补丁

对于管理自己的Kubernetes的人来说，升级和补丁是最不值得羡慕的两项工作，这就是为什么托管提供商优先考虑让你摆脱这些任务。

AWS计算服务副总裁迪帕克·辛格(Deepak Singh)表示:“自己给Kubernetes打补丁、更新和管理是一件非常复杂的事情，是一件完全没有区别的繁重工作。”

它仍然是开源的，可移植的

托管提供商必须赢得开源社区和客户的信任，这些客户希望确保他们所使用的Kubernetes发行版尽可能接近普通的开源版本，以允许更大的可移植性，避免被锁定。

AWS的辛格说，对于一些客户来说，EKS保持与Kubernetes开源发行版的密切联系是很重要的，“没有什么奇怪的巫术会产生差异。”AWS最近在GitHub上开源了它的EKS发行版，以此来证明这一点。

Kubernetes的联合创始人兼VMware Tanzu的首席工程师Joe Beda承认，“如果不谈论锁定，就很难进行这样的对话。”他敦促做出购买决定的人适当评估风险。

“你有多大可能搬走?”如果你这么做，代价是什么?您需要进行多少代码重写和多少再培训?任何进行这些投资的人都需要了解这些要求、风险以及对它们的权衡。”

就其本身而言，CNCF运行一个经过Kubernetes认证的一致性程序，以确保从一个安装到下一个安装的互操作性，无论认证供应商是谁。

那么，为什么不是每个人都这样做呢?

对于像Amadeus和Bloomberg这样的大型复杂组织来说，总会有一些工作负载让你觉得不舒服，不管是敏感的数据安全问题、棘手的内部依赖关系，还是想要手动调优自己集群的过度保护的平台团队。

“那些想要自我管理部件的人会担心数据平面;他们需要定制或专攻某些领域。他们不介意管理控制平面，”谷歌的Hightower说。

然而，现实情况是，你自己经营Kubernetes的所有理由正变得越来越没有说服力。

RedMonk的O ‘Grady说:“也许你认为这是一项没有人愿意将其作为沉没成本而注销的现有投资，或者是对一些工作量或业务有保守的组织担忧。”“或者，你会担心自己的一部分基础设施(被认为具有战略意义)会脱离你的控制。但当你看到你的同事这样做时，那种顾虑就会消失，你会看到更多的人意识到好处。”

原文地址：https://www.infoworld.com/article/3614605/6-reasons-to-switch-to-managed-kubernetes.html

如需进一步协助或服务，请留言，泰岳云业务会提供自动化工具及专业服务。

Uncategorized

成本优化之Transfer

4月 21, 2021 由 沝渁

AWS云服务费用中，数据传输费用很难预估。为了帮助您了解AWS的数据传输成本，这里详细介绍了数据传输费用是如何构建的，如何减少数据传输费用的一些建议，以及如何分析数据传输成本。

尽可能使用价格便宜的区域

某些区域的AWS数据传输成本比其他区域低。美国和加拿大地区通常是最便宜的，而新加坡、印度和南美是最贵的。如果没有必要的商业理由要放在相对贵一些的区域的话，请选择成本效益更高的北美地区。

限制出站流量

减少AWS数据传输成本的最简单方法是减少发送出站数据，从下面的AWS数据传输定价图表可以看出，入站数据是免费的，而出站数据是按照阶梯比例收费的。

 

使用CloudFront

CloudFront是专门为减少EC2到互联网传输的费用而设计，比如托管一个向公众提供内容的网站可能产生的费用。CloudFront数据传输按下表收费，在某些区域相比互联网数据传输费用更便宜一些。

 

保持数据传输在单区域

在AWS服务(如EC2和S3)之间传输数据时，构建应用程序以确保这些传输发生在单个AWS区域内。除此之外，要确保通过私有ip传输数据，而不是公共的或弹性的IPv4/IPv6地址。对于从公有或弹性地址“传入”和“传出”的数据，每个方向均按 0.01 USD/GB 的标准收费。

 

保持EC2数据传输在一个可用区内

在传输数据时，特别是在EC2实例之间以及RDS、Redshift和其他服务实例之间传输数据时，尽量将数据传输保持在相同的可用区内通过私有ip传输数据，否则每个方向将收取0.01USD/GB的费用。

使用VPC endpoin

S3 VPC endpoint是一个很好的节约成本的方案，但大多数人都没有使用。在你的VPC中放置一个S3 endpoint可以让任何流量流向S3的内部路径，资费对比如下：


如何发现优化项

降低AWS成本的第一步是了解您的应用在哪些地方收取的使用费最高。为了帮助实现这一过程，AWS提供了一个称为成本分配标签的便利特性，可以与AWS成本管理器一起使用，以分析哪些实例/服务的数据传输费用来自何处。通过将这些标签应用到您的实例上，您可以定位到产生最高AWS数据传输成本的实例，并进一步按类型过滤这些实例的流量费用:CloudFront (out)、Inter AZ、Internet (in)、Internet (out)、区域到区域(in)和区域到区域(out)。
如需进一步协助或服务，请留言，泰岳云业务会提供成本分析工具及专业服务
Uncategorized

Cloud Trends for 2021 and beyond

4月 16, 2021 由 沝渁

本文翻译自埃森哲公司

25 cloud trends for 2021 and beyond
https://www.accenture.com/nl-en/blogs/insights/cloud-trends#trend-20
“数据是货币。”在过去的十年里，从硅谷到斯德哥尔摩再到悉尼，这句话已经渗透到了企业文化中。与华尔街不同的是，数据是通过云进行交易的;将您利用数据的能力与云功能捆绑在一起。鉴于92%的企业已经或多或少地使用了云技术，我们编制了一份2021年及以后云趋势的详尽清单，以帮助您充分利用这项技术。
自2010年以来，全球云服务行业已同比增长，到2020年估值达到3700亿美元，在短短十年内增长了380％以上。但是，如果将2013年全球90％的数据创建于2011年至2012年之间的事实作为背景，那么不可避免的是，更多的数据会导致需要更多的数据存储。到2020年底，全球所有信息的虚拟权重为44 ZB（万亿GB），该数字具有21个零。不出意外，截止到2020年，大约50％的公司数据存储在云中。
云不仅仅是一种高效的存储解决方案，它还是一个独特的平台，用于生成数据和创新的解决方案以利用这些数据。对适应性的高度关注促进了以前认为无法实现的一种面向服务的思维方式。专业化能力得到了扩展，使组织可以在不损害敏捷性的情况下创新其业务模型和流程，以追求其核心能力和业务目标。
2020年对云计算来说是关键的一年，因为它在促进远程工作解决方案方面发挥了领先作用。它允许组织将现有的组织流程与新的云技术融合在一起，从而在这些不确定的时期提供更大的灵活性。随着企业竞相在这种新的远程工作环境中蓬勃发展，COVID-19促进了对云能力的关注。云已经成为持续业务的重要组成部分，是开启组织增长的关键。到2021年，全球公共云服务的支出甚至预计将增长18.4%。
随着我们越来越接近基于云的世界，希望为自己创造优势的组织必须了解云服务行业的潮起潮落。我们汇总罗列了25种趋势预测，我们相信这些趋势预测会帮助您将现有的云功能与环境相关联，并确定可能导致未来增长的领域。
1

可持续的云

Sustainable cloud

2020年的研究表明消费者不仅将组织视为其采购清单，而且还将其视为价值的代表。你（的组织）对环境的态度将在很大程度上决定客户如何看待您的业务。实际上，在九个潜在的关注领域中，有80％的消费者将可持续性列为评估组织时要考虑的最重要问题。以价值为代价来创造价值会使您与一大群受众产生反感，其中一半的受众会毫不犹豫地放弃违反个人道德的品牌。
我们的研究表明，较高的环境，社会和治理绩效可赋予组织较低的波动性和4.7倍的高利润率。考虑到这一点，有44％的CEO已经在为自己的组织计划净零期货，因此，利用您可以利用的高效云运营对您而言将变得越来越重要。
与我们合作的公司仅通过将基础架构的区域迁移到公共云，即可减少多达65％的能源消耗，同时减少多达84％的碳排放。将资源集中在基本流程上将大大降低服务器需求，从而减少能源浪费。
公有云迁移每年可以减少多达5900万吨的二氧化碳排放量，相当于减少了2200万辆行驶中的汽车！这是一个重要的云趋势，只会在未来几年变得越来越重要。
2

云成本

Cloud costs

2011年，平均每家公司的云计算支出约为6,500美元。到2020年，这个数字已经上升到每月1万美元。事实上，这是一个保守的估计，因为33%的组织每年的云计算预算在240万美元到1200万美元之间。物联网、容器即服务(Container-as-a-Service)和人工智能是增长最快的云服务，这印证了IT专业人士的说法，即云优化是他们组织的主要关注点。

由于30%的云计算预算被浪费，各组织正在寻求简化云计算成本和优化云服务。虽然云提供商有责任提供更具成本效益的架构解决方案，但第三方优化工具和服务也有望得到重大投资。尽管如此，您的重点仍然必须放在开发和加强您的本地优化能力上，因为如果没有对您的优先级、前景和缺陷的分析性理解，您就不能利用您所使用的一系列解决方案。优化的关键第一步是根据组织术语配置独特的基线。

这是大多数企业似乎都在苦苦挣扎的一步，平均来说，他们对云计算需求的预算不足23%。然而，随着云操作的更加流畅，组织将学会更好地计划和管理他们的预算。

3

边缘计算

Edge computing

当前云计算的一个弱点是它由控制该空间的有限数量的提供商处理。这些大型的集中式数据处理中心将您的计算和存储能力与所提供的邻近性，带宽和资源联系在一起。每秒有127台新的IoT设备连接到Internet，不可避免地会出现延迟，带宽和安全性问题。诸如AI和机器人技术之类的智能技术需要更高的速度和处理能力，而边缘计算是利用这些进步并在未来几年内对其进行塑造的答案。  
边缘计算是一种新兴的云趋势，涉及建立本地化数据中心以在需要的地方或附近进行计算和存储。这可以抵消云上的负载，并改善各种应用程序的部署和运行。无需依赖集中式网络，而是在本地处理计算和管理。
通过使主动管理和数据存储更靠近源头，边缘计算可减轻与中央服务器通信相关的延迟问题。它还通过本地存储并仅在必要时连接到云来增加带宽。对于处理隐私和合规性问题的企业，本地管理的数据中心意味着更高级别的信息安全性。随着互联设备和物联网的不断发展，边缘计算对于利用和管理这些技术将变得至关重要。
4

多云

Multicloud

尽管大多数组织不会一劳永逸地从本地部署过渡到多供应商部署，但93％的企业已建立了多云策略。随着越来越多的工作负载迁移到云中，该行业对不同流程的独特需求变得越来越敏感。每个组织平均要部署或测试3.4个公共云和3.9个私有云，从而使它们能够根据其云需求量身定制其云功能。
展望未来，越来越多的组织将开发完全基于云的应用程序，而对特定云提供商的架构依赖性很小甚至没有。培养对他们的云需求和云行业的更牢固的了解将教会组织以比以前更清晰的意图进行开发。但是，这种模式转变还取决于云功能的发展，因为上市时间正在急剧缩短，并且集成不断变化的工作负载的能力使组织甚至可以利用最小的趋势。
为您的各个流程量身定制云解决方案是一个持续的过程，但是需要一致的治理和投资才能转化为节省的过程。尽管仅此方法不能解决您的应用程序可移植性问题，但专注于风险降低，功能和功能获取的多云策略将显着改善您的网络状况。
5

混合云‍‍‍

Hybrid cloud

尽管多云方法利用了不同提供商（无论是公共云还是私有云）的不同配额，但混合云方法明确地集中于利用私有云和公共云。
高度集成且平衡的混合策略可为企业提供两全其美的优势。他们可以根据公共云的创新和灵活服务而进一步扩展和更快地扩展，而不会失去与私有云功能并驾齐驱的更高的成本效率，反应速度和合规性。
为了跟上云技术的发展步伐，已有87％的企业已采用混合云战略，并且混合云行业的估值预计将以17％的速度增长，从2018年的446亿美元增长到2023年的近1000亿美元在此期间，一项重大发展将是引入更多混合技术，例如Red Hat的Openshift，该技术可实现跨平台和云的兼容工作。然后，云之间的区别可以从“私有”和“公共”转变为“专用”和“共享”。
6

公有云

Public cloud

我们的研究发现，将您的业务区域迁移到公有云可以减少您的总拥有成本(TCO)高达40%。随着顶级公共云提供商AWS、Azure和谷歌改善其服务和价格，以加强其竞争态势，这个数字只会增加。

然而，更激烈的竞争可能不利于互操作性的趋势，因为云提供商可能会寻求通过推动客户完全承诺他们的服务来为自己创造优势。这将迫使企业通过选择最适合其关键操作的提供者而在某些功能上妥协。另外，公共云提供商可以加强其现有的能力，并允许更多的选择，以提高客户的忠诚度。

不管怎样，随着行业及其与企业的互动变得更加普遍，公有云将不断发展。为了利用这一潜力，每2家企业中就有1家在公有云服务上花费了超过100万美元。甚至迁移关键工作的负载让您利用灵活性和机器学习来显著提高您的时间价值。该行业24%的年增长率表明，对公有云的投入只会增加。

7

XX即服务

As a Service

对于组织而言，进入云使用最简单的切入点之一就是“即服务”模型。通过轻松，灵活和灵活的应用程序选择，将云作为服务使用可以极大地影响您的组织及其目标。通过使公司能够提供新服务和更快地创建应用程序，云即服务可帮助您满足客户需求。
在大流行之后，我们看到了关键的“即服务”产品的增长以及一些新应用程序的出现。随着企业在2021年继续适应混合工作环境，这些应用只会扩展。  
平台即服务（PaaS）
平台即服务（PaaS）也称为云应用程序基础结构服务，其中包括硬件和软件工具。随着组织投资来利用云本机功能现代化其“老派”应用程序，对它的使用一直在稳步增长。Gartner预测，PaaS市场有望在2021年增长26.6％，并指出增长是由需要访问“通过高性能、内容丰富且可扩展的基础架构来履行职责的远程工作者”推动的。
仅随着更多组织将其IT功能迁移到云以响应COVID-19的情况下，这个领域才有望增长。随着团队寻求远距离存储信息和协作的解决方案，企业对Azure或Google云端硬盘等平台的采用率直线上升。实际上，由于COVID-19，有59％的企业预计云使用量将超过先前的计划。 
软件即服务（SaaS）
软件即服务（SaaS）是首批也是最成功的“即服务”云产品之一。它包括通过互联网上的第三方提供的所有服务和软件，并以订阅方式交易许可费。作为最大的云应用服务之一，SaaS现在为软件供应商的季度收入贡献了200亿美元。预计该数字每年将增长32％。
SaaS公司之间的竞争导致了各种各样的廉价解决方案，这些解决方案确保了公共云服务将在未来几年内主导市场。下一代SaaS产品还将把机器学习作为其服务的一部分。尽管有些应用程序可能比其他应用程序更好，但是请放心，在不久的将来，您将很难找到未标记为“智能”的SaaS产品。
容灾即服务（DRaaS）
随着组织继续以更多的数字化方式进行运营，停机时间的成本已成为溢价之道。一个组织的网络犯罪的平均成本约为1300万美元，而IT停机的平均成本约为每分钟5600美元。对于电子商务公司而言，这种停机时间可能是灾难性的，因为销售取决于在线访问。同时，更严格的法规要求组织对客户数据的保护和维护负有法律责任。
在线操作风险的增加导致一些组织重新评估其容灾策略，并研究了容灾即服务（DRaaS）。这包括一种自动灾难恢复策略，可以更快地响应问题和违规事件，从而降低成本和责任。到2020年，这种不稳定状态将继续存在，毫不奇怪的是，这个快速增长的市场预计到2020年底将达到45亿美元，到2023年将增长15.4％。
基础设施即服务（IaaS）
自从云服务开始以来，基础设施即服务（IaaS）就已经存在，但是其潜力尚未完全实现。由于据报告在云迁移过程中存在技能差距，组织采用该技术的步伐很慢。但是，由于云教育的增加和出于必要性的理解，这种新兴的云解决方案有望最终超过SaaS的收入。
IaaS是指组织用于存储，网络和虚拟化的按需购买的服务。许多公司采取了“举足轻重”的方法来迁移云，这是他们阻力最小的方法，而不是通过调整工作流程来充分利用云。为了竞争，组织发现他们必须采取不同的方法-现代化流程，对云原生开发进行投资以及重构应用程序以实现真正的云优化。
工作站即服务（WaaS）
传统上，员工会收到公司笔记本电脑，他们可以完全控制自己的笔记本电脑，但只能在部分工作时间内使用全部功能。这台计算机的使用取决于本地应用程序，例如服务器，工作站和软件。为了响应此限制，工作站即服务（WaaS）已经成为快速增长的云应用程序。
WaaS是一种台式机，可让员工随时随地通过任何设备完全访问其信息和办公应用程序。它具有执行办公任务所需的一切，包括防病毒软件，备份功能，生产力应用程序和记帐-已经获得许可并已自动更新。这使员工无需物理连接到工作站，从而可以轻松地从世界上的任何地方访问他们的工作。随着我们在2020年目睹的向远程工作环境的大规模转移，毫无疑问，这将仍然是云服务不断扩展的领域。  
8

云安全

Cloud security

在2020年1月至4月之间， 由于新的工作方式产生了新的利用漏洞， 网络犯罪急剧增加了630％。在各种云提供商之间分散工作负载为组织带来了相当大的治理问题。毫不奇怪，我们发现65％的高级IT管理人员认为安全和合规风险是实现云优势的最大障碍。
跨平台生成见解并采取行动，需要采取对潜在盲点敏感的主动方法。这解释了为什么28％的企业在选择云供应商时将安全性视为最重要的标准。尽管云计算在时间和金钱方面的效率是其最受欢迎的功能，但是组织意识到，在云计算中偷偷摸摸地使他们的组织过程变得不透明。为网络犯罪分子开放了许多谨慎的入口点。
对这些担忧的越来越多的回应是收购了云安全访问代理（CASB）。它们提供在云用户和平台之间运行的软件，以实施集中式安全措施，实施一致的治理系统。不幸的是，超过50％的组织没有针对其云应用程序安装适当的安全管理系统，从而对其整体安全基础架构产生了不利影响。提供商通过一系列旨在保护其客户和自身竞争态势的安全性收购来解决这一问题。 
9

云联盟

Cloud coalitions

随着企业争先恐后地迁移工作负载，在冠状病毒发作之后，企业云使用率上升了近50％。这也给试图通过战略合作伙伴关系满足这一新需求的云提供商的能力带来了巨大压力。这种伙伴关系的作用是增强云提供商的现有功能，并为云的动态威胁格局提供新颖的解决方案。
由于大多数组织流程现在都需要能够容纳员工与资源之间的距离，因此随着时间的推移，企业解决方案有望整合到一个平台上。基于云的战略合作伙伴关系可通过增加提供商组合中的服务范围并增强其管理更大工作负载的能力来提高主要提供商的竞争地位。
10

云自动化

Cloud automation

多云方法特有的治理问题已使许多企业转向自动化，以简化其公共，私有和混合云环境的管理。诸如Terraform之类的与云无关的工具使组织有独特的机会跨平台安全地开发相同的基础架构。
展望未来，诸如仪表板之类的功能可以通过类似Terraform之类的工具来实现，因为技术人员将能够从一个窗口中查看其所有分散的云服务。这样的规定也将为机器学习开辟更多的途径。
尤其是在多云或混合云环境中，组织正在寻找分析来帮助他们比较云的性能。在没有清楚了解其效率的情况下进行操作也会使您的组织更容易受到威胁形势的影响。利用机器学习功能可以为您的组织创建更多或有数据，从而使您能够更好地应对现有威胁和潜在威胁。
11

私有云

Private cloud

随着云与企业之间的交互激增，对云功能的组织化理解正在发展。缺乏这种专业知识一直是采用公共云的最大驱动力之一，因为企业更容易将无法管理或自行开发的服务外包。但是，随着大量知识的积累，越来越多的组织将选择自己的私有云来保持对流程的更大控制，而无需牺牲未来的灵活性。
尽管私有云行业在2020年没有出现显着增长，但我们将其归因于公共提供商在今年新需求中引导组织的能力增强。展望未来，公有云和私有云之间的动力动态可能会在某种程度上均衡。这将创造一个更民主的，由组织需求而不是行业固定要素引导的云产业。
12

云不确定性

Cloud agnosticism

在2020年，我们已经看到了几次重大的云中断。这些服务器问题导致的平均停机时间为117分钟或将近两个小时。大多数接受调查的组织（98％）表示，每年因停机一小时而造成的公司损失超过100,000美元。请记住，这些只是平均统计数字，因为40％的企业甚至表示在仅一小时的停机时间内就损失了1到500万美元，其中不包括任何法律费用，罚款或罚款。
平均而言，云中断持续117分钟，几乎是两个小时。[资料来源：VEEAM]
四分之一的企业表示，一小时的停机可能使企业蒙受的损失从100万美元到500万美元以上，其中不包括任何律师费，罚款或罚款。[来源：ITIC]
随着混合云服务成为最广泛采用的解决方案，CIO们将其怀疑态度转变为突发事件。即使引入了DraaS，组织也认识到云成功的关键是云中立策略。跨云提供商分散核心业务服务可降低因长时间停机而导致的停机风险，并优化您的投资回报率。这就是为什么IT部门的决策者将灵活性视为选择提供商时最重要的考虑因素之一的原因。
13

容器化

Containerization

1950年代引入运输集装箱后，它们彻底改变了全球经济。最后，有一种标准化的方法可以包装散装物品并将它们从一个位置运输到另一个位置。快进70年，集装箱运输再次风靡一时，只是这次是在云上。
容器化涉及将应用程序及其所有依赖项打包在一组轻量，统一的库和API中。这是存储和运送所有组件的标准化方法，可确保应用程序在多个计算环境中快速可靠地运行。由于每个容器的大小只有几十MB，因此一台服务器可以托管多个应用程序，从而节省了硬件和维护成本。
许多云提供商将容器应用程序作为其消耗性服务的一部分提供，并且可以由DevOps直接部署在云应用程序层上。由于每个应用程序都以标准化配置单独包装，因此该方法可显着提高安全性，可伸缩性和加载时间。
它还允许在平台之间轻松地传输应用程序。这种整洁、高效的虚拟机替代方案已经引起了许多组织的兴趣，因为它可以解决混合云的复杂部署和操作挑战。因此Gartner预测，到2023年，70%的全球组织将在生产中运行两个以上的容器应用程序，而2019年这一比例还不到20%。
14

人工智能

Artificial intelligence

云计算和人工智能（AI）具有共生关系。尽管AI为云计算提供了强大的功能-管理数据，揭示见解和优化工作流程，但云计算增加了AI的影响力和范围。到2025年，人工智能的全球市场价值估计每年将超过890亿美元，这意味着不接受这一趋势的组织将发现自己落后于竞争对手。
云服务正在使AI普及化，使其在进入门槛较高的组织中可以使用。传统上，对AI的投资需要顶尖的技术技能，计算能力和大量资金。但是，借助通过云服务提供的AI，公司无需花费大量前期投资即可实现该技术并从中受益。
结合使用AI和云服务，企业可以充分利用这两个应用。云为昂贵的现场硬件和软件提供了一种经济高效的解决方案，而在虚拟环境中不断进行数据备份和恢复使其成为传统设置的可靠替代方案。同时，AI帮助云管理数据并获得对信息的见解，然后这些信息可以作为系统范围的学习内容进行分发。
15

数据编织

Data fabrics

云计算采用的主要含义之一是信息技术的分离，因为安全性，优化和解释性服务越来越需要互操作性。这将术语“Data fabrics（数据编织）”从其分析根源中分离出来，并将其重新定义为云行业的主要前景。简而言之，数据编织是一个字符串，用于连接分离的位置，数据类型和数据源，同时充当访问点。
到2022年，信息将成为90%组织的关键组织资产，将分析固化为核心竞争力。数据网络结构使用api来消除竖井，直至其基本核心，为组织提供跨云提供商的统一数据访问、管理和安全。这样的集中式数据管理框架减少了供应商锁定，并允许组织利用其分布式服务来统一洞察其操作。
16

无服务器，事件驱动

Serverless, eventful

企业云使用的指数级增长可能会成为中小企业的进入障碍，但是解决方案已经可用。希望创造竞争优势的初创企业和规模较小的组织可以利用无服务器架构解决方案来实现快速增长，而无需大量资本投资。无服务器基础设施不仅可以自动快速扩展，而且还仅根据使用情况招致成本，从而使使用它们的企业可以花钱购买所需的确切云服务。
将您的业务领域迁移到公共云可以将总拥有成本（TCO）降低40％。[资料来源：埃森哲]
从2020年到2025年，这种需求预计将使无服务器行业增长25％。其吸引力的另一个关键组成部分是无服务器架构为组织的代码提供安全沙箱的能力。消除了严重的后端故障风险，开发人员可以自由地尝试其云服务并开发潜在事件的突发事件。基于事件的架构仅在由特定事件触发时才起作用，在紧急情况下几乎不需要人工反馈。通过外包警报中断系统成本并采用事件驱动的无服务器架构，我们的客户节省了数百万美元。
17

行业优化的云

Industry-optimized cloud

云提供商以向组织提供定制服务的能力为荣，推动了其价值主张。但是，医疗保健，立法和金融等行业的企业面临更严格的法规和隐私限制，从而限制了其利用传统云服务的能力。数以百计的云供应商已通过优化其云功能来满足这些高价值行业的法规要求，从而应对了这一挑战。
这些迁移包括公共云、私有云和混合云环境，仅医疗保健云市场在2019年就占了220亿美元以上。管理和临床数据的自动化使医疗保健提供商能够优化其进出流程–我们都可以从中受益。
18

人力云

Human cloud

所谓的“人力云”由人才平台组成，这些平台为企业提供了按需访问灵活劳动力的途径。2019年，通过将分散的熟练工人与各种职位和组织联系起来，该行业创造了1785亿美元的收入。人力云在地方性发展了基于人群的工人和招聘者网络，从而以较低的间接成本为组织提供了多种资源。在人员配备管理者的支持下，这些基于云的平台可以提供比传统人员配备方法更高的人工合规性，质量和客户服务。
展望未来，在线职位市场可能会更深入地集成到云中，从而为员工和组织提供有关可用技能，机会和项目的更清晰，更综合的视图。
19

云现实

Cloud reality

尽管虚拟现实和增强现实具有巨大潜力，但它们对源计算设备的依赖限制了它们对市场的渗透。结合5G网络，云可以绕过AR / VR的硬件要求，从而允许通过云将应用程序呈现，执行和分发给更大的受众。高容量，低延迟的宽带网络将成为解锁实时显示，渲染，反馈和交付的关键，从而最大程度地发挥云和AR / VR解决方案的潜力。
AR Cloud正在开发世界的数字副本，以尽可能快速，方便地可视化信息。技术创新迎接这场革命只是时间问题。

20

区块链云

Blockcloud

主要云服务器的集中化带来了安全挑战。容易受到未经授权的访问的广泛暴露的数据使组织容易受到威胁的影响。这就是为什么高管认为云计算是对组织的最大新兴威胁。随着GDPR等新法规的兴起，公共服务器上的合规性预计将增加云成本并减少云控制。
认识到这种威胁，开发人员正在使用边缘计算等解决方案重新定义云计算的基础架构。许多CIO期望区块链通过提供信息永久性从根本上改变云产业，这是当前云功能无法实现的保证。确定信息的位置和访问权限将使您能够更确定地开发突发事件，从而提高整体网络安全性。
“许多CIO期望区块链通过提供信息永久性从根本上改变云产业，这是当前云功能无法实现的保证”
区块链系统的地方性奖励机制是加密货币成功的重要因素。云行业的这种能力将使实施更全面的数据安全性和管理成为可能。为了使自己发挥最大的潜力，“投资区块链技术的受访者中有57％同意他们的组织应采用区块链技术来保持竞争力”。
21

云监控

Cloud monitoring

云联盟，机器学习和数据结构等趋势使云行业能够磨练其关键组成部分之一：监视。面临着将工作负载快速迁移到云的压力，企业现在面临着在其各种云服务器上整合指标以生成可货币化见解的任务。预计到2020年至2026年间，云监控行业的年收入将以22.7％的速度增长，届时其价值将达到约45亿美元。
最终用户服务正在利用可用技术来开发监视和管理跨云平台的应用程序的设施。随着有关信息管理的新法规的实施以及将云转移到HTML5，现有的监视服务也将必须显示出独创性和灵活性。
对于云监控行业，在2021年至2026年的预测期内，预计复合年增长率为22.66％。[来源：Mordor Intelligence]
22

云原生应用

Cloud-native APP

云原生应用程序是在云中诞生的应用程序，不仅仅是为了兼容而重新设计的。这些应用程序在云基础架构上运行，而不是安装在OS或服务器上。这意味着，原生云应用程序无需要求兼容性，而可以通过直接通过API进行交互来指示其环境。
这种独立链接的应用程序更具弹性和可管理性，使组织能够快速有效地进行构建和扩展。越来越明显的是，在越来越快的动态时代中，云原生架构是应用程序开发的未来。云原生项目在生产中的使用持续增长，许多项目在生产中的使用率已超过50％。
到2021年，原生云市场将成熟并整合，主要参与者将吸收较小的解决方案。为了充分利用云技术的好处，组织需要放弃“提拔和转移”模型，而要在旧体系结构中进行交易，以使用敏捷的云原生应用程序。一旦这样做，他们将能够充分利用云的众多优势，包括更快的上市时间，更大的弹性和灵活性以及快速扩展的能力。
23

应用程序的移植性

Application mobility

对于专注于敏捷性和转型的组织，随着技术的快速成熟，应用程序的运行时环境可能会不断变化。这就带来了对应用程序移动性的更大需求-将应用程序从任何一个数据中心或基础架构中释放出来，并使组织能够选择满足其需求的最佳平台。通过将应用程序与其运行时环境分离，IT团队可以在虚拟机管理程序，公共云和基于容器的环境之间迁移，而不会丢失数据或冒过多的停机时间。
应用程序移动性使组织能够更好地控制其应用程序，从而以多种方式使他们受益。
不受任何平台限制：数据中心经理可以为他们选择最佳的基础架构，并在条件变化时轻松迁移。
采用新技术：企业可以采用新兴技术，例如容器化和公共云服务，而不必担心与过时的平台捆绑在一起。
专注于应用程序：管理员可以选择易于操作且不需要大量培训的平台，因此重点可以放在管理应用程序上。
在2021年，对于希望摆脱平台依赖性并保护其数据的组织，应用程序移植性将继续是其首要任务。应用程序的移植性使模块化和便携式应用程序的开发能够自动保存和备份数据，从而使您能够在发生灾难时从停下来的地方继续工作。
24

分布式云

Distributed cloud

云因其无所不在和缺乏物理性而得名。大多数CIO都因缺少服务器或传输速度而出现问题。但是，随着云巩固其在企业运营中的地位，延迟问题的后果越来越严重。在任何时候，您的网站都只有2秒的延迟，而不是达到100％的跳出率。
“在任何一点上，您的网站都只有2秒的延迟，而不是达到100％的跳出率。”
Gartner推测，分布式云可以解决其中的一些问题。分布式云是边缘计算的组成部分，起源于公共云和混合云环境。公共云提供商有机会打包其混合服务并将其分发到不同的位置，从而减轻了中央服务器的压力，并使它们能够更好地为高价值客户提供服务。
在物理上更接近具有较大工作负载的客户端进行操作可以解决大多数延迟问题，并降低服务器整体故障的风险。计算区域的扩大还可以使云服务普及化，因为靠近分布式位置的小型企业可以利用这些服务而不会产生传统的服务器成本。
25

开源云

Open-source cloud

开源应用程序使用的源代码可以公开访问，以便检查、编辑和改进。“XX即服务”，用这些代码构建的云解决方案可以分散在私有、公共和混合云环境中。

有几个原因可以解释为什么77%的IT领导者打算更频繁地使用开源代码。免版税的源代码将是阻止供应商锁定的一个重要因素，因为数据可转移性和开放数据平台将允许服务和分析可互操作。重用软件堆栈、库和组件也将为应用程序之间的互操作性创建更多的公共基础。

云转换的寿命通常会使组织容易受到供应商锁定的影响，并面临技术过时的风险。使用开放、通用的标准开发的云无关服务可以推动云精通标准，并允许公司更好地控制其企业云解决方案。

云中一窥

Getting your head into the cloud

随着云服务在现有业务运营中的日益普及，云服务将是未来的趋势，这一点比以往任何时候都更加清楚。这不仅仅是一种存储解决方案，而且是一种势在必行的竞争。了解云计算的领先趋势使您能够改善网络安全、数据管理和可访问性，同时使您具有竞争优势。
完善云服务需要对敏捷性和变化做出承诺。这些不同的趋势是云计算特有的，并且随着应用的增加和校准云以产生更清晰的洞察力，它们将以更快的速度发展。跟踪和揭示这些趋势将帮助您的组织利用行业的专业知识和知识打开大门。随着世界继续拥抱云服务，这些门将被证明对2021年及以后的持续增长至关重要。
Uncategorized

企业备份&容灾系列 – 其他云服务商 to AWS Cold Backup 容灾解决方案

3月 15, 2021 由 沝渁

转自亚马逊AWS官方博客

该方案模拟在阿里云上的WordPress cluster应用通过

Cold Backup 的方式备份到 AWS 宁夏区域。

RTO 和 RPO 目标均为 24 小时 。

阿里云上的部署如下：

  • RDS MySQL: WordPress 数据库
  • 云数据库版Redis: 使用 Redis Object Cache 插件，使得 WordPress 支持Redis 作为缓存
  • 对象存储OSS: WordPress 的文件存储在 OSS 上，通过 OSSFS 软件挂载到 ECS
  • 云服务器ECS: 安装 WordPress 应用，ECS 通过弹性伸缩服务实现自动伸缩
  • 负载均衡SLB: 作为负载均衡，将接收到的流量转发给后端的 WordPress 集群

架构

解决方案

备份方案

  1. 把阿里云数据库和OSS中的数据每天备份并传输到AWS平台上，一旦阿里云环境出现故障，可以在AWS平台上快速启动应用系统。
  2. 本方案中暂时不考虑直接迁移阿里云的ECS服务器到AWS平台，因为如果直接迁移阿里云的ECS镜像到AWS的话，该镜像里会有很多阿里云平台的一些进程，可能会带来很多复杂的情况。因此假定应用系统预先在AWS上做好了AMI。
  3. 每天对阿里云的RDS进行备份，并把备份文件传输到AWS S3。
  4. 启动一台阿里云ECS服务器，并挂载普通云盘，其大小与OSS上要同步的文件大小相同。并通过脚本每天进行增量同步到本地磁盘，然后通过awscli的s3命令sync到AWS S3。
  5. ELB,NAT, Redis, App, Database 这些都不启动，等到受灾之后通过脚本启动。

恢复方案

  1. 通过阿里云MySQL RDS在S3中的备份，恢复一个新的Amazon RDS实例。
  2. Redis不含持久化数据，无需实现复制，只需script启动即可。
  3. 提前在宁夏区配置好网络环境，当灾难发生时，通过脚本启动资源；手动或者通过脚本自动导入 MySQL 数据

恢复脚本及使用方法已上传到lab798/aws-dr-samples。

备份步骤

RDS 数据库备份

  • 按照类似如下方式编辑backup.sh，从而备份数据库以及上传备份文件到 Amazon S3 
    mysqldump -h  -u root -p wordpress > wordpress.sql
  • 将备份文件上传到 Amazon S3 
    aws s3 cp wordpress.sql s3:////

备份OSS的数据到AWS S3

  • 把OSS bucket 挂载到本地目录，参考 OSSFS 快速安装 (https://help.aliyun.com/document_detail/32196.html)。
  • 增量同步到AWS S3 
    aws s3 sync  s3:////
  • 可以把该命令放入上一步备份数据库的脚本中，完整的 backup.sh 脚本内容如下: 
    currentdate=` date +%Y%m%d `
mysqldump -h  -u root -p wordpress > wordpress.sql
aws s3 cp wordpress.sql s3:////$currentdate/
aws s3 sync  s3:////$currentdate/

自动化备份

  • 编写 cronjob，每天晚上定期执行 backup.sh，比如下面的例子表示每天晚上10:30进行备份：
    30 22  *  *  * /root/backup.sh

成本分析

冷备成本是指容灾region在灾备过程中所产生的成本，此成本具有时效性，同时和购买类型也有关系。 以 宁夏区(ZHY) 为例，按照上述灾备方案，假定需要的灾备资源及产生的费用为：

  • AMI 20G: 镜像文件在宁夏区存储的费用
  • S3 1T 不频繁访问：由于是灾备访问，平时不会被使用，推荐不频繁访问

    项目

    类型

    单价

    1 年费用
    AMI 20GB EBS 0.277/GB/月 66.48 RMB
    S3 不频繁访问 1 TB S3-IA 0.1030029/GB/月 1265.7 RMB
    总价     1332.18 RMB
    含税总价     1412.1108 RMB

注意事项

  1. 容灾方案中的Redis节点是冷启动，启动后内存中没有恢复已有缓存的数据。因此您需要关注灾难恢复后数据库可能会遭受来自客户端重试导致瞬间的读写冲击。您应该在应用代码中实施类如熔断等机制以减少冲击。
  2. 在本次方案中，您需要在灾难恢复时填写保存在宁夏区域的AMI ID，以作为 AutoScaling Launch Template中EC2启动的镜像。
  3. 本安装需要您在宁夏区重新搭建一份 WordPress 应用。如果您在阿里云平台上对ECS进行了变更，请及时把该变更在宁夏区也同步完成，并生成对应的AMI，以保证宁夏区域的AMI保持最新状态。
Uncategorized

盗链行为与 AWS 防盗链技术

12月 25, 2020 由 沝渁
“盗链”是互联网用语。通常指未经源网站允许的情况下，通过超链接引用源网站内容，如图片，视频等。盗链行为会造成受害网站数据泄露以及经济损失。
在现代互联网公司业务中防盗链技术扮演者越来越重要的角色，例如：网站通常会对内容进行防盗链处理，仅仅对特定用户开放，而没有权限的用户即使获得链接地址，也无法访问该链接所指向的内容。本文根据常见盗链方法及其特点，介绍盗链对受害网站与用户造成的危害，以及如何利用AWS服务阻止盗链访问，从而确保网站数据访问安全。

盗链的形式与危害

目前，互联网上常见盗链过程如下图所示：

图1：盗链过程

由上图中可以看出，盗链过程中，盗链网站自身不提供全部网页所需内容。部分网页内容来自受害网站。在以上过程中，受害网站实际承载盗链网站的部分业务流量和压力，而盗链网站则盗取该部分数据流量和计算资源甚至客户流量用以支撑自己的业务。受害网站则需要承担被盗取流量和计算资源所带来的运营成本，从而造成受害网站的经济损失。

同时，由于盗链的过程具有隐秘性，最终用户往往难以及时察觉盗链行为，在一些场景下盗链甚至会造成最终用户经济损失。

基于Referer的防盗链解决方案

根据HTTP标头决定是否允许访问

HTTP协议规范在HTTP标头中定义了referer字段（见RFC 1945, RFC 7231），用于表示HTTP请求来源。该字段值由浏览器在发起HTTP请求时指定。该字段值代表当前HTTP请求的来源，例如在点击网页链接时，浏览器会向服务器提交一个HTTP请求，请求中HTTP标头的referer字段值为引用该资源的网页地址，即用户点击的网页地址。

以下即为从https://aws.amazon.com/cn/点击链接跳转到其他页面时，HTTP标头内容。注意其中referer字段：

Accept: */*

Accept-Encoding: gzip, deflate, br

Accept-Language: zh-CN

Host: a0.awsstatic.com

If-Modified-Since: Wed, 02 Sep 2020 15:58:15 GMT

If-None-Match: “b9ec147e4cfd12659b26c5df5a97f68c”

Referer: https://aws.amazon.com/cn/

表1：HTTP请求标头referer字段示例

通过对HTTP标头中referer字段内容跟进行判断，可以判定请求是正常用户发起的请求还是来自盗链网站。

利用AWS服务实现referer检查

  • 方案一：通过WAF实现referer检查

WAF是由AWS提供的应用防火墙功能。WAF配合CloudFront，ALB或API Gateway使用，支持通过访问控制列表对Web请求进行过滤，从而实现拒绝盗链请求的功能。

WAF相当于在CloudFront，ALB或API Gateway前部署一套防火墙，其架构如下图所示：

图2：WAF部署架构

部署WAF时，首先创建一个ACL用于检查referer字段。在服务中搜索WAF，并选择“WAF & Shield”。

在打开的页面中点击“Create web ACL”按钮

图3：创建ACL

在打开的页面中输入ACL名称，本例中使用“testACL”，并选择ACL所属区域，单击Add AWS resources添加关联的资源。此处可以关联CloudFront分发，ALB或API Gateway。之后单击“Next”继续。

图4：设置ACL名称

本示例中，Web服务器默认拒绝所有不符合referer匹配规则的连接。因此，在新打开的页面中需要将“Default web ACL action for requests that don’t match any rules”设置成“Block”。设置完成后单击“Add rules”，并选择“Add my own rules and rule groups”添加请求匹配规则。

图5：设置阻止没有匹配到任何规则的请求

本示例中，Web服务器默认拒绝所有不符合referer匹配规则的连接。因此，在新打开的页面中需要将“Default web ACL action for requests that don’t match any rules”设置成“Block”。设置完成后单击“Add rules”，并选择“Add my own rules and rule groups”添加请求匹配规则。

在弹出的页面上选择“Rule Builder”创建一条规则。

图6：选择Rule Builder创建规则

填写规则名称，规则类型选择“Regular rule”，匹配方式选择“matches the statement”，在Statement处选择Inspect “Header”，在Header field name字段中填写“referer”，Match Type选择“Contains string”，在String to match中输入允许访问的域名。本示例使用example.com。在Text transformation中选择“Lowercase”，以确保大小写不影响判断结果。之后在Action中选择“Allow”以允许访问。完成后单击“Add Rule”添加规则。

图7：配置规则

规则配置完毕后，检查“Web ACL rule capacity units used”，确保总WCU不超过1500。同时检查“Default web ACL action for requests that don’t match any rules”为“Block”。检查无误后，单击“Next”继续。

图8：检查规则

“Set rule priority”和“Configure metrics”配置页面均使用默认配置即可，可以直接点击“Next”跳过。

图9：设置规则优先级

图10：配置CloudWatch指标监控

在“Review and create web ACL”页面，检查各项配置，配置无误则单击“Create Web ACL”创建Web ACL。

图11：检查并创建ACL

在完成了配置工作之后，即可对WAF ACL进行测试。当使用了正确的referer字段时（本例中使用example.com），则返回HTTP 200 OK。

curl -H “Referer: https://example.com/” -I 52.83.57.155//example.com/

HTTP/1.1 200 OK

Date: Sun, 06 Sep 2020 12:00:16 GMT

Content-Type: text/html

Content-Length: 703

Connection: keep-alive

Last-Modified: Sun, 06 Sep 2020 11:21:32 GMT

Accept-Ranges: bytes

表2：WAF验证通过允许访问测试效果

当使用的referer字段与预期值不匹配时，则返回HTTP 403禁止访问。

curl -H “Referer: https://example.net/” -I 52.83.57.155//example.com/

HTTP/1.1 403 Forbidden

Server: awselb/2.0

Date: Sun, 06 Sep 2020 12:01:21 GMT

Content-Type: text/html

Content-Length: 134

Connection: keep-alive

表3：WAF验证未通过拒绝访问测试效果

  • 方案二：使用Lambda@Edge实现复杂条件下

某些应用场景下，用户需要配置复杂的访问控制规则。而图形界面往往难以适应复杂访问控制规则的需要。此时Lamba@Edge与CloudFront配合使用，可以有效应对复杂访问策略带来的挑战。

Lambda@Edge是AWS利用Lambda无服务器计算服务结合CloudFront内容分发网络，在边缘站点运行Lambda代码，从而在边缘站点实现动态Web应用程序的技术。

由于Lambda@Edge通过编写代码实现对Web请求的精确过滤，因此可以为用户提供更加灵活的过滤条件和数据处理方式。

Lambda@Edge功能支持使用Lambda在CloudFront边缘节点对HTTP请求和响应进行按需调整。当CloudFront收到用户请求，CloudFront从源端请求资源，CloudFront接收到源端反馈资源和CloudFront即将向用户返回资源时，均支持调用Lambda对HTTP请求或响应进行按需处理。

图12：利用Lambda@Edge调整HTTP请求和响应

Lambda@Edge只需要在CloudFront创建分发时，在Lambda函数关联中指定查看请求所对应的Lambda函数即可。

图13：在CloudFront创建分发时指定Lambda函数

Lambda函数内容则如下图所示，用户可以在“handler”函数中编写自定义处理流程，在必要时，可以创建response对象，并将response对象的状态设置为403，从而达到禁止访问的效果。

图14：Lambda函数内容

由于采用了编程的方式，Lambda@Edge为网站访问控制提供了极大的灵活性。同时，由于Lambda函数运行于CloudFront边缘节点，因此不会占用核心节点计算资源，同时其无服务器架构支持自动扩展也有利于承载海量用户请求。

利用URL验证提升数据访问安全性

使用HTTP标头字段实现防盗链可以应对常见的盗链情形。但盗链者仍然可以通过更加复杂的手段如客户端脚本去生成一个具有合法HTTP标头的请求，从而获取访问文件的能力。

为了进一步提升文件访问的安全性，可以通过对请求的URL添加一个具有时效性的随机验证码作为签名。用户通过签名的地址访问相关资源。系统在后台对签名信息进行比对，确认签名正确性和时效性，从而识别当前请求是否有权访问对应文件。

AWS CloudFront Signed URL提供一整套签名管理方案，包括签名URL生成API，与CloudFront集成的签名验证机制，从而简化资源访问控制。

图15：Lambda函数内容

如上图所示，客户端在访问CloudFront资源前，需要通过签名URL生成器获取经签名的URL地址。AWS签名URL生成器支持包括Java，C#，PHP，Perl等多种开发语言。开发人员可以根据需要选择自己熟悉的语言完成签名URL生成工作。

当CloudFront收到资源请求时，会自动识别URL中签名部分是否正确，是否仍在有效期内，从而确定是否返回对应资源。

在对CloudFront进行配置前，建议首先完成签名URL生成器。一下为URL生成器的示例代码片段。

图16：生成签名URL代码示例

从以上代码示例中可以看出，签名URL主要包含几个要素：被签名的文件访问路径，签名URL生效和失效时间，请求客户端IP地址范围，以及签名URL使用的密钥信息。

生成的签名URL格式如下，高亮部分为签名URL内容，未高亮URL参数为原始请求所需参数：

52.83.57.155//d111111abcdef8.cloudfront.net/image.jpg?color=red&size=medium&Expires=1357034400&Signature=nitfHRCrtziwO2HwPfWw~yYDhUF5EwRunQA-j19DzZrvDh6hQ73lDx~-ar3UocvvRQVw6EkC~GdpGQyyOSKQim-TxAnW7d8F5Kkai9HVx0FIu-5jcQb0UEmatEXAMPLE3ReXySpLSMj0yCd3ZAB4UcBCAqEijkytL6f3fVYNGQI6

&Key-Pair-Id=APKA9ONS7QCOWEXAMPLE

表4：WAF验证未通过拒绝访问测试效果

签名URL生成器就绪后，就可以配置CloudFront使用签名URL了。配置过程也很简单，只需要在创建或者编辑CloudFront分发时，将Restrict Viewer Access选项设置为“Yes”即可。

图17：配置CloudFront分发启用签名URL访问

上图配置中Trusted Signer配置项用于指定可以生成签名URL的AWS账户。只有被授权的AWS账户才能为指定的CloudFront分发生成签名URL，从而确保数据访问安全性。

配置完成后，用户直接访问CloudFront分发时会提示禁止访问。效果如下：

curl -I 52.83.57.155//d2znl5ds23rvha.cloudfront.net/Picture1.png

HTTP/1.1 403 Forbidden

Server: CloudFront

Date: Mon, 07 Sep 2020 02:45:18 GMT

Content-Type: text/xml

Content-Length: 146

Connection: keep-alive

X-Cache: Error from cloudfront

表5：在CloudFront启用签名URL后，未签名的URL无法访问

至此，访问CloudFront上的资源均需要使用临时生成的签名URL进行访问。由于签名URL具有时效性，因此难以被盗链者使用。从而改善了访问安全性。

开发人员还可以选择使用签名Cookie用于简化指定用户访问CloudFront资源的过程。相比签名URL，签名Cookie可以授予制定用户访问多个资源的能力，而无需为每个独立的资源生成签名URL。

部分场景下，由于实际业务需要，使得资源访问URL难以修改时，也可以是使用签名Cookie实现资源访问授权。

开发人员可以通过在生产签名URL或签名Cookie时增加资源请求客户端身份验证功能进一步提升资源访问的安全性。例如当收到生成签名URL请求时，检查资源请求客户端是否有登陆操作并对Cookie进行验证，从而使得资源访问过程更加安全。

适用于媒体资源的防盗链技术

媒体资源可以通过DRM数字版权管理技术实现更安全的资源访问管理。

DRM数字版权管理技术通过对媒体资源进行加密，并将媒体节目授权中心URL和密钥ID保存在媒体资源文件头部，从而实现更加安全的媒体资源访问控制。用户在播放媒体资源时，还需要从媒体节目授权中心获得对应密钥才能解密媒体内容。未经授权的用户即使获得媒体文件，也无法播放媒体内容。

AWS Elemental MediaPackage服务支持将DRM数字版权管理信息打包到媒体文件中，从而提供更加安全的媒体内容访问管控。

Uncategorized

AWS云中的GDPR合规能力

10月 30, 2020 , , 由 沝渁
欧盟的通用数据保护条例 (GDPR) 旨在保护欧盟数据主体的基本隐私权和个人数据,于2018年5月25日生效。在全球现有的数据隐私保护法规中，GDPR以其标准高、处罚严而闻名。AWS目前所有的可用的服务和功能均符合GDPR要求的高隐私标准和数据保护标准。AWS还致力于为客户提供服务和资源，帮助他们遵守可能适用于其活动的GDPR要求，客户可以部署AWS服务作为他们GDPR合规计划的重要组成部分。

摘要

本文提供了AWS为客户提供的服务和资源的相关信息，以帮助客户符合通用数据保护条例(GDPR)的要求。包括：遵守IT安全标准、AWS云计算遵从控制目录(C5)认证、遵守欧洲云基础设施服务提供商(CISPE)行为守则、数据访问控制、监控和日志工具、加密和密钥管理等内容。

 

GDPR概述

《通用数据保护条例》(GDPR)是《欧洲隐私法》(欧洲议会和理事会2016年4月27日第2016/679号条例)，于2018年5月25日生效。GDPR取代了欧盟数据保护指令(指令95/46/EC)，旨在通过适用单一的数据保护法来协调整个欧盟(欧盟)的数据保护法律，并对每个欧盟成员国具有约束力。

GDPR适用于所有的个人数据处理，无论是由在欧盟内有机构的组织，还是在向欧盟内的个人提供商品服务或监控欧盟内欧盟居民行为时处理欧盟居民个人数据的组织。个人数据是指与已识别或可识别的自然人有关的任何资料。

GDPR带来的变化

GDPR试图在欧盟成员国之间建立个人数据安全处理、使用和交换的一致性。机构必须通过实施和定期检查适用于处理个人资料的技术和组织措施，以及合规政策，证明其所处理的资料是安全的，并持续遵守。欧盟监管当局可以对违反GDPR的行为处以最高2000万欧元的罚款，相当于全球年营业额的4%，以两者中较高的金额为准。

AWS为GDPR做的准备

AWS遵从性和安全专家与世界各地的客户合作，解答他们的问题，并帮助他们在GDPR下在云中运行工作负载。这些团队还根据GDPR的要求审查AWS的职责。“我们可以确认所有AWS服务都可以按照GDPR来使用。”

AWS数据处理附录(DPA)

AWS提供了符合GDPR的数据处理附录(GDPR DPA)，使客户能够遵守GDPR的合同义务。AWS的GDPR DPA并入AWS的服务条款，并自动适用于全球所有要求其遵守GDPR的客户。

AWS在GDPR下的角色

在GDPR下，AWS既可以是数据处理角色，也是数据控制角色。

作为数据处理器：

当客户和AWS解决方案提供商使用AWS服务处理其内容中的个人数据时，AWS充当一个数据处理器。客户和AWS解决方案提供商可以使用AWS服务中提供的控件(包括安全配置控件)来处理个人数据。在这种情况下，客户或AWS解决方案提供商可以充当数据控制器或数据处理器，而AWS充当数据处理器或子处理器。符合AWS gdpr的数据处理附录(DPA)包含AWS作为数据处理器的承诺。

作为数据控制器：

当AWS收集个人数据并确定处理该个人数据的目的和方法时，它扮演着数据控制器的角色。例如，AWS将帐户信息存储为一个数据控制器，用于帐户注册、管理、服务访问、客户联系和支持。

根据第32条，控制和处理被要求“执行适当的技术和组织措施”，考虑“执行的技术和成本，处理的性质、范围、背景和目的，以及对自然人的权利和自由的不同可能性和严重程度的风险”。《GDPR》就可能需要采取何种保安措施提供了具体建议，包括:

  • 个人资料的加密;
  • 能够确保处理系统和服务的持续机密性、完整性、可用性和弹性;
  • 在发生物理或技术事故时，能够及时恢复提供和查阅个人资料;
  • 定期测试、评估和评估技术和组织措施的有效性，以确保处理的安全性的过程;

安全责任共担模型

安全性和遵从性是AWS和客户之间的共同责任。当客户将其计算机系统和数据转移到云时，安全责任由客户和云服务提供商共同承担。当客户迁移到AWS云时，AWS负责保护支持云的底层基础设施的安全，而客户则负责他们放在云中或连接到云中的任何东西。这种责任的区分通常称为云安全与云中的安全。

这个模型可以帮助减轻客户的操作负担，并为他们提供必要的灵活性和控制权，以便在AWS云中部署其基础设施。AWS操作、管理和控制基础设施组件，从主机操作系统和虚拟化层，到服务运行所在设施的物理安全性。客户负责管理客户操作系统(包括更新和安全补丁)、其他相关应用程序软件以及AWS提供的安全组防火墙的配置。更多信息，可参考AWS责任共担模型。

健壮的合规框架和安全标准

根据GDPR，适当的技术和组织措施可能需要包括“确保处理系统和服务的持续机密性、完整性、可用性和弹性的能力”，以及可靠的恢复、测试和整体风险管理流程。

 

AWS合规计划

AWS遵从性使客户能够了解AWS为维护AWS云中的安全和数据保护而采取的强大控制措施。当系统在AWS云中构建时，遵从性责任将被共享。通过将聚焦治理、友好审计的服务特性与适用的遵从性或审计标准捆绑在一起，AWS的合规性服务包括：AWS Config, AWS CloudTrail, AWS Identity and Access Management, Amazon GuardDuty, and AWS Security Hub,都建立在传统程序之上，这些程序帮助客户建立并在AWS安全控制的环境中运行。AWS为客户提供的IT基础设施是按照安全最佳实践和各种IT安全标准设计和管理的，包括:

  • SOC 1/SSAE 16/ISAE 3402 (formerly SAS 70)
  • SOC 2
  • SOC 3
  • FISMA, DIACAP, and FedRAMP
  • DoD SRG
  • PCI DSS Level 1
  • ISO 9001 / ISO 27001
  • ITAR
  • FIPS 140-2
  • MTCS Tier 3

此外，AWS平台提供的灵活性和控制能力使客户能够部署满足几个特定行业标准的解决方案。

AWS通过白皮书、报告、认证、认证和其他第三方认证向客户提供了关于其IT控制环境的广泛信息。有关更多信息，请参考Amazon Web服务:风险和合规白皮书

云计算遵从性控制目录C5

云计算遵从性控制目录(C5)是德国政府支持的认证方案，由德国联邦信息安全办公室(BSI)引入。它的创建是为了帮助组织在德国政府对云提供商的安全建议的背景下，展示针对常见网络攻击的运行安全性。

数据保护的技术和组织措施和信息安全措施目标数据安全，以确保机密性、完整性和可用性。C5定义了与数据保护相关的安全需求。AWS客户和他们的合规顾问可以使用C5认证来了解AWS提供的IT安全保障服务范围，因为他们将工作负载转移到云上。C5添加了相当于IT-Grundschutz的监管定义IT安全级别，并添加了特定于云的控制。

C5增加了更多的控制，以提供与数据位置、服务供应、管辖地点、现有认证、信息公开义务和全面服务描述相关的信息。使用这些信息，您可以评估法律法规(如数据隐私)、您自己的政策或威胁环境与您使用云计算服务的关系。

CISPE行为准则

GDPR考虑通过CISPE帮助控制器和处理器证明符合法规。正在等待欧盟数据保护当局正式批准的此类准则之一是CISPE云基础设施服务提供商行为准则。该守则让客户放心，他们的云提供商使用了适当的数据保护标准，这与GDPR是一致的。

以下是准则的几个主要好处:

明确谁负责数据保护的哪些方面——该准则解释了GDPR下云提供商和客户的角色，特别是在云基础设施服务的上下文中。

定义供应商必须遵守的原则——本准则在GDPR中制定了关键原则，明确供应商应采取的行动和承诺，以证明他们遵守了GDPR并帮助客户遵守。客户可以在他们自己的遵从性和数据保护策略中使用这些具体的好处。

为客户提供必要的隐私和安全信息，以帮助他们实现其合规目标——该准则要求供应商对其履行隐私和安全承诺所采取的步骤透明。其中一些步骤包括隐私和安全保障措施的实施、数据泄露的通知、数据删除和第三方子处理的透明度。所有这些承诺都由第三方、独立监测机构核查。客户可以使用这些信息来充分理解所提供的高级别安全性

在发布时，AWS已经注册了Amazon EC2、Amazon S3、Amazon RDS、AWS IAM、AWS CloudTrail和Amazon EBS，它们完全符合该准则。有关更多信息，请参见CISPE公共注册。这为AWS客户提供了额外的保证，当他们使用AWS时，他们可以在一个安全、安全和兼容的环境中控制他们的数据。AWS遵守该准则，增加了AWS已获得的国际公认的认证和认可名单。这包括ISO 27001, ISO 27018, ISO 9001, SOC 1, SOC 2, SOC 3, PCI DSS Level 1，等等。

数据访问控制

GDPR第25条规定，数据处理“须实施适当的技术及组织措施，以确保在默认情况下，只处理业务涉及到的所必需的个人资料”。以下AWS访问控制机制可以帮助客户满足这一要求，只允许授权的管理员、用户和应用程序访问AWS资源和客户数据。

 

身份和访问管理

当您创建AWS帐户时，将自动为您的AWS帐户创建一个根用户帐户。该用户帐户可以完全访问AWS帐户中的所有AWS服务和资源。您不应该将此帐户用于日常任务，而应该仅将其用于最初创建附加角色和用户帐户以及需要它的管理活动。AWS建议您从一开始就应用最少特权原则:为不同的任务定义不同的用户帐户和角色，并指定完成每个任务所需的最小权限集。这种方法是对GDPR中引入的一个关键概念进行调优的机制:设计的数据保护。AWS身份和访问管理(IAM)是一个web服务，您可以使用它来安全地控制对AWS资源的访问。

用户和角色定义具有特定权限的IAM身份。使用IAM角色，您可以允许任何用户执行特定的任务，以便为角色会话使用临时凭据。您可以使用IAM角色安全地为运行在Amazon EC2中的应用程序提供访问其他AWS资源(如Amazon S3 bucket、Amazon RDS或DynamoDB数据库)所需的凭据。

STS实现临时访问凭证

您可以使用AWS安全令牌服务(AWS STS)来创建和向受信任的用户提供临时安全凭据，以授予对AWS资源的访问权。临时安全凭证与您为您的IAM用户提供的长期访问密钥凭证的工作原理几乎相同，但有以下区别:

  • 临时安全凭据用于短期使用。您可以配置它们的有效时间，从几分钟到几个小时不等。临时凭证过期后，AWS不识别它们，也不允许使用它们发出的API请求进行任何类型的访问。
  • 临时安全凭据没有存储在用户帐户中。相反，它们是动态生成的，并在用户请求时提供给用户。当(或之前)临时安全凭证过期时，用户可以请求新的凭证(如果该用户有这样做的权限)。

多因子认证

为了获得额外的安全性，可以向您的帐户和单个用户帐户添加双因素身份验证。启用多因素身份验证(MFA)后，当您登录到AWS网站时，系统会提示您输入用户名和密码(第一个因素)，以及来自AWS MFA设备的身份验证响应(第二个因素)。您可以为您的AWS帐户和您在帐户中创建的个人IAM用户启用MFA。您还可以使用MFA来控制对AWS服务api的访问。

访问AWS资源

为了实现对AWS对象的细粒度访问，可以为不同的人针对不同的资源授予不同级别的权限。例如，您可以只允许部分用户完全访问Amazon Elastic Compute Cloud (Amazon EC2)、Amazon Simple Storage Service (Amazon S3)、Amazon DynamoDB、Amazon Redshift和其他AWS服务。

对于其他用户，您可以只允许只读访问一些Amazon S3 bucket，只允许管理一些Amazon EC2实例，或者只允许访问您的账单信息。

访问操作和配置数据

您可以使用AWS Systems Manager查看和管理AWS基础设施的操作。您可以审计和强制对定义状态的遵从性。AWS Systems Manager Parameter Store可以集中管理数据定义参数。这使您能够实现对参数数据的粒度访问，无论参数数据是纯文本数据(如数据库字符串)还是机密数据(如密码)。您可以通过定制用户和资源(例如实例)的权限来提供这种访问控制，以便进行参数访问和使用与IAM的集成。例如，在开发环境中，凭证通常是硬编码的。您可以使用参数存储来保存密码，并允许开发人员使用AWS API get-parameter参数访问凭据，而不是硬编码凭据。

另一个用于保护访问应用程序、服务和IT资源所需的密钥的可用选项是AWS secrets Manager。该服务使您能够在数据库凭据、API密钥和其他秘密的整个生命周期中轻松地轮换、管理和检索它们。用户和应用程序通过调用secrets Manager api来检索密钥信息，从而消除了用纯文本硬编码敏感信息的需要。Secrets Manager为Amazon RDS、Amazon Redshift和Amazon DocumentDB提供了内置集成的密钥轮换。

区域限制

你可以使用地理限制——也被称为地理锁定——来阻止特定地理位置的用户访问你通过AWS CloudFront网络发布的内容。使用地理限制有两种选择:

CloudFront地理限制特性——选择此选项可以限制访问与CloudFront分发版相关的所有文件，并限制国家级别的访问。

第三方地理定位服务——选择此选项将限制对与某个发行版关联的文件子集的访问，或将访问限制在比国家级别更细的粒度级别。

除了这两个选项之外，新推出的区域还存在地理限制能力。而在2019年3月20日之前引入的AWS区域是默认启用的。2019年3月20日以后推出的地区，如亚太(香港)和中东(巴林)，将被默认禁用。在使用这些区域之前，必须先启用它们。如果默认情况下AWS区域是禁用的，您可以使用AWS管理控制台启用和禁用该区域。启用和禁用AWS区域允许您控制AWS帐户中的用户是否可以访问该区域中的资源。

控制对应用程序的访问

AWS提供了在其应用程序中管理数据访问控制的服务。如果你需要在你的网络应用程序和移动应用程序中添加用户登录和访问控制功能，你可以使用Amazon Cognito。Amazon Cognito用户池提供了一个安全的用户目录，可扩展到数亿用户。为了保护用户的身份，可以在用户池中添加多因素身份验证(MFA)。您还可以使用自适应身份验证，它使用基于风险的模型来预测何时可能需要另一个身份验证因素。

使用Amazon Cognito，你可以看到谁访问了你的资源，以及访问的来源(移动应用程序或网络应用程序)。您可以使用此信息创建基于访问源类型(移动应用程序或web应用程序)允许或拒绝访问资源的安全策略。

监控和日志记录

GDPR第30条规定，“每名控制器和控制器的代表(如适用)应保存其所负责的处理活动的记录”。本文还详细介绍了在监控所有个人资料的处理过程中必须记录哪些信息，这是GDPR的要求。控制器和处理器也需要及时发送泄露通知，因此快速检测事件非常重要。为了帮助客户遵守这些义务，AWS提供了以下监视和日志记录服务。

使用AWS Config管理和配置资产

AWS Config提供AWS帐户中AWS资源配置的详细视图。这包括资源是如何相互关联的，以及它们以前是如何配置的，这样您就可以看到配置和关系是如何随时间变化的。

AWS资源是可以在AWS中使用的实体，例如Amazon Elastic Compute Cloud (EC2)实例、Amazon Elastic Block Store (EBS)卷、安全组或Amazon Virtual Private Cloud (VPC)。

使用AWS配置，您可以完成以下操作:

  • 评估AWS资源配置，以验证设置是否正确。
  • 获取与AWS帐户相关联的受支持资源的当前配置的快照。
  • 获取帐户中存在的一个或多个资源的配置。
  • 获取一个或多个资源的历史配置。
  • 在创建、修改或删除资源时获得通知。
  • 资源之间的关系。例如，您可能希望找到使用特定安全组的所有资源。

使用AWS CloudTrail进行合规审计

使用AWS CloudTrail，您可以持续监控AWS帐户的活动。捕获帐户的AWS API调用历史，包括通过AWS管理控制台、AWS sdk、命令行工具和高级AWS服务进行的API调用。您可以确定哪些用户和帐户为支持CloudTrail的服务调用AWS api，调用的源IP地址，以及调用发生的时间。您可以使用该API将CloudTrail集成到应用程序中，为您的组织自动创建踪迹，检查踪迹的状态，以及控制管理员启用和禁用CloudTrail日志的方式。您可以在Amazon S3 bucket中组织和存储CloudTrail日志，以用于审计或故障排除活动。

AWS CloudTrail日志也可以触发预先配置的Amazon CloudWatch事件。您可以使用这些事件来通知用户或系统某个事件已经发生，或进行补救操作。例如，如果您想要监视Amazon EC2实例上的活动，您可以创建一个CloudWatch事件规则。当一个特定的活动在Amazon EC2实例上发生并且事件在日志中被捕获时，规则会触发一个AWS Lambda函数，它会向管理员发送关于该事件的通知电子邮件(事件发生的时间、执行该动作的用户、Amazon EC2详细信息等)。

日志记录与分析

当启用日志记录时，您可以获得对Amazon S3 bucket发出的请求的详细访问日志。访问日志记录包含有关请求的详细信息，例如请求类型、请求中指定的资源以及处理请求的时间和日期。

服务器访问日志对许多应用程序都很有用，因为它们让bucket所有者了解客户机请求的性质，而这些请求不受它们的控制。默认情况下，Amazon S3不收集服务访问日志，但是当您启用日志记录时，Amazon S3每小时向您的存储库提供访问日志。

这些信息包括:

访问Amazon S3对象的粒度日志记录

通过VPC-Flow日志了解网络中流的详细信息

基于AWS Config Rules的配置验证和操作

过滤和监控CloudFront中对具有WAF功能的应用程序的HTTP访问

日志也是用于威胁检测的有用信息源。Amazon GuardDuty分析AWS CloudTrail、VPC流日志和AWS DNS的日志，这使您能够持续监控AWS帐户和工作负载。该服务使用机器学习、威胁智能和异常检测，以便在任何时候记录恶意活动或未经授权的行为时发出详细的、可操作的警报。

集中的安全管理

许多组织都面临着与环境的可见性和集中管理相关的挑战。随着操作足迹的增长，除非仔细考虑安全设计，否则这个挑战会变得更加复杂。缺乏知识，再加上对治理和安全流程的分散和不均衡管理，可能会使您的环境变得脆弱。

AWS提供了帮助您解决IT管理和治理中一些最具挑战性的需求的工具，以及支持通过设计方法进行数据保护的工具。

AWS Control Tower提供了一种简单的方法来设置和管理一个新的、安全的、多帐户的AWS环境。它自动化了landing zone的设置，这是一个基于最佳实践蓝图的多帐户环境，并支持使用护栏进行治理，您可以从预先打包的列表中选择护栏。护栏为安全性、遵从性和操作实现治理规则。AWS Control Tower使用AWS单点登录(SSO)默认目录提供身份管理，并使用AWS SSO和AWS IAM支持跨帐户审计。它还集中来自Amazon CloudTrail和AWS Config日志的日志，这些日志存储在Amazon S3中。

AWS Security Hub是另一个支持集中化的服务，可以提高对组织的可见性。Security Hub集中并优先处理安全和来自AWS帐户和服务的遵从性发现，并且可以与第三方合作伙伴的安全软件集成，以帮助您分析安全趋势并确定最高优先级的安全问题。

Amazon CloudWatch Events允许您设置自己的AWS账户，向其他AWS账户发送事件，或者成为来自其他账户或组织的事件的接收者。这种机制对于实现跨帐户事件响应场景非常有用，可以在任何发生安全事件事件时根据需要采取及时的纠正操作(例如，通过调用Lambda函数或在EC2实例上运行命令)。

在AWS上保护您的数据

《GDPR》第32条要求各组织必须“实施适当的技术和组织措施，以确保与风险相适应的安全水平，包括……个人数据的假名和加密……”此外，机构必须防止个人资料在未经授权的情况下被披露或被查阅。

 

加密降低了与储存个人资料有关的风险，因为没有正确的密码匙，资料是无法读取的。一个彻底的加密策略可以帮助减轻各种安全事件的影响，包括您的数据在AWS上的一些安全漏洞。

静态数据加密

对静态数据进行加密对于法规遵从性和数据保护至关重要。它有助于确保保存在磁盘上的敏感数据在没有有效密钥的情况下不能被任何用户或应用程序读取。AWS为静态加密和加密密钥管理提供了多种选项。例如，您可以使用AWS加密SDK和在AWS密钥管理服务(AWS KMS)中创建和管理的客户主密钥(CMK)来加密任意数据。

加密的数据可以安全地静态存储，并且只能由对CMK有授权访问权限的一方解密。因此，您将获得机密的信封加密数据、用于授权和经过身份验证的加密的策略机制，以及通过AWS CloudTrail审计日志记录。一些AWS基础服务具有内置的rest加密特性，可以在将数据写入非易失性存储之前对其进行加密。例如，您可以使用AES-256对Amazon弹性块存储(Amazon EBS)卷进行加密，并为Amazon简单存储服务(Amazon S3)桶配置服务器端加密(SSE)。Amazon关系数据库服务(Amazon RDS)也支持透明数据加密(TDE)。

加密Linux EC2实例存储上的数据的另一种方法是使用内置的Linux库。这种方法透明地加密文件，从而保护机密数据。因此，处理数据的应用程序不知道磁盘级加密。

可以使用两种方法加密实例存储库上的文件。第一种方法是磁盘加密，使用一个或多个加密密钥对整个磁盘或磁盘中的块进行加密。磁盘加密在文件系统级别以下操作，与操作系统无关，它隐藏了目录和文件信息，比如名称和大小。加密文件系统，例如，是微软对Windows NT操作系统的新技术文件系统(NTFS)的扩展，提供磁盘加密。

第二种方法是文件系统级加密。使用这种方法，文件和目录会被加密，但不会加密整个磁盘或分区。文件系统级加密在文件系统之上操作，可以跨操作系统移植。对于非易失性存储器标准(NVMe) SSD实例存储卷，加密是默认选项。NVMe实例存储中的数据使用在实例上的硬件模块中实现的XTS-AES-256块密码进行加密。加密密钥是使用硬件模块生成的，并且对每个NVMe实例存储设备都是唯一的。当实例停止或终止并且无法恢复时，所有加密密钥都将被销毁。您不能使用自己的加密密钥。

传输数据加密

AWS强烈建议对从一个系统传输到另一个系统的数据进行加密，包括AWS内部和外部的资源。

当您创建AWS帐户时，AWS云的一个逻辑隔离部分被配给给它，即Amazon虚拟私有云(Amazon VPC)。在那里，您可以在您定义的虚拟网络中启动AWS资源。您可以完全控制虚拟网络环境，包括选择自己的IP地址范围、创建子网以及配置路由表和网络网关。您还可以在您的企业数据中心和您的Amazon VPC之间创建一个硬件虚拟专用网(VPN)连接，这样您就可以使用AWS云作为企业数据中心的扩展。

为了保护您的Amazon VPC和您的企业数据中心之间的通信，您可以从几个VPN连接选项中进行选择，并选择一个最符合您需要的选项。您可以使用AWS客户机VPN来启用使用基于客户机的VPN服务对AWS资源的安全访问。您还可以使用第三方软件VPN设备，您可以将其安装在Amazon VPC中的Amazon EC2实例上。或者，您可以创建一个IPsec VPN连接来保护VPC和远程网络之间的通信。要创建从远程网络到Amazon VPC的专用私有连接，可以使用AWS Direct Connect。您可以将这个连接与AWS站点到站点的VPN结合起来，创建一个ipsec加密的连接。

AWS提供使用TLS(传输层安全)协议进行通信的HTTPS端点，当您使用AWS api时，TLS协议提供传输中的加密。您可以使用AWS证书管理器(ACM)服务生成、管理和部署用于在系统之间为工作负载建立加密传输的私有和公共证书。Amazon ELB与ACM集成，用于支持HTTPS协议。如果您的内容是通过Amazon CloudFront发布的，那么它支持加密的端点。

加密工具

AWS提供各种高度可伸缩的数据加密服务、工具和机制，以帮助保护您在AWS上存储和处理的数据。有关AWS服务功能和隐私的信息，请参见AWS服务功能中的隐私考虑7。

AWS的加密服务使用广泛的加密和存储技术，旨在维护静止或传输中的数据的完整性。AWS提供了四种主要的加密操作工具。

  • AWS密钥管理服务(AWS KMS)是AWS管理的服务，可生成和管理主密钥和数据密钥。AWS KMS与许多AWS服务集成，使用来自客户帐户的KMS密钥提供数据的服务器端加密。KMS硬件安全模块(HSMs)经过FIPS 140-2级认证。
  • AWS CloudHSM提供经过FIPS 140-2 Level 3验证的HSMs。它们安全地存储各种自管理的加密密钥，包括主密钥和数据密钥。
  • AWS加密服务和工具
  • AWS Encryption SDK提供了一个客户端加密库，用于实现对所有类型数据的加密和解密操作。
  • Amazon DynamoDB Encryption Client提供了一个客户端加密库，用于在将数据表发送到数据库服务(如Amazon DynamoDB)之前加密数据表。

 

AWS密钥管理服务

AWS密钥管理服务(AWS KMS)是一种托管服务，可以让您轻松创建和控制用于加密数据的加密密钥，并使用硬件安全模块(HSMs)保护密钥的安全性。AWS KMS与其他几个AWS服务集成，以帮助您保护存储在这些服务中的数据。AWS KMS还与AWS CloudTrail集成，为您提供所有关键使用的日志，以满足您的监管和遵从需求。

您可以轻松地创建、导入和轮换密钥，还可以通过AWS管理控制台或使用AWS SDK或AWS命令行接口(AWS CLI)定义使用策略和审核使用情况。

AWS km中的主密钥，无论是由您导入的还是由AWS km代表您创建的，都被称为客户主密钥(CMKs)，它们以加密格式存储在高持久性存储中，以帮助确保在需要时可以使用它们。您可以选择让AWS KMS每年自动轮换一次在AWS KMS中创建的CMKs，而不必重新加密已经使用主密钥加密的数据。您不需要跟踪CMKs的旧版本，因为AWS KMS使它们可用来自动解密以前加密的数据。

对于KMS中的任何CMK，您可以通过一系列访问控制(包括授予)和关键策略或IAM策略中的关键策略条件来控制谁有权访问这些密钥，以及可以与哪些服务一起使用这些密钥。您还可以从您自己的密钥管理基础设施导入密钥，并在km中使用它们。

 

AWS服务集成

AWS KMS已经集成了许多AWS服务(在撰写本文时已超过50个)。这些集成允许您轻松地使用AWS KMS CMKs来加密存储在这些服务中的数据。除了使用客户管理的CMK之外，许多集成服务还允许您使用AWS管理的CMK，该CMK是为您自动创建和管理的，但只能在创建它的特定服务中使用。

 

审计功能

如果AWS CloudTrail为您的AWS帐户启用了，那么您存储在KMS中的每个密钥的使用都会记录在一个日志文件中，该日志文件被发送到您启用AWS CloudTrail时指定的Amazon S3存储桶中。记录的信息包括用户、时间、日期和使用的密钥的详细信息。

 

安全

AWS km的设计目的是确保没有人能够访问您的主密钥。该服务构建在使用广泛的强化技术来保护主密钥的系统上，例如决不将明文主密钥存储在磁盘上，不将它们持久存储在内存中，以及限制哪些系统可以访问使用密钥的主机。在服务上更新软件的所有访问由多方访问控制，该访问控制由亚马逊内部的一个独立小组审核。

AWS CloudHSM

AWS CloudHSM服务通过在AWS云中使用专用硬件安全模块(HSM)设备，帮助您满足企业、合同和法规对数据安全的遵从性要求。使用CloudHSM，您可以控制由HSM执行的加密密钥和加密操作。

AWS和AWS市场合作伙伴为保护AWS平台内的敏感数据提供了各种解决方案，但对于需要严格管理加密密钥的合同或监管要求的应用程序和数据，有时需要额外的保护。以前，存储敏感数据(或保护敏感数据的加密密钥)的唯一选择可能是在本地数据中心中。这可能会阻止您将这些应用程序迁移到云上，或者显著降低它们的性能。使用AWS CloudHSM，您可以在按照政府安全密钥管理标准设计和验证的HSMs中保护您的加密密钥。您可以安全地生成、存储和管理用于数据加密的加密密钥，以确保只有您可以访问它们。AWS CloudHSM帮助您在不牺牲应用程序性能的情况下遵守严格的密钥管理要求。

AWS CloudHSM服务与亚马逊虚拟私有云(Amazon VPC)协同工作。CloudHSM实例在您的Amazon VPC中使用您指定的IP地址提供，它提供到您的Amazon Elastic Compute Cloud (Amazon EC2)实例的简单的私有网络连接。当您将CloudHSM实例定位到Amazon EC2实例附近时，可以减少网络延迟，从而提高应用程序性能。AWS提供了对CloudHSM实例的专用和独占(单一租户)访问，这些实例与其他AWS客户隔离。CloudHSM可用于多个区域和可用性区域，使您能够向应用程序添加安全和持久的密钥存储

 

与AWS服务和第三方应用程序集成

您可以将CloudHSM与Amazon Redshift、Amazon关系数据库服务(Amazon RDS)用于Oracle，或将第三方应用程序(如SafeNet Virtual KeySecure)作为您的信任根，Apache (SSL终止)或Microsoft SQL Server(透明数据加密)一起使用。当您编写自己的应用程序并继续使用您熟悉的标准加密库(包括PKCS#11、Java JCA/JCE、Microsoft CAPI和CNG)时，您也可以使用CloudHSM。

审计活动

如果您需要跟踪资源变化，或者出于安全和遵从性的目的而审计活动，那么您可以通过AWS CloudTrail检查您的帐户发出的所有CloudHSM API调用。此外，您可以使用syslog审计HSM设备上的操作，或者将syslog日志消息发送到您自己的日志收集器。

 

AWS加密服务和工具

AWS提供了符合各种加密安全标准的机制，您可以使用这些标准来实现最佳实践的加密。AWS加密SDK是一个客户端加密库，可用Java、Python、C、JavaScript和支持Linux、macOS和Windows的命令行接口。AWS加密SDK提供高级数据保护功能，包括安全的、经过身份验证的对称密钥算法套件，比如带有密钥派生和签名的256位AES-GCM。因为它是专门为使用Amazon DynamoDB的应用程序设计的，所以DynamoDB加密客户端允许用户在将表数据发送到数据库之前保护其数据。它还在检索数据时验证和解密数据。客户机有Java和Python两种版本。

Linux DM-Crypt基础设施

Dm-crypt是一种Linux内核级加密机制，允许用户挂载加密的文件系统。挂载文件系统的过程是将文件系统附加到一个目录(挂载点)，从而使其对操作系统可用。挂载之后，文件系统中的所有文件对应用程序都可用，无需任何额外的交互。然而，这些文件在存储在磁盘上时是加密的。

Device mapper是Linux 2.6和3中的一个基础设施。提供了创建块设备虚拟层的通用方法。device mapper crypt target使用kernel crypto API对块设备进行透明加密。本文中的解决方案将dm-crypt与一个由逻辑卷管理器(logical volume Manager, LVM)映射到逻辑卷的磁盘备份文件系统结合使用。LVM为Linux内核提供逻辑卷管理。

数据保护的设计&初始化
每当用户或应用程序尝试使用AWS管理控制台、AWS API或AWS CLI时，就会向AWS发送一个请求。AWS服务接收请求，并根据特定的策略评估逻辑执行一组步骤来确定是否允许或拒绝请求。默认情况下，AWS上的所有请求都被拒绝(应用默认的拒绝策略)。这意味着策略不明确允许的所有内容都被拒绝。在策略定义和最佳实践中，AWS建议应用最小特权原则，这意味着每个组件(如用户、模块或服务)必须只能访问完成其任务所需的资源。

 

这一办法符合《GDPR》第25条，该条规定，数据处理“须实施适当的技术及组织措施，以确保在默认情况下，只处理业务涉及到的所必需的个人资料”。

AWS还提供了以代码的形式实现基础设施的工具，这是一种强大的机制，可以从体系结构设计的一开始就包含安全性。AWS CloudFormation提供了一种通用语言来描述和提供所有基础设施资源，包括安全策略和流程。用这些工具和实践,安全成为代码的一部分,可以版本,监控,和修改(版本控制系统)根据组织的需求这使设计方法的数据保护,因为安全流程和策略可以包含在您的体系结构的定义,也可以不断监测组织的安全措施。

AWS服务能力服务清单

原文来自：

https://d1.awsstatic-china.com/whitepapers/compliance/GDPR_Compliance_on_AWS.pdf

如需进一步协助或服务，请留言，泰岳云业务会提供自动化工具及专业服务。