月度归档: 2020年1月

单点系统在AWS环境中的高可用优化

背景

应用迁移到AWS公有云,通常我们使用ELB实现应用高可用与负载均衡,实际存在部分负载不大,通过EIP发布的应用,如果应用所在EC2出现故障或者可用区出现故障时,应用不可用。本文介绍了使用AWS服务实现上述场景下应用高可用的方法。

原理

通过EC2自身状态检查功能实现EC2的终止操作。

通过AutoScaling功能实现EC2节点数监控,启动新的EC2实例。

步骤

1. 创建一个IAM角色,可执行ec2 CLI的命令;

2. 创建EC2,具有步骤1中IAM角色,部署应用后,绑定EIP;

3. EC2上创建一个脚本,增加执行脚本到rc.local文件中,实现开机自动绑定EIP,内容如下:

#!/bin/bash

instanceid=`curl 52.83.57.155//169.254.169.254/latest/meta-data/instance-id`

aws configure set region cn-northwest-1 –profile user1

export AWS_DEFAULT_PROFILE=user1

aws ec2 associate-address –instance-id $instanceid –allocation-id eipalloc-090bf95cf8d916786

替换加粗字体部分为实际EIP ID

4. 测试无问题后,用上述EC2制作AMI镜像文件(每次应用升级制作新的AMI镜像);

5. 配置EC2 系统状态检查 VS 实例状态检查,当状态异常时,执行终止实例操作;

6. 基于步骤4制作的AMI创建启动配置,具备步骤1中的角色;

7. 使用步骤6的启动配置增加Auto Scaling 组,子网指定多可用区多子网,组大小为1;

8. 将当前EC2增加到步骤7中的Auto Scaling 组,配置完成。

 

上述配置完成后,当EC2状态异常或者可用区状态异常时,实现应用分钟级的自动化故障切换,增加应用的高可用性。

陈汉卿

云业务事业部 | 高级系统架构师

神州泰岳软件股份有限公司·AWS战略合作伙伴

AWS Solution Provider | Migration | DevOps | Cloud Management Tools(CMT) ISV Partner

在 AWS 上构建安全的电商平台

电商已经深入生活的方方面面,电商平台作为直接面对消费者的业务平台,处理着大量的个人敏感数据,包括姓名,住址,电话号码,银行卡号等等。同时电商平台要维持24小时的运营,任何原因导致的业务中断都可能会造成订单的损失,用户体验下降等等。又由于平台面对的消费者通常来自于不同的国家和地区,这就使得电商平台要适应不同区域的合规要求。

电商平台的安全合规具有行业特性,例如在产品的设计阶段(例如服装)就要特别注意信息的保密,在促销季,新品发布季就要特别注重网络的 DDoS 防护 ,售后发货则要保护用户的个人信息。

构建安全合规的电商平台是迫在眉睫,重中之重,AWS 提供了相对应的解决方案。与AWS 其他云服务一样,AWS 安全服务同样具备敏捷性,可扩展性和经济实用性。主要体现在可安全地扩展业务,自动化布署,隐私保护和数据安全为第一任务,丰富的合作伙伴网络,以及全球化的合规认证。

         AWS 提供的安全服务和管理工具服务已经多达38种,并且还在持续不断地根据用户的需求和实际发生的安全事件进行创新。从身份认证开始,到资源保护,再到危胁入倾检测,合规检测,最后是根据系统异常进行纠正,AWS提供了丰富的安全服务和管理工具。

以下从电商平台外部,内部,合规,日常管理和反欺诈五个场景来展开,将AWS的安全服务应用到这五个场景中去。

系统外部的安全。对VPC外围的环境来说,电商平台需要关注的安全问题包括DDoS攻击,非法扫描攻击,账户盗用,存储桶入侵等。

在DDoS防护方面,AWS提供了AWS Shield和AWS WAF两种服务。

由于疫情的影响, 导致线上活动的时间和频率都明显增加,人们更喜欢在网上游戏,交友,办工以及购物,因而线上活动更容易成为DDoS攻击的目标。下表总结了AWS Shield在2020年第一季度检测到的威胁事件,并与2019年第四季度和2019年第一季度进行了比较,我们可以从环比和同比的角度去看整个攻击事件的变化。所有被 AWS Shield检测为DDoS攻击的网络事件,AWS Shield都会自动采取缓解保护措施。通常针对攻击类型,资源状况进行检测。

参数                  2019年四季度     2020年一季度    变化情况                                        

攻击事件总数 282,582 310,954 +10%
容量攻击峰值(Tbps) 0.6 2.3 +283%
     数据包攻击峰值(Mpps) 282.2 293.1 +4%
请求攻击峰值(rps) 1,585,615 694,201 -56%

表1.  比较 2019四季度 和2020一季度

参数           2019年一季度                2020年一季度   变化情况                                            

攻击事件总数 253,231 310,954 +23%
容量攻击峰值(Tbps) 0.8 2.3 +188%
     数据包攻击峰值(Mpps) 260.1 293.1 +13%
请求攻击峰值(rps) 1,000,414 694,201 -31%

2.  比较 2019一季度 和2020一季度

在2020年第一季度,AWS观察到之前未出现过的攻击峰值2.3Tbps,这是通过一个已知的UDP反射攻击–CLDAP反射达到的。这比先前在AWS上检测到的历史攻击峰值加了将近44%。 如此大规模的CLDAP反射攻击发生在2020年2月的第三周,AWS针对此次攻击采取了最高级别响应,最终成功防御了此次攻击。

针对应用层的攻击,AWS提供了WAF服务,并为用户提供了简易上手的自动化布署模板,用户可根据此模板加载相关规则,设置白名单,黑名单,SQL注入防护等规则,该服务还提供了蜜罐功能用于反爬虫和恶意机器人。同时可使用AWS Athena对WAF日志进行分析,再根据分析结果去更新规则。值得一提的是,用户除了可以使用AWS提供的托管规则,或自定义规则外,用户还可以在Marketplace上选用第三方的规则并加载到WAF上,以此来实现多WAF规则的布署。

在应对外部的安全危胁时,电商平台用户可以通过Amazon GuardDuty 威胁检测功能来持续监控和保护 AWS 账户、工作负载以及 Amazon S3 中存储的数据。特别是对于存放用户敏感数据 ,交易信息,产品设计文稿的S3,更加应该注意非授权的访问,非授权的外部分享,恶意IP的访问等。

系统内部的安全。在VPC内部,安全的问题就集中在访问控制,网络和实例的安全以及数据的保护和备份。在今年,频频出现数据泄露,数据被恶意删除等事件,电商平台处理的数据多且集中。数据的安全,需要在以下四个维度做好功课,访问控制,审计,加密和备份。AWS在这四个维度都提供了相应的服务供用户使用。

          以访问凭证的管理为便,在日常工作中,凭证管理容易出现各种疏忽,比如用邮件传送相关凭证,开发者可以看到或者共享相关凭证,凭证的管理杂乱无序,对凭证的使用没有跟踪记录,缺乏可见性,凭证的产生和获得完全依靠安全团队,耗费时力,凭证轮换会影响系统运行的稳定性。 这时可以通过AWS  Secrets Manager进行管理,获取和轮换凭证, 解决凭证明文使用的问题,可以更频繁地进行轮换更新,实现程序化地运行,减少人工参与,同时可审计并追溯凭证使用的情况。

对于内部的网络可到达性和实例的安全性,AWS提供了Inspector服务,在网络层面 可以检测到具体哪个端口在哪条路径被打开,以及正在被哪个进程以什么样的方式使用,在实例层面,可以检测到CVE漏洞,并告知用户可能产生的影响,以及推荐的改进措施。

数据是一切安全合规的本源,对数据进行分类并保护是所有合规的基础。随着业务的发展,生产数据越来越多,各个国家和地区对敏感数据的定义也越来越广,同时数据分布也越来越分散,这一切都使得对敏感数据的识别和保护变更日益重要,特别是电商行业用户。AWS Macie根据现行的GDPR, PCI,HIPAA等合规要求定义出了敏感数据的类型,包括个人信息,家庭信息,健康信息,同时也支持用户自定义敏感信息,AWS Macie可以根据预置的和自定义的敏感数据规则进行分类筛选,并根据发掘出来的数据类型提供不同的保护建议。

对于已经查找出来的敏感数据 ,AWS提供了不同的加密服务,包括ACM, KMS, CloudHSM来满足不同的加密场景,例如传输加密,存储加密,数据库加密和应用加密。


安全合规的风险。安全合规除了应关注具体的合规认证审计之外,也应该关注对整 体运行环境的持续性安全合规检测。以PCI-DSS为例,如果在通过认证之后,有恶意攻击者对整体环境做了异常的配置或操作,也会导致PCI-DSS不合规。这就需要引入工具来对运行环境做持续性的安全合规检测,并针对异常进行告警并纠正,AWS SecurityHub正正是符合这一需求。

AWS Security Hub 可让用户全面查看 AWS 账户中的高优先级安全警报与合规性状态。借助 Security Hub,可以对来自多个 AWS 服务(如 Amazon GuardDuty、Amazon Inspector 和 Amazon Macie),以及来自 AWS 合作伙伴解决方案的安全警报或检测结果进行聚合、组织和设置优先级。相关检测结果可在具有可操作图形和表格的集成控制面板上进行直观汇总。用户还可以使用自动合规性检查,持续监控运行环境。为提高使用的直观性和便利性,该服务可以根据合规检测的结果进行打分,用户可以直接根据得分情况进行改进。

         AWS还提供了PCI-DSS的最佳实践,同时用户也可以通过AWS Artifact去获取AWS的PCI-DSS证书。

提高安全管理的效率。虽然事关安全无大小,但还是应该简化安全的管理流程,将更多的精力和时间投入到业务创新中去。例如证书的管理,和APP用户的管理,就是耗时耗力的工作。AWS ACM可支持通过邮件或DNS进行认证,证书有效期是13个月,支持全托管的更新和布署,被多个浏览器信任,并且完全免费,非常适用于初创企业,客户也可以导入第三方证书到ACM进行简化管理。 在APP用户管理方面,AWS提供了Cognito,  可结合多种社交应用进行注册登陆,也可以支持对注册账号进行综合的安全认证,例如邮件,电话号码唯一性。Cognito可结合AWS Pinpoint对用户进行分类和分析,并产生分析报告,例如用户的区域,注册时间,消费偏好等。

欺诈。在疫情过后,经济正在逐渐恢复,但也出现了各种网络欺诈事件,包括假合同,虚假信用卡支付等。传统应对欺诈的做法是组织人工团队,并针对已发生的欺诈行为进行总结归纳找到规律,再制订相关规则更新到系统中进行防护,此做法通常会滞后,缺乏实时性。近几年也出现了专门提供反欺诈解决方案的公司,但由于欺诈行为通常发生在不同的行业,例如电商,游戏等,这种方案显得针对性不够。AWS Fraud Detector可以用来解决期诈识别,该服务先构建一个机器学习的模型,同时结合了AWS和AMAZON.COM多年的反欺诈经验,最后允许用户上传历史欺诈交易数据,这三方面的结合就给客户提供了一个可用于识别虚假账户,虚假交易,虚假信用卡的方案。此服务还提供了API, 在用户对某一笔交易存疑时,可以实时调用API进行欺诈评估。

本文转载AWS官方博客《在 AWS 上构建安全的电商平台》

2020年你应该增加哪些IT技能?

 

元旦刚过,大多数挨踢狗的朋友圈并没有被红包刷屏,而是被一张各大公司各种裁人的奇葩说法抢了眼球。很多人在热议:挨踢狗们的冬天真的来了吗?

IT行业的变化是持续的,每年都有新的颠覆性技术进入市场。实际上,即使在那些所谓最好的年代, IT技能的新旧交替也是最快的,那些跟不上的同学往往被转岗或者被淘汰。只是这几年由于企业自身和各种问题,淘汰率不断上升,让这个冬天显得更加寒冷。

在淘汰的同时,很多公司的IT部门仍然在努力寻找更多掌握新技能的人才来满足企业的转型需求。那么掌握哪些新技能才能快速适应要求,以保证在2020年的IT职场立于不败之地呢?

对北美的IT招聘决策者们进行了调查,在《罗伯特哈夫2020薪酬指南》一文中给出了答案。笔者认为值得借鉴。

在的调查中,67%的IT经理表示,他们希望扩大安全、云计算和商业智能团队,其中的89%的人表示,很难成功招募到这些人才。而在人工智能、机器学习、扩展现实(extended reality, XR)和区块链等新技术领域,人才差距则在进一步拉大,而这些技术在人才库中仍然相对罕见。

Robert Half的报告中显示,2020年将有更多的企业拥抱数字转型,以“拉近与客户的距离”。为了应对技能短缺的问题,北美企业除招聘外,另外一个通用的办法则是培训现有员工——这种做法被称为“技能提升”。“很可能你的公司已经有了合格的候选人,他们能够跟上公司成长所需的技术知识。在被调查者中,90%的人表示他们正在进行技能提升,最常见的技能是云计算、安全、项目管理、数据科学、人工智能和机器学习。”

2020年已经来了,你的职业技能路线图规划好了吗?

为什么说S3智能存储应该是100TB以内数据量的客户的默认云存储?

S3 智能存储(S3-INT)可以对客户数据进行自动化 的冷热数据分层,在大幅减少客户对数据进行存储管理操作的同时,轻松实现存储成本最优化。2018年,AWS在全球第一个推出了这项服务并受到客户的广泛欢迎,尤其是那些对自己现有(或将来的)数据活跃度不是很了解、或希望能既省心又省钱的开始使用云存储的客户,这项服务成为了所有这些客户的首选云存储。当然,这个AWS的“武功秘籍”也是其它所有“友商”“一直在追赶,从来没赶上”的AWS服务之一。

之前,S3-INT可以帮助客户在S3标准访问层(S3-STD)和S3非频繁访问层(S3-IA)进行自动化的数据冷热分层,在刚刚过去的re:Invent上,我们宣布S3-INT现在可以扩展支持归档存储(Glacier)和深度归档存储(GDA)了。这也意味着客户现在可以使用S3-INT进行最优化的全生命周期云端数据管理了!

选择了S3-INT,客户再也无需精确了解各部分数据的活跃度,AWS可以帮助客户判读数据活跃度并自动选择最具有成本优势的存储层级;

选择了S3-INT,客户再也无需烧脑的手动调用付费的生命周期转换请求来变更数据存储层级(以节省数据存储成本)了;

选择了S3-INT,客户再也无需付费,就可以回滚访问沉淀到Glacier或GDA的数据了(也就是说在Glacier或GDA里的数据,如果需要被访问,会自动恢复到S3-STD中,不会收取Data retrievals 的费用);

根据我们的经验,国内绝大部分非互联网类型的企业级客户(但并不是说互联网客户不适合使用S3-INT),在总数据量暂时还不是很大的情况下(刚刚开始上云的客户,初始数据总量很多不超过100TB),数据来源和类型却相对较多,专业的数据管理人员也不是很多(甚至还不够专业),他们对现有数据的冷热度也难以非常了解,所以在上云的过程中,因为所有云厂商的对象存储收费逻辑都是按照不同存储层级的数据量和 “数据读写/调用频次”来进行收费,所以客户难以判断并选择最适合自己的云存储方案。如果选择有偏差,反倒会增加存储成本。而AWS的S3-INT正好解决了这些客户的顾虑,智能化的实现了全生命周期数据管理,真正实现“无忧存储”! 我们建议从客户的角度出发,赋能客户快速、省心、省力、省钱的使用AWS云存储(以及与AWS云存储紧密结合的各种云服务),向客户推荐S3-INT为他们的默认存储。

三大云巨头2019年里谁表现最好?

作者Tim Anderson

翻译自:https://www.theregister.co.uk/2020/01/02/amazon_google_microsoft_who_had_the_best_year_in_cloud_in_2019/

2019年,三家科技巨头继续主导云计算,它们都带来了一些有趣的工具,以供击败那些规模较小的参与者。

2019年云市场的大形势没有发生根本变化。三大云服务提供商(如果你考虑阿里巴巴在东亚的增长,也就是四大)都继续以惊人的速度增长。在截至2019年9月30日的季度,AWS收入同比增长34%,微软Azure增长59%。谷歌没有提供该季度的确切数字,但表示:“谷歌的其它收入为64亿美元,同比增长39%,再次受到云计算的推动。”

Gartner在7月表示,AWS占有47.8%的份额,领先于Azure的15.5%和Google的4.0%。Canalys在10月份的排名为 AWS的32.6%,Azure的16.9%和Google的6.9%。多数人似乎都同意,尽管AWS仍在快速增长,但其整体市场份额仅下滑了一点。

AWS仍然是最大的IaaS(基础设施即服务)提供商。多少钱?Gartner在7月表示,AWS占有47.8%的份额,领先于Azure的15.5%和Google的4.0%。Canalys在10月份的排名为 AWS的32.6%,Azure的16.9%和Google的6.9%。多数人似乎都同意,尽管AWS仍在快速增长,但其整体市场份额仅下滑了一点。

分析师Canalys估计云市场份额,2019年10月

分析师Canalys估计云市场份额,2019年10月

评测困难的原因有几个。一是IaaS是一个模糊的术语。毫无疑问,云托管的虚拟机(VM)是IaaS,但是云供应商热衷于销售他们的高级服务,这些服务朝着PaaS(平台即服务)甚至SaaS(软件即服务)发展。如果你放弃Office 365的所有功能,微软的市场份额就会大幅提升,因为AWS在SaaS方面几乎没有什么优势,这一点很重要,因为Office 365、Azure和本地应用之间的协同作用推动了微软的整体增长。另一个问题是,无论是微软还是谷歌都没有公布IaaS的收入,而是更倾向于公布百分比增长(当它适合他们的时候)。

2019年发生了什么?所有云供应商的产品发布源源不断,其中大多数都不是很有趣,但仍然有重要的新闻。如果你只能选一样东西,你会选什么?

对于AWS来说,这一点可能是Outposts,尽管它是在2018年底首次亮相的。Outposts提供了在AWS的体验,但是是物理上的本地,解决了延迟和合规性问题,同时也是运行服务器的一种昂贵方式。Canalys估计,“AWS将在三年内成为美国和西欧四大在线服务器供应商。“在过去,微软一直是混合云的领军者,拥有Azure Stack和Azure AD Connect等技术。Outposts不是完全一样的东西,但它是混合云,看起来是一个整洁的解决方案。

在谷歌云上,最重要的事情必须是Anthos,它是在4月份宣布的,或者可能是它背后的技术——是的,Kubernetes (K8s),这是一个容器编排平台,它是开源的,但是是由谷歌发明的。Anthos将K8s封装到一个混合云解决方案中,该解决方案允许您在本地、GCP甚至其他公有云上运行应用程序。K8s有着巨大的发展势头,它既是GCP最大的技术优势,也是AWS难以驾驭的技术——尽管AWS自称是最大的K8s云提供商。难怪AWS首席执行官Andy Jassy在谈到K8s时告诉我们,“我不相信有一种工具可以统治世界”。

微软呢?该公司是在2018年底完成了对GitHub的收购,但这可能是2019年感兴趣的关键点。特别是,Microsoft在devops方面做了有趣的工作,并为Azure提供了GitHub Actions和GitHub Actions的可用性。开发人员可以通过该方法使签入代码的过程自动化到部署容器化应用程序,Web应用程序或无服务器应用程序的整个过程,这可能是采用Azure云的强大动力。

我们参观了今年所有三大云活动。在伦敦的GCP Cloud Next,谷歌以其卓越的工程技术给人留下了深刻的印象,尽管与竞争对手相比,该平台的规模显得很小。Microsoft Ignite展示了该公司将云打包成易于采用的服务的能力,尽管总会有尴尬的角落,比如当我们问及Azure和英特尔投机性执行错误时,就会发生什么。AWS re:Invent的规模大得惊人,发布了令人印象深刻的Outposts公告,但也表现出了一些令人不安的迹象,不仅涉及k8,还对微软赢得美国国防部Jedi合同表示愤慨。

谁是2019最好的云?很难选出一个赢家。虽然2019年也许可以推出的是微软,而AWS似乎在2020年更有希望,然而谷歌可能会继续蚕食两者的市场份额。

 

下一代的云计算——分布式云

新年伊始,万物更新之际,给大家推荐云计算的创新:下一代的云计算——分布式云。根据行业分析师Gartner的报告,这代表了从大多数公有云服务的集中化模式的重大转变,并将引领云计算的新纪元。

云计算不是一个新概念。在1960年代,麻省理工学院(MIT)的数学与计算合作项目MAC已经进行了计算机网络实验。1969年,创建了一个Computer Networks组,以允许位于不同计算机上和不同位置的人们访问和共享位于单台计算机上的程序和信息。这是后来被称为云计算的开始。1997年,埃默里大学(Emory University)的Ramnath Chellapa教授将云计算定义为新的计算范式,其中计算的边界将由经济原理而不是仅由技术限制来确定。云计算技术发展到今天,终于我们又迎来了新一代的云——分布式云的概念。

分布式云,将公有云服务分发到不同位置,而原始公有云提供商则负责服务的运营,治理,更新和演进。分布式云意味着计算,存储和网络将置于集中式云外部的微云中。分布式云作为分散式云系统更接近最终用户。

Cubbit Cell是一家意大利创业公司,致力于创新和构建分布式云。该云可分布式,安全且环保。Cubbit Cell的抱负是彻底改变互联网的面貌,从云端开始。他们认为,如今,互联网以服务器农场的形式运行,这些服务器农场是巨大的、污染的、延伸数千平方英里的计算机大教堂,在某种程度上保护并榨取每个人的数据。

为了尝试改变这种情况,Cubbit Cell提出了一个根本的选择:一个免费的分布式网络,用户最终可以控制自己的数据。根据这家初创公司的说法,所有这些都可以通过一个小型而优雅的设备实现:Cubbit Cell,Cubbit分布式网络的节点。

Cubbit Cell是即插即用的设备。基本型号配备512GB的云空间。Cubbit Cell发生的任何事故,例如断开连接或停电,都不会影响用户的数据,用户的数据始终是安全的,并且可以在任何地方访问。实际上,它们并没有完全存储在单个单元中,而是分布在成群的Cubbit Cell中。

通过Cubbit Cell,用户可以访问分布式云,他们的文件被加密,复制和分布在其他节点上。用户可以通过Web,移动或桌面界面访问文件,这些界面与Dropbox等效,二者的区别是:没有订阅,也没有侵犯隐私。根据Cubbit Cell的创始人的说法,使Cubbit与其他云服务不同的是,Cubbit绝对无法访问用户数据,甚至无法访问用户密码。另一个区别是,如果用户空间不足,他们可以免费将自己拥有的硬盘插入设备。其背后的想法旨在对Internet进行某种形式的回收,以创建新的Internet。

该公式的创始人说,这是一场哥白尼革命,已经引起了科学界的热情和认可。2018年,Cubbit Cell与欧洲核子研究组织(CERN)及其他11个工业和学术合作伙伴合作,开展了一项旨在改造科学云基础设施的欧盟范围内项目。

Primomiglio SGR SpA总裁Gianluca Dettore说:“在博洛尼亚Barcamper Garage加速体验期间,我们与Cubbit Cell和Dpixel一起工作,我们对年轻创始人的坚韧和远见印象深刻。”他说“Cubbit Cell正在以一种现代方法来挑战云计算的巨头,这种方法肯定更安全,而一项具有显着可扩展性潜力的新技术将在网络增长越多的成本,效率和功率方面变得更具竞争力”。

下面具体介绍一下Cubbit Cell分布式云的优势:

  • 最多四个帐户:用户每个单元最多可以创建四个帐户。这样,就有可能与一群朋友一起集体购买Cell,从而充分利用云服务
  • 可扩展性:只需插入任何外部USB驱动器,Cubbit Cell即可自由扩展至4 TB的云空间。用户连接到Cell的每GB物理存储空间,一半变成云空间供用户使用,四分之一用于冗余以确保数据不会丢失,另一四分之一由Cubbit Cell保留并用于为业务用户提供高级云服务
  • 最高的安全性: 用户的文件不是全部存储在单个Cubbit Cell中,而是经过加密,相乘以确保冗余并在网络上传播,因此,除了所有者之外,没有人可以访问它们-甚至Cubbit Cell也不能访问