重塑存储,AWS宣布四项存储创新
重塑存储,AWS宣布四项存储创新
2023-03-10 00:26  点击:797
[摘要]亚马逊云服务(AWS)推出的AmazonEBSio2BlockExpress存储卷,是专为在存储区域网络上运行的工作负载而构建的云存储服务,能够提供高达256,000IOPS,4,000MB/秒的吞吐量和64TB的单卷容量。同时,下一代AmazonEBSGp3存储卷也可以为客户提供额外的IOPS和吞吐量性能,峰值吞吐量

亚马逊云服务(AWS)推出的AmazonEBSio2BlockExpress存储卷,是专为在存储区域网络上运行的工作负载而构建的云存储服务,能够提供高达256,000IOPS,4,000MB/秒的吞吐量和64TB的单卷容量。同时,下一代AmazonEBSGp3存储卷也可以为客户提供额外的IOPS和吞吐量性能,峰值吞吐量可达4倍,而每GB的价格比上一代存储卷低20%。

此外,AmazonS3智能分层也得到了升级,支持的存储类型从现有的S3频繁访问型和非频繁访问型扩展至S3Glacier归档型和深度归档型,降低了客户使用对象存储的成本多至95%。同时,AmazonS3Replication(multi-destination)也为客户带来了更方便的数据复制功能,能够将数据同时复制到同一AWS区域或任意多个AWS区域中的多个S3存储桶。

以上四项存储创新已于北京2020年12月3日在AWSre:Invent上宣布,为客户带来了更多的存储性能、弹性和价值。

因为io2存储卷能够提供比通用EBS存储卷高4倍的IOPS和99.999%(5个9)的耐用性,因此客户通常选择它来运行关键的、性能密集型应用程序,例如SAPHANA,MicrosoftSQLServer,IBMDB2,MySQL,PostgresSQL和Oracle数据库。但是某些应用程序需要更高的IOPS、吞吐量或容量,因此客户通常将多个io2存储卷进行条带化组合,增加了部署及管理复杂度和成本增加。而AmazonEBSio2BlockExpress存储卷的推出能够为客户提供一种更加创新和弹性的解决方案,满足更高的工作负载性能要求。

但是这些云存储存在缺点,高昂的前期购置成本导致它们价格高昂,需要复杂的预测才能确保有足够的容量,这是一项繁琐且难以管理的任务,并且消耗了宝贵的数据中心空间和网络容量。当客户超出现有容量时,他们必须购买完整的云存储或进行扩容,这种方式价格昂贵且迫使客户为未使用的容量付费。客户希望在云中拥有云存储的功能和性能,现在EBSBlockExpress为他们提供了首个为在云上运行的工作负载而构建的云存储服务。EBSBlockExpress专为需要高IOPS、高吞吐量、高耐用性、高存储容量和低延迟的任务而设计。通过在BlockExpress上运行io2存储卷,单个io2存储卷可以配置高达256,000IOPS,4,000MB/秒的吞吐量,并提供64TB的单卷容量--这在所有参数上都比现有io2存储卷提高4倍。此外,io2BlockExpress存储卷可以为客户的延迟敏感型应用提供一致的亚毫秒级延迟。客户还可以将多个io2BlockExpress存储卷条带化在一起,以获得比单个存储卷更好的性能。Gp3存储卷使客户能够独立于存储容量来配置IOPS和吞吐量,提供更高的性能并降低成本。Gp3存储卷可以轻松满足各种工作负载的需求,例如关系和非关系数据库、企业应用程序、容器化应用程序、大数据分析引擎、分布式文件系统、虚拟桌面、开发/测试环境和媒体工作流程。

对于需要更高性能的任务负载,用户可以调整Gp3存储卷以满足所需的IOPS和吞吐量,而无需增加存储容量。Gp3存储卷的持续基准性能为3,000IOPS和125MB/秒,最高可达16,000IOPS和1,000MB/秒(Gp2的四倍)。除了允许用户独立于存储扩展IOPS以节省资金外,Gp3volume的每GB价格比Gp2降低了20%。用户可以使用ElasticVolumes轻松地将Gp2存储卷迁移到Gp3存储卷,ElasticVolumes是EBS现有的一种功能,允许用户更改其现有EBS存储卷的卷类型、IOPS、存储容量和吞吐量,而不会中断其AmazonElasticComputeCloud(EC2)实例。用户还可以使用AWS管理控制台、AWS命令行界面(CLI)或AWS开发工具包轻松创建新的Gp3存储卷并扩展其性能。欲了解如何使用Gp3存储卷,请访问:https://aws.amazon.com/ebs/

AmazonS3智能分层现在支持S3Glacier归档和深度归档,可以将对象存储的成本降低多达95%。S3智能分层可以自动优化存储成本,面向未知或不断变化的数据访问模式。对于访问模式不断变化的存储中的对象,它是首个也是唯一一个自动优化成本的云存储解决方案。已经广泛采用了S3智能分层,用于具有不同存储访问模式(如数据湖)或未知存储访问模式(如新应用程序)的客户。以前,S3智能分层对存储有两个定价层次:标准存储层用于频繁访问(例如实时数据查询),成本优化层用于不频繁访问(例如批处理查询)。但是,为了降低冷数据的存储成本,许多AWS客户已经使用S3Glacier或S3Glacier深度归档。在今天之前,客户需要手动构建应用程序来监控和记录针对单个对象的访问,以确定哪些对象很少被访问且需要转移到归档存储区。然后,他们需要手动移动这些对象。现在,AmazonS3智能分层已经支持S3Glacier归档和深度归档,并进一步增强了云中首个也是唯一能提供动态成本优化的存储类别。使用S3智能分层,长时间不访问的数据会在180天或更长时间内自动从频繁访问层转移到深度归档层,用户可以节省高达95%的存储成本。一旦用户激活了其中一个或两个归档访问层,S3智能分层将自动将90天未访问的对象转移到归档访问层,并在180天后将其转移到深度归档访问层。使用S3智能分层时,不会收取检索费用,也不会收取转移对象时的额外分层费用。支持S3Glacier归档和深度归档的S3智能分层现已在所有AWS区域中提供。要开始使用AmazonS3智能分层,请访问:https://aws.amazon.com/s3/storage-classes/

AmazonS3Replication为将数据复制到同一或不同的AWS区域中的多个S3存储桶提供了能力。用户现在可以使用S3复制在同一AWS区域内或不同AWS区域之间创建其数据副本,以满足合规性、低延迟或跨帐户共享数据的需求。有些客户还需要将数据复制到多个目的地(同一AWS区域或多个AWS区域的多个S3存储桶),以满足数据主权要求,支持跨区域分布团队的协作,或在多个AWS区域内维护相同的数据集以实现弹性。

以前为了实现此目标,客户需要通过监控S3事件来构建个人的多目的地复制服务,以识别任何新创建的对象,然后将这些事件分散到多个队列中,调用AWSLambda函数获取对象并复制到每个目的地的S3存储桶,跟踪API调用状态并汇总结果。客户还需要监控和维护这些系统,这将增加费用和运营开支。 借助S3Replication(multi-destination),客户不再需要研发用于跨多个AWS区域复制数据的解决方案。客户可以使用S3Replication将数据复制到同一AWS区域或多个AWS区域的多个存储桶,或将两者结合使用,以统一基于策略的管理方法来监控数据复制状态和指标。例如,客户现在可以轻松地将数据复制到不同AWS区域中的多个S3存储桶,其中一个用于主存储,一个用于归档,一个用于灾难恢复。客户还可以将数据集和更新分发到所有AWS区域,以实现低延迟。使用S3Replication(multi-destination),客户还可以为不同的目的地指定不同的存储类别,以节省存储成本并满足数据合规性要求(例如,客户可以将S3智能分层存储类别用于两个AWS区域中的数据,在另一个区域复制到S3Glacier深度归档中以获取低成本数据归档)。 S3Replication(multi-destination)完全支持现有的S3Replication功能,例如复制时间控制,以提供具有SLA保证的可预测的复制时间,以满足其合规性或业务要求。客户还可以监控其复制作业的复制状态,事件和对象级别,使用AmazonCloudWatch提供的监控指标。S3Replication(multi-destination)可以通过S3管理控制台,AWSCloudFormation或AWSCLI或AWS开发工具包进行配置,以开始使用。访问https://aws.amazon.com/s3/features,了解如何使用S3Replication(multi-destination)。

负责存储服务的AWS副总裁Mai-LanTomsenBukovec表示:“未来三年,产生的数据将比过去30年更多,机构和开发人员需要通过云存储大量的数据,存储技术需要与之相应的革新。今天的新发布为在SAN上运行的工作负载构建了一款全新的云存储服务,可通过智能分层自动优化大量数据的成本,并使在全球范围内复制和转移数据变得更加容易,让客户能够有效地管理这种新常态。”

Teradata是云数据分析平台公司,可以处理大规模复杂数据挑战。Teradata工程高级副总裁DanSpurling表示:“当您专注于实时分析全球数据时,对于我们的业务和最终客户而言,在价格和性能之间取得适当的平衡至关重要。随着Gp3的推出,基于AWS的Teradata客户将体验到更高的性能和吞吐量,从而能够推动大规模分析。相对于Gp2,Gp3有着显着的改进,我们预计吞吐量将提高4倍,每个实例的EBS数量也在减少。这使得我们的客户将获得更高的性能和更高的实例可用性。”

Embark正在开发自动驾驶卡车技术,以提高道路安全性和运输效率。Embark基础设施主管PaulAshbourne说:“我们使用S3智能分层存储自动驾驶卡车车队的日志。这些日志包含我们车辆上的传感器(例如摄像机和LiDARS)的PB级数据,同时还存储控制信号和系统日志。我们需要快速完整地重现在任何时间点车辆及其周围发生的一切,保留这些数据对我们的业务至关重要。”

我们的团队经常访问最近收集的数据并进行分析,但是随着时间的流逝,大多数的数据会变冷,并且有可能几个月都不会访问一些数据的子集。但重要的是,我们需要继续保存较旧的数据,以防万一需要再次分析,但这样做可能导致成本高昂。S3智能分层对我们来说是完美的,因为它会根据各个对象访问模式自动优化我们的存储成本。使用两个新的‘归档访问’层,当很少访问车队日志数据时,我们可以节省更多成本。借助S3智能分层,我们的工程团队无需构建或管理任何自定义存储监控系统,一切都能正常运行,我们可以将更多的时间集中在研发而不是管理存储上。

Zalando是欧洲领先的时尚和生活方式在线平台,拥有超过3500万活跃客户。Zalando首席数据工程师MaxSchultze说:“我们在AmazonS3上构建了一个15PB的数据湖,这使员工可以及时分析他们以前无法访问的历史销售和Web跟踪数据。通过使用S3智能分层,我们能够在数据湖中节省37%的年度存储成本,因为它可以在频繁访问和不频繁访问层之间自动移动对象。我们期待新的S3智能分层归档存储层,节省更多的冷数据存储成本。”

SmugMug+Flickr是全球最大、最具影响力的以摄影师为中心的平台。SmugMug+Flickr的工程/运营总监AndrewShieh说:“我们从第一天开始就使用AmazonS3,现在是S3Replication的新客户。针对多个目的地的S3Replication为我们的全球数据处理提供了绝佳选择。我们现在可以以新的方式利用S3Replication,使用现有的S3对象标签制定优化的复制策略。支持多个目标端的S3Replication可以简化复杂的数据复制管理,我们可以有更多的时间和精力来服务客户。我们在S3中存储并由少量代码完全管理的PB级数据是我们的业务核心。 对S3的持续改进使SmugMug和Flickr与我们在AWS的合作伙伴一起成长。

首页

评论

分享