亚欧色一区w666天堂,色情一区二区三区免费看,少妇特黄A片一区二区三区,亚洲人成网站999久久久综合,国产av熟女一区二区三区

  • 發布文章
  • 消息中心
點贊
收藏
評論
分享

【轉發】AWS re:Invent 2024存儲主題會議深度解析

2024-12-11 08:57:54
51
0

戰略趨勢

  1. 人工智能與數據存儲的深度融合：  AI/ML 已成為數據存儲的核心應用場景，數據存儲不僅是數據容器，更是支持 AI/ML 的引擎。生成式 AI 推動數據基礎設施變革，強調基礎模型、提示工程和多模態數據的應用；同時，AI/ML 對高性能存儲提出了極高要求，以滿足大規模數據處理和訓練需求。
  2. 數據湖架構向高效、開放和智能化演進：現代數據湖以高效、開放和智能化為目標，通過增強性能、提升多區域支持能力以及采用開放表格式（OTF）優化數據查詢與更新。此外，數據編目和治理功能至關重要，以確保數據湖的規模化運營和高效管理。
  3. 混合云架構依然是企業數字化轉型的關鍵橋梁：混合云架構通過高效的數據遷移和同步，簡化了云上與本地環境的整合，并提供強大的數據保護與災難恢復功能，確保跨云平臺的數據安全和業務連續性，從而成為數字化轉型的重要支撐。
  4. 云原生存儲技術引領性能和可擴展性的新高度：  云原生存儲技術通過高性能架構支持大規模計算與存儲需求，覆蓋 HPC、數據庫和大數據分析等場景，同時不斷優化性能和成本，為用戶提供彈性、可靠的存儲解決方案，推動云計算發展。
  5. 數據安全和合規性成為云存儲的首要任務：  云安全依托共享責任模型，結合多層次數據保護、細粒度訪問控制等機制，提升用戶數據的安全性和合規性，以防止數據泄露、勒索攻擊和業務中斷，為云存儲提供全面的安全保障。

目錄

一、 AWS 存儲服務概覽

STG101 - Introduction to AWS storage: Building a data foundation in the cloud 

AWS的多樣化存儲服務，包括塊存儲（EBS）、對象存儲（S3）、文件存儲（EFS、FSx）、數據遷移（Data Sync）和數據保護（AWS Backup、Disaster Recovery）。AWS存儲服務支持各類業務需求，如數據湖構建、AI/ML應用、業務關鍵型應用及數據保護，提供高效的數據訪問和集成。客戶在遷移、優化及現代化過程中，AWS存儲服務發揮了關鍵作用，尤其是在數據保護和智能分析中。

二、 數據遷移與傳輸

STG204 - Accelerate & automate secure data transfers at scale with AWS DataSync

AWS DataSync 是托管的數據傳輸服務，用于加速和簡化本地數據中心、其他云平臺與 AWS 存儲服務之間的數據傳輸。通過定制協議、并行吞吐量和自動恢復，確保數據傳輸的可靠性和高效性。支持多種數據源（如NFS、SMB、Google Cloud、Azure Blob、S3等）和目標（如S3、EFS、FSx），廣泛應用于數據遷移、保護、歸檔及 AI/ML 工作負載。DataSync 還提供優化的網絡壓縮、帶寬控制、加密和性能擴展功能。

STG215 - Build hybrid data workflows to Amazon S3 with AWS Storage Gateway 

AWS Storage Gateway是混合云存儲服務，提供三種網關類型：S3 File Gateway、Tape Gateway 和 Volume Gateway，用于將本地數據高效上傳至Amazon S3。S3 File Gateway將本地文件系統通過NFS或SMB映射到S3，支持數據湖構建、數據庫備份和冷數據歸檔。它通過事件驅動工作流和本地緩存提供低延遲數據訪問，并與AWS服務如Amazon Athena、SageMaker等集成進行數據處理和分析。

三、 文件存儲

STG202 - Network-attached storage in the cloud with Amazon FSx

Amazon FSx提供一系列完全托管的文件存儲服務，旨在解決傳統NAS存儲的可擴展性、管理復雜性和數據遷移難題。支持四種文件系統類型：NetApp ONTAP、OpenZFS、Windows File Server和Lustre，滿足不同工作負載的需求。FSx具備高性能、可擴展性、數據保護和與AWS服務的無縫集成，適用于通用文件存儲、高性能數據庫、虛擬機工作負載以及數據保護與災難恢復等場景。

STG211 - What's new with file storage

Amazon EFS和FSx文件存儲服務的最新功能：涵蓋了性能擴展、數據保護、智能分層存儲、與AWS服務集成等方面的改進。FSx for OpenZFS引入了智能分層存儲，提高了成本效益和性能；FSx for Lustre通過EFA支持降低延遲并提高吞吐量；EFS增強了彈性吞吐量和數據保護功能。還增強了與Amazon S3和AWS Backup的集成，支持災難恢復和數據分析等應用場景。

STG344 - Simple elastic file systems: A deep dive into Amazon EFS

深入探討Amazon EFS的架構、功能和用例，重點介紹了其無服務器特性、性能模式和數據保護機制。EFS支持與AWS計算服務如EC2、Lambda、ECS和EKS的集成，提供高可用性、自動擴展和按需付費的存儲服務。其性能模式包括彈性吞吐量、預置吞吐量和突發吞吐量，適用于不同的工作負載需求。數據保護功能包括跨可用區持久化存儲、備份集成和異步復制，確保數據安全與恢復。EFS廣泛應用于內容管理、機器學習和大數據分析等場景。

四、 對象存儲 

STG207 - Maximize the value of cold data with Amazon S3 Glacier storage classes

Amazon S3 Glacier存儲類，專為冷數據設計，通過生命周期策略和智能分層功能優化數據存儲和恢復流程。S3 Glacier包含三個存儲類：Glacier Instant Retrieval（毫秒級訪問）、Glacier Flexible Retrieval（分鐘至小時級訪問）和Glacier Deep Archive（最低成本、數小時至數天恢復時間）。演講強調通過自動遷移冷數據至合適存儲類以降低成本，并介紹了批量恢復和事件通知等優化大規模數據恢復的最佳實踐。客戶案例展示了如何通過這些存儲類顯著節省存儲和恢復成本。

STG212 - What's new with Amazon S3

Amazon S3過去一年發布的30項新功能，涵蓋了結構化和非結構化數據管理、性能、規模、以及安全性等方面。重點介紹了S3 Tables（基于Apache Iceberg的表格存儲服務）和S3元數據功能（用于查詢S3元數據），以及其他增強功能如更高的存儲桶限制、S3 Express One Zone擴展、機器學習性能優化、簡化的數據訪問權限管理等。此外，新增的Storage Browser和與Amplify Hosting集成，進一步簡化了Web應用的數據上傳和管理流程。

STG302 - Dive deep on Amazon S3

Amazon S3的架構與工作機制，數據分布和去相關性策略、Shuffle Sharding算法和AWS Common Runtime（CRT）的協同作用。S3通過數據分片和糾刪碼實現高可用性和冗余存儲，Shuffle Sharding則隨機分布數據，避免熱點問題并確保負載均衡。CRT庫優化S3性能，通過自動重試和并行化請求，使得系統在大規模數據傳輸中保持高吞吐量和高韌性。

STG323 - Build and optimize a data lake on Amazon S3

如何在Amazon S3上構建和優化PB級數據湖，重點涵蓋數據湖的分層架構、數據攝取、查詢優化、安全治理和長期管理。通過分層存儲（原始數據、處理數據、精選數據）提高數據質量和查詢效率，采用Kinesis和AWS Glue等工具進行數據攝取，使用Parquet格式優化查詢性能。安全方面，利用IAM、跨賬戶共享和數據加密實現訪問控制和治理。通過生命周期策略和自動化工具優化成本和管理效率，支持如電商平臺訂單分析等業務場景。

STG328 - Optimizing storage performance with Amazon S3

通過優化Amazon S3的特性提升存儲性能，S3 Express One Zone、AWS Common Runtime (CRT)、以及開源數據湖和機器學習框架的性能改進。優化策略包括利用高性能存儲類減少延遲、通過并行化提升吞吐量、以及優化數據布局（如分區和排序）提高查詢效率。針對不同工作負載（如機器學習訓練、數據庫查詢、大文件傳輸）提出了具體的優化方案，強調了監控、性能瓶頸分析和請求優化在提升存儲效率中的重要性。

五、 塊存儲

STG205 - Protect critical data with ease using Amazon EBS snapshots

如何通過Amazon EBS快照保護關鍵數據，重點介紹了其增量機制、加密選項、跨區域復制、快照鎖等安全特性，并闡述了EBS快照在數據備份、災難恢復及合規性方面的應用。特別強調了RISE with SAP中的EBS快照使用，確保數據安全和不可變性。還介紹了Amazon Data Lifecycle Manager (DLM) 用于自動化快照生命周期管理，并通過快照回收站功能防止意外刪除。

STG213 - What's new with Amazon EBS

Amazon EBS的最新功能，包括性能提升、韌性增強和安全性強化。重點講解了io2bx卷的架構和優勢，提供高達256000 IOPS的卷級性能和42萬 IOPS的實例級性能，支持高持久性和低延遲。還討論了EBS的多可用區部署、卷狀態檢查、暫停IO操作等韌性特性，以及CloudWatch指標、NVMe統計信息和故障注入模擬器等性能監控工具。此外，演講還介紹了EBS快照的災難恢復功能，包括跨可用區和跨賬戶復制，以及彈性災難恢復（EDR）技術。

STG329 - Maximizing performance for high-intensity workloads using Amazon EBS

Amazon EBS io2 Block Express (io2bx) 卷如何滿足高強度工作負載的性能需求。io2bx提供高達256000 IOPS、4000 MB/s吞吐量和亞毫秒級延遲，適用于關鍵任務型應用。它基于Nitro系統和NVMe協議，支持跨多個可用區部署，提供99.999%的持久性。通過卷條帶化、I/O合并和CloudWatch監控等方法，可以優化性能。實際應用案例包括Epic系統、SAP HANA和McAfee數據庫，均展現了io2bx在性能和成本優化方面的優勢。

六、 數據保護與災難恢復

STG203 - What's new with AWS Backup

AWS Backup的最新功能，數據保護、勒索病毒防護和災難恢復。AWS Backup通過策略驅動的管理，支持跨服務、跨賬戶備份，并提供邏輯隔離保險庫、服務擁有密鑰和還原測試功能，以應對勒索病毒威脅。新功能包括跨區域和跨賬戶備份、S3備份的版本還原和改進的成本計算器。實際應用案例包括Freddie Mac和Skyscanner，展示了AWS Backup在數據保護和恢復方面的應用。

STG301 - Data protection and resilience with AWS storage

AWS存儲服務如何幫助企業構建數據保護與韌性策略，應對數據丟失、停機、自然災害和勒索病毒等威脅。內容包括AWS的數據保護責任共擔模型、存儲服務組合（EBS、S3、EFS等）、數據保護架構（多可用區部署、備份和復制、S3和EBS數據保護）以及AWS Backup的集中式備份管理、不可變備份、還原測試和合規性功能。

STG339 - Beyond 11 9s of durability: Data protection with Amazon S3

Amazon S3如何通過設計和技術（如糾刪碼、Shuffle Sharding）實現11個9的持久性，并介紹了如何使用S3的功能（版本控制、復制、對象鎖等）增強數據保護，防止意外刪除、覆蓋和勒索病毒攻擊。通過跨可用區冗余、MFA刪除和多區域訪問點等功能，S3為數據提供高可用性與安全性。

STG409 - Building resilience against ransomware using AWS Backup

通過AWS Backup，企業可構建抵御勒索病毒的韌性數據保護體系，包括3-2-1-1策略支持、邏輯隔離保險庫、策略驅動的增量與連續備份，以及自動化恢復測試；結合Amazon GuardDuty等安全服務快速檢測攻擊，實施分層備份、嚴格權限控制和定期恢復驗證，確保數據完整性與業務連續性，抵御復雜攻擊威脅。

七、 數據湖和AI/ML

STG201 - Build a data foundation to fuel generative AI 

構建支持生成式AI的數據基礎需要結合RAG和微調等方法，重點在數據發現、準備與治理，利用Amazon S3實現經濟高效的對象存儲，滿足數據檢索與處理需求；對于高吞吐量與低延遲要求的訓練任務，采用Amazon FSx for Lustre優化性能；根據應用目標制定數據與存儲計劃，在保障安全與合規的同時實現生成式AI的高效部署。

STG208 - Data on AWS: The key to success for 3 AI innovators

三家AI創新公司如何在AWS上構建和優化數據基礎設施以支持生成式AI模型。Canva使用AWS服務構建可擴展數據平臺，優化數據處理和質量管理；Bria AI利用Amazon S3和FSx for Lustre進行大規模數據處理，提升效率并減少處理時間；Anthropic專注于數據安全和隱私，使用AWS的安全功能如IAM和KMS構建負責任的AI系統。

STG327 - High-performance storage for AI/ML, analytics, and HPC workloads

Amazon S3和Amazon FSx for Lustre如何為HPC、AI/ML和分析工作負載提供高效、可擴展的存儲解決方案。重點討論了這些工作負載的存儲使用模式，如數據加載、檢查點設置和結果存儲，并分析了吞吐量、延遲和數據訪問模式等關鍵因素對存儲性能的影響。Amazon S3適用于長期存儲和數據湖，而FSx for Lustre則用于需要高吞吐量和低延遲的場景，許多客戶結合使用兩者以優化存儲性能。

STG332 - Accelerate database performance and scalability with AWS storage 

如何利用Amazon EBS和Amazon FSx提升數據庫性能、可擴展性和成本效益。重點介紹了EBS卷類型（如gp3、io2和io2 Block Express）及其適用場景、快照管理、數據生命周期管理和彈性卷功能，以及FSx文件系統（如NetApp ONTAP和OpenZFS）在高性能數據庫中的應用，包括數據遷移、保護功能和高可用性部署。通過這些服務，企業可以優化數據庫存儲、提高性能、確保高可用性并降低成本。

八、 安全性和訪問控制

STG304 - Amazon S3 security and access control best practices

Amazon S3安全和訪問控制最佳實踐，包括通過桶策略、訪問點、IAM策略和Lake Formation實現精細化訪問控制；利用資源控制策略、訪問分析器和日志（服務器訪問日志與CloudTrail）進行安全審計；以及通過S3訪問點和訪問授權實現更高級的權限管理。重點強調最小權限原則、版本控制、多重身份驗證（MFA）、加密和自動化工具的使用，以確保數據安全性和合規性。

九、 托管文件傳輸

STG305 - Modernize managed file transfer with SFTP

AWS Transfer Family通過支持SFTP等多種協議、靈活的身份驗證和訪問控制、自動化工作流集成及與Amazon S3的無縫銜接，提供托管、安全、可擴展的文件傳輸解決方案；它降低了傳統自建SFTP服務器的管理和安全復雜性，支持事件驅動的數據管道和智能化處理，同時簡化了與外部系統及非技術用戶的集成，滿足現代化數據傳輸需求。

十、 成本優化

STG210 - AWS storage best practices for cost optimization 

通過遷移到AWS存儲服務并結合按需付費模式、合適的存儲類型（EBS、FSx、EFS、S3）、優化工具（如GP3升級、智能分層、生命周期策略）、以及數據壓縮和去重等功能，企業可顯著降低存儲成本，提升資源利用率，同時滿足性能和擴展性需求；真實案例表明這些策略能夠快速實現可量化的成本節省和高效的存儲管理。

AWS存儲服務列表

1. 對象存儲  
- Amazon S3 Glacier: 低成本歸檔存儲，適合長期保存不常訪問的數據。  
- S3 Intelligent-Tiering: 自動根據數據訪問模式調整存儲層級，優化成本。  
- S3 Express One Zone: 低延遲對象存儲，適用于需要快速訪問的數據。  
- S3 Multi-Region Access Point: 提供多區域 S3 存儲桶的統一虛擬端點訪問。  
2. 塊存儲  
- Amazon EBS io2 Block Express: 提供亞毫秒級延遲和 99.999% 持久性，適用于關鍵任務應用。  
3. 文件存儲  
- Amazon EFS: 高吞吐量、可擴展的文件存儲，支持快速數據恢復。  
- Amazon FSx 系列:  
  - FSx for Lustre: 針對 HPC、AI/ML 優化的高性能文件存儲。  
  - FSx for NetApp ONTAP: 提供與 NetApp 相同的企業級文件存儲功能。  
  - FSx for Windows File Server: 原生 Windows 文件共享功能。  
  - FSx for OpenZFS: 基于 OpenZFS，提供智能分層存儲優化。  
4. 數據遷移與保護  
- AWS DataSync: 支持本地與云、跨云的數據遷移。  
- AWS Backup:  邏輯隔離保險庫: 增強備份分組和訪問控制。  恢復測試: 定期驗證還原點的有效性。  
- AWS Elastic Disaster Recovery （AWS DRS）: 提供快速災難恢復，通過持續復制和實例啟動支持應用恢復。  
- AWS Storage Gateway: 提供本地與 AWS 云存儲連接，支持文件、卷和磁帶網關。  
5. 相關集成  
- Amazon SageMaker 與 FSx for Lustre: 提供優化的 AI/ML 數據存儲和訪問功能。  
- AWS Glue 與 S3: 支持數據湖的 ETL 和數據處理。  
- Amazon Athena 與 S3: 通過 SQL 查詢分析 S3 中的數據。  

- Amazon Kinesis Data Firehose 與 S3: 實時數據流傳輸至 S3。  

 

一、AWS存儲服務概覽
STG101-AWS存儲簡介：構建云端數據基礎
STG101-Introduction to AWS storage: Building a data foundation in the cloud
1.內容概述：
本演講從企業上云的實際需求出發，全面介紹了AWS云存儲服務組合及其與其他AWS服務的集成，重點闡述了數據遷移、數據湖構建、人工智能與機器學習、數據保護和業務關鍵型應用程序等關鍵應用場景的技術實現和最佳實踐。
2.內容總結：
2.1 AWS存儲服務組合概述
AWS提供全面且多樣化的存儲服務，涵蓋了塊存儲、對象存儲、文件存儲以及數據遷移和數據保護服務，能夠滿足企業各種規模和類型的數據存儲需求。
塊存儲：Amazon Elastic Block Store （EBS）
對象存儲：Amazon Simple Storage Service （S3）
文件存儲：Amazon Elastic File System （EFS）, Amazon FSx
數據遷移：AWS Data Sync
數據保護：AWS Backup, AWS Disaster Recovery
AWS存儲服務與其他AWS服務無縫集成，為分析、機器學習、高性能計算、可視化和流媒體等工作負載提供對數據的無縫訪問。
2.2 AWS客戶上云之旅
典型的AWS客戶上云之旅始于應用程序遷移，通常采用直接遷移的方式。
遷移完成后，客戶會繼續優化其應用程序，利用額外的AWS服務和創新進行現代化改造。
AWS存儲服務在每個階段都發揮著至關重要的作用，幫助客戶構建強大、可擴展且經濟高效的云數據基礎。
2.3 數據湖構建
超過1萬家客戶選擇在AWS上使用Amazon S3構建數據湖。
他們選擇AWS存儲服務構建數據湖是因為：數據遷移是構建數據湖最困難的部分之一。將所有數據存儲在S3中，客戶能夠利用AWS中的分析功能，無需將數據移動到AWS云的不同部分。
數據湖是AI/ML的絕佳數據基礎，客戶可以使用AI和ML從這些數據中獲取洞察力。
2.4 業務關鍵型應用程序
許多客戶將AWS用于其業務關鍵型應用程序，例如ERP解決方案、數據庫和內容管理系統。
客戶通常從直接遷移開始，然后通過利用AWS的各種存儲選項來優化其應用程序，以滿足不同工作負載的需求。
例如，SQL Server可以部署在Amazon EC2、Amazon RDS或容器化環境中。
虛擬化工作負載可以使用Amazon EBS或Amazon FSx來存儲數據。
2.5 人工智能與機器學習
云存儲在AI和ML工作負載中發揮著關鍵作用。
Amazon S3和Amazon FSx for Lustre是AI/ML工作負載的主要存儲服務。
客戶可以利用AWS存儲服務來：構建自己的大型語言模型（LLM）；使用現有的LLM并對其進行微調；執行標準的AI/ML任務，例如數據訓練、預測和推理。
2.6 數據保護
所有客戶都需要數據保護，無論其規模大小。
AWS提供多種數據保護服務，例如AWS Backup、AWS Disaster Recovery和Amazon EBS快照。
AWS Backup幫助客戶集中管理和自動化數據保護，并確保備份的完整性和安全性。
二、數據遷移與傳輸
STG204-使用AWS DataSync加速和自動化安全數據傳輸
STG204-Accelerate & automate secure data transfers at scale with AWS DataSync
1.內容概述：
本演講深入探討了AWS DataSync這一完全托管的數據傳輸服務，詳細闡述了其技術架構、功能特性、應用場景和最佳實踐，旨在幫助用戶快速、安全、可靠地將數據遷移到AWS云端或在AWS存儲服務之間進行數據傳輸。
2.內容總結：
2.1 AWS DataSync概述
AWS DataSync是一種完全托管的數據傳輸服務，旨在簡化和加速本地數據中心、其他云平臺和AWS存儲服務之間的數據傳輸。
DataSync采用定制網絡協議，通過并行吞吐量操作最大化可用帶寬，并自動從網絡問題中恢復，確保數據傳輸的可靠性。
DataSync支持多種數據源和目標，包括：本地存儲：NFS、SMB；其他云平臺：Google Cloud Storage、Azure Blob Storage、S3兼容的對象存儲；AWS存儲服務：Amazon S3、Amazon EFS、Amazon FSx。
2.2 AWS DataSync應用場景
快速響應業務工作流程：DataSync可以快速移動數據以響應業務需求，例如將基因組測序儀等儀器生成的數據快速移動到云端進行分析和處理。
數據遷移：DataSync具有多種功能，可幫助用戶進行數據遷移，例如將數據從數據中心遷移到AWS、關閉存儲系統或將數據移動到AWS。
數據保護：DataSync可以按計劃運行以創建數據的第二個副本，通常在云中，以用于業務連續性和災難恢復目的。
數據歸檔：DataSync可用于將冷數據（例如日志文件）歸檔到低成本存儲服務，例如Amazon S3 Glacier或Glacier Deep Archive。
AI/ML工作負載：DataSync可以將數據復制到Amazon S3和Amazon FSx for Lustre，這些是支持高可擴展性和高吞吐量的關鍵數據存儲功能，適用于AI/ML工作負載。
2.3 AWS DataSync技術架構
DataSync Agent：DataSync Agent部署在本地環境或其他云平臺中，負責與AWS之外的存儲進行通信。支持的部署方式：虛擬機（VMware、Hyper-V、KVM）、Amazon EC2實例；自動軟件更新和修補。
連接方式：DataSync Agent可以通過以下三種方式連接到AWS DataSync服務：公共端點：通過互聯網連接；私有端點（PrivateLink）：通過AWS網絡連接；VPC端點：通過VPC連接。
數據傳輸路徑：本地存儲到DataSync Agent；DataSync Agent到DataSync服務；DataSync服務到AWS存儲服務。
網絡優化：數據壓縮：在數據離開源之前對其進行壓縮，從而減少傳輸的數據量和網絡成本；多線程架構：DataSync Agent使用多線程架構來擴展存儲傳輸；帶寬控制：可以限制DataSync在網絡鏈接上消耗的帶寬，確保與其他應用程序共享帶寬。
數據加密：所有數據在傳輸過程中都使用TLS 1.3進行加密，并在存儲中進行靜態加密（如果適用）。
2.4 AWS DataSync部署和使用
部署DataSync Agent
創建位置：定義如何連接到存儲，包括本地、其他云平臺或AWS存儲服務。
創建任務：定義數據傳輸的源位置、目標位置和選項，例如數據驗證、數據移動方式、調度、報告等。
執行任務：將數據從源位置移動到目標位置。
2.5 AWS DataSync擴展和性能優化
并行任務：對于具有高帶寬連接的用戶，可以使用多個DataSync Agent和每個Agent一個任務來劃分源數據集并并行運行任務，從而最大化帶寬利用率。
多Agent任務：對于具有大量小文件的數據集，可以使用具有多個DataSync Agent的任務來增加DataSync可以使用的線程數，從而提高文件復制的并行度。
2.6 AWS DataSync新功能
詳細數據傳輸指標：提供詳細的指標，例如文件數量、數據量和傳輸速度，并支持將指標發送到Amazon CloudWatch和Amazon S3。
清單：用戶可以預先生成要傳輸的文件列表，從而加快后續數據傳輸的速度。
增強模式任務：提供更高的可擴展性和性能，并支持并行文件傳輸，與基本模式任務相比，顯著提高了數據傳輸速度。
STG215-使用AWS Storage Gateway構建到Amazon S3的混合數據工作流
STG215-Build hybrid data workflows to Amazon S3 with AWS Storage Gateway
1.內容概述：
本演講深入講解了AWS Storage Gateway的三種網關類型，重點介紹了S3 File Gateway在構建混合數據工作流中的應用，并通過實際案例展示了如何利用S3 File Gateway將本地數據安全、高效地上傳到Amazon S3，進而利用AWS云服務進行數據分析、機器學習等處理，實現數據價值最大化。
2.內容總結：
2.1 AWS Storage Gateway概述
AWS Storage Gateway是一種混合云存儲服務，它將本地應用程序連接到AWS云存儲，為本地應用程序提供低延遲訪問幾乎無限量的云存儲。
Storage Gateway作為虛擬機部署在本地數據中心或虛擬化環境中，靠近應用程序服務器。
Storage Gateway支持多種虛擬化平臺，包括VMware、Hyper-V和Linux KVM。
Storage Gateway提供三種網關類型：
S3 File Gateway：將本地文件以對象的形式存儲到Amazon S3，支持通過NFS和SMB協議訪問。
Tape Gateway：虛擬化物理磁帶庫，將備份數據存儲到Amazon S3 Glacier或Amazon S3 Glacier Deep Archive。
Volume Gateway：創建基于塊的卷，將數據存儲到Amazon EBS或Amazon S3，支持將整個數據集或特定卷歸檔到Amazon S3。
2.2 S3 File Gateway工作原理
S3 File Gateway將本地文件系統（NFS或SMB）映射到Amazon S3存儲桶，將文件轉換為對象存儲。
文件寫入時，首先寫入本地緩存磁盤，客戶端立即收到確認。
隨后，網關將數據異步上傳到Amazon S3，小文件幾乎實時上傳，大文件上傳速度取決于帶寬和其他因素。
2.3 S3 File Gateway應用場景
數據湖和數據處理工作流：將本地數據上傳到Amazon S3，構建數據湖。利用AWS云服務（如Amazon Athena、Amazon SageMaker）進行數據分析和處理。
數據庫備份：將Oracle、SAP、Microsoft等數據庫備份存儲到Amazon S3。利用S3生命周期策略將備份數據遷移到低成本存儲層，實現長期保留。
冷數據歸檔：將不常訪問的數據（如視頻文件）歸檔到Amazon S3，降低本地存儲成本。
2.4 S3 File Gateway關鍵特性
事件驅動的數據工作流：
文件上傳事件通知：每個文件上傳到Amazon S3時，網關都會向Amazon EventBridge發送通知，觸發后續數據處理工作流。
工作文件集通知：當一組文件完成上傳到Amazon S3時，網關會向Amazon EventBridge發送通知，確保所有數據都已上傳，再進行處理。
本地緩存：提供低延遲的數據訪問。
數據加密：所有數據在傳輸過程中和靜態存儲時都進行加密。
與AWS服務集成：
Amazon EventBridge：接收事件通知。
Amazon SQS：構建消息隊列。
AWS Step Functions：編排工作流。
Amazon SNS：發送通知。
Amazon EC2、AWS Lambda、AWS Batch：執行計算任務。
Amazon QuickSight：數據可視化。
Amazon Athena：數據查詢。
Amazon Redshift：數據倉庫。
AWS Glue：數據集成。
Amazon SageMaker：機器學習模型訓練。
Amazon Q：數據洞察。
2.5 客戶案例：Exact Sciences
Exact Sciences是一家醫療保健和生命科學公司，利用S3 File Gateway將遠程實驗室站點的數據上傳到Amazon S3。
他們使用S3 File Gateway替換了本地存儲系統，降低了物理占用空間，并快速將數據傳輸到云端。
他們構建了自己的數據管理系統，利用AWS服務對S3中的數據進行處理和分析。
他們使用事件驅動的架構，在數據上傳完成后自動觸發數據處理任務。
2.6 S3 File Gateway最佳實踐
確定合適的數據工作流類型：
數據遷移：將整個數據集遷移到Amazon S3。
數據同步：保持本地數據與Amazon S3同步。
數據歸檔：將冷數據歸檔到Amazon S3。
選擇合適的網關類型和部署模式：
虛擬機：VMware、Hyper-V、Linux KVM
硬件設備
利用事件通知功能構建自動化工作流。
2.7 數據傳輸到AWS的其他服務
AWS Data Sync：用于在本地和AWS存儲服務之間傳輸大型數據集。

AWS Transfer Family：用于通過SFTP、FTPS、FTP和AS2協議安全地傳輸文件。

三、文件存儲
STG202-基于Amazon FSx在云中運行NAS
STG202-Network-attached storage in the cloud with Amazon FSx
1.內容概述：
本演講詳細介紹了Amazon FSx系列服務，涵蓋了其優勢、適用場景、功能特性、部署方式、成本優化以及實際客戶案例，旨在幫助用戶快速、高效地將文件數據遷移到AWS云端并實現NAS存儲的現代化管理。
2.內容總結：
2.1 傳統NAS存儲的挑戰
隨著HPC、數據分析、AI和ML等應用場景的興起，企業數據量呈指數級增長，對文件數據的訪問需求也越來越高。
傳統NAS存儲系統通常面臨以下挑戰：
可擴展性受限：硬件設備的擴展能力有限，無法滿足快速增長的數據存儲需求。
管理復雜性高：需要專業的IT人員進行部署、配置、維護和升級，增加了管理成本和復雜性。
數據遷移難度大：將數據從本地NAS系統遷移到云端通常需要進行重新架構、重新認證和重新培訓，過程繁瑣且成本高昂。
2.2 Amazon FSx的優勢
Amazon FSx是一系列完全托管的文件存儲服務，旨在解決傳統NAS存儲面臨的挑戰。
FSx的主要優勢包括：
完全托管：AWS負責底層基礎設施的管理，包括硬件、軟件、操作系統和安全補丁，用戶無需進行任何維護工作。
高性能和可擴展性：FSx提供多種性能級別和存儲容量選項，可以根據用戶需求進行擴展，滿足各種工作負載需求。
與AWS服務集成：FSx與其他AWS服務無縫集成，例如Amazon EC2、Amazon S3、AWS Lambda、Amazon SageMaker等，方便用戶構建完整的云解決方案。
成本效益：FSx提供多種定價模式，用戶可以根據實際使用情況選擇最經濟高效的方案。
安全性：FSx提供多種安全功能，例如數據加密、訪問控制和安全審計，保護用戶數據安全。
2.3 Amazon FSx服務類型
Amazon FSx支持四種主流文件系統類型：
Amazon FSx for NetApp ONTAP：提供與本地NetApp ONTAP文件系統完全兼容的功能和API，方便用戶將現有NetApp工作負載遷移到AWS云端。
Amazon FSx for OpenZFS：提供基于開源OpenZFS文件系統的完全托管服務，適用于各種工作負載，包括高性能計算、機器學習和媒體處理。
Amazon FSx for Windows File Server：提供與Windows Server完全兼容的文件共享和數據管理功能，適用于Windows應用程序和用戶。
Amazon FSx for Lustre：提供高性能、并行文件系統，專為高性能計算、機器學習和媒體處理等需要高吞吐量和低延遲的應用程序而設計。
2.4 Amazon FSx應用場景
通用文件存儲：為部門共享、用戶主目錄和應用程序共享提供集中管理的文件存儲服務。
高性能數據庫：為Oracle RAC、SQL Server Failover Cluster Instance和SAP HANA等數據庫工作負載提供高性能、低延遲的存儲服務。
虛擬機工作負載：為VMware環境提供高性能、可擴展的存儲服務。
數據保護和災難恢復：將本地數據備份到AWS云端，或在不同AWS區域之間復制數據，實現數據保護和災難恢復。
2.5 Amazon FSx功能特性
數據管理：支持數據壓縮、重復數據刪除、快照、克隆、復制等功能，方便用戶進行數據管理和保護。
性能擴展：支持橫向擴展和縱向擴展，用戶可以根據需求添加或刪除文件服務器節點，或調整單個節點的性能配置，滿足不同工作負載需求。
成本優化：支持多種存儲層級，例如SSD和HDD，用戶可以根據數據訪問頻率選擇合適的存儲層級，降低存儲成本。
數據保護：支持多可用區部署，數據同步復制到多個可用區，確保數據高可用性。
2.6 Amazon FSx新功能
Scale-Out架構：支持多HA對架構，每個HA對可以服務客戶端流量，提高性能可擴展性。
智能分層：為FSx for OpenZFS提供新的存儲層級，根據數據訪問模式自動將數據在不同層級之間移動，降低存儲成本。
彈性結構適配器（EFA）支持：FSx for Lustre支持EFA，提供更低的延遲和更高的吞吐量，適用于高性能計算和機器學習等工作負載。
2.7 客戶案例
John Holland Group：一家澳大利亞建筑公司，使用Amazon FSx for NetApp ONTAP構建通用文件存儲服務，為其分布式團隊提供安全、可靠的文件共享平臺。
Change Healthcare：一家醫療保健技術公司，使用Amazon FSx for Windows File Server將其關鍵任務系統遷移到AWS云端，實現了高性能、高可用性和低成本。
eHealth NSW：一家澳大利亞醫療保健機構，使用Amazon FSx for NetApp ONTAP構建PACS影像存儲庫，存儲和管理大量的醫學影像數據。
Marriott International：一家全球酒店集團，使用Amazon FSx for NetApp ONTAP將其本地NetApp文件系統遷移到AWS云端，簡化了數據管理，并提高了數據保護能力。
Adobe：一家軟件公司，使用Amazon FSx for Lustre和Amazon S3構建混合存儲解決方案，為其機器學習模型訓練和數據分析提供高性能和可擴展的存儲服務。
STG211-文件存儲新功能
STG211-What's new with file storage
1.內容概述：
本演講重點介紹了Amazon EFS和Amazon FSx文件存儲服務在數據管理、性能擴展、數據保護以及與其他AWS服務集成方面的最新功能和改進，旨在幫助用戶更有效地管理文件數據并將其應用于現代云應用程序。
2.內容總結：
2.1 AWS文件存儲服務概覽
AWS提供三種主要的文件存儲服務以滿足不同的使用場景：
Amazon FSx：完全托管的NAS服務，提供與主流文件系統（NetApp ONTAP、OpenZFS、Windows File Server和Lustre）兼容的存儲服務，適用于用戶共享、企業應用程序、高性能計算、AI/ML以及數據保護等場景。
Amazon FSx for Lustre：基于Lustre文件系統的高性能、并行文件存儲服務，專為高吞吐量和低延遲的計算密集型工作負載設計。
Amazon EFS：無服務器彈性文件存儲服務，可根據需求自動擴展和縮減，適用于云原生應用程序和開發人員，提供簡單易用的云文件共享服務。
2.2 Amazon FSx和Amazon EFS面臨的挑戰
數據規模的快速增長，用戶需要更有效地管理數據并控制成本。
云原生存儲服務（例如Amazon S3、Amazon EFS和Amazon DynamoDB）的優勢，例如彈性存儲、按需付費和與其他AWS服務集成，對傳統文件存儲服務提出了挑戰。
2.3 Amazon FSx for OpenZFS智能分層存儲類
功能：
將NAS的易用性與完全彈性存儲和智能分層相結合。
存儲容量隨數據添加和刪除而自動擴展和縮減。
數據自動在頻繁訪問層、不頻繁訪問層和存檔即時訪問層之間進行分層。
所有數據均可立即檢索，延遲時間為數十毫秒。
優勢：
為NAS數據集提供最佳的成本和性能。
用戶可以將更廣泛的工作負載和數據集（包括最大規模的數據集）遷移到云端。
用戶可以利用AWS的各種功能來處理和分析數據。
技術細節：
新的存儲類包括三個層級：頻繁訪問、不頻繁訪問和存檔即時訪問。
針對較少訪問的數據提供兩個較低成本的層級。
所有數據均可立即訪問，延遲時間為數十毫秒。
文件系統元數據存儲在SSD上，以實現低延遲元數據操作。
采用按需付費模式，按讀取請求和寫入請求付費。
2.4 性能、可擴展性和彈性方面的改進
Amazon FSx for Lustre彈性結構適配器（EFA）支持：
通過啟用EFA支持，FSx for Lustre可以提供更低的延遲和更高的吞吐量。
EFA是一種基于定制協議的網絡技術，不依賴于TCP，可提供更低的延遲和更高的吞吐量。
EFA支持所有EC2實例上的網絡接口卡（NIC）繞過操作系統內核，直接與網絡硬件通信，從而降低延遲并提高性能。
Amazon FSx for OpenZFS高可用性（HA）配置的同步復制：
支持使用多達10Gbps的專用鏈路進行跨區域復制。
用戶可以在不同AWS區域之間復制數據以實現災難恢復。
提供與本地同步復制解決方案類似的功能。
Amazon EFS彈性吞吐量模式：
支持文件系統的吞吐量根據工作負載需求自動擴展和縮減。
適用于具有峰值吞吐量需求的工作負載。
2.5 數據保護和安全功能增強
Amazon FSx for OpenZFS快照功能：
用戶可以創建文件系統的快照，并將其用于數據恢復或創建新的文件系統。
Amazon EFS復制功能：
用戶可以在同一區域或不同區域內創建文件系統的副本。
可用于災難恢復或數據遷移。
通過將數據復制到另一個AWS區域，可以提高數據安全性并滿足合規性要求。
2.6 與其他AWS服務集成
Amazon FSx for Lustre與Amazon S3集成：
用戶可以通過FSx for Lustre文件系統訪問存儲在Amazon S3中的數據。
提供兩種集成方式：
數據倉庫：將Amazon S3作為數據湖，并將FSx for Lustre作為高性能緩存層。
數據導出：將Amazon S3作為數據導出目標，并將FSx for Lustre作為數據處理層。
Amazon EFS與AWS Backup集成：
用戶可以使用AWS Backup服務備份和恢復EFS文件系統。
2.7 客戶案例
殼牌公司：使用Amazon FSx for Lustre和Amazon S3構建混合存儲解決方案，用于機器學習模型訓練和數據分析。
拜耳公司：使用Amazon FSx for Lustre進行基因組分析。
STG344-簡單彈性文件系統：Amazon EFS深入探討
STG344-Simple elastic file systems: A deep dive into Amazon EFS
1.內容概述：
本演講深入探討了Amazon EFS的架構、功能和用例，重點介紹了EFS的無服務器特性、性能模式、數據保護機制以及與其他AWS服務的集成。演講通過實際演示展示了如何創建EFS文件系統并將其掛載到Amazon EC2、AWS Lambda等計算服務上，并演示了EFS在高并發分析工作負載下的性能表現。
2.內容總結：
2.1 Amazon EFS簡介
定義：Amazon EFS是一種完全托管的彈性文件存儲服務，為各種應用程序提供簡單的文件存儲和共享。
特性：
無服務器：無需預置或管理存儲基礎設施。
彈性：根據需要自動擴展和縮減存儲容量，支持PB級數據存儲。
高可用性：數據存儲在多個可用區，確保高可用性。
安全：支持數據加密和訪問控制。
優勢：
簡化部署和管理。
降低成本，按使用量付費。
提升應用程序性能和可擴展性。
2.2 Amazon EFS集成
計算服務：EFS與所有AWS計算服務兼容，包括Amazon EC2、AWS Lambda、Amazon ECS、Amazon EKS等。
支持從數萬個并發客戶端共享文件數據。
可用作容器的持久卷，實現狀態化容器、快速恢復和應用程序擴展。
其他AWS服務：EFS集成了AWS IAM、AWS KMS、AWS CloudWatch、AWS CloudTrail、AWS DataSync和AWS Backup等服務。
使用IAM進行訪問控制。
使用KMS進行數據加密。
使用CloudWatch和CloudTrail進行監控和審計。
使用DataSync進行快速數據遷移。
使用Backup進行數據備份和保護。
2.3 Amazon EFS性能模式
EFS提供三種吞吐量模式：
彈性吞吐量（ET）：默認模式，根據工作負載需求自動擴展性能，適用于大多數工作負載。
預置吞吐量（PT）：為文件系統設置固定的吞吐量，適用于具有可預測吞吐量需求的工作負載。
突發吞吐量（BT）：適用于具有低平均吞吐量但偶爾需要高吞吐量的文件系統，按突發信用額度計費。
EFS提供了性能優化功能：
彈性吞吐量模式：利用多租戶架構，根據需要自動擴展性能。
EFS文件系統策略：使用預讀和緩存策略優化數據訪問性能。
2.4 Amazon EFS數據保護
數據持久性：數據寫入操作在被確認之前，會跨三個可用區進行持久化存儲，確保數據持久性。
可用區彈性：EFS文件系統可以承受單個可用區的完全丟失，同時在其他可用區繼續提供服務。
AWS Backup集成：使用AWS Backup對EFS文件系統進行備份，提供額外的安全保障。
保護數據免受意外刪除或覆蓋。
EFS復制功能：在同一區域或不同區域內創建EFS文件系統的副本。
用于災難恢復、數據遷移和提高數據安全性。
支持異步復制，提供分鐘級的恢復時間目標（RTO）和恢復點目標（RPO）。
支持復制回退功能，支持切換主文件系統和副本文件系統之間的復制方向。
2.5 Amazon EFS安全最佳實踐
網絡安全：使用安全組控制對EFS文件系統的訪問。
數據加密：使用EFS掛載助手啟用傳輸中加密和靜態加密。
2.6 Amazon EFS用例
內容管理系統：為網站和應用程序提供共享文件存儲。
機器學習：存儲訓練數據和模型工件。
大數據分析：為分析工作負載提供高性能、可擴展的存儲。
2.7 Amazon EFS演示
演示內容包括：
創建EFS文件系統。
將EFS文件系統掛載到EC2實例。
向EFS文件系統寫入數據。
使用AWS Lambda函數從EFS文件系統讀取數據。
演示重點：
展示EFS的易用性。
展示EFS在高并發分析工作負載下的性能表現。
四、對象存儲
STG207-使用Amazon S3 Glacier存儲類最大化冷數據的價值
STG207-Maximize the value of cold data with Amazon S3 Glacier storage classes
1.內容概述：
本演講詳細介紹了Amazon S3 Glacier存儲類，重點講解了冷數據的定義、應用場景以及如何利用S3 Glacier存儲類降低存儲成本、優化數據恢復流程。演講還結合實際案例，展示了如何通過S3生命周期策略和智能分層功能，將數據自動遷移到合適的存儲類，從而在保證數據可用性的同時最大限度地降低成本。
2.內容總結：
2.1 冷數據的定義和應用場景
冷數據指的是訪問頻率低于每季度一次的數據。
常見應用場景包括：
數據保存：長期保存具有潛在價值的數據，例如媒體文件、歷史數據等。
合規性：為了滿足法律法規或行業規范，需要長期保存特定類型的數據。
成本優化：將冷數據遷移到低成本的存儲類，可以顯著降低存儲成本。
2.2 Amazon S3 Glacier存儲類
S3 Glacier存儲類是專為冷數據設計的低成本存儲解決方案。
主要包括以下存儲類：
Glacier Instant Retrieval：提供毫秒級訪問速度，適用于需要快速訪問的冷數據，例如醫療影像、用戶生成內容等。
Glacier Flexible Retrieval：提供分鐘到小時級別的訪問速度，適用于需要靈活檢索的冷數據，例如備份、日志等。
Glacier Deep Archive：提供最低的存儲成本，但訪問速度較慢（可能需要數小時甚至數天），適用于長期保存且很少訪問的數據，例如合規性數據。
2.3 將數據遷移到S3 Glacier存儲類
S3生命周期策略：可以根據數據的訪問模式和生命周期，自動將數據遷移到合適的存儲類。
例如，可以設置規則，將30天未訪問的數據遷移到Glacier Instant Retrieval，將90天未訪問的數據遷移到Glacier Flexible Retrieval。
S3智能分層：可以自動監控數據的訪問模式，并將數據在不同的存儲類之間進行自動分層，無需手動管理。
智能分層包括頻繁訪問層、不頻繁訪問層、存檔即時訪問層、存檔訪問層和深度存檔訪問層。
可以根據需要啟用或禁用存檔訪問層和深度存檔訪問層。
2.4 從S3 Glacier存儲類恢復數據
從Glacier Flexible Retrieval和Glacier Deep Archive恢復數據需要執行以下步驟：
發起恢復請求：選擇合適的恢復類型（批量檢索、標準檢索、快速檢索）以及恢復時間。
檢查恢復完成狀態：可以通過API或控制臺查看恢復進度。
訪問恢復后的數據：恢復后的數據會存儲在S3標準存儲類中，可以通過S3 API進行訪問。
2.5 優化大規模數據恢復
批量操作：可以使用批量操作同時恢復大量對象，提高效率。
事件通知：可以配置事件通知，在恢復完成后自動觸發后續操作。
2.6 客戶案例
Canva：通過將冷數據遷移到Glacier Instant Retrieval和Glacier Flexible Retrieval，每月節省了300萬美元的存儲成本。
NASCAR：將第二天不再使用的比賽視頻直接遷移到Glacier Instant Retrieval，節省了大量存儲成本。
Deluxe：使用批量操作恢復數據，將恢復時間從數小時縮短到數分鐘。
2.7 最佳實踐
根據數據檢索需求選擇合適的Glacier存儲類。
使用S3生命周期策略或智能分層功能自動管理數據遷移。
對于大規模數據恢復，使用批量操作和事件通知功能提高效率。
STG212-Amazon S3新功能
STG212-What's new with Amazon S3
1.內容概述：
本演講全面介紹了Amazon S3在過去一年中發布的30項新功能，涵蓋了結構化數據、非結構化數據、規模、性能和安全等方面。演講重點講解了S3 Tables和S3元數據表兩項重要功能，并通過實際案例和演示，展示了新功能如何幫助用戶更好地管理、優化和保護數據。
2.內容總結：
2.1 結構化數據管理
Amazon S3 Tables：一項完全托管的Apache Iceberg表格服務，簡化了在S3上存儲和查詢結構化數據的過程。
高性能：通過利用S3底層索引，實現更高的初始TPS，提升查詢性能。
安全性：表格作為S3中的一級資源，簡化了安全策略的設置。
成本優化：根據用戶設置的策略自動進行存儲成本優化。
2.2 非結構化數據管理
S3元數據功能（預覽階段）：提供了一種查詢S3元數據的新方法，通過創建元數據日志表，用戶可以使用簡單的SQL命令查詢S3元數據。
用例：例如，查詢日志表可以識別存儲桶中所有AI生成的視頻。
2.3 規模和性能提升
更高的存儲桶限制：S3現在支持每個賬戶創建1萬個存儲桶，滿足多租戶應用的需求。
條件請求：引入了Put If Absent和Put If Match條件請求，簡化了分布式應用程序的數據持久性管理。
解決的問題：避免了多個客戶端同時寫入數據導致的數據覆蓋問題。
新的校驗和算法：支持SHA-256和SHA-1校驗和算法，增強了數據完整性保護。
S3 Express One Zone擴展：新增了三個區域支持（愛爾蘭、俄亥俄州和孟買），并增加了與其他AWS服務的集成。
新功能：支持追加數據功能，支持向現有對象追加數據。
客戶端性能優化：
Mount Point for Amazon S3：增加了增量上傳功能，并支持AWS Dedicated Local Zones中的目錄存儲桶。
緩存選項：擴展了緩存選項，包括與S3 Express One Zone配合使用的高性能共享讀取緩存。
S3 Connector for PyTorch：增加了對PyTorch Lightning和TensorFlow的支持，進一步提升了機器學習訓練性能。
2.4 安全增強
簡化403錯誤排查：S3現在提供更詳細的錯誤信息，幫助用戶快速解決訪問被拒絕的問題。
S3 Access Grants擴展：增加了對SageMaker、Redshift、Glue ETL和Boto3的支持，簡化了數據訪問權限管理。
新的API用于列出用戶權限：方便用戶查看特定用戶對S3數據集的訪問權限。
2.5 其他新功能
Storage Browser：一個AWS Amplify JavaScript和React庫，簡化了Web應用程序中的數據上傳和管理。
與Amplify Hosting集成：用戶可以通過S3控制臺將S3存儲桶連接到Amplify托管的網站，簡化靜態網站托管流程。
與Transfer Family Web Apps集成：用戶可以使用S3 Access Grants創建簡單的Web應用程序，方便非技術用戶訪問數據。
2.6 演示
演講最后通過演示展示了以下功能：
使用Mount Point for Amazon S3將S3存儲桶掛載到EC2實例，并演示增量上傳功能。
使用S3 Connector for PyTorch運行PyTorch訓練作業，展示其性能優勢。
使用Storage Browser在Web應用程序中上傳和管理數據。
將S3存儲桶連接到Amplify托管的網站，展示靜態網站托管流程。
STG302-Amazon S3深入探討
STG302-Dive deep on Amazon S3
1.內容概述：
本演講由Amazon S3工程團隊領導者主講，深入探討了Amazon S3的內部工作機制，揭示了構建大規模存儲系統的工程原理，并解釋了這些原理如何使各種規模的用戶受益。演講重點關注S3的數據分布和去相關性策略，以及Shuffle Sharding算法和AWS Common Runtime（CRT）如何協同工作，以實現高性能、高可用性和高韌性。
2.內容總結：
2.1 Amazon S3架構概覽
硬件基礎設施：Amazon S3構建于大規模的服務器和硬盤集群之上，這些硬件分布在全球多個區域和可用區，確保數據冗余存儲和高可用性。
軟件架構：S3軟件架構采用分層設計，包括前端系統、對象索引、數據存儲等多個模塊。
前端系統：負責處理用戶請求、身份驗證、授權和請求路由等功能。
對象索引：存儲對象元數據，例如對象名稱、大小、存儲類、版本信息等。
數據存儲：負責將數據分片并存儲到硬盤集群中。
2.2 數據分片和冗余存儲
數據分片：當用戶上傳對象到S3時，系統會將對象拆分成多個數據塊（稱為shard）。
糾刪碼：S3使用糾刪碼算法將數據shard冗余存儲到多個硬盤驅動器上。
這種機制可以容忍一定數量的硬盤故障，確保數據高可用性和持久性。
2.3 Shuffle Sharding和去相關性
Shuffle Sharding：一種數據放置算法，用于將數據shard隨機分布到整個存儲集群中。
目標是將不同對象的數據shard分散存儲，避免熱點問題，確保工作負載的均衡分布。
去相關性：S3系統的設計原則，旨在將不同資源（例如網絡、計算、存儲）之間的依賴關系降至最低。
這種設計可以避免單點故障，提高系統整體的韌性和穩定性。
2.4 AWS Common Runtime（CRT）
定義：一個低級軟件庫，用于與S3進行交互。
功能：實現了S3的最佳實踐，例如重試機制、請求自動并行化等。
優勢：幫助用戶從S3獲得更高的吞吐量，單個主機可實現數百Gbps的吞吐量。
與Shuffle Sharding的協同：CRT利用Shuffle Sharding算法，選擇最佳的存儲節點進行數據讀寫操作，進一步提升性能和韌性。
STG323-在Amazon S3上構建和優化數據湖
STG323-Build and optimize a data lake on Amazon S3
1.內容概述：
本演講以虛構的Forever Ecommerce公司為例，講解了如何使用Amazon S3構建和優化PB級數據湖。演講重點介紹了數據湖的分層架構、數據攝取、查詢優化、安全治理以及長期管理等方面的最佳實踐。
2.內容總結：
2.1 數據湖架構設計
分層存儲：將數據湖劃分為原始數據層、處理數據層和精選數據層，以提高數據質量和查詢效率。
原始數據層：存儲來自各個業務系統的原始數據，例如點擊流數據、訂單數據、日志文件等。關鍵考慮因素：文件結構、分區策略、存儲類別選擇。
處理數據層：對原始數據進行清洗、轉換和聚合，并以結構化格式存儲，例如Parquet。關鍵考慮因素：數據格式選擇、表結構設計、數據質量監控。
精選數據層：存儲高度聚合和優化后的數據，用于特定業務場景，例如BI報表、機器學習模型訓練等。關鍵考慮因素：數據訪問模式、查詢性能優化、數據安全性。
2.2 數據攝取和處理
數據源：電商平臺、訂單系統、點擊流數據、日志文件等。
數據攝取工具：Amazon Kinesis Data Firehose、AWS Glue等。
數據格式：JSON、Parquet等。
2.3 查詢性能優化
數據分區：根據查詢模式對數據進行分區，例如按日期、產品類別、用戶ID等進行分區。
文件格式：選擇Parquet等列式存儲格式，以提高查詢效率。
排序策略：對數據進行排序，以減少查詢時需要掃描的數據量。
2.4 安全和治理
訪問控制：使用AWS IAM策略精細控制數據訪問權限。
跨賬戶共享：將數據存儲在單獨的賬戶中，并使用跨賬戶共享策略控制訪問權限。
數據治理和發現：使用AWS Glue Data Catalog建立數據目錄，并使用標簽和元數據標記數據。
數據加密：使用S3提供的加密功能或自帶密鑰加密數據。
2.5 長期管理
指標收集：收集來自S3、AWS Glue、Amazon EMR、Amazon Athena等服務的指標，以監控數據湖的運行狀況和性能。
成本優化：使用S3存儲類別管理和生命周期策略優化存儲成本。
自動化：使用AWS Lambda和AWS Step Functions等服務自動化數據湖管理任務。
2.6 案例分析
Forever Ecommerce公司：演示了如何使用S3構建和優化數據湖，以支持訂單收集和點擊流分析等業務場景。
STG328-使用Amazon S3優化存儲性能
STG328-Optimizing storage performance with Amazon S3
1.內容概述：
本演講探討了如何利用Amazon S3的特性和最新功能來優化存儲性能，從而提升應用程序的速度和效率。演講重點關注以下方面：
性能優化的重要性以及如何識別和解決性能瓶頸
Amazon S3的最新性能改進，例如S3 Express One Zone存儲類、AWS Common Runtime （CRT）庫以及針對開源數據湖和機器學習框架的優化
針對不同工作負載場景的性能優化策略，包括機器學習訓練、數據庫查詢和大文件傳輸
2.內容總結：
2.1 性能優化的重要性
計算資源利用率：存儲性能直接影響計算資源的利用率。存儲性能越高，數據讀取和寫入速度越快，計算資源的閑置時間就越短，從而降低TCO。
應用程序響應速度：對于時延敏感型應用，例如圖像和視頻服務，存儲性能決定了用戶體驗。快速的存儲訪問可以縮短響應時間，提升用戶滿意度。
數據處理效率：對于高吞吐量應用，例如ETL作業和機器學習訓練，存儲性能決定了數據處理的速度。高吞吐量的存儲系統可以加速數據管道，縮短處理時間。
2.2 識別和解決性能瓶頸
監控工具：使用Amazon CloudWatch、Amazon S3 Storage Lens和Amazon S3 Server Access Logs等工具監控存儲性能指標，例如請求延遲、吞吐量和錯誤率。
性能分析：分析監控數據，識別性能瓶頸，例如高延遲請求、低吞吐量操作或頻繁的錯誤。
優化策略：根據瓶頸類型采取相應的優化策略，例如增加并行請求數量、優化請求大小、調整存儲類別或使用緩存機制。
2.3 Amazon S3性能改進
Amazon S3 Express One Zone：一種高性能存儲類，提供個位數毫秒級的訪問延遲，適用于頻繁訪問的數據集。
優勢：性能提升10倍，請求成本降低50%，可擴展至每分鐘數百萬個請求。
適用場景：機器學習訓練、交互式分析、媒體內容創建等。
AWS Common Runtime （CRT）：一個低級軟件庫，用于與S3進行交互，實現了S3的最佳實踐，例如重試機制和請求自動并行化。
優勢：幫助用戶從S3獲得更高的吞吐量，單個主機可實現數百Gbps的吞吐量。
Mount Point for Amazon S3：一個開源文件客戶端，用戶可以將S3存儲桶掛載到計算實例上，像訪問本地文件系統一樣訪問S3對象。
優勢：簡化S3對象訪問，提供高吞吐量性能，支持S3 Express One Zone和AWS Dedicated Local Zones等功能。
開源數據湖優化：針對Apache Iceberg和Apache Spark等開源數據湖框架的性能優化，包括優化Parquet文件格式、數據分區和請求并行化策略。
機器學習框架優化：針對PyTorch和TensorFlow等機器學習框架的性能優化，包括提供S3數據連接器、優化數據讀取和寫入操作以及支持分布式檢查點功能。
2.4 針對不同工作負載場景的優化策略
機器學習訓練：使用Amazon S3 Express One Zone存儲訓練數據集，利用S3數據連接器加速數據讀取和寫入，使用分布式檢查點功能提高容錯能力。
數據庫查詢：使用Parquet文件格式存儲數據，優化數據分區和排序策略，利用S3 Select功能只讀取必要的數據列，使用Amazon Athena等查詢引擎加速查詢執行。
大文件傳輸：增加并行請求數量，優化請求大小，使用AWS DataSync等工具加速數據傳輸。
2.5 性能優化最佳實踐
選擇合適的存儲類別：根據數據訪問模式選擇合適的S3存儲類別，例如S3 Standard、S3 Intelligent-Tiering或S3 Express One Zone。
優化數據布局：使用數據分區、排序和文件格式優化來提高數據讀取效率。
利用并行化：通過增加并行請求數量和使用多線程或多進程來提高數據傳輸和處理速度。
優化請求大小：選擇合適的請求大小，以平衡請求開銷和數據傳輸效率。
使用緩存機制：使用Mount Point for Amazon S3的緩存功能或Amazon ElastiCache等服務來緩存經常訪問的數據。
五、塊存儲
STG205-使用Amazon EBS快照輕松保護關鍵數據
STG205-Protect critical data with ease using Amazon EBS snapshots
1.內容概述：
本演講深入講解了Amazon EBS快照的功能、優勢和使用場景，以及如何利用快照實現數據保護、備份和災難恢復。演講重點介紹了快照的增量機制、加密選項、跨區域復制、快照鎖以及與其他AWS服務（如AWS Backup和Amazon Data Lifecycle Manager）的集成。此外，還分享了SAP公司如何利用EBS快照保護其RISE with SAP平臺上數萬個SAP系統的數據完整性和合規性。
2.內容總結：
2.1 Amazon EBS快照基礎知識
定義：EBS快照是EBS卷的時間點副本，包含還原卷到創建快照時狀態所需的所有數據。
增量機制：快照僅存儲自上次快照以來更改的數據塊，從而提高創建速度并降低存儲成本。
數據加載：從快照創建卷時，數據在后臺加載，用戶可以立即開始使用卷。
用途：備份和災難恢復；刷新、擴展和數據移交工作流；備份數據中心數據并還原到云端；為第三方自動化和編排解決方案提供基礎。
2.2 安全特性
加密：EBS通過與AWS Key Management Service （KMS）集成，提供256位加密，確保卷和快照中的靜態數據以及傳輸中的數據都得到加密。
跨區域和跨賬戶復制：用戶可以將快照復制到其他區域或賬戶，以滿足災難恢復、數據擴展和測試需求。
基于時間的快照復制：用戶可以指定快照復制的持續時間（15分鐘到48小時），以滿足特定的恢復點目標（RPO）。
快照共享：用戶可以選擇私下共享快照給特定賬戶或公開共享，但通常不建議公開共享。
阻止公開共享：用戶可以在賬戶級別阻止所有公開共享或阻止新的公開共享，以增強安全性。
快照鎖：用戶可以使用快照鎖功能防止快照被刪除，以滿足數據不可變性和合規性要求。
2.3 RISE with SAP中的EBS快照
RISE with SAP：一種將SAP應用程序遷移到AWS云端的托管服務。
數據保護挑戰：確保數據安全、不可變以及防止勒索病毒攻擊。
EBS快照優勢：增量快照機制縮短備份和恢復時間；區域存儲提供數據冗余和可用性；存儲層快照機制對應用程序性能影響最小；使用KMS密鑰加密提高數據安全性；快照鎖功能實現數據不可變性和勒索病毒防護。
架構和工作流程：使用Lambda函數進行生命周期管理；支持排除特定卷以優化成本；跨一致性快照確保數據一致性；使用快速快照還原（FSR）功能加速數據恢復；通過標簽管理已分離的卷。
2.4 Amazon Data Lifecycle Manager （DLM）
功能：基于策略的EBS快照生命周期管理解決方案。
策略類型：單卷快照策略；多卷崩潰一致性快照策略；EBS支持的Amazon系統映像（AMI）策略。
應用一致性快照：與AWS Systems Manager集成，為MySQL、PostgreSQL、Windows應用程序和SAP HANA創建應用一致性快照，以加快數據庫恢復速度。
成本效益：創建和管理策略免費，用戶僅需支付EBS快照的存儲費用。
2.5 EBS快照回收站
功能：防止意外或惡意刪除快照和AMI。
規則類型：賬戶級別規則，保護區域內所有快照和AMI；基于標簽的規則，保護特定快照和AMI。
排除標簽：用戶可以從賬戶級別規則中排除特定快照和AMI。
STG213-Amazon EBS新功能
STG213-What's new with Amazon EBS
1.內容概述：
Amazon EBS的最新功能和架構改進，重點關注性能提升、韌性增強和安全性強化等方面。演講內容包括：
EBS性能的演進歷程，從早期共享帶寬和有限IOPS到如今的專用帶寬和高達42萬 IOPS的實例級性能；IO2 Block Express （io2bx）卷的架構和優勢，包括高性能、高持久性、大容量和NVMe支持；EBS io2bx卷的韌性特性，例如多可用區部署、EBS卷狀態檢查和EBS暫停IO操作；EBS io2bx卷的性能監控工具，包括CloudWatch指標、EBS NVMe統計信息和故障注入模擬器；降低EBS io2bx卷延遲的最新技術，包括使用io_uring異步IO庫和優化存儲服務器軟件；EBS快照的災難恢復功能，包括跨可用區和跨賬戶復制快照，以及使用彈性災難恢復（EDR）實現半同步復制。
2.內容總結：
2.1 Amazon EBS概述
網絡連接持久性存儲：EBS為EC2實例提供網絡連接的塊存儲，具有持久性和獨立生命周期。
分布式存儲系統：EBS服務器架構不斷演進，提供各種卷類型以滿足不同的性能、持久性和成本需求。
核心價值主張：EBS的核心價值主張是高性能、高可靠性和安全性。
2.2 EBS性能演進
早期限制：早期EBS受限于共享帶寬和低IOPS，每卷僅支持100IOPS，且帶寬與網絡流量共享。
持續改進：EBS性能不斷提升，目前io2bx卷可提供高達256,000 IOPS的卷級性能和高達42萬 IOPS的實例級性能，并使用專用EBS帶寬。
2.3 IO2 Block Express （io2bx）卷
架構：io2bx基于Nitro系統，利用NVMe協議提供高性能和低延遲。
優勢：高性能：高達256,000 IOPS（卷）/42萬 IOPS（實例）；高持久性：99.999%持久性；大容量：高達64TB；低延遲：亞毫秒級延遲；NVMe支持。
2.4 EBS韌性
多可用區部署：io2bx支持跨三個可用區部署，增強數據冗余和可用性。
EBS卷狀態檢查：EC2中的EBS卷狀態檢查功能簡化了卷狀態監控，無需逐個檢查卷。
EBS暫停IO操作：用戶可以暫停卷IO操作，方便進行維護和故障排除。
2.5 性能監控工具
CloudWatch指標：提供卷級性能指標，例如IOPS、吞吐量和延遲。
EBS NVMe統計信息：提供更細粒度的性能數據，包括總操作數、讀寫操作數、字節數和時間戳。
故障注入模擬器：用戶可以模擬卷不可用場景，測試應用程序的韌性和恢復能力。
2.6 降低延遲的技術
io_uring：一種Linux內核異步IO庫，可降低系統調用開銷，提升IO性能。
優化存儲服務器軟件：EBS團隊不斷優化存儲服務器軟件，減少數據路徑上的延遲。
2.7 EBS快照和災難恢復
EBS快照：EBS快照是EBS卷的時間點副本，存儲在Amazon S3中，具有11個9的持久性。
跨可用區和跨賬戶復制：用戶可以將快照復制到其他區域或賬戶，以滿足災難恢復和數據遷移需求。
彈性災難恢復（EDR）：EDR提供半同步復制功能，將數據復制到另一個區域，實現更低的RPO。
STG329-使用Amazon EBS最大限度地提高高強度工作負載的性能
STG329-Maximizing performance for high-intensity workloads using Amazon EBS
1.內容概述：
本演講重點講解了Amazon EBS io2 Block Express （io2bx）卷如何滿足高強度工作負載對高IOPS、高吞吐量和低延遲的苛刻要求。演講內容涵蓋io2bx的性能優勢、架構設計、實際應用案例以及性能優化和監控技巧。
2.內容總結：
2.1 Amazon EBS和io2 Block Express概述
EBS存儲：EBS為EC2實例提供網絡連接的塊存儲，具有持久性、高可用性和高性能的特點，適用于各種工作負載。
EBS卷類型：EBS提供多種基于SSD和HDD的卷類型，包括通用型（GP3）、高IOPS型（io2）以及io2 Block Express （io2bx）。
io2 Block Express （io2bx）：io2bx是EBS家族中性能最高的卷類型，專為關鍵任務型高強度工作負載設計，提供亞毫秒級延遲和99.999%的持久性。
2.2 io2 Block Express的性能優勢
高IOPS：io2bx每卷提供高達256,000 IOPS，通過卷條帶化，每實例可實現高達42萬 IOPS。
高吞吐量：io2bx每卷提供高達4,000 MB/s的吞吐量，通過卷條帶化可進一步提升。
低延遲：io2bx持續提供亞毫秒級延遲，即使在99.9%的情況下也能保持極低的尾部延遲。
高持久性：io2bx提供99.999%的持久性，最大程度減少應用程序停機時間。
2.3 io2 Block Express架構和設計
Nitro系統：io2bx基于Amazon EC2 Nitro系統，該系統卸載了存儲虛擬化任務，釋放了CPU資源并提高了性能。
NVMe協議：io2bx利用NVMe協議提供高性能和低延遲。
多可用區部署：io2bx支持跨三個可用區部署，增強數據冗余和可用性。
卷條帶化：用戶可以使用RAID 0或LVM將多個io2bx卷條帶化，以獲得更高的性能，但需要注意條帶化會降低系統的有效持久性。
2.4 io2 Block Express應用案例
Epic系統：醫療保健軟件供應商Epic的系統對IOPS要求極高，io2bx幫助Epic客戶實現了高達7,500萬TPS的性能，并擴展了其數據庫。
SAP HANA：io2bx幫助SAP HANA客戶實現了63%的性能提升，并利用EBS快照功能確保了數據一致性。
McAfee數據庫：McAfee將其關鍵任務數據庫遷移到io2bx后，延遲降低了80%，吞吐量提高了75%，成本降低了40%。
2.5 io2 Block Express性能優化和監控
選擇合適的卷類型：對于大多數工作負載，GP3是一個不錯的選擇，但對于關鍵任務型高強度工作負載，io2bx提供最佳性能。
卷條帶化：使用卷條帶化可以提高性能，但需要注意有效持久性的降低。
I/O合并：EBS的I/O合并功能可以將連續的小I/O合并成一個后端操作，提高吞吐量并降低IOPS消耗。
CloudWatch指標：CloudWatch提供EBS卷的平均讀寫延遲指標，幫助用戶監控性能。
EBS NVMe統計信息：EBS NVMe統計信息提供更細粒度的性能數據，包括IOPS節流時間和吞吐量節流時間。
EBS卷狀態檢查：EC2中的EBS卷狀態檢查功能簡化了卷狀態監控。
六、數據保護與災難恢復
STG203-AWS Backup新功能
STG203-What's new with AWS Backup
1.內容概述：
AWS Backup的最新功能和應用，重點關注如何利用AWS Backup構建數據保護策略，應對勒索病毒威脅以及實現災難恢復。演講內容包括：
AWS Backup的核心功能和優勢，例如策略驅動的備份管理、跨服務和跨賬戶備份、備份的不可變性和還原測試；AWS Backup如何應對勒索病毒威脅，包括使用邏輯隔離保險庫（Logically Air-gapped Vault）、服務擁有密鑰（Service-Owned Key）和還原測試功能；AWS Backup的實際應用案例，例如Freddie Mac和Skyscanner如何使用AWS Backup實現數據保護和災難恢復；AWS Backup的最新功能，例如跨區域和跨賬戶備份、S3備份還原所有版本、成本計算器改進。
2.內容總結：
2.1 AWS Backup概述
策略驅動的備份服務：AWS Backup是一種完全托管的策略驅動的備份服務，用戶可以集中管理和自動化數據保護。
簡化備份管理：用戶可以根據數據保護需求定義備份策略，AWS Backup自動執行備份、復制和還原操作。
廣泛的服務支持：AWS Backup支持多種AWS服務，包括計算、存儲、數據庫和應用程序。
混合云支持：AWS Backup還支持VMware和SAP等混合云工作負載。
2.2 應對勒索病毒威脅
邏輯隔離保險庫（Logically Air-gapped Vault）：這是一種新型的AWS Backup保險庫，提供邏輯隔離和不可變性，防止勒索病毒攻擊。
強制合規模式：邏輯隔離保險庫默認啟用合規模式，確保備份的不可變性。
服務擁有密鑰（Service-Owned Key）：AWS Backup服務擁有密鑰，消除了客戶管理密鑰的單點故障風險。
還原測試：用戶可以使用AWS Backup的還原測試功能，定期測試備份的可恢復性，確保數據在需要時可用。
第三方集成：AWS Backup支持與第三方安全解決方案集成，例如勒索病毒掃描和惡意軟件掃描。
2.3 AWS Backup應用案例
Freddie Mac：Freddie Mac使用AWS Backup增強其數據保護策略，通過跨區域邏輯隔離保險庫和合規鎖實現備份的不可變性，并構建“潔凈室”環境驗證數據恢復能力。
Skyscanner：Skyscanner使用AWS Backup構建集中式備份解決方案，利用標簽選擇資源進行備份，并使用AWS CDK自動化備份配置和管理。
2.4 AWS Backup的最新功能
跨區域和跨賬戶備份：AWS Backup擴展了跨區域和跨賬戶備份功能，支持更多資源類型。
S3備份還原所有版本：AWS Backup現在支持還原S3備份的所有版本，滿足用戶更細粒度的恢復需求。
成本計算器改進：AWS Backup成本計算器得到改進，幫助用戶更準確地預測備份成本。
STG301-使用AWS存儲進行數據保護和韌性
STG301-Data protection and resilience with AWS storage
1.內容概述：
本演講深入探討了AWS存儲服務如何幫助企業構建多層次的數據保護和韌性策略，以應對數據丟失、意外停機、自然災害和勒索病毒攻擊等威脅。演講內容涵蓋AWS數據保護責任共擔模型、AWS存儲服務組合、數據保護和災難恢復架構模式以及AWS Backup的應用和優勢。
2.內容總結：
2.1 數據保護責任共擔模型
AWS負責云平臺的韌性：AWS負責維護其基礎設施（包括區域、可用區、邊緣站點）的高可用性，確保計算、存儲、數據庫、網絡和其他硬件服務具有冗余性和容錯能力。例如，AWS負責確保Amazon S3的11個9的持久性，這意味著存儲在S3中的對象不會丟失或損壞。
客戶負責云中應用程序的韌性：客戶負責設計和實施其應用程序的數據保護和災難恢復策略，確保應用程序能夠應對各種故障和威脅。例如，客戶需要配置S3版本控制、復制、對象鎖定和生命周期策略，以保護其數據免受意外刪除、覆蓋和勒索病毒攻擊。
2.2 AWS存儲服務組合
塊存儲：Amazon Elastic Block Store （EBS）為EC2實例提供持久性塊存儲，支持多種卷類型以滿足不同的性能需求。
對象存儲：Amazon S3提供可擴展、持久且經濟高效的對象存儲，適用于各種用例，包括數據湖、備份和歸檔。Amazon S3 Glacier提供低成本的歸檔存儲，適用于不常訪問的數據。
文件存儲：Amazon Elastic File System （EFS）提供完全托管的彈性文件存儲，適用于各種應用程序，包括Web服務器和容器化應用程序。Amazon FSx提供適用于Windows和Linux工作負載的高性能文件存儲。Amazon File Cache提供緩存功能，加速對本地存儲的數據訪問。
2.3 數據保護和災難恢復架構模式
多可用區部署：AWS區域包含多個可用區，這些可用區在地理位置上相互隔離，但通過低延遲網絡連接。通過跨多個可用區部署應用程序和數據，可以提高應用程序的可用性和容錯能力。
備份和恢復：備份是數據保護的基本策略，AWS Backup提供集中式、策略驅動的備份管理平臺，支持多種AWS服務，包括計算、存儲、數據庫和應用程序。AWS Backup還可以幫助客戶實現備份的不可變性、策略化保留和還原測試，以增強數據安全性和可恢復性。
復制：復制是一種實時數據保護機制，通過將數據復制到另一個位置來確保數據可用性。AWS提供多種復制選項，包括S3復制、EBS快照復制和數據庫復制。復制可以用于災難恢復、數據遷移和跨區域數據共享等場景。
S3數據保護：盡管Amazon S3提供11個9的持久性，但客戶仍然需要采取措施來保護其數據免受意外刪除、覆蓋和勒索病毒攻擊。建議使用S3版本控制、復制、對象鎖定和生命周期策略來構建多層次的S3數據保護策略。
EC2和EBS數據保護：建議使用EBS快照來備份EC2實例的EBS卷。EBS快照存儲在S3中，具有11個9的持久性。為了增強數據保護，建議將EBS快照復制到另一個賬戶或區域。
2.4 AWS Backup應用和優勢
集中式備份管理：AWS Backup提供集中式備份管理平臺，簡化了跨多個AWS服務的備份管理。
策略驅動的備份：用戶可以定義備份策略，指定要備份的資源、備份頻率、保留期和目標位置。
不可變備份：AWS Backup支持邏輯隔離保險庫，確保備份的不可變性，防止勒索病毒攻擊。
還原測試：AWS Backup提供還原測試功能，幫助用戶驗證備份的可恢復性。
合規性和審計：AWS Backup提供合規性和審計報告，幫助用戶滿足法規遵從性要求。
STG339-超越11個9的持久性：使用Amazon S3進行數據保護
STG339-Beyond 11 9s of durability: Data protection with Amazon S3
1.內容概述：
本演講探討了Amazon S3如何通過其架構設計實現11個9的持久性，并介紹了如何使用S3的功能來增強數據保護，以防止意外刪除、覆蓋和勒索病毒攻擊。演講涵蓋了S3的內部機制，如糾刪碼和Shuffle Sharding，以及S3版本控制、復制和對象鎖等數據保護功能。
2.內容總結：
2.1 Amazon S3的持久性和可用性
11個9的持久性：Amazon S3的設計目標是實現11個9的持久性，這意味著存儲在S3中的對象極不可能丟失或損壞。S3通過多種機制來實現持久性，包括數據冗余存儲、數據完整性校驗和故障恢復機制。
跨可用區冗余：S3將數據存儲在多個可用區（AZ），每個可用區都是地理位置上相互隔離的數據中心。當一個可用區發生故障時，S3可以從其他可用區恢復數據，從而確保數據的可用性。
糾刪碼：S3使用糾刪碼技術將對象分成多個分片，并將這些分片存儲在多個驅動器上。即使多個驅動器發生故障，S3也可以使用剩余的分片重建對象。
Shuffle Sharding：S3使用Shuffle Sharding技術將對象隨機分布到不同的驅動器上，以分散負載并提高性能。
2.2 數據保護挑戰和策略
意外刪除和覆蓋：即使S3具有高度的持久性，意外刪除和覆蓋仍然是數據丟失的主要原因。
勒索病毒攻擊：勒索病毒攻擊對數據安全構成重大威脅，攻擊者可能會加密數據并要求贖金才能解密。
數據保護策略：為了應對這些挑戰，S3提供了多種數據保護功能，包括版本控制、復制和對象鎖。
2.3 S3數據保護功能
S3版本控制：版本控制用戶可以保留對象的多個版本，以便在意外刪除或覆蓋時恢復到之前的版本。
S3復制：復制用戶可以將對象復制到其他S3存儲桶，以便在發生區域性故障時進行災難恢復或跨區域數據共享。
S3對象鎖：對象鎖用戶可以使對象不可變，防止刪除或覆蓋，這對于滿足合規性要求和防范勒索病毒攻擊至關重要。對象鎖有兩種模式：合規模式和治理模式。合規模式提供最高級別的保護，一旦設置，任何人都無法更改或刪除對象，即使是存儲桶所有者也不行。
多重身份驗證（MFA）刪除：MFA刪除要求用戶在刪除對象或更改存儲桶版本控制狀態時提供額外的身份驗證因素。
條件寫入：S3支持條件寫入，用戶可以根據特定條件進行寫入操作，例如僅當對象不存在時才寫入對象。這有助于防止意外覆蓋現有對象。
2.4 S3復制和多區域訪問點
S3復制：S3復制可用于創建數據的多個副本，并將這些副本存儲在不同的區域。這有助于確保在發生區域性故障時數據的可用性。
S3多區域訪問點：S3多區域訪問點提供了一個全局端點，可用于訪問存儲在不同區域的S3存儲桶中的數據。應用程序可以使用多區域訪問點來路由請求到最近的區域副本，從而提高性能。
2.5 最佳實踐
啟用版本控制：默認情況下為所有S3存儲桶啟用版本控制。
使用MFA刪除：對關鍵數據存儲桶使用MFA刪除。
使用對象鎖：對于不可變數據，使用對象鎖來防止意外或惡意刪除。
實施最小權限原則：僅授予用戶訪問其所需數據的權限。
使用S3復制進行災難恢復：將數據復制到不同的區域，以便在發生區域性故障時進行恢復。
STG409-使用AWS Backup構建針對勒索病毒的韌性
STG409-Building resilience against ransomware using AWS Backup
1.內容概述：
本演講針對勒索病毒攻擊日益嚴峻的形勢，詳細介紹了如何利用AWS Backup服務構建多層次的數據保護和恢復策略，以最大程度地減少勒索病毒攻擊帶來的損失。演講內容涵蓋勒索病毒威脅形勢分析、備份策略制定、AWS Backup功能特性、恢復策略實施以及最佳實踐案例分享。
2.內容總結：
2.1 勒索病毒威脅形勢分析
勒索病毒攻擊日益復雜化，攻擊者不僅加密數據，還竊取敏感信息，并威脅公開或出售以索取更高贖金。企業需要制定完善的防御策略，不僅要保護數據安全，還要確保業務連續性。AWS調查顯示，超過90%的客戶認為數據保護至關重要，而近60%的客戶經歷過數據丟失事件，其中勒索病毒攻擊是最常見的原因之一。
2.2 備份在勒索病毒防御中的作用
備份是勒索病毒防御的最后一道防線，可確保在數據被加密或刪除后進行恢復。攻擊者通常會試圖刪除或破壞備份，因此需要采取措施保護備份安全。3-2-1-1備份策略：創建3份數據副本，將2份副本存儲在不同的存儲介質上，將1份副本存儲在異地，并對1份副本進行不可變保護。
2.3 AWS Backup功能特性
集中式備份管理：提供跨多個AWS服務的統一備份管理平臺，簡化備份策略配置和操作。
策略驅動：支持基于策略的備份計劃，可根據數據類型、合規性要求和恢復目標自定義備份頻率、保留期限和存儲位置。
增量備份和連續備份：支持增量備份和連續備份，最大程度地減少備份數據量和備份窗口，降低存儲成本和對生產環境的影響。
邏輯隔離保險庫：支持將備份存儲在邏輯隔離的保險庫中，該保險庫使用AWS自有的密鑰進行加密，并限制用戶訪問權限，有效防止勒索病毒攻擊和惡意刪除。
恢復測試：提供自動化恢復測試功能，定期驗證備份的可恢復性，確保在需要時能夠快速可靠地恢復數據。
審計和合規性：與AWS Audit Manager和AWS Config集成，提供詳細的備份活動日志和合規性報告，幫助企業滿足法規遵從性要求。
2.4 恢復策略實施
快速檢測和隔離：利用Amazon GuardDuty和AWS Security Hub等安全服務快速檢測和隔離勒索病毒攻擊，防止攻擊擴散。
安全恢復：從邏輯隔離的備份中恢復數據，確保恢復的數據沒有被感染。
測試和驗證：定期測試恢復流程，確保在需要時能夠快速有效地恢復業務運營。
2.5 最佳實踐案例分享
備份策略制定：根據數據重要性和恢復目標制定分層備份策略，對關鍵數據進行更頻繁的備份和更長的保留期限。
邏輯隔離：利用AWS Backup的邏輯隔離保險庫功能保護備份安全，防止勒索病毒攻擊和惡意刪除。
權限控制：實施最小權限原則，限制對備份數據的訪問權限，防止未經授權的訪問和操作。
監控和告警：配置監控和告警機制，及時發現備份失敗或異常活動，并采取相應措施。
恢復測試：定期進行恢復測試，驗證備份的可恢復性和恢復流程的有效性。
七、數據湖和AI/ML
STG201-構建數據基礎以推動生成式人工智能
STG201-Build a data foundation to fuel generative AI
1.內容概述：
本演講重點介紹了如何構建和管理可擴展、經濟高效的數據基礎設施，以支持生成式AI應用。演講涵蓋了生成式AI的不同方法，包括檢索增強生成（RAG）和微調，以及數據發現、數據準備和數據治理等關鍵數據注意事項。此外，還探討了不同存儲選項（如Amazon S3和Amazon FSx for Lustre）的優缺點，以及它們如何滿足生成式AI工作負載的特定需求。
2.內容總結：
2.1 生成式AI方法
檢索增強生成（RAG）：RAG是一種利用現有基礎模型生成新內容的方法，通過使用組織數據定制模型輸出，無需重新訓練模型。
首先，創建一個包含組織數據的知識庫，該知識庫將用于引導基礎模型。當用戶提出查詢時，將知識庫發送到基礎模型以構建模型的輸出。AWS提供了構建RAG工作流的工具，例如Amazon Bedrock，它用戶可以使用Amazon S3存儲桶或其他數據源創建知識庫。
微調：微調涉及調整現有基礎模型以適應特定任務或領域。需要高質量的標記數據來進行微調。AWS提供了用于微調的工具，例如Amazon Bedrock和Amazon SageMaker Canvas。微調過程可以通過調整模型的超參數（例如學習率和批大小）進行定制。
2.2 數據注意事項
數據發現：確定相關數據源和數據格式對于生成式AI應用至關重要。數據源可以包括內部數據（例如公司文檔和支持日志）、公共數據集以及從許可內容生成器購買的數據。數據格式因所使用的模型和所需的輸出而異，包括文本、圖像、音頻和視頻。
數據準備：并非所有數據都適合直接用于基礎模型，可能需要進行預處理。文本數據預處理步驟包括識別數據源、清理和標記數據、將文本標記化為單詞或子詞，以及創建嵌入并將它們存儲在向量數據庫中。Amazon Bedrock知識庫簡化了數據準備過程，通過安全地將基礎模型連接到專有數據源，并使用適當的信息補充提示來構建和引導模型的輸出。
數據治理：數據治理對于確保數據安全和合規性至關重要。數據權限用于控制對數據的訪問，確保只有授權用戶和服務才能訪問敏感信息。使用Amazon S3作為專有數據源可以提供強大的審計、合規性和安全功能。
2.3 存儲基礎設施注意事項
存儲接口：生成式AI應用需要不同的存儲接口，包括塊存儲、對象存儲和文件存儲。
Amazon S3：S3是一個經濟高效的對象存儲服務，適用于存儲各種數據，包括熱數據和冷數據。S3提供了多種存儲類，可以根據數據的訪問模式優化成本。S3提供了高度可擴展的性能，適用于數據檢索和處理。S3與許多關鍵的AI/ML工作流集成。
Amazon FSx for Lustre：Lustre是一個高性能文件系統，適用于需要高吞吐量和低延遲的生成式AI工作負載，例如從頭開始訓練基礎模型。Lustre提供對幾乎所有ML庫的訪問，這有助于完全優化GPU資源。Lustre提供了數十GB/s的吞吐量給GPU實例，總共數百GB/s的吞吐量。Lustre提供了一個直觀的協作環境，包括與Amazon S3存儲桶連接和同步數據的能力。
2.4 選擇方法和構建數據和存儲計劃
選擇方法：RAG適用于構建現有基礎模型，而微調適用于定制現有模型以執行特定任務。繼續預訓練或從頭開始訓練模型可以實現對特定領域或任務的更準確結果。
構建數據計劃：數據計劃應包括識別數據源、評估數據質量以及建立數據治理策略。
構建存儲計劃：選擇正確的存儲解決方案對于優化成本和性能至關重要。對于構建現有基礎模型，Amazon S3提供了經濟高效的存儲。對于從頭開始訓練基礎模型，Amazon FSx for Lustre提供了高性能存儲。
STG208-AWS上的數據：三位AI創新者的成功關鍵
STG208-Data on AWS: The key to success for 3 AI innovators
1.內容概述：
本演講邀請了三位來自不同領域的AI創新企業，分享了他們在AWS上構建和管理可擴展且經濟高效的數據基礎設施，以訓練生成式AI模型的經驗。演講內容涵蓋了他們的架構方法、設計模式和優化性能的最佳實踐，例如擴展到高水平的聚合吞吐量，管理大型數據集的元數據目錄以及負責任地存儲AI生成的內容。
2.內容總結：
2.1 Canva：構建可擴展的數據平臺以實現高效數據處理
Canva面臨著管理海量圖像和用戶數據的挑戰，為了實現高效的數據處理，他們構建了可擴展的數據平臺，并利用AWS服務優化數據處理流程。
Canva將數據處理分為三個階段：
數據攝取：使用Amazon S3和Amazon Kinesis等服務收集和存儲原始數據。
數據處理：利用Amazon EMR和Apache Spark等工具對數據進行清理、轉換和聚合。
數據服務：將處理后的數據存儲在Amazon S3和Amazon DynamoDB等服務中，以便于訪問和分析。
Canva通過構建平臺來加速數據科學家的工作，例如用于內容審核的審核平臺和用于管理機器學習數據集的ML數據集平臺。Canva重視數據質量，通過數據驗證和數據清理流程確保數據質量，并建立了數據治理機制以確保數據安全和合規性。
2.2 Bria AI：利用Amazon S3進行大規模數據處理和優化
Bria AI使用Amazon S3作為其AI助手“Claw”的數據處理基礎，管理超過200PB的數據集。
為了提高數據處理效率，Bria AI采用了多種AWS存儲服務，包括：
Amazon S3：用于存儲原始數據和處理后的數據。
Amazon FSx for Lustre：提供高性能文件存儲，加速數據讀取和寫入速度。
Amazon EBS：提供塊存儲，用于存儲臨時數據。
Bria AI通過優化數據去重流程，將原本需要4-5天的處理時間縮短至1-2天。
2.3 Anthropic：構建負責任的AI系統，關注數據安全和隱私
Anthropic致力于構建安全、可靠且負責任的AI系統，并將數據安全和隱私作為首要任務。
Anthropic利用AWS服務構建安全的數據基礎設施，例如：
Amazon S3：用于存儲和管理數據，并利用S3的安全功能保護數據安全。
AWS IAM：用于管理用戶訪問權限，確保只有授權用戶才能訪問敏感數據。
AWS KMS：用于加密數據，防止未經授權的訪問。
STG327-用于AI/ML、分析和HPC工作負載的高性能存儲
STG327-High-performance storage for AI/ML, analytics, and HPC workloads
1.內容概述：
本演講深入探討了Amazon S3和Amazon FSx for Lustre如何為HPC、AI/ML和分析工作負載提供高性能、可擴展且經濟高效的存儲解決方案。演講重點介紹了這些工作負載的存儲使用模式，包括數據加載、檢查點設置和結果存儲，并分析了影響存儲性能的關鍵因素，如吞吐量、延遲和數據訪問模式。演講還通過實際案例展示了如何利用Amazon S3和Amazon FSx for Lustre優化存儲性能并滿足不同工作負載的需求。
2.內容總結：
2.1 高性能工作負載的定義和趨勢
高性能工作負載是指需要快速訪問海量數據集的應用程序或進程，通常需要并行訪問和低延遲。
這些工作負載包括AI/ML模型訓練、高頻交易算法、風險分析和實時媒體內容生成。
高性能工作負載對存儲解決方案提出了更高的要求，需要持續創新以滿足其性能需求。
2.2 高性能工作負載的存儲使用模式
高性能工作負載通常使用文件存儲和對象存儲解決方案。
這些工作負載的常見存儲使用模式包括：
數據加載：將數據加載到計算和GPU實例中，可以通過將數據復制到本地存儲或直接從共享存儲解決方案流式傳輸數據來實現。
檢查點設置：定期保存模型訓練或模擬的中間狀態，以便在發生故障時可以恢復。
結果存儲：存儲最終模型、模擬結果或分析輸出，通常存儲在持久存儲中以供將來使用。
2.3 存儲性能的影響因素
存儲性能對高性能工作負載的效率至關重要，存儲瓶頸會導致計算資源閑置，從而增加成本。
影響存儲性能的關鍵因素包括：
數據訪問模式：順序訪問或隨機訪問，以及讀取和寫入操作的比例。
吞吐量：每秒可以讀取或寫入存儲的字節數，以GB/s或TB/s來衡量。
延遲：存儲系統響應請求所需的時間，以毫秒來衡量。
2.4 Amazon S3的優勢和用例
Amazon S3是一種可擴展、持久且經濟高效的對象存儲服務，適用于存儲各種數據，包括熱數據和冷數據。
S3提供了多種存儲類別，可以根據數據訪問模式優化成本。
對于數據湖，推薦使用S3通用存儲桶或S3 Express One Zone目錄存儲桶。
S3 Express One Zone提供了更低的延遲，適用于需要頻繁訪問相同對象的場景，例如機器學習訓練和交互式分析。
ClickHouse是一個開源的列式數據庫管理系統，專為實時分析而設計，它利用S3存儲數據，并通過S3 Select功能優化查詢性能。
2.5 Amazon FSx for Lustre的優勢和用例
Amazon FSx for Lustre是一種高性能文件系統，適用于需要高吞吐量和低延遲的工作負載，例如機器學習訓練和高性能計算。
Lustre提供了對幾乎所有機器學習庫的訪問，可以充分利用GPU資源。
Lustre可以為GPU實例提供數十GB/s的吞吐量，總吞吐量可達數百GB/s。
Lustre提供了一個直觀的協作環境，可以與Amazon S3存儲桶連接和同步數據。
對于需要低延遲的場景，FSx for Lustre比直接從S3讀取數據更快，因為它將數據緩存在內存中。
2.6 將Amazon S3和Amazon FSx for Lustre結合使用
許多客戶將Amazon S3和Amazon FSx for Lustre結合使用，以滿足其高性能工作負載的需求。
一種常見的模式是將S3用于長期存儲訓練數據和模型輸出，而將FSx for Lustre用于高性能數據訪問，以加速訓練運行時間。
STG332-使用AWS存儲加速數據庫性能和可擴展性
STG332-Accelerate database performance and scalability with AWS storage
1.內容概述：
本演講深入探討了如何利用Amazon Elastic Block Store（EBS）和Amazon FSx等AWS存儲服務來提升數據庫性能、可擴展性和成本效益。演講重點介紹了不同EBS卷類型和FSx文件系統的特點和適用場景，以及如何利用快照、克隆和高可用性功能創建敏捷的開發和測試環境，加速迭代并確保在中斷事件期間無縫運行數據庫。
2.內容總結：
2.1 自我管理型數據庫存儲的考量因素
企業將數據庫遷移到AWS的速度越來越快，以降低成本、加快創新并專注于應用程序開發。
自我管理型存儲支持企業根據自身需求定制數據庫環境，例如選擇特定的操作系統、處理器類型或集成到特定工作流程中。
對于希望利用AWS云優勢并可能集成云分析或數據湖功能的企業而言，自我管理型存儲提供了靈活性和控制力。
2.2 Amazon EBS在數據庫存儲中的應用
EBS卷類型選擇:
通用型SSD（gp3）：適用于大多數數據庫工作負載，提供均衡的IOPS和吞吐量性能。它是預配置Amazon RDS實例的默認EBS卷類型。
預配置IOPS SSD（io2）：適用于需要高IOPS和低延遲的數據庫工作負載，例如OLTP數據庫。
io2 Block Express：專為要求最苛刻的IO密集型高性能應用程序設計，提供一致的亞毫秒級延遲性能。適用于SAP HANA、Oracle、Microsoft SQL Server、MySQL等數據庫。
快照管理：快照可用于復制、備份和災難恢復，提供數據庫的數據保護功能。
數據生命周期管理（DLM）：可用于自動管理快照，優化存儲成本并簡化操作。
彈性卷：支持在不中斷數據庫運行的情況下修改卷大小、類型或性能，將性能與存儲大小分離。
多重連接：io2 Block Express支持多重連接，支持多個EC2實例同時訪問相同的卷，適用于需要高可用性和數據共享的數據庫部署。
性能指標：EBS提供詳細的性能指標，例如IOPS、吞吐量和延遲，可用于監控數據庫性能并識別瓶頸。
2.3 Amazon FSx在數據庫存儲中的應用
FSx文件系統選擇:
Amazon FSx for NetApp ONTAP：提供與NetApp ONTAP相同的功能，適用于需要企業級功能（如數據去重和壓縮）的數據庫工作負載。
Amazon FSx for OpenZFS：提供高性能和低延遲，適用于對性能要求苛刻的數據庫工作負載，例如AMD的OpenZFS部署案例。
數據遷移:
復制：對于支持復制的存儲服務（如ONTAP和OpenZFS），可以使用復制將數據遷移到FSx。
AWS DataSync：適用于不支持復制的存儲服務的數據庫數據遷移。
數據保護:
SnapMirror：FSx for NetApp ONTAP支持SnapMirror，可用于跨區域或本地和AWS之間的數據保護和復制。
高可用性：FSx文件系統支持多可用區部署，提供數據庫的高可用性和數據冗余。
成本優化:
數據壓縮和去重：FSx for NetApp ONTAP支持數據壓縮和去重，可減少存儲空間使用并降低成本。
八、安全性和訪問控制
STG304-Amazon S3安全性和訪問控制最佳實踐
STG304-Amazon S3 security and access control best practices
1.內容概述：
本演講講解了Amazon S3的安全機制和訪問控制策略，并詳細介紹了如何通過配置桶策略、訪問點策略、IAM策略、S3訪問授權、Lake Formation等功能實現精細化的數據訪問管理，以及如何利用資源控制策略、訪問分析器、服務器訪問日志和AWS CloudTrail日志進行安全審計和監控。
2.內容總結：
2.1 Amazon S3安全基礎
默認安全配置：新創建的S3桶默認啟用以下安全配置：
默認加密：所有新對象都使用AWS SSE-S3（由S3管理的服務器端加密）進行加密。
阻止公共訪問：默認情況下阻止所有公共訪問，防止公共訪問配置錯誤。
禁用ACL：默認情況下禁用訪問控制列表（ACL），鼓勵使用IAM進行訪問控制。
資源和主體：
S3桶是AWS資源，由創建它的賬戶擁有。
IAM用戶和角色是主體，可以使用其憑證對AWS API（包括S3 API）進行簽名請求。
2.2 使用IAM進行訪問控制
IAM策略：
資源（如S3桶）和主體（如IAM角色）都有附加的策略，用于定義其權限。
策略可以是允許策略（授予訪問權限）或拒絕策略（拒絕訪問權限）。
策略使用JSON格式編寫，包含以下元素：
Effect：指定策略是允許還是拒絕訪問。
Action：指定允許或拒絕的操作，例如s3:GetObject。
Resource：指定策略適用的資源，例如特定的S3桶或對象。
Condition：可以添加條件來限制訪問，例如基于請求來源IP地址或時間的條件。
跨賬戶訪問：
可以使用桶策略授予其他AWS賬戶對S3桶的訪問權限。
可以使用Principal元素指定允許訪問的賬戶ID。
對于使用AWS Organizations的企業，可以使用PrincipalOrgID允許來自同一組織的所有賬戶訪問。
拒絕策略和數據邊界：
拒絕策略可用于建立數據邊界，拒絕來自意外來源的訪問。
可以拒絕來自非組織賬戶和非AWS服務的請求。
可以拒絕來自非VPC和非本地數據中心的請求，同時使用條件語句允許AWS服務訪問。
資源控制策略（RCP）：
對于使用AWS Organizations的企業，可以使用RCP為S3桶設置最大可用權限。
RCP可以應用于現有和未來的所有桶，簡化安全管理和審計。
2.3 安全審計和監控
訪問分析器：
提供了一個儀表板，用于顯示具有公共訪問權限的桶以及與外部實體共享的桶。
分析訪問點策略、桶策略和ACL，以識別潛在的安全風險。
服務器訪問日志和AWS CloudTrail日志：
啟用服務器訪問日志和CloudTrail日志可以跟蹤對S3數據的訪問。
CloudTrail提供了更全面的審計信息，建議優先使用CloudTrail進行審計。
2.4 高級訪問控制
S3訪問點：
為S3桶提供替代端點，每個訪問點都有自己的IAM策略。
可以為不同的數據文件夾創建不同的訪問點，并將權限委托給訪問點級別。
可以使用S3訪問點策略更精細地控制數據訪問，并繞過S3桶策略的大小限制。
S3訪問授權：
支持將S3訪問權限直接鏈接到身份提供程序（如Okta或Active Directory）。
簡化了對S3數據集的權限管理，尤其是在用戶加入或離開企業時。
提供了精細的訪問控制，可以授予用戶對特定前綴（文件夾）的讀、寫或列出權限。
支持可信身份傳播，用戶的身份信息會傳遞到S3，方便審計和監控。
Lake Formation：
為AWS Glue數據目錄提供權限系統，用于管理對結構化數據的訪問。
支持對表、列和行進行精細的訪問控制，例如基于單元格級別的訪問控制。
簡化了數據湖的安全管理，并提供了集中式的權限管理機制。
2.5 最佳實踐
最小權限原則：僅授予主體完成其任務所需的最低權限。
使用拒絕策略建立數據邊界：拒絕來自意外來源的訪問請求。
啟用版本控制：防止意外刪除或覆蓋。
啟用多重身份驗證（MFA）：為敏感操作添加額外的安全層。
使用AWS KMS加密數據：控制對加密密鑰的訪問。
定期審計訪問權限：使用訪問分析器、服務器訪問日志和CloudTrail日志監控數據訪問模式。
利用自動化工具：使用AWS Organizations和RCP簡化安全管理。
九、托管文件傳輸
STG305-使用SFTP實現托管文件傳輸的現代化
STG305-Modernize managed file transfer with SFTP
1.內容概述：
如何利用AWS Transfer Family服務通過SFTP協議構建安全、高可用且可擴展的托管文件傳輸方案，以替代傳統的自建SFTP服務器，從而降低管理成本和安全風險，并提高數據傳輸效率和可視化程度。演講重點闡述了Transfer Family的核心功能，包括多種協議支持、靈活的身份驗證和訪問控制機制、自動化工作流程和事件驅動架構集成、以及與Amazon S3數據湖的無縫銜接。
2.內容總結：
2.1 現代化托管文件傳輸的價值
降低管理負擔：使用AWS托管服務可以免除維護SFTP服務器基礎設施的負擔，包括硬件維護、軟件更新、安全補丁和24/7運行保障。
提高安全性：Transfer Family提供多種安全功能，包括數據加密、靜態IP地址、VPC端點、安全組、IAM身份驗證和CloudTrail審計日志記錄，確保數據傳輸安全合規。
增強可擴展性：Transfer Family可以根據業務需求自動擴展，無需手動配置和管理服務器容量，支持高并發連接和海量數據傳輸。
簡化集成：Transfer Family可以與其他AWS服務無縫集成，例如Amazon S3、AWS Step Functions、Amazon EventBridge和AWS Lambda，構建自動化數據流水線和事件驅動架構。
降低成本：Transfer Family采用按使用量付費的模式，無需預先投資硬件和軟件，可以根據實際需求靈活調整成本。
2.2 AWS Transfer Family概述
核心功能：
支持多種協議：SFTP, FTPS, FTP, AS2以及HTTPS（通過Web Apps實現）
靈活的身份驗證：支持IAM用戶、AWS Directory Service、自定義Lambda函數以及身份中心集成
精細的訪問控制：可以使用IAM策略、安全組、VPC端點和IP白名單限制訪問
自動化工作流程：提供內置工作流程和EventBridge集成，實現文件處理自動化
數據湖集成：可以將數據直接傳輸到Amazon S3，構建數據湖和分析平臺
客戶案例：
Re:gion One：利用Transfer Family構建內部文件傳輸服務，支持數千名內部和外部用戶安全地上傳和下載TB級數據。
FINRA：使用Transfer Family將數據直接上傳到Amazon S3數據湖，簡化數據分析流程。
新加坡政府：使用Transfer Family收集電動汽車充電數據，并利用AWS Step Functions和Amazon EMR進行分析，以優化充電站部署策略。
2.3 數據管道智能化
事件驅動架構：Transfer Family與Amazon EventBridge集成，在文件上傳、下載等事件發生時觸發事件，并調用其他AWS服務進行處理，例如Step Functions、Lambda、SQS、SNS等，實現自動化工作流程和數據分析。
上下文感知事件：事件包含豐富的上下文信息，例如文件上傳者、時間戳、IP地址、協議類型等，可以根據這些信息進行精細化的數據處理和分析。
安全合規：Transfer Family服務器滿足HIPAA和PCI等行業合規性標準，確保數據傳輸安全可靠。
2.4 訪問控制
協議支持：SFTP, FTPS, AS2, HTTPS（通過Web Apps實現）
網絡安全：支持VPC端點、安全組和IP白名單限制訪問
身份驗證和授權：
SSH密鑰：使用Transfer Family托管用戶
密碼驗證：集成AWS Directory Service或自定義Lambda函數
Web Apps：使用身份中心和S3訪問授權，為非技術用戶提供簡單易用的Web界面
2.5 數據處理
托管工作流：提供預定義的簡單工作流程，例如文件復制、加密/解密、標簽添加、刪除等，也可以使用Lambda函數進行自定義步驟。
EventBridge集成：支持更靈活的事件驅動工作流程，可以使用Step Functions協調多個AWS服務進行復雜的數據處理和分析。
2.6 數據集成
SFTP連接器：提供完全托管的SFTP客戶端，可以從外部SFTP服務器下載或上傳文件，并與EventBridge集成，實現自動化工作流程。
靜態IP地址：支持為連接器分配靜態IP地址，方便與外部系統集成。
標準化安全策略：提供預定義的安全策略，提高與外部服務器的兼容性。
API支持：提供API用于列出文件、檢查傳輸狀態等操作，方便與其他系統集成。
2.7 Web Apps
面向非技術用戶：提供簡單易用的Web界面，支持非技術用戶通過瀏覽器上傳和下載文件。
身份中心集成：使用身份中心進行用戶身份驗證，并使用S3訪問授權進行訪問控制。
完全托管：無需管理服務器基礎設施，AWS負責維護高可用性和安全性。
可定制品牌：可以自定義Web界面外觀，與企業品牌保持一致。
十、成本優化
STG210-AWS存儲成本優化最佳實踐
STG210-AWS storage best practices for cost optimization 
1.內容概述：
本演講深入探討了AWS存儲服務的成本優化策略，包括從本地遷移到云端的成本優勢、為不同工作負載選擇合適的存儲服務，以及利用AWS工具持續監控和優化存儲基礎設施。演講詳細介紹了Amazon EBS、Amazon FSX、Amazon EFS和Amazon S3四種主要存儲服務的特點、適用場景以及成本優化技巧，并提供了真實客戶案例和最佳實踐建議。
2.內容總結：
2.1 從本地遷移到AWS云端的成本優勢
消除過度配置：本地存儲通常需要預留額外的容量以應對未來增長，導致資源閑置和成本浪費。AWS存儲服務按需付費，只收取實際使用的存儲空間費用，避免了過度配置問題。
減少RAID開銷和格式化損失：本地存儲需要配置RAID陣列以提高數據可靠性，并進行格式化才能使用，這些操作會占用額外的存儲空間。AWS存儲服務由AWS管理，無需用戶配置RAID和格式化，節省了存儲空間。
利用AWS原生工具進行優化：AWS提供多種原生工具，例如壓縮和去重，可以進一步降低存儲成本。
彈性擴展和按需付費：AWS存儲服務可以根據業務需求彈性擴展，無需預先投資硬件和軟件。按使用量付費的模式可以幫助用戶根據實際需求靈活調整成本。
2.2 為不同工作負載選擇合適的存儲服務
Amazon EBS：高性能塊存儲，適用于關系型數據庫、NoSQL數據庫、大數據分析和企業應用等對性能敏感的工作負載。
Amazon FSX：全托管文件存儲服務，提供多種文件系統類型（例如Windows文件服務器、NetApp ONTAP、OpenZFS和Lustre），適用于各種文件共享和高性能計算工作負載。
Amazon EFS：云原生彈性文件存儲服務，支持多實例共享、數據持久化和高并發訪問，適用于DevOps、機器學習和容器化應用等場景。
Amazon S3：對象存儲，具有高可擴展性、持久性和成本效益，適用于數據湖、備份和恢復、移動應用以及AI/ML應用等各種場景。
2.3 Amazon EBS成本優化最佳實踐
從GP2遷移到GP3：GP3提供更高的性價比，每GB每月成本比GP2低20%。
使用彈性卷：彈性卷用戶可以動態調整卷大小、類型和性能，無需中斷操作，確保只為所需資源付費。
使用快照歸檔：將不再訪問的EBS卷快照遷移到快照歸檔，可以降低存儲成本。
2.4 Amazon FSX成本優化最佳實踐
利用原生工具（例如壓縮和去重）最大限度地提高存儲效率。
對于NetApp ONTAP，使用數據分層，將不常訪問的數據存儲在容量池中，可以節省高達88%的存儲成本。
考慮使用FSX for OpenZFS，它比傳統NAS部署的成本低20%。
使用新的FSX智能分層存儲類，該存儲類基于Amazon S3智能分層存儲類，提供完全彈性存儲和自動成本優化。
2.5 Amazon EFS成本優化最佳實踐
為工作負載選擇合適的存儲類：對于頻繁訪問的數據，使用EFS Standard；對于不常訪問的數據，使用EFS Infrequent Access或EFS Archive。
配置生命周期管理策略：自動將數據在不同存儲類之間移動，優化存儲成本。
選擇最佳吞吐量模式：對于需要最高性能的工作負載，使用預配置吞吐量模式；對于彈性需求的工作負載，使用彈性吞吐量模式。
2.6 Amazon S3成本優化最佳實踐
選擇合適的存儲類：根據數據訪問頻率、對象大小和數據保留要求選擇最佳存儲類。
利用S3智能分層：對于未知或不斷變化的訪問模式，S3智能分層可以自動管理存儲架構，將數據移動到較冷的訪問層，優化存儲成本。
利用生命周期策略：對于已知的訪問模式，使用生命周期策略將數據轉換到較冷的存儲類或過期數據，節省成本。
使用S3 Storage Lens：獲取對存儲桶、策略、訪問模式和對象大小的更深入了解，以便做出更明智的數據驅動決策并節省存儲成本。
2.7 真實客戶案例
T-Mobile：從本地遷移到Amazon S3，解決了擴展和性能挑戰，并降低了存儲成本。
Illumina：使用S3智能分層和生命周期策略，三個月內將存儲成本降低了60%。
Upstox：使用S3 Storage Lens高級指標和AWS服務，每年節省超過100萬美元的存儲成本。

 

 

 

 

 

版權聲明：本文內容系天翼云實名用戶自發貢獻，版權歸原作者所有，天翼云開發者社區不擁有其著作權，亦不承擔相應法律責任，原文鏈接：//mp.weixin.qq.com/s/eW45-bb3TXFjqf77J34jQw?from=industrynews&version=4.1.31.6017&platform=win&nwr_flag=1#wechat_redirect

作者： 常華Andy Andy730，如需轉載，請聯系作者。

原文出處及轉載信息見文內詳細說明，如有疑問或爭議，請聯系ctyunbbs@chinatelecom.cn刪除。

0條評論
0 / 1000
沈****軍
20文章數
1粉絲數
沈****軍
20 文章 | 1 粉絲

【轉發】AWS re:Invent 2024存儲主題會議深度解析

2024-12-11 08:57:54
51
0

戰略趨勢

  1. 人工智能與數據存儲的深度融合：  AI/ML 已成為數據存儲的核心應用場景，數據存儲不僅是數據容器，更是支持 AI/ML 的引擎。生成式 AI 推動數據基礎設施變革，強調基礎模型、提示工程和多模態數據的應用；同時，AI/ML 對高性能存儲提出了極高要求，以滿足大規模數據處理和訓練需求。
  2. 數據湖架構向高效、開放和智能化演進：現代數據湖以高效、開放和智能化為目標，通過增強性能、提升多區域支持能力以及采用開放表格式（OTF）優化數據查詢與更新。此外，數據編目和治理功能至關重要，以確保數據湖的規模化運營和高效管理。
  3. 混合云架構依然是企業數字化轉型的關鍵橋梁：混合云架構通過高效的數據遷移和同步，簡化了云上與本地環境的整合，并提供強大的數據保護與災難恢復功能，確保跨云平臺的數據安全和業務連續性，從而成為數字化轉型的重要支撐。
  4. 云原生存儲技術引領性能和可擴展性的新高度：  云原生存儲技術通過高性能架構支持大規模計算與存儲需求，覆蓋 HPC、數據庫和大數據分析等場景，同時不斷優化性能和成本，為用戶提供彈性、可靠的存儲解決方案，推動云計算發展。
  5. 數據安全和合規性成為云存儲的首要任務：  云安全依托共享責任模型，結合多層次數據保護、細粒度訪問控制等機制，提升用戶數據的安全性和合規性，以防止數據泄露、勒索攻擊和業務中斷，為云存儲提供全面的安全保障。

目錄

一、 AWS 存儲服務概覽

STG101 - Introduction to AWS storage: Building a data foundation in the cloud 

AWS的多樣化存儲服務，包括塊存儲（EBS）、對象存儲（S3）、文件存儲（EFS、FSx）、數據遷移（Data Sync）和數據保護（AWS Backup、Disaster Recovery）。AWS存儲服務支持各類業務需求，如數據湖構建、AI/ML應用、業務關鍵型應用及數據保護，提供高效的數據訪問和集成。客戶在遷移、優化及現代化過程中，AWS存儲服務發揮了關鍵作用，尤其是在數據保護和智能分析中。

二、 數據遷移與傳輸

STG204 - Accelerate & automate secure data transfers at scale with AWS DataSync

AWS DataSync 是托管的數據傳輸服務，用于加速和簡化本地數據中心、其他云平臺與 AWS 存儲服務之間的數據傳輸。通過定制協議、并行吞吐量和自動恢復，確保數據傳輸的可靠性和高效性。支持多種數據源（如NFS、SMB、Google Cloud、Azure Blob、S3等）和目標（如S3、EFS、FSx），廣泛應用于數據遷移、保護、歸檔及 AI/ML 工作負載。DataSync 還提供優化的網絡壓縮、帶寬控制、加密和性能擴展功能。

STG215 - Build hybrid data workflows to Amazon S3 with AWS Storage Gateway 

AWS Storage Gateway是混合云存儲服務，提供三種網關類型：S3 File Gateway、Tape Gateway 和 Volume Gateway，用于將本地數據高效上傳至Amazon S3。S3 File Gateway將本地文件系統通過NFS或SMB映射到S3，支持數據湖構建、數據庫備份和冷數據歸檔。它通過事件驅動工作流和本地緩存提供低延遲數據訪問，并與AWS服務如Amazon Athena、SageMaker等集成進行數據處理和分析。

三、 文件存儲

STG202 - Network-attached storage in the cloud with Amazon FSx

Amazon FSx提供一系列完全托管的文件存儲服務，旨在解決傳統NAS存儲的可擴展性、管理復雜性和數據遷移難題。支持四種文件系統類型：NetApp ONTAP、OpenZFS、Windows File Server和Lustre，滿足不同工作負載的需求。FSx具備高性能、可擴展性、數據保護和與AWS服務的無縫集成，適用于通用文件存儲、高性能數據庫、虛擬機工作負載以及數據保護與災難恢復等場景。

STG211 - What's new with file storage

Amazon EFS和FSx文件存儲服務的最新功能：涵蓋了性能擴展、數據保護、智能分層存儲、與AWS服務集成等方面的改進。FSx for OpenZFS引入了智能分層存儲，提高了成本效益和性能；FSx for Lustre通過EFA支持降低延遲并提高吞吐量；EFS增強了彈性吞吐量和數據保護功能。還增強了與Amazon S3和AWS Backup的集成，支持災難恢復和數據分析等應用場景。

STG344 - Simple elastic file systems: A deep dive into Amazon EFS

深入探討Amazon EFS的架構、功能和用例，重點介紹了其無服務器特性、性能模式和數據保護機制。EFS支持與AWS計算服務如EC2、Lambda、ECS和EKS的集成，提供高可用性、自動擴展和按需付費的存儲服務。其性能模式包括彈性吞吐量、預置吞吐量和突發吞吐量，適用于不同的工作負載需求。數據保護功能包括跨可用區持久化存儲、備份集成和異步復制，確保數據安全與恢復。EFS廣泛應用于內容管理、機器學習和大數據分析等場景。

四、 對象存儲 

STG207 - Maximize the value of cold data with Amazon S3 Glacier storage classes

Amazon S3 Glacier存儲類，專為冷數據設計，通過生命周期策略和智能分層功能優化數據存儲和恢復流程。S3 Glacier包含三個存儲類：Glacier Instant Retrieval（毫秒級訪問）、Glacier Flexible Retrieval（分鐘至小時級訪問）和Glacier Deep Archive（最低成本、數小時至數天恢復時間）。演講強調通過自動遷移冷數據至合適存儲類以降低成本，并介紹了批量恢復和事件通知等優化大規模數據恢復的最佳實踐。客戶案例展示了如何通過這些存儲類顯著節省存儲和恢復成本。

STG212 - What's new with Amazon S3

Amazon S3過去一年發布的30項新功能，涵蓋了結構化和非結構化數據管理、性能、規模、以及安全性等方面。重點介紹了S3 Tables（基于Apache Iceberg的表格存儲服務）和S3元數據功能（用于查詢S3元數據），以及其他增強功能如更高的存儲桶限制、S3 Express One Zone擴展、機器學習性能優化、簡化的數據訪問權限管理等。此外，新增的Storage Browser和與Amplify Hosting集成，進一步簡化了Web應用的數據上傳和管理流程。

STG302 - Dive deep on Amazon S3

Amazon S3的架構與工作機制，數據分布和去相關性策略、Shuffle Sharding算法和AWS Common Runtime（CRT）的協同作用。S3通過數據分片和糾刪碼實現高可用性和冗余存儲，Shuffle Sharding則隨機分布數據，避免熱點問題并確保負載均衡。CRT庫優化S3性能，通過自動重試和并行化請求，使得系統在大規模數據傳輸中保持高吞吐量和高韌性。

STG323 - Build and optimize a data lake on Amazon S3

如何在Amazon S3上構建和優化PB級數據湖，重點涵蓋數據湖的分層架構、數據攝取、查詢優化、安全治理和長期管理。通過分層存儲（原始數據、處理數據、精選數據）提高數據質量和查詢效率，采用Kinesis和AWS Glue等工具進行數據攝取，使用Parquet格式優化查詢性能。安全方面，利用IAM、跨賬戶共享和數據加密實現訪問控制和治理。通過生命周期策略和自動化工具優化成本和管理效率，支持如電商平臺訂單分析等業務場景。

STG328 - Optimizing storage performance with Amazon S3

通過優化Amazon S3的特性提升存儲性能，S3 Express One Zone、AWS Common Runtime (CRT)、以及開源數據湖和機器學習框架的性能改進。優化策略包括利用高性能存儲類減少延遲、通過并行化提升吞吐量、以及優化數據布局（如分區和排序）提高查詢效率。針對不同工作負載（如機器學習訓練、數據庫查詢、大文件傳輸）提出了具體的優化方案，強調了監控、性能瓶頸分析和請求優化在提升存儲效率中的重要性。

五、 塊存儲

STG205 - Protect critical data with ease using Amazon EBS snapshots

如何通過Amazon EBS快照保護關鍵數據，重點介紹了其增量機制、加密選項、跨區域復制、快照鎖等安全特性，并闡述了EBS快照在數據備份、災難恢復及合規性方面的應用。特別強調了RISE with SAP中的EBS快照使用，確保數據安全和不可變性。還介紹了Amazon Data Lifecycle Manager (DLM) 用于自動化快照生命周期管理，并通過快照回收站功能防止意外刪除。

STG213 - What's new with Amazon EBS

Amazon EBS的最新功能，包括性能提升、韌性增強和安全性強化。重點講解了io2bx卷的架構和優勢，提供高達256000 IOPS的卷級性能和42萬 IOPS的實例級性能，支持高持久性和低延遲。還討論了EBS的多可用區部署、卷狀態檢查、暫停IO操作等韌性特性，以及CloudWatch指標、NVMe統計信息和故障注入模擬器等性能監控工具。此外，演講還介紹了EBS快照的災難恢復功能，包括跨可用區和跨賬戶復制，以及彈性災難恢復（EDR）技術。

STG329 - Maximizing performance for high-intensity workloads using Amazon EBS

Amazon EBS io2 Block Express (io2bx) 卷如何滿足高強度工作負載的性能需求。io2bx提供高達256000 IOPS、4000 MB/s吞吐量和亞毫秒級延遲，適用于關鍵任務型應用。它基于Nitro系統和NVMe協議，支持跨多個可用區部署，提供99.999%的持久性。通過卷條帶化、I/O合并和CloudWatch監控等方法，可以優化性能。實際應用案例包括Epic系統、SAP HANA和McAfee數據庫，均展現了io2bx在性能和成本優化方面的優勢。

六、 數據保護與災難恢復

STG203 - What's new with AWS Backup

AWS Backup的最新功能，數據保護、勒索病毒防護和災難恢復。AWS Backup通過策略驅動的管理，支持跨服務、跨賬戶備份，并提供邏輯隔離保險庫、服務擁有密鑰和還原測試功能，以應對勒索病毒威脅。新功能包括跨區域和跨賬戶備份、S3備份的版本還原和改進的成本計算器。實際應用案例包括Freddie Mac和Skyscanner，展示了AWS Backup在數據保護和恢復方面的應用。

STG301 - Data protection and resilience with AWS storage

AWS存儲服務如何幫助企業構建數據保護與韌性策略，應對數據丟失、停機、自然災害和勒索病毒等威脅。內容包括AWS的數據保護責任共擔模型、存儲服務組合（EBS、S3、EFS等）、數據保護架構（多可用區部署、備份和復制、S3和EBS數據保護）以及AWS Backup的集中式備份管理、不可變備份、還原測試和合規性功能。

STG339 - Beyond 11 9s of durability: Data protection with Amazon S3

Amazon S3如何通過設計和技術（如糾刪碼、Shuffle Sharding）實現11個9的持久性，并介紹了如何使用S3的功能（版本控制、復制、對象鎖等）增強數據保護，防止意外刪除、覆蓋和勒索病毒攻擊。通過跨可用區冗余、MFA刪除和多區域訪問點等功能，S3為數據提供高可用性與安全性。

STG409 - Building resilience against ransomware using AWS Backup

通過AWS Backup，企業可構建抵御勒索病毒的韌性數據保護體系，包括3-2-1-1策略支持、邏輯隔離保險庫、策略驅動的增量與連續備份，以及自動化恢復測試；結合Amazon GuardDuty等安全服務快速檢測攻擊，實施分層備份、嚴格權限控制和定期恢復驗證，確保數據完整性與業務連續性，抵御復雜攻擊威脅。

七、 數據湖和AI/ML

STG201 - Build a data foundation to fuel generative AI 

構建支持生成式AI的數據基礎需要結合RAG和微調等方法，重點在數據發現、準備與治理，利用Amazon S3實現經濟高效的對象存儲，滿足數據檢索與處理需求；對于高吞吐量與低延遲要求的訓練任務，采用Amazon FSx for Lustre優化性能；根據應用目標制定數據與存儲計劃，在保障安全與合規的同時實現生成式AI的高效部署。

STG208 - Data on AWS: The key to success for 3 AI innovators

三家AI創新公司如何在AWS上構建和優化數據基礎設施以支持生成式AI模型。Canva使用AWS服務構建可擴展數據平臺，優化數據處理和質量管理；Bria AI利用Amazon S3和FSx for Lustre進行大規模數據處理，提升效率并減少處理時間；Anthropic專注于數據安全和隱私，使用AWS的安全功能如IAM和KMS構建負責任的AI系統。

STG327 - High-performance storage for AI/ML, analytics, and HPC workloads

Amazon S3和Amazon FSx for Lustre如何為HPC、AI/ML和分析工作負載提供高效、可擴展的存儲解決方案。重點討論了這些工作負載的存儲使用模式，如數據加載、檢查點設置和結果存儲，并分析了吞吐量、延遲和數據訪問模式等關鍵因素對存儲性能的影響。Amazon S3適用于長期存儲和數據湖，而FSx for Lustre則用于需要高吞吐量和低延遲的場景，許多客戶結合使用兩者以優化存儲性能。

STG332 - Accelerate database performance and scalability with AWS storage 

如何利用Amazon EBS和Amazon FSx提升數據庫性能、可擴展性和成本效益。重點介紹了EBS卷類型（如gp3、io2和io2 Block Express）及其適用場景、快照管理、數據生命周期管理和彈性卷功能，以及FSx文件系統（如NetApp ONTAP和OpenZFS）在高性能數據庫中的應用，包括數據遷移、保護功能和高可用性部署。通過這些服務，企業可以優化數據庫存儲、提高性能、確保高可用性并降低成本。

八、 安全性和訪問控制

STG304 - Amazon S3 security and access control best practices

Amazon S3安全和訪問控制最佳實踐，包括通過桶策略、訪問點、IAM策略和Lake Formation實現精細化訪問控制；利用資源控制策略、訪問分析器和日志（服務器訪問日志與CloudTrail）進行安全審計；以及通過S3訪問點和訪問授權實現更高級的權限管理。重點強調最小權限原則、版本控制、多重身份驗證（MFA）、加密和自動化工具的使用，以確保數據安全性和合規性。

九、 托管文件傳輸

STG305 - Modernize managed file transfer with SFTP

AWS Transfer Family通過支持SFTP等多種協議、靈活的身份驗證和訪問控制、自動化工作流集成及與Amazon S3的無縫銜接，提供托管、安全、可擴展的文件傳輸解決方案；它降低了傳統自建SFTP服務器的管理和安全復雜性，支持事件驅動的數據管道和智能化處理，同時簡化了與外部系統及非技術用戶的集成，滿足現代化數據傳輸需求。

十、 成本優化

STG210 - AWS storage best practices for cost optimization 

通過遷移到AWS存儲服務并結合按需付費模式、合適的存儲類型（EBS、FSx、EFS、S3）、優化工具（如GP3升級、智能分層、生命周期策略）、以及數據壓縮和去重等功能，企業可顯著降低存儲成本，提升資源利用率，同時滿足性能和擴展性需求；真實案例表明這些策略能夠快速實現可量化的成本節省和高效的存儲管理。

AWS存儲服務列表

1. 對象存儲  
- Amazon S3 Glacier: 低成本歸檔存儲，適合長期保存不常訪問的數據。  
- S3 Intelligent-Tiering: 自動根據數據訪問模式調整存儲層級，優化成本。  
- S3 Express One Zone: 低延遲對象存儲，適用于需要快速訪問的數據。  
- S3 Multi-Region Access Point: 提供多區域 S3 存儲桶的統一虛擬端點訪問。  
2. 塊存儲  
- Amazon EBS io2 Block Express: 提供亞毫秒級延遲和 99.999% 持久性，適用于關鍵任務應用。  
3. 文件存儲  
- Amazon EFS: 高吞吐量、可擴展的文件存儲，支持快速數據恢復。  
- Amazon FSx 系列:  
  - FSx for Lustre: 針對 HPC、AI/ML 優化的高性能文件存儲。  
  - FSx for NetApp ONTAP: 提供與 NetApp 相同的企業級文件存儲功能。  
  - FSx for Windows File Server: 原生 Windows 文件共享功能。  
  - FSx for OpenZFS: 基于 OpenZFS，提供智能分層存儲優化。  
4. 數據遷移與保護  
- AWS DataSync: 支持本地與云、跨云的數據遷移。  
- AWS Backup:  邏輯隔離保險庫: 增強備份分組和訪問控制。  恢復測試: 定期驗證還原點的有效性。  
- AWS Elastic Disaster Recovery （AWS DRS）: 提供快速災難恢復，通過持續復制和實例啟動支持應用恢復。  
- AWS Storage Gateway: 提供本地與 AWS 云存儲連接，支持文件、卷和磁帶網關。  
5. 相關集成  
- Amazon SageMaker 與 FSx for Lustre: 提供優化的 AI/ML 數據存儲和訪問功能。  
- AWS Glue 與 S3: 支持數據湖的 ETL 和數據處理。  
- Amazon Athena 與 S3: 通過 SQL 查詢分析 S3 中的數據。  

- Amazon Kinesis Data Firehose 與 S3: 實時數據流傳輸至 S3。  

 

一、AWS存儲服務概覽
STG101-AWS存儲簡介：構建云端數據基礎
STG101-Introduction to AWS storage: Building a data foundation in the cloud
1.內容概述：
本演講從企業上云的實際需求出發，全面介紹了AWS云存儲服務組合及其與其他AWS服務的集成，重點闡述了數據遷移、數據湖構建、人工智能與機器學習、數據保護和業務關鍵型應用程序等關鍵應用場景的技術實現和最佳實踐。
2.內容總結：
2.1 AWS存儲服務組合概述
AWS提供全面且多樣化的存儲服務，涵蓋了塊存儲、對象存儲、文件存儲以及數據遷移和數據保護服務，能夠滿足企業各種規模和類型的數據存儲需求。
塊存儲：Amazon Elastic Block Store （EBS）
對象存儲：Amazon Simple Storage Service （S3）
文件存儲：Amazon Elastic File System （EFS）, Amazon FSx
數據遷移：AWS Data Sync
數據保護：AWS Backup, AWS Disaster Recovery
AWS存儲服務與其他AWS服務無縫集成，為分析、機器學習、高性能計算、可視化和流媒體等工作負載提供對數據的無縫訪問。
2.2 AWS客戶上云之旅
典型的AWS客戶上云之旅始于應用程序遷移，通常采用直接遷移的方式。
遷移完成后，客戶會繼續優化其應用程序，利用額外的AWS服務和創新進行現代化改造。
AWS存儲服務在每個階段都發揮著至關重要的作用，幫助客戶構建強大、可擴展且經濟高效的云數據基礎。
2.3 數據湖構建
超過1萬家客戶選擇在AWS上使用Amazon S3構建數據湖。
他們選擇AWS存儲服務構建數據湖是因為：數據遷移是構建數據湖最困難的部分之一。將所有數據存儲在S3中，客戶能夠利用AWS中的分析功能，無需將數據移動到AWS云的不同部分。
數據湖是AI/ML的絕佳數據基礎，客戶可以使用AI和ML從這些數據中獲取洞察力。
2.4 業務關鍵型應用程序
許多客戶將AWS用于其業務關鍵型應用程序，例如ERP解決方案、數據庫和內容管理系統。
客戶通常從直接遷移開始，然后通過利用AWS的各種存儲選項來優化其應用程序，以滿足不同工作負載的需求。
例如，SQL Server可以部署在Amazon EC2、Amazon RDS或容器化環境中。
虛擬化工作負載可以使用Amazon EBS或Amazon FSx來存儲數據。
2.5 人工智能與機器學習
云存儲在AI和ML工作負載中發揮著關鍵作用。
Amazon S3和Amazon FSx for Lustre是AI/ML工作負載的主要存儲服務。
客戶可以利用AWS存儲服務來：構建自己的大型語言模型（LLM）；使用現有的LLM并對其進行微調；執行標準的AI/ML任務，例如數據訓練、預測和推理。
2.6 數據保護
所有客戶都需要數據保護，無論其規模大小。
AWS提供多種數據保護服務，例如AWS Backup、AWS Disaster Recovery和Amazon EBS快照。
AWS Backup幫助客戶集中管理和自動化數據保護，并確保備份的完整性和安全性。
二、數據遷移與傳輸
STG204-使用AWS DataSync加速和自動化安全數據傳輸
STG204-Accelerate & automate secure data transfers at scale with AWS DataSync
1.內容概述：
本演講深入探討了AWS DataSync這一完全托管的數據傳輸服務，詳細闡述了其技術架構、功能特性、應用場景和最佳實踐，旨在幫助用戶快速、安全、可靠地將數據遷移到AWS云端或在AWS存儲服務之間進行數據傳輸。
2.內容總結：
2.1 AWS DataSync概述
AWS DataSync是一種完全托管的數據傳輸服務，旨在簡化和加速本地數據中心、其他云平臺和AWS存儲服務之間的數據傳輸。
DataSync采用定制網絡協議，通過并行吞吐量操作最大化可用帶寬，并自動從網絡問題中恢復，確保數據傳輸的可靠性。
DataSync支持多種數據源和目標，包括：本地存儲：NFS、SMB；其他云平臺：Google Cloud Storage、Azure Blob Storage、S3兼容的對象存儲；AWS存儲服務：Amazon S3、Amazon EFS、Amazon FSx。
2.2 AWS DataSync應用場景
快速響應業務工作流程：DataSync可以快速移動數據以響應業務需求，例如將基因組測序儀等儀器生成的數據快速移動到云端進行分析和處理。
數據遷移：DataSync具有多種功能，可幫助用戶進行數據遷移，例如將數據從數據中心遷移到AWS、關閉存儲系統或將數據移動到AWS。
數據保護：DataSync可以按計劃運行以創建數據的第二個副本，通常在云中，以用于業務連續性和災難恢復目的。
數據歸檔：DataSync可用于將冷數據（例如日志文件）歸檔到低成本存儲服務，例如Amazon S3 Glacier或Glacier Deep Archive。
AI/ML工作負載：DataSync可以將數據復制到Amazon S3和Amazon FSx for Lustre，這些是支持高可擴展性和高吞吐量的關鍵數據存儲功能，適用于AI/ML工作負載。
2.3 AWS DataSync技術架構
DataSync Agent：DataSync Agent部署在本地環境或其他云平臺中，負責與AWS之外的存儲進行通信。支持的部署方式：虛擬機（VMware、Hyper-V、KVM）、Amazon EC2實例；自動軟件更新和修補。
連接方式：DataSync Agent可以通過以下三種方式連接到AWS DataSync服務：公共端點：通過互聯網連接；私有端點（PrivateLink）：通過AWS網絡連接；VPC端點：通過VPC連接。
數據傳輸路徑：本地存儲到DataSync Agent；DataSync Agent到DataSync服務；DataSync服務到AWS存儲服務。
網絡優化：數據壓縮：在數據離開源之前對其進行壓縮，從而減少傳輸的數據量和網絡成本；多線程架構：DataSync Agent使用多線程架構來擴展存儲傳輸；帶寬控制：可以限制DataSync在網絡鏈接上消耗的帶寬，確保與其他應用程序共享帶寬。
數據加密：所有數據在傳輸過程中都使用TLS 1.3進行加密，并在存儲中進行靜態加密（如果適用）。
2.4 AWS DataSync部署和使用
部署DataSync Agent
創建位置：定義如何連接到存儲，包括本地、其他云平臺或AWS存儲服務。
創建任務：定義數據傳輸的源位置、目標位置和選項，例如數據驗證、數據移動方式、調度、報告等。
執行任務：將數據從源位置移動到目標位置。
2.5 AWS DataSync擴展和性能優化
并行任務：對于具有高帶寬連接的用戶，可以使用多個DataSync Agent和每個Agent一個任務來劃分源數據集并并行運行任務，從而最大化帶寬利用率。
多Agent任務：對于具有大量小文件的數據集，可以使用具有多個DataSync Agent的任務來增加DataSync可以使用的線程數，從而提高文件復制的并行度。
2.6 AWS DataSync新功能
詳細數據傳輸指標：提供詳細的指標，例如文件數量、數據量和傳輸速度，并支持將指標發送到Amazon CloudWatch和Amazon S3。
清單：用戶可以預先生成要傳輸的文件列表，從而加快后續數據傳輸的速度。
增強模式任務：提供更高的可擴展性和性能，并支持并行文件傳輸，與基本模式任務相比，顯著提高了數據傳輸速度。
STG215-使用AWS Storage Gateway構建到Amazon S3的混合數據工作流
STG215-Build hybrid data workflows to Amazon S3 with AWS Storage Gateway
1.內容概述：
本演講深入講解了AWS Storage Gateway的三種網關類型，重點介紹了S3 File Gateway在構建混合數據工作流中的應用，并通過實際案例展示了如何利用S3 File Gateway將本地數據安全、高效地上傳到Amazon S3，進而利用AWS云服務進行數據分析、機器學習等處理，實現數據價值最大化。
2.內容總結：
2.1 AWS Storage Gateway概述
AWS Storage Gateway是一種混合云存儲服務，它將本地應用程序連接到AWS云存儲，為本地應用程序提供低延遲訪問幾乎無限量的云存儲。
Storage Gateway作為虛擬機部署在本地數據中心或虛擬化環境中，靠近應用程序服務器。
Storage Gateway支持多種虛擬化平臺，包括VMware、Hyper-V和Linux KVM。
Storage Gateway提供三種網關類型：
S3 File Gateway：將本地文件以對象的形式存儲到Amazon S3，支持通過NFS和SMB協議訪問。
Tape Gateway：虛擬化物理磁帶庫，將備份數據存儲到Amazon S3 Glacier或Amazon S3 Glacier Deep Archive。
Volume Gateway：創建基于塊的卷，將數據存儲到Amazon EBS或Amazon S3，支持將整個數據集或特定卷歸檔到Amazon S3。
2.2 S3 File Gateway工作原理
S3 File Gateway將本地文件系統（NFS或SMB）映射到Amazon S3存儲桶，將文件轉換為對象存儲。
文件寫入時，首先寫入本地緩存磁盤，客戶端立即收到確認。
隨后，網關將數據異步上傳到Amazon S3，小文件幾乎實時上傳，大文件上傳速度取決于帶寬和其他因素。
2.3 S3 File Gateway應用場景
數據湖和數據處理工作流：將本地數據上傳到Amazon S3，構建數據湖。利用AWS云服務（如Amazon Athena、Amazon SageMaker）進行數據分析和處理。
數據庫備份：將Oracle、SAP、Microsoft等數據庫備份存儲到Amazon S3。利用S3生命周期策略將備份數據遷移到低成本存儲層，實現長期保留。
冷數據歸檔：將不常訪問的數據（如視頻文件）歸檔到Amazon S3，降低本地存儲成本。
2.4 S3 File Gateway關鍵特性
事件驅動的數據工作流：
文件上傳事件通知：每個文件上傳到Amazon S3時，網關都會向Amazon EventBridge發送通知，觸發后續數據處理工作流。
工作文件集通知：當一組文件完成上傳到Amazon S3時，網關會向Amazon EventBridge發送通知，確保所有數據都已上傳，再進行處理。
本地緩存：提供低延遲的數據訪問。
數據加密：所有數據在傳輸過程中和靜態存儲時都進行加密。
與AWS服務集成：
Amazon EventBridge：接收事件通知。
Amazon SQS：構建消息隊列。
AWS Step Functions：編排工作流。
Amazon SNS：發送通知。
Amazon EC2、AWS Lambda、AWS Batch：執行計算任務。
Amazon QuickSight：數據可視化。
Amazon Athena：數據查詢。
Amazon Redshift：數據倉庫。
AWS Glue：數據集成。
Amazon SageMaker：機器學習模型訓練。
Amazon Q：數據洞察。
2.5 客戶案例：Exact Sciences
Exact Sciences是一家醫療保健和生命科學公司，利用S3 File Gateway將遠程實驗室站點的數據上傳到Amazon S3。
他們使用S3 File Gateway替換了本地存儲系統，降低了物理占用空間，并快速將數據傳輸到云端。
他們構建了自己的數據管理系統，利用AWS服務對S3中的數據進行處理和分析。
他們使用事件驅動的架構，在數據上傳完成后自動觸發數據處理任務。
2.6 S3 File Gateway最佳實踐
確定合適的數據工作流類型：
數據遷移：將整個數據集遷移到Amazon S3。
數據同步：保持本地數據與Amazon S3同步。
數據歸檔：將冷數據歸檔到Amazon S3。
選擇合適的網關類型和部署模式：
虛擬機：VMware、Hyper-V、Linux KVM
硬件設備
利用事件通知功能構建自動化工作流。
2.7 數據傳輸到AWS的其他服務
AWS Data Sync：用于在本地和AWS存儲服務之間傳輸大型數據集。

AWS Transfer Family：用于通過SFTP、FTPS、FTP和AS2協議安全地傳輸文件。

三、文件存儲
STG202-基于Amazon FSx在云中運行NAS
STG202-Network-attached storage in the cloud with Amazon FSx
1.內容概述：
本演講詳細介紹了Amazon FSx系列服務，涵蓋了其優勢、適用場景、功能特性、部署方式、成本優化以及實際客戶案例，旨在幫助用戶快速、高效地將文件數據遷移到AWS云端并實現NAS存儲的現代化管理。
2.內容總結：
2.1 傳統NAS存儲的挑戰
隨著HPC、數據分析、AI和ML等應用場景的興起，企業數據量呈指數級增長，對文件數據的訪問需求也越來越高。
傳統NAS存儲系統通常面臨以下挑戰：
可擴展性受限：硬件設備的擴展能力有限，無法滿足快速增長的數據存儲需求。
管理復雜性高：需要專業的IT人員進行部署、配置、維護和升級，增加了管理成本和復雜性。
數據遷移難度大：將數據從本地NAS系統遷移到云端通常需要進行重新架構、重新認證和重新培訓，過程繁瑣且成本高昂。
2.2 Amazon FSx的優勢
Amazon FSx是一系列完全托管的文件存儲服務，旨在解決傳統NAS存儲面臨的挑戰。
FSx的主要優勢包括：
完全托管：AWS負責底層基礎設施的管理，包括硬件、軟件、操作系統和安全補丁，用戶無需進行任何維護工作。
高性能和可擴展性：FSx提供多種性能級別和存儲容量選項，可以根據用戶需求進行擴展，滿足各種工作負載需求。
與AWS服務集成：FSx與其他AWS服務無縫集成，例如Amazon EC2、Amazon S3、AWS Lambda、Amazon SageMaker等，方便用戶構建完整的云解決方案。
成本效益：FSx提供多種定價模式，用戶可以根據實際使用情況選擇最經濟高效的方案。
安全性：FSx提供多種安全功能，例如數據加密、訪問控制和安全審計，保護用戶數據安全。
2.3 Amazon FSx服務類型
Amazon FSx支持四種主流文件系統類型：
Amazon FSx for NetApp ONTAP：提供與本地NetApp ONTAP文件系統完全兼容的功能和API，方便用戶將現有NetApp工作負載遷移到AWS云端。
Amazon FSx for OpenZFS：提供基于開源OpenZFS文件系統的完全托管服務，適用于各種工作負載，包括高性能計算、機器學習和媒體處理。
Amazon FSx for Windows File Server：提供與Windows Server完全兼容的文件共享和數據管理功能，適用于Windows應用程序和用戶。
Amazon FSx for Lustre：提供高性能、并行文件系統，專為高性能計算、機器學習和媒體處理等需要高吞吐量和低延遲的應用程序而設計。
2.4 Amazon FSx應用場景
通用文件存儲：為部門共享、用戶主目錄和應用程序共享提供集中管理的文件存儲服務。
高性能數據庫：為Oracle RAC、SQL Server Failover Cluster Instance和SAP HANA等數據庫工作負載提供高性能、低延遲的存儲服務。
虛擬機工作負載：為VMware環境提供高性能、可擴展的存儲服務。
數據保護和災難恢復：將本地數據備份到AWS云端，或在不同AWS區域之間復制數據，實現數據保護和災難恢復。
2.5 Amazon FSx功能特性
數據管理：支持數據壓縮、重復數據刪除、快照、克隆、復制等功能，方便用戶進行數據管理和保護。
性能擴展：支持橫向擴展和縱向擴展，用戶可以根據需求添加或刪除文件服務器節點，或調整單個節點的性能配置，滿足不同工作負載需求。
成本優化：支持多種存儲層級，例如SSD和HDD，用戶可以根據數據訪問頻率選擇合適的存儲層級，降低存儲成本。
數據保護：支持多可用區部署，數據同步復制到多個可用區，確保數據高可用性。
2.6 Amazon FSx新功能
Scale-Out架構：支持多HA對架構，每個HA對可以服務客戶端流量，提高性能可擴展性。
智能分層：為FSx for OpenZFS提供新的存儲層級，根據數據訪問模式自動將數據在不同層級之間移動，降低存儲成本。
彈性結構適配器（EFA）支持：FSx for Lustre支持EFA，提供更低的延遲和更高的吞吐量，適用于高性能計算和機器學習等工作負載。
2.7 客戶案例
John Holland Group：一家澳大利亞建筑公司，使用Amazon FSx for NetApp ONTAP構建通用文件存儲服務，為其分布式團隊提供安全、可靠的文件共享平臺。
Change Healthcare：一家醫療保健技術公司，使用Amazon FSx for Windows File Server將其關鍵任務系統遷移到AWS云端，實現了高性能、高可用性和低成本。
eHealth NSW：一家澳大利亞醫療保健機構，使用Amazon FSx for NetApp ONTAP構建PACS影像存儲庫，存儲和管理大量的醫學影像數據。
Marriott International：一家全球酒店集團，使用Amazon FSx for NetApp ONTAP將其本地NetApp文件系統遷移到AWS云端，簡化了數據管理，并提高了數據保護能力。
Adobe：一家軟件公司，使用Amazon FSx for Lustre和Amazon S3構建混合存儲解決方案，為其機器學習模型訓練和數據分析提供高性能和可擴展的存儲服務。
STG211-文件存儲新功能
STG211-What's new with file storage
1.內容概述：
本演講重點介紹了Amazon EFS和Amazon FSx文件存儲服務在數據管理、性能擴展、數據保護以及與其他AWS服務集成方面的最新功能和改進，旨在幫助用戶更有效地管理文件數據并將其應用于現代云應用程序。
2.內容總結：
2.1 AWS文件存儲服務概覽
AWS提供三種主要的文件存儲服務以滿足不同的使用場景：
Amazon FSx：完全托管的NAS服務，提供與主流文件系統（NetApp ONTAP、OpenZFS、Windows File Server和Lustre）兼容的存儲服務，適用于用戶共享、企業應用程序、高性能計算、AI/ML以及數據保護等場景。
Amazon FSx for Lustre：基于Lustre文件系統的高性能、并行文件存儲服務，專為高吞吐量和低延遲的計算密集型工作負載設計。
Amazon EFS：無服務器彈性文件存儲服務，可根據需求自動擴展和縮減，適用于云原生應用程序和開發人員，提供簡單易用的云文件共享服務。
2.2 Amazon FSx和Amazon EFS面臨的挑戰
數據規模的快速增長，用戶需要更有效地管理數據并控制成本。
云原生存儲服務（例如Amazon S3、Amazon EFS和Amazon DynamoDB）的優勢，例如彈性存儲、按需付費和與其他AWS服務集成，對傳統文件存儲服務提出了挑戰。
2.3 Amazon FSx for OpenZFS智能分層存儲類
功能：
將NAS的易用性與完全彈性存儲和智能分層相結合。
存儲容量隨數據添加和刪除而自動擴展和縮減。
數據自動在頻繁訪問層、不頻繁訪問層和存檔即時訪問層之間進行分層。
所有數據均可立即檢索，延遲時間為數十毫秒。
優勢：
為NAS數據集提供最佳的成本和性能。
用戶可以將更廣泛的工作負載和數據集（包括最大規模的數據集）遷移到云端。
用戶可以利用AWS的各種功能來處理和分析數據。
技術細節：
新的存儲類包括三個層級：頻繁訪問、不頻繁訪問和存檔即時訪問。
針對較少訪問的數據提供兩個較低成本的層級。
所有數據均可立即訪問，延遲時間為數十毫秒。
文件系統元數據存儲在SSD上，以實現低延遲元數據操作。
采用按需付費模式，按讀取請求和寫入請求付費。
2.4 性能、可擴展性和彈性方面的改進
Amazon FSx for Lustre彈性結構適配器（EFA）支持：
通過啟用EFA支持，FSx for Lustre可以提供更低的延遲和更高的吞吐量。
EFA是一種基于定制協議的網絡技術，不依賴于TCP，可提供更低的延遲和更高的吞吐量。
EFA支持所有EC2實例上的網絡接口卡（NIC）繞過操作系統內核，直接與網絡硬件通信，從而降低延遲并提高性能。
Amazon FSx for OpenZFS高可用性（HA）配置的同步復制：
支持使用多達10Gbps的專用鏈路進行跨區域復制。
用戶可以在不同AWS區域之間復制數據以實現災難恢復。
提供與本地同步復制解決方案類似的功能。
Amazon EFS彈性吞吐量模式：
支持文件系統的吞吐量根據工作負載需求自動擴展和縮減。
適用于具有峰值吞吐量需求的工作負載。
2.5 數據保護和安全功能增強
Amazon FSx for OpenZFS快照功能：
用戶可以創建文件系統的快照，并將其用于數據恢復或創建新的文件系統。
Amazon EFS復制功能：
用戶可以在同一區域或不同區域內創建文件系統的副本。
可用于災難恢復或數據遷移。
通過將數據復制到另一個AWS區域，可以提高數據安全性并滿足合規性要求。
2.6 與其他AWS服務集成
Amazon FSx for Lustre與Amazon S3集成：
用戶可以通過FSx for Lustre文件系統訪問存儲在Amazon S3中的數據。
提供兩種集成方式：
數據倉庫：將Amazon S3作為數據湖，并將FSx for Lustre作為高性能緩存層。
數據導出：將Amazon S3作為數據導出目標，并將FSx for Lustre作為數據處理層。
Amazon EFS與AWS Backup集成：
用戶可以使用AWS Backup服務備份和恢復EFS文件系統。
2.7 客戶案例
殼牌公司：使用Amazon FSx for Lustre和Amazon S3構建混合存儲解決方案，用于機器學習模型訓練和數據分析。
拜耳公司：使用Amazon FSx for Lustre進行基因組分析。
STG344-簡單彈性文件系統：Amazon EFS深入探討
STG344-Simple elastic file systems: A deep dive into Amazon EFS
1.內容概述：
本演講深入探討了Amazon EFS的架構、功能和用例，重點介紹了EFS的無服務器特性、性能模式、數據保護機制以及與其他AWS服務的集成。演講通過實際演示展示了如何創建EFS文件系統并將其掛載到Amazon EC2、AWS Lambda等計算服務上，并演示了EFS在高并發分析工作負載下的性能表現。
2.內容總結：
2.1 Amazon EFS簡介
定義：Amazon EFS是一種完全托管的彈性文件存儲服務，為各種應用程序提供簡單的文件存儲和共享。
特性：
無服務器：無需預置或管理存儲基礎設施。
彈性：根據需要自動擴展和縮減存儲容量，支持PB級數據存儲。
高可用性：數據存儲在多個可用區，確保高可用性。
安全：支持數據加密和訪問控制。
優勢：
簡化部署和管理。
降低成本，按使用量付費。
提升應用程序性能和可擴展性。
2.2 Amazon EFS集成
計算服務：EFS與所有AWS計算服務兼容，包括Amazon EC2、AWS Lambda、Amazon ECS、Amazon EKS等。
支持從數萬個并發客戶端共享文件數據。
可用作容器的持久卷，實現狀態化容器、快速恢復和應用程序擴展。
其他AWS服務：EFS集成了AWS IAM、AWS KMS、AWS CloudWatch、AWS CloudTrail、AWS DataSync和AWS Backup等服務。
使用IAM進行訪問控制。
使用KMS進行數據加密。
使用CloudWatch和CloudTrail進行監控和審計。
使用DataSync進行快速數據遷移。
使用Backup進行數據備份和保護。
2.3 Amazon EFS性能模式
EFS提供三種吞吐量模式：
彈性吞吐量（ET）：默認模式，根據工作負載需求自動擴展性能，適用于大多數工作負載。
預置吞吐量（PT）：為文件系統設置固定的吞吐量，適用于具有可預測吞吐量需求的工作負載。
突發吞吐量（BT）：適用于具有低平均吞吐量但偶爾需要高吞吐量的文件系統，按突發信用額度計費。
EFS提供了性能優化功能：
彈性吞吐量模式：利用多租戶架構，根據需要自動擴展性能。
EFS文件系統策略：使用預讀和緩存策略優化數據訪問性能。
2.4 Amazon EFS數據保護
數據持久性：數據寫入操作在被確認之前，會跨三個可用區進行持久化存儲，確保數據持久性。
可用區彈性：EFS文件系統可以承受單個可用區的完全丟失，同時在其他可用區繼續提供服務。
AWS Backup集成：使用AWS Backup對EFS文件系統進行備份，提供額外的安全保障。
保護數據免受意外刪除或覆蓋。
EFS復制功能：在同一區域或不同區域內創建EFS文件系統的副本。
用于災難恢復、數據遷移和提高數據安全性。
支持異步復制，提供分鐘級的恢復時間目標（RTO）和恢復點目標（RPO）。
支持復制回退功能，支持切換主文件系統和副本文件系統之間的復制方向。
2.5 Amazon EFS安全最佳實踐
網絡安全：使用安全組控制對EFS文件系統的訪問。
數據加密：使用EFS掛載助手啟用傳輸中加密和靜態加密。
2.6 Amazon EFS用例
內容管理系統：為網站和應用程序提供共享文件存儲。
機器學習：存儲訓練數據和模型工件。
大數據分析：為分析工作負載提供高性能、可擴展的存儲。
2.7 Amazon EFS演示
演示內容包括：
創建EFS文件系統。
將EFS文件系統掛載到EC2實例。
向EFS文件系統寫入數據。
使用AWS Lambda函數從EFS文件系統讀取數據。
演示重點：
展示EFS的易用性。
展示EFS在高并發分析工作負載下的性能表現。
四、對象存儲
STG207-使用Amazon S3 Glacier存儲類最大化冷數據的價值
STG207-Maximize the value of cold data with Amazon S3 Glacier storage classes
1.內容概述：
本演講詳細介紹了Amazon S3 Glacier存儲類，重點講解了冷數據的定義、應用場景以及如何利用S3 Glacier存儲類降低存儲成本、優化數據恢復流程。演講還結合實際案例，展示了如何通過S3生命周期策略和智能分層功能，將數據自動遷移到合適的存儲類，從而在保證數據可用性的同時最大限度地降低成本。
2.內容總結：
2.1 冷數據的定義和應用場景
冷數據指的是訪問頻率低于每季度一次的數據。
常見應用場景包括：
數據保存：長期保存具有潛在價值的數據，例如媒體文件、歷史數據等。
合規性：為了滿足法律法規或行業規范，需要長期保存特定類型的數據。
成本優化：將冷數據遷移到低成本的存儲類，可以顯著降低存儲成本。
2.2 Amazon S3 Glacier存儲類
S3 Glacier存儲類是專為冷數據設計的低成本存儲解決方案。
主要包括以下存儲類：
Glacier Instant Retrieval：提供毫秒級訪問速度，適用于需要快速訪問的冷數據，例如醫療影像、用戶生成內容等。
Glacier Flexible Retrieval：提供分鐘到小時級別的訪問速度，適用于需要靈活檢索的冷數據，例如備份、日志等。
Glacier Deep Archive：提供最低的存儲成本，但訪問速度較慢（可能需要數小時甚至數天），適用于長期保存且很少訪問的數據，例如合規性數據。
2.3 將數據遷移到S3 Glacier存儲類
S3生命周期策略：可以根據數據的訪問模式和生命周期，自動將數據遷移到合適的存儲類。
例如，可以設置規則，將30天未訪問的數據遷移到Glacier Instant Retrieval，將90天未訪問的數據遷移到Glacier Flexible Retrieval。
S3智能分層：可以自動監控數據的訪問模式，并將數據在不同的存儲類之間進行自動分層，無需手動管理。
智能分層包括頻繁訪問層、不頻繁訪問層、存檔即時訪問層、存檔訪問層和深度存檔訪問層。
可以根據需要啟用或禁用存檔訪問層和深度存檔訪問層。
2.4 從S3 Glacier存儲類恢復數據
從Glacier Flexible Retrieval和Glacier Deep Archive恢復數據需要執行以下步驟：
發起恢復請求：選擇合適的恢復類型（批量檢索、標準檢索、快速檢索）以及恢復時間。
檢查恢復完成狀態：可以通過API或控制臺查看恢復進度。
訪問恢復后的數據：恢復后的數據會存儲在S3標準存儲類中，可以通過S3 API進行訪問。
2.5 優化大規模數據恢復
批量操作：可以使用批量操作同時恢復大量對象，提高效率。
事件通知：可以配置事件通知，在恢復完成后自動觸發后續操作。
2.6 客戶案例
Canva：通過將冷數據遷移到Glacier Instant Retrieval和Glacier Flexible Retrieval，每月節省了300萬美元的存儲成本。
NASCAR：將第二天不再使用的比賽視頻直接遷移到Glacier Instant Retrieval，節省了大量存儲成本。
Deluxe：使用批量操作恢復數據，將恢復時間從數小時縮短到數分鐘。
2.7 最佳實踐
根據數據檢索需求選擇合適的Glacier存儲類。
使用S3生命周期策略或智能分層功能自動管理數據遷移。
對于大規模數據恢復，使用批量操作和事件通知功能提高效率。
STG212-Amazon S3新功能
STG212-What's new with Amazon S3
1.內容概述：
本演講全面介紹了Amazon S3在過去一年中發布的30項新功能，涵蓋了結構化數據、非結構化數據、規模、性能和安全等方面。演講重點講解了S3 Tables和S3元數據表兩項重要功能，并通過實際案例和演示，展示了新功能如何幫助用戶更好地管理、優化和保護數據。
2.內容總結：
2.1 結構化數據管理
Amazon S3 Tables：一項完全托管的Apache Iceberg表格服務，簡化了在S3上存儲和查詢結構化數據的過程。
高性能：通過利用S3底層索引，實現更高的初始TPS，提升查詢性能。
安全性：表格作為S3中的一級資源，簡化了安全策略的設置。
成本優化：根據用戶設置的策略自動進行存儲成本優化。
2.2 非結構化數據管理
S3元數據功能（預覽階段）：提供了一種查詢S3元數據的新方法，通過創建元數據日志表，用戶可以使用簡單的SQL命令查詢S3元數據。
用例：例如，查詢日志表可以識別存儲桶中所有AI生成的視頻。
2.3 規模和性能提升
更高的存儲桶限制：S3現在支持每個賬戶創建1萬個存儲桶，滿足多租戶應用的需求。
條件請求：引入了Put If Absent和Put If Match條件請求，簡化了分布式應用程序的數據持久性管理。
解決的問題：避免了多個客戶端同時寫入數據導致的數據覆蓋問題。
新的校驗和算法：支持SHA-256和SHA-1校驗和算法，增強了數據完整性保護。
S3 Express One Zone擴展：新增了三個區域支持（愛爾蘭、俄亥俄州和孟買），并增加了與其他AWS服務的集成。
新功能：支持追加數據功能，支持向現有對象追加數據。
客戶端性能優化：
Mount Point for Amazon S3：增加了增量上傳功能，并支持AWS Dedicated Local Zones中的目錄存儲桶。
緩存選項：擴展了緩存選項，包括與S3 Express One Zone配合使用的高性能共享讀取緩存。
S3 Connector for PyTorch：增加了對PyTorch Lightning和TensorFlow的支持，進一步提升了機器學習訓練性能。
2.4 安全增強
簡化403錯誤排查：S3現在提供更詳細的錯誤信息，幫助用戶快速解決訪問被拒絕的問題。
S3 Access Grants擴展：增加了對SageMaker、Redshift、Glue ETL和Boto3的支持，簡化了數據訪問權限管理。
新的API用于列出用戶權限：方便用戶查看特定用戶對S3數據集的訪問權限。
2.5 其他新功能
Storage Browser：一個AWS Amplify JavaScript和React庫，簡化了Web應用程序中的數據上傳和管理。
與Amplify Hosting集成：用戶可以通過S3控制臺將S3存儲桶連接到Amplify托管的網站，簡化靜態網站托管流程。
與Transfer Family Web Apps集成：用戶可以使用S3 Access Grants創建簡單的Web應用程序，方便非技術用戶訪問數據。
2.6 演示
演講最后通過演示展示了以下功能：
使用Mount Point for Amazon S3將S3存儲桶掛載到EC2實例，并演示增量上傳功能。
使用S3 Connector for PyTorch運行PyTorch訓練作業，展示其性能優勢。
使用Storage Browser在Web應用程序中上傳和管理數據。
將S3存儲桶連接到Amplify托管的網站，展示靜態網站托管流程。
STG302-Amazon S3深入探討
STG302-Dive deep on Amazon S3
1.內容概述：
本演講由Amazon S3工程團隊領導者主講，深入探討了Amazon S3的內部工作機制，揭示了構建大規模存儲系統的工程原理，并解釋了這些原理如何使各種規模的用戶受益。演講重點關注S3的數據分布和去相關性策略，以及Shuffle Sharding算法和AWS Common Runtime（CRT）如何協同工作，以實現高性能、高可用性和高韌性。
2.內容總結：
2.1 Amazon S3架構概覽
硬件基礎設施：Amazon S3構建于大規模的服務器和硬盤集群之上，這些硬件分布在全球多個區域和可用區，確保數據冗余存儲和高可用性。
軟件架構：S3軟件架構采用分層設計，包括前端系統、對象索引、數據存儲等多個模塊。
前端系統：負責處理用戶請求、身份驗證、授權和請求路由等功能。
對象索引：存儲對象元數據，例如對象名稱、大小、存儲類、版本信息等。
數據存儲：負責將數據分片并存儲到硬盤集群中。
2.2 數據分片和冗余存儲
數據分片：當用戶上傳對象到S3時，系統會將對象拆分成多個數據塊（稱為shard）。
糾刪碼：S3使用糾刪碼算法將數據shard冗余存儲到多個硬盤驅動器上。
這種機制可以容忍一定數量的硬盤故障，確保數據高可用性和持久性。
2.3 Shuffle Sharding和去相關性
Shuffle Sharding：一種數據放置算法，用于將數據shard隨機分布到整個存儲集群中。
目標是將不同對象的數據shard分散存儲，避免熱點問題，確保工作負載的均衡分布。
去相關性：S3系統的設計原則，旨在將不同資源（例如網絡、計算、存儲）之間的依賴關系降至最低。
這種設計可以避免單點故障，提高系統整體的韌性和穩定性。
2.4 AWS Common Runtime（CRT）
定義：一個低級軟件庫，用于與S3進行交互。
功能：實現了S3的最佳實踐，例如重試機制、請求自動并行化等。
優勢：幫助用戶從S3獲得更高的吞吐量，單個主機可實現數百Gbps的吞吐量。
與Shuffle Sharding的協同：CRT利用Shuffle Sharding算法，選擇最佳的存儲節點進行數據讀寫操作，進一步提升性能和韌性。
STG323-在Amazon S3上構建和優化數據湖
STG323-Build and optimize a data lake on Amazon S3
1.內容概述：
本演講以虛構的Forever Ecommerce公司為例，講解了如何使用Amazon S3構建和優化PB級數據湖。演講重點介紹了數據湖的分層架構、數據攝取、查詢優化、安全治理以及長期管理等方面的最佳實踐。
2.內容總結：
2.1 數據湖架構設計
分層存儲：將數據湖劃分為原始數據層、處理數據層和精選數據層，以提高數據質量和查詢效率。
原始數據層：存儲來自各個業務系統的原始數據，例如點擊流數據、訂單數據、日志文件等。關鍵考慮因素：文件結構、分區策略、存儲類別選擇。
處理數據層：對原始數據進行清洗、轉換和聚合，并以結構化格式存儲，例如Parquet。關鍵考慮因素：數據格式選擇、表結構設計、數據質量監控。
精選數據層：存儲高度聚合和優化后的數據，用于特定業務場景，例如BI報表、機器學習模型訓練等。關鍵考慮因素：數據訪問模式、查詢性能優化、數據安全性。
2.2 數據攝取和處理
數據源：電商平臺、訂單系統、點擊流數據、日志文件等。
數據攝取工具：Amazon Kinesis Data Firehose、AWS Glue等。
數據格式：JSON、Parquet等。
2.3 查詢性能優化
數據分區：根據查詢模式對數據進行分區，例如按日期、產品類別、用戶ID等進行分區。
文件格式：選擇Parquet等列式存儲格式，以提高查詢效率。
排序策略：對數據進行排序，以減少查詢時需要掃描的數據量。
2.4 安全和治理
訪問控制：使用AWS IAM策略精細控制數據訪問權限。
跨賬戶共享：將數據存儲在單獨的賬戶中，并使用跨賬戶共享策略控制訪問權限。
數據治理和發現：使用AWS Glue Data Catalog建立數據目錄，并使用標簽和元數據標記數據。
數據加密：使用S3提供的加密功能或自帶密鑰加密數據。
2.5 長期管理
指標收集：收集來自S3、AWS Glue、Amazon EMR、Amazon Athena等服務的指標，以監控數據湖的運行狀況和性能。
成本優化：使用S3存儲類別管理和生命周期策略優化存儲成本。
自動化：使用AWS Lambda和AWS Step Functions等服務自動化數據湖管理任務。
2.6 案例分析
Forever Ecommerce公司：演示了如何使用S3構建和優化數據湖，以支持訂單收集和點擊流分析等業務場景。
STG328-使用Amazon S3優化存儲性能
STG328-Optimizing storage performance with Amazon S3
1.內容概述：
本演講探討了如何利用Amazon S3的特性和最新功能來優化存儲性能，從而提升應用程序的速度和效率。演講重點關注以下方面：
性能優化的重要性以及如何識別和解決性能瓶頸
Amazon S3的最新性能改進，例如S3 Express One Zone存儲類、AWS Common Runtime （CRT）庫以及針對開源數據湖和機器學習框架的優化
針對不同工作負載場景的性能優化策略，包括機器學習訓練、數據庫查詢和大文件傳輸
2.內容總結：
2.1 性能優化的重要性
計算資源利用率：存儲性能直接影響計算資源的利用率。存儲性能越高，數據讀取和寫入速度越快，計算資源的閑置時間就越短，從而降低TCO。
應用程序響應速度：對于時延敏感型應用，例如圖像和視頻服務，存儲性能決定了用戶體驗。快速的存儲訪問可以縮短響應時間，提升用戶滿意度。
數據處理效率：對于高吞吐量應用，例如ETL作業和機器學習訓練，存儲性能決定了數據處理的速度。高吞吐量的存儲系統可以加速數據管道，縮短處理時間。
2.2 識別和解決性能瓶頸
監控工具：使用Amazon CloudWatch、Amazon S3 Storage Lens和Amazon S3 Server Access Logs等工具監控存儲性能指標，例如請求延遲、吞吐量和錯誤率。
性能分析：分析監控數據，識別性能瓶頸，例如高延遲請求、低吞吐量操作或頻繁的錯誤。
優化策略：根據瓶頸類型采取相應的優化策略，例如增加并行請求數量、優化請求大小、調整存儲類別或使用緩存機制。
2.3 Amazon S3性能改進
Amazon S3 Express One Zone：一種高性能存儲類，提供個位數毫秒級的訪問延遲，適用于頻繁訪問的數據集。
優勢：性能提升10倍，請求成本降低50%，可擴展至每分鐘數百萬個請求。
適用場景：機器學習訓練、交互式分析、媒體內容創建等。
AWS Common Runtime （CRT）：一個低級軟件庫，用于與S3進行交互，實現了S3的最佳實踐，例如重試機制和請求自動并行化。
優勢：幫助用戶從S3獲得更高的吞吐量，單個主機可實現數百Gbps的吞吐量。
Mount Point for Amazon S3：一個開源文件客戶端，用戶可以將S3存儲桶掛載到計算實例上，像訪問本地文件系統一樣訪問S3對象。
優勢：簡化S3對象訪問，提供高吞吐量性能，支持S3 Express One Zone和AWS Dedicated Local Zones等功能。
開源數據湖優化：針對Apache Iceberg和Apache Spark等開源數據湖框架的性能優化，包括優化Parquet文件格式、數據分區和請求并行化策略。
機器學習框架優化：針對PyTorch和TensorFlow等機器學習框架的性能優化，包括提供S3數據連接器、優化數據讀取和寫入操作以及支持分布式檢查點功能。
2.4 針對不同工作負載場景的優化策略
機器學習訓練：使用Amazon S3 Express One Zone存儲訓練數據集，利用S3數據連接器加速數據讀取和寫入，使用分布式檢查點功能提高容錯能力。
數據庫查詢：使用Parquet文件格式存儲數據，優化數據分區和排序策略，利用S3 Select功能只讀取必要的數據列，使用Amazon Athena等查詢引擎加速查詢執行。
大文件傳輸：增加并行請求數量，優化請求大小，使用AWS DataSync等工具加速數據傳輸。
2.5 性能優化最佳實踐
選擇合適的存儲類別：根據數據訪問模式選擇合適的S3存儲類別，例如S3 Standard、S3 Intelligent-Tiering或S3 Express One Zone。
優化數據布局：使用數據分區、排序和文件格式優化來提高數據讀取效率。
利用并行化：通過增加并行請求數量和使用多線程或多進程來提高數據傳輸和處理速度。
優化請求大小：選擇合適的請求大小，以平衡請求開銷和數據傳輸效率。
使用緩存機制：使用Mount Point for Amazon S3的緩存功能或Amazon ElastiCache等服務來緩存經常訪問的數據。
五、塊存儲
STG205-使用Amazon EBS快照輕松保護關鍵數據
STG205-Protect critical data with ease using Amazon EBS snapshots
1.內容概述：
本演講深入講解了Amazon EBS快照的功能、優勢和使用場景，以及如何利用快照實現數據保護、備份和災難恢復。演講重點介紹了快照的增量機制、加密選項、跨區域復制、快照鎖以及與其他AWS服務（如AWS Backup和Amazon Data Lifecycle Manager）的集成。此外，還分享了SAP公司如何利用EBS快照保護其RISE with SAP平臺上數萬個SAP系統的數據完整性和合規性。
2.內容總結：
2.1 Amazon EBS快照基礎知識
定義：EBS快照是EBS卷的時間點副本，包含還原卷到創建快照時狀態所需的所有數據。
增量機制：快照僅存儲自上次快照以來更改的數據塊，從而提高創建速度并降低存儲成本。
數據加載：從快照創建卷時，數據在后臺加載，用戶可以立即開始使用卷。
用途：備份和災難恢復；刷新、擴展和數據移交工作流；備份數據中心數據并還原到云端；為第三方自動化和編排解決方案提供基礎。
2.2 安全特性
加密：EBS通過與AWS Key Management Service （KMS）集成，提供256位加密，確保卷和快照中的靜態數據以及傳輸中的數據都得到加密。
跨區域和跨賬戶復制：用戶可以將快照復制到其他區域或賬戶，以滿足災難恢復、數據擴展和測試需求。
基于時間的快照復制：用戶可以指定快照復制的持續時間（15分鐘到48小時），以滿足特定的恢復點目標（RPO）。
快照共享：用戶可以選擇私下共享快照給特定賬戶或公開共享，但通常不建議公開共享。
阻止公開共享：用戶可以在賬戶級別阻止所有公開共享或阻止新的公開共享，以增強安全性。
快照鎖：用戶可以使用快照鎖功能防止快照被刪除，以滿足數據不可變性和合規性要求。
2.3 RISE with SAP中的EBS快照
RISE with SAP：一種將SAP應用程序遷移到AWS云端的托管服務。
數據保護挑戰：確保數據安全、不可變以及防止勒索病毒攻擊。
EBS快照優勢：增量快照機制縮短備份和恢復時間；區域存儲提供數據冗余和可用性；存儲層快照機制對應用程序性能影響最小；使用KMS密鑰加密提高數據安全性；快照鎖功能實現數據不可變性和勒索病毒防護。
架構和工作流程：使用Lambda函數進行生命周期管理；支持排除特定卷以優化成本；跨一致性快照確保數據一致性；使用快速快照還原（FSR）功能加速數據恢復；通過標簽管理已分離的卷。
2.4 Amazon Data Lifecycle Manager （DLM）
功能：基于策略的EBS快照生命周期管理解決方案。
策略類型：單卷快照策略；多卷崩潰一致性快照策略；EBS支持的Amazon系統映像（AMI）策略。
應用一致性快照：與AWS Systems Manager集成，為MySQL、PostgreSQL、Windows應用程序和SAP HANA創建應用一致性快照，以加快數據庫恢復速度。
成本效益：創建和管理策略免費，用戶僅需支付EBS快照的存儲費用。
2.5 EBS快照回收站
功能：防止意外或惡意刪除快照和AMI。
規則類型：賬戶級別規則，保護區域內所有快照和AMI；基于標簽的規則，保護特定快照和AMI。
排除標簽：用戶可以從賬戶級別規則中排除特定快照和AMI。
STG213-Amazon EBS新功能
STG213-What's new with Amazon EBS
1.內容概述：
Amazon EBS的最新功能和架構改進，重點關注性能提升、韌性增強和安全性強化等方面。演講內容包括：
EBS性能的演進歷程，從早期共享帶寬和有限IOPS到如今的專用帶寬和高達42萬 IOPS的實例級性能；IO2 Block Express （io2bx）卷的架構和優勢，包括高性能、高持久性、大容量和NVMe支持；EBS io2bx卷的韌性特性，例如多可用區部署、EBS卷狀態檢查和EBS暫停IO操作；EBS io2bx卷的性能監控工具，包括CloudWatch指標、EBS NVMe統計信息和故障注入模擬器；降低EBS io2bx卷延遲的最新技術，包括使用io_uring異步IO庫和優化存儲服務器軟件；EBS快照的災難恢復功能，包括跨可用區和跨賬戶復制快照，以及使用彈性災難恢復（EDR）實現半同步復制。
2.內容總結：
2.1 Amazon EBS概述
網絡連接持久性存儲：EBS為EC2實例提供網絡連接的塊存儲，具有持久性和獨立生命周期。
分布式存儲系統：EBS服務器架構不斷演進，提供各種卷類型以滿足不同的性能、持久性和成本需求。
核心價值主張：EBS的核心價值主張是高性能、高可靠性和安全性。
2.2 EBS性能演進
早期限制：早期EBS受限于共享帶寬和低IOPS，每卷僅支持100IOPS，且帶寬與網絡流量共享。
持續改進：EBS性能不斷提升，目前io2bx卷可提供高達256,000 IOPS的卷級性能和高達42萬 IOPS的實例級性能，并使用專用EBS帶寬。
2.3 IO2 Block Express （io2bx）卷
架構：io2bx基于Nitro系統，利用NVMe協議提供高性能和低延遲。
優勢：高性能：高達256,000 IOPS（卷）/42萬 IOPS（實例）；高持久性：99.999%持久性；大容量：高達64TB；低延遲：亞毫秒級延遲；NVMe支持。
2.4 EBS韌性
多可用區部署：io2bx支持跨三個可用區部署，增強數據冗余和可用性。
EBS卷狀態檢查：EC2中的EBS卷狀態檢查功能簡化了卷狀態監控，無需逐個檢查卷。
EBS暫停IO操作：用戶可以暫停卷IO操作，方便進行維護和故障排除。
2.5 性能監控工具
CloudWatch指標：提供卷級性能指標，例如IOPS、吞吐量和延遲。
EBS NVMe統計信息：提供更細粒度的性能數據，包括總操作數、讀寫操作數、字節數和時間戳。
故障注入模擬器：用戶可以模擬卷不可用場景，測試應用程序的韌性和恢復能力。
2.6 降低延遲的技術
io_uring：一種Linux內核異步IO庫，可降低系統調用開銷，提升IO性能。
優化存儲服務器軟件：EBS團隊不斷優化存儲服務器軟件，減少數據路徑上的延遲。
2.7 EBS快照和災難恢復
EBS快照：EBS快照是EBS卷的時間點副本，存儲在Amazon S3中，具有11個9的持久性。
跨可用區和跨賬戶復制：用戶可以將快照復制到其他區域或賬戶，以滿足災難恢復和數據遷移需求。
彈性災難恢復（EDR）：EDR提供半同步復制功能，將數據復制到另一個區域，實現更低的RPO。
STG329-使用Amazon EBS最大限度地提高高強度工作負載的性能
STG329-Maximizing performance for high-intensity workloads using Amazon EBS
1.內容概述：
本演講重點講解了Amazon EBS io2 Block Express （io2bx）卷如何滿足高強度工作負載對高IOPS、高吞吐量和低延遲的苛刻要求。演講內容涵蓋io2bx的性能優勢、架構設計、實際應用案例以及性能優化和監控技巧。
2.內容總結：
2.1 Amazon EBS和io2 Block Express概述
EBS存儲：EBS為EC2實例提供網絡連接的塊存儲，具有持久性、高可用性和高性能的特點，適用于各種工作負載。
EBS卷類型：EBS提供多種基于SSD和HDD的卷類型，包括通用型（GP3）、高IOPS型（io2）以及io2 Block Express （io2bx）。
io2 Block Express （io2bx）：io2bx是EBS家族中性能最高的卷類型，專為關鍵任務型高強度工作負載設計，提供亞毫秒級延遲和99.999%的持久性。
2.2 io2 Block Express的性能優勢
高IOPS：io2bx每卷提供高達256,000 IOPS，通過卷條帶化，每實例可實現高達42萬 IOPS。
高吞吐量：io2bx每卷提供高達4,000 MB/s的吞吐量，通過卷條帶化可進一步提升。
低延遲：io2bx持續提供亞毫秒級延遲，即使在99.9%的情況下也能保持極低的尾部延遲。
高持久性：io2bx提供99.999%的持久性，最大程度減少應用程序停機時間。
2.3 io2 Block Express架構和設計
Nitro系統：io2bx基于Amazon EC2 Nitro系統，該系統卸載了存儲虛擬化任務，釋放了CPU資源并提高了性能。
NVMe協議：io2bx利用NVMe協議提供高性能和低延遲。
多可用區部署：io2bx支持跨三個可用區部署，增強數據冗余和可用性。
卷條帶化：用戶可以使用RAID 0或LVM將多個io2bx卷條帶化，以獲得更高的性能，但需要注意條帶化會降低系統的有效持久性。
2.4 io2 Block Express應用案例
Epic系統：醫療保健軟件供應商Epic的系統對IOPS要求極高，io2bx幫助Epic客戶實現了高達7,500萬TPS的性能，并擴展了其數據庫。
SAP HANA：io2bx幫助SAP HANA客戶實現了63%的性能提升，并利用EBS快照功能確保了數據一致性。
McAfee數據庫：McAfee將其關鍵任務數據庫遷移到io2bx后，延遲降低了80%，吞吐量提高了75%，成本降低了40%。
2.5 io2 Block Express性能優化和監控
選擇合適的卷類型：對于大多數工作負載，GP3是一個不錯的選擇，但對于關鍵任務型高強度工作負載，io2bx提供最佳性能。
卷條帶化：使用卷條帶化可以提高性能，但需要注意有效持久性的降低。
I/O合并：EBS的I/O合并功能可以將連續的小I/O合并成一個后端操作，提高吞吐量并降低IOPS消耗。
CloudWatch指標：CloudWatch提供EBS卷的平均讀寫延遲指標，幫助用戶監控性能。
EBS NVMe統計信息：EBS NVMe統計信息提供更細粒度的性能數據，包括IOPS節流時間和吞吐量節流時間。
EBS卷狀態檢查：EC2中的EBS卷狀態檢查功能簡化了卷狀態監控。
六、數據保護與災難恢復
STG203-AWS Backup新功能
STG203-What's new with AWS Backup
1.內容概述：
AWS Backup的最新功能和應用，重點關注如何利用AWS Backup構建數據保護策略，應對勒索病毒威脅以及實現災難恢復。演講內容包括：
AWS Backup的核心功能和優勢，例如策略驅動的備份管理、跨服務和跨賬戶備份、備份的不可變性和還原測試；AWS Backup如何應對勒索病毒威脅，包括使用邏輯隔離保險庫（Logically Air-gapped Vault）、服務擁有密鑰（Service-Owned Key）和還原測試功能；AWS Backup的實際應用案例，例如Freddie Mac和Skyscanner如何使用AWS Backup實現數據保護和災難恢復；AWS Backup的最新功能，例如跨區域和跨賬戶備份、S3備份還原所有版本、成本計算器改進。
2.內容總結：
2.1 AWS Backup概述
策略驅動的備份服務：AWS Backup是一種完全托管的策略驅動的備份服務，用戶可以集中管理和自動化數據保護。
簡化備份管理：用戶可以根據數據保護需求定義備份策略，AWS Backup自動執行備份、復制和還原操作。
廣泛的服務支持：AWS Backup支持多種AWS服務，包括計算、存儲、數據庫和應用程序。
混合云支持：AWS Backup還支持VMware和SAP等混合云工作負載。
2.2 應對勒索病毒威脅
邏輯隔離保險庫（Logically Air-gapped Vault）：這是一種新型的AWS Backup保險庫，提供邏輯隔離和不可變性，防止勒索病毒攻擊。
強制合規模式：邏輯隔離保險庫默認啟用合規模式，確保備份的不可變性。
服務擁有密鑰（Service-Owned Key）：AWS Backup服務擁有密鑰，消除了客戶管理密鑰的單點故障風險。
還原測試：用戶可以使用AWS Backup的還原測試功能，定期測試備份的可恢復性，確保數據在需要時可用。
第三方集成：AWS Backup支持與第三方安全解決方案集成，例如勒索病毒掃描和惡意軟件掃描。
2.3 AWS Backup應用案例
Freddie Mac：Freddie Mac使用AWS Backup增強其數據保護策略，通過跨區域邏輯隔離保險庫和合規鎖實現備份的不可變性，并構建“潔凈室”環境驗證數據恢復能力。
Skyscanner：Skyscanner使用AWS Backup構建集中式備份解決方案，利用標簽選擇資源進行備份，并使用AWS CDK自動化備份配置和管理。
2.4 AWS Backup的最新功能
跨區域和跨賬戶備份：AWS Backup擴展了跨區域和跨賬戶備份功能，支持更多資源類型。
S3備份還原所有版本：AWS Backup現在支持還原S3備份的所有版本，滿足用戶更細粒度的恢復需求。
成本計算器改進：AWS Backup成本計算器得到改進，幫助用戶更準確地預測備份成本。
STG301-使用AWS存儲進行數據保護和韌性
STG301-Data protection and resilience with AWS storage
1.內容概述：
本演講深入探討了AWS存儲服務如何幫助企業構建多層次的數據保護和韌性策略，以應對數據丟失、意外停機、自然災害和勒索病毒攻擊等威脅。演講內容涵蓋AWS數據保護責任共擔模型、AWS存儲服務組合、數據保護和災難恢復架構模式以及AWS Backup的應用和優勢。
2.內容總結：
2.1 數據保護責任共擔模型
AWS負責云平臺的韌性：AWS負責維護其基礎設施（包括區域、可用區、邊緣站點）的高可用性，確保計算、存儲、數據庫、網絡和其他硬件服務具有冗余性和容錯能力。例如，AWS負責確保Amazon S3的11個9的持久性，這意味著存儲在S3中的對象不會丟失或損壞。
客戶負責云中應用程序的韌性：客戶負責設計和實施其應用程序的數據保護和災難恢復策略，確保應用程序能夠應對各種故障和威脅。例如，客戶需要配置S3版本控制、復制、對象鎖定和生命周期策略，以保護其數據免受意外刪除、覆蓋和勒索病毒攻擊。
2.2 AWS存儲服務組合
塊存儲：Amazon Elastic Block Store （EBS）為EC2實例提供持久性塊存儲，支持多種卷類型以滿足不同的性能需求。
對象存儲：Amazon S3提供可擴展、持久且經濟高效的對象存儲，適用于各種用例，包括數據湖、備份和歸檔。Amazon S3 Glacier提供低成本的歸檔存儲，適用于不常訪問的數據。
文件存儲：Amazon Elastic File System （EFS）提供完全托管的彈性文件存儲，適用于各種應用程序，包括Web服務器和容器化應用程序。Amazon FSx提供適用于Windows和Linux工作負載的高性能文件存儲。Amazon File Cache提供緩存功能，加速對本地存儲的數據訪問。
2.3 數據保護和災難恢復架構模式
多可用區部署：AWS區域包含多個可用區，這些可用區在地理位置上相互隔離，但通過低延遲網絡連接。通過跨多個可用區部署應用程序和數據，可以提高應用程序的可用性和容錯能力。
備份和恢復：備份是數據保護的基本策略，AWS Backup提供集中式、策略驅動的備份管理平臺，支持多種AWS服務，包括計算、存儲、數據庫和應用程序。AWS Backup還可以幫助客戶實現備份的不可變性、策略化保留和還原測試，以增強數據安全性和可恢復性。
復制：復制是一種實時數據保護機制，通過將數據復制到另一個位置來確保數據可用性。AWS提供多種復制選項，包括S3復制、EBS快照復制和數據庫復制。復制可以用于災難恢復、數據遷移和跨區域數據共享等場景。
S3數據保護：盡管Amazon S3提供11個9的持久性，但客戶仍然需要采取措施來保護其數據免受意外刪除、覆蓋和勒索病毒攻擊。建議使用S3版本控制、復制、對象鎖定和生命周期策略來構建多層次的S3數據保護策略。
EC2和EBS數據保護：建議使用EBS快照來備份EC2實例的EBS卷。EBS快照存儲在S3中，具有11個9的持久性。為了增強數據保護，建議將EBS快照復制到另一個賬戶或區域。
2.4 AWS Backup應用和優勢
集中式備份管理：AWS Backup提供集中式備份管理平臺，簡化了跨多個AWS服務的備份管理。
策略驅動的備份：用戶可以定義備份策略，指定要備份的資源、備份頻率、保留期和目標位置。
不可變備份：AWS Backup支持邏輯隔離保險庫，確保備份的不可變性，防止勒索病毒攻擊。
還原測試：AWS Backup提供還原測試功能，幫助用戶驗證備份的可恢復性。
合規性和審計：AWS Backup提供合規性和審計報告，幫助用戶滿足法規遵從性要求。
STG339-超越11個9的持久性：使用Amazon S3進行數據保護
STG339-Beyond 11 9s of durability: Data protection with Amazon S3
1.內容概述：
本演講探討了Amazon S3如何通過其架構設計實現11個9的持久性，并介紹了如何使用S3的功能來增強數據保護，以防止意外刪除、覆蓋和勒索病毒攻擊。演講涵蓋了S3的內部機制，如糾刪碼和Shuffle Sharding，以及S3版本控制、復制和對象鎖等數據保護功能。
2.內容總結：
2.1 Amazon S3的持久性和可用性
11個9的持久性：Amazon S3的設計目標是實現11個9的持久性，這意味著存儲在S3中的對象極不可能丟失或損壞。S3通過多種機制來實現持久性，包括數據冗余存儲、數據完整性校驗和故障恢復機制。
跨可用區冗余：S3將數據存儲在多個可用區（AZ），每個可用區都是地理位置上相互隔離的數據中心。當一個可用區發生故障時，S3可以從其他可用區恢復數據，從而確保數據的可用性。
糾刪碼：S3使用糾刪碼技術將對象分成多個分片，并將這些分片存儲在多個驅動器上。即使多個驅動器發生故障，S3也可以使用剩余的分片重建對象。
Shuffle Sharding：S3使用Shuffle Sharding技術將對象隨機分布到不同的驅動器上，以分散負載并提高性能。
2.2 數據保護挑戰和策略
意外刪除和覆蓋：即使S3具有高度的持久性，意外刪除和覆蓋仍然是數據丟失的主要原因。
勒索病毒攻擊：勒索病毒攻擊對數據安全構成重大威脅，攻擊者可能會加密數據并要求贖金才能解密。
數據保護策略：為了應對這些挑戰，S3提供了多種數據保護功能，包括版本控制、復制和對象鎖。
2.3 S3數據保護功能
S3版本控制：版本控制用戶可以保留對象的多個版本，以便在意外刪除或覆蓋時恢復到之前的版本。
S3復制：復制用戶可以將對象復制到其他S3存儲桶，以便在發生區域性故障時進行災難恢復或跨區域數據共享。
S3對象鎖：對象鎖用戶可以使對象不可變，防止刪除或覆蓋，這對于滿足合規性要求和防范勒索病毒攻擊至關重要。對象鎖有兩種模式：合規模式和治理模式。合規模式提供最高級別的保護，一旦設置，任何人都無法更改或刪除對象，即使是存儲桶所有者也不行。
多重身份驗證（MFA）刪除：MFA刪除要求用戶在刪除對象或更改存儲桶版本控制狀態時提供額外的身份驗證因素。
條件寫入：S3支持條件寫入，用戶可以根據特定條件進行寫入操作，例如僅當對象不存在時才寫入對象。這有助于防止意外覆蓋現有對象。
2.4 S3復制和多區域訪問點
S3復制：S3復制可用于創建數據的多個副本，并將這些副本存儲在不同的區域。這有助于確保在發生區域性故障時數據的可用性。
S3多區域訪問點：S3多區域訪問點提供了一個全局端點，可用于訪問存儲在不同區域的S3存儲桶中的數據。應用程序可以使用多區域訪問點來路由請求到最近的區域副本，從而提高性能。
2.5 最佳實踐
啟用版本控制：默認情況下為所有S3存儲桶啟用版本控制。
使用MFA刪除：對關鍵數據存儲桶使用MFA刪除。
使用對象鎖：對于不可變數據，使用對象鎖來防止意外或惡意刪除。
實施最小權限原則：僅授予用戶訪問其所需數據的權限。
使用S3復制進行災難恢復：將數據復制到不同的區域，以便在發生區域性故障時進行恢復。
STG409-使用AWS Backup構建針對勒索病毒的韌性
STG409-Building resilience against ransomware using AWS Backup
1.內容概述：
本演講針對勒索病毒攻擊日益嚴峻的形勢，詳細介紹了如何利用AWS Backup服務構建多層次的數據保護和恢復策略，以最大程度地減少勒索病毒攻擊帶來的損失。演講內容涵蓋勒索病毒威脅形勢分析、備份策略制定、AWS Backup功能特性、恢復策略實施以及最佳實踐案例分享。
2.內容總結：
2.1 勒索病毒威脅形勢分析
勒索病毒攻擊日益復雜化，攻擊者不僅加密數據，還竊取敏感信息，并威脅公開或出售以索取更高贖金。企業需要制定完善的防御策略，不僅要保護數據安全，還要確保業務連續性。AWS調查顯示，超過90%的客戶認為數據保護至關重要，而近60%的客戶經歷過數據丟失事件，其中勒索病毒攻擊是最常見的原因之一。
2.2 備份在勒索病毒防御中的作用
備份是勒索病毒防御的最后一道防線，可確保在數據被加密或刪除后進行恢復。攻擊者通常會試圖刪除或破壞備份，因此需要采取措施保護備份安全。3-2-1-1備份策略：創建3份數據副本，將2份副本存儲在不同的存儲介質上，將1份副本存儲在異地，并對1份副本進行不可變保護。
2.3 AWS Backup功能特性
集中式備份管理：提供跨多個AWS服務的統一備份管理平臺，簡化備份策略配置和操作。
策略驅動：支持基于策略的備份計劃，可根據數據類型、合規性要求和恢復目標自定義備份頻率、保留期限和存儲位置。
增量備份和連續備份：支持增量備份和連續備份，最大程度地減少備份數據量和備份窗口，降低存儲成本和對生產環境的影響。
邏輯隔離保險庫：支持將備份存儲在邏輯隔離的保險庫中，該保險庫使用AWS自有的密鑰進行加密，并限制用戶訪問權限，有效防止勒索病毒攻擊和惡意刪除。
恢復測試：提供自動化恢復測試功能，定期驗證備份的可恢復性，確保在需要時能夠快速可靠地恢復數據。
審計和合規性：與AWS Audit Manager和AWS Config集成，提供詳細的備份活動日志和合規性報告，幫助企業滿足法規遵從性要求。
2.4 恢復策略實施
快速檢測和隔離：利用Amazon GuardDuty和AWS Security Hub等安全服務快速檢測和隔離勒索病毒攻擊，防止攻擊擴散。
安全恢復：從邏輯隔離的備份中恢復數據，確保恢復的數據沒有被感染。
測試和驗證：定期測試恢復流程，確保在需要時能夠快速有效地恢復業務運營。
2.5 最佳實踐案例分享
備份策略制定：根據數據重要性和恢復目標制定分層備份策略，對關鍵數據進行更頻繁的備份和更長的保留期限。
邏輯隔離：利用AWS Backup的邏輯隔離保險庫功能保護備份安全，防止勒索病毒攻擊和惡意刪除。
權限控制：實施最小權限原則，限制對備份數據的訪問權限，防止未經授權的訪問和操作。
監控和告警：配置監控和告警機制，及時發現備份失敗或異常活動，并采取相應措施。
恢復測試：定期進行恢復測試，驗證備份的可恢復性和恢復流程的有效性。
七、數據湖和AI/ML
STG201-構建數據基礎以推動生成式人工智能
STG201-Build a data foundation to fuel generative AI
1.內容概述：
本演講重點介紹了如何構建和管理可擴展、經濟高效的數據基礎設施，以支持生成式AI應用。演講涵蓋了生成式AI的不同方法，包括檢索增強生成（RAG）和微調，以及數據發現、數據準備和數據治理等關鍵數據注意事項。此外，還探討了不同存儲選項（如Amazon S3和Amazon FSx for Lustre）的優缺點，以及它們如何滿足生成式AI工作負載的特定需求。
2.內容總結：
2.1 生成式AI方法
檢索增強生成（RAG）：RAG是一種利用現有基礎模型生成新內容的方法，通過使用組織數據定制模型輸出，無需重新訓練模型。
首先，創建一個包含組織數據的知識庫，該知識庫將用于引導基礎模型。當用戶提出查詢時，將知識庫發送到基礎模型以構建模型的輸出。AWS提供了構建RAG工作流的工具，例如Amazon Bedrock，它用戶可以使用Amazon S3存儲桶或其他數據源創建知識庫。
微調：微調涉及調整現有基礎模型以適應特定任務或領域。需要高質量的標記數據來進行微調。AWS提供了用于微調的工具，例如Amazon Bedrock和Amazon SageMaker Canvas。微調過程可以通過調整模型的超參數（例如學習率和批大小）進行定制。
2.2 數據注意事項
數據發現：確定相關數據源和數據格式對于生成式AI應用至關重要。數據源可以包括內部數據（例如公司文檔和支持日志）、公共數據集以及從許可內容生成器購買的數據。數據格式因所使用的模型和所需的輸出而異，包括文本、圖像、音頻和視頻。
數據準備：并非所有數據都適合直接用于基礎模型，可能需要進行預處理。文本數據預處理步驟包括識別數據源、清理和標記數據、將文本標記化為單詞或子詞，以及創建嵌入并將它們存儲在向量數據庫中。Amazon Bedrock知識庫簡化了數據準備過程，通過安全地將基礎模型連接到專有數據源，并使用適當的信息補充提示來構建和引導模型的輸出。
數據治理：數據治理對于確保數據安全和合規性至關重要。數據權限用于控制對數據的訪問，確保只有授權用戶和服務才能訪問敏感信息。使用Amazon S3作為專有數據源可以提供強大的審計、合規性和安全功能。
2.3 存儲基礎設施注意事項
存儲接口：生成式AI應用需要不同的存儲接口，包括塊存儲、對象存儲和文件存儲。
Amazon S3：S3是一個經濟高效的對象存儲服務，適用于存儲各種數據，包括熱數據和冷數據。S3提供了多種存儲類，可以根據數據的訪問模式優化成本。S3提供了高度可擴展的性能，適用于數據檢索和處理。S3與許多關鍵的AI/ML工作流集成。
Amazon FSx for Lustre：Lustre是一個高性能文件系統，適用于需要高吞吐量和低延遲的生成式AI工作負載，例如從頭開始訓練基礎模型。Lustre提供對幾乎所有ML庫的訪問，這有助于完全優化GPU資源。Lustre提供了數十GB/s的吞吐量給GPU實例，總共數百GB/s的吞吐量。Lustre提供了一個直觀的協作環境，包括與Amazon S3存儲桶連接和同步數據的能力。
2.4 選擇方法和構建數據和存儲計劃
選擇方法：RAG適用于構建現有基礎模型，而微調適用于定制現有模型以執行特定任務。繼續預訓練或從頭開始訓練模型可以實現對特定領域或任務的更準確結果。
構建數據計劃：數據計劃應包括識別數據源、評估數據質量以及建立數據治理策略。
構建存儲計劃：選擇正確的存儲解決方案對于優化成本和性能至關重要。對于構建現有基礎模型，Amazon S3提供了經濟高效的存儲。對于從頭開始訓練基礎模型，Amazon FSx for Lustre提供了高性能存儲。
STG208-AWS上的數據：三位AI創新者的成功關鍵
STG208-Data on AWS: The key to success for 3 AI innovators
1.內容概述：
本演講邀請了三位來自不同領域的AI創新企業，分享了他們在AWS上構建和管理可擴展且經濟高效的數據基礎設施，以訓練生成式AI模型的經驗。演講內容涵蓋了他們的架構方法、設計模式和優化性能的最佳實踐，例如擴展到高水平的聚合吞吐量，管理大型數據集的元數據目錄以及負責任地存儲AI生成的內容。
2.內容總結：
2.1 Canva：構建可擴展的數據平臺以實現高效數據處理
Canva面臨著管理海量圖像和用戶數據的挑戰，為了實現高效的數據處理，他們構建了可擴展的數據平臺，并利用AWS服務優化數據處理流程。
Canva將數據處理分為三個階段：
數據攝取：使用Amazon S3和Amazon Kinesis等服務收集和存儲原始數據。
數據處理：利用Amazon EMR和Apache Spark等工具對數據進行清理、轉換和聚合。
數據服務：將處理后的數據存儲在Amazon S3和Amazon DynamoDB等服務中，以便于訪問和分析。
Canva通過構建平臺來加速數據科學家的工作，例如用于內容審核的審核平臺和用于管理機器學習數據集的ML數據集平臺。Canva重視數據質量，通過數據驗證和數據清理流程確保數據質量，并建立了數據治理機制以確保數據安全和合規性。
2.2 Bria AI：利用Amazon S3進行大規模數據處理和優化
Bria AI使用Amazon S3作為其AI助手“Claw”的數據處理基礎，管理超過200PB的數據集。
為了提高數據處理效率，Bria AI采用了多種AWS存儲服務，包括：
Amazon S3：用于存儲原始數據和處理后的數據。
Amazon FSx for Lustre：提供高性能文件存儲，加速數據讀取和寫入速度。
Amazon EBS：提供塊存儲，用于存儲臨時數據。
Bria AI通過優化數據去重流程，將原本需要4-5天的處理時間縮短至1-2天。
2.3 Anthropic：構建負責任的AI系統，關注數據安全和隱私
Anthropic致力于構建安全、可靠且負責任的AI系統，并將數據安全和隱私作為首要任務。
Anthropic利用AWS服務構建安全的數據基礎設施，例如：
Amazon S3：用于存儲和管理數據，并利用S3的安全功能保護數據安全。
AWS IAM：用于管理用戶訪問權限，確保只有授權用戶才能訪問敏感數據。
AWS KMS：用于加密數據，防止未經授權的訪問。
STG327-用于AI/ML、分析和HPC工作負載的高性能存儲
STG327-High-performance storage for AI/ML, analytics, and HPC workloads
1.內容概述：
本演講深入探討了Amazon S3和Amazon FSx for Lustre如何為HPC、AI/ML和分析工作負載提供高性能、可擴展且經濟高效的存儲解決方案。演講重點介紹了這些工作負載的存儲使用模式，包括數據加載、檢查點設置和結果存儲，并分析了影響存儲性能的關鍵因素，如吞吐量、延遲和數據訪問模式。演講還通過實際案例展示了如何利用Amazon S3和Amazon FSx for Lustre優化存儲性能并滿足不同工作負載的需求。
2.內容總結：
2.1 高性能工作負載的定義和趨勢
高性能工作負載是指需要快速訪問海量數據集的應用程序或進程，通常需要并行訪問和低延遲。
這些工作負載包括AI/ML模型訓練、高頻交易算法、風險分析和實時媒體內容生成。
高性能工作負載對存儲解決方案提出了更高的要求，需要持續創新以滿足其性能需求。
2.2 高性能工作負載的存儲使用模式
高性能工作負載通常使用文件存儲和對象存儲解決方案。
這些工作負載的常見存儲使用模式包括：
數據加載：將數據加載到計算和GPU實例中，可以通過將數據復制到本地存儲或直接從共享存儲解決方案流式傳輸數據來實現。
檢查點設置：定期保存模型訓練或模擬的中間狀態，以便在發生故障時可以恢復。
結果存儲：存儲最終模型、模擬結果或分析輸出，通常存儲在持久存儲中以供將來使用。
2.3 存儲性能的影響因素
存儲性能對高性能工作負載的效率至關重要，存儲瓶頸會導致計算資源閑置，從而增加成本。
影響存儲性能的關鍵因素包括：
數據訪問模式：順序訪問或隨機訪問，以及讀取和寫入操作的比例。
吞吐量：每秒可以讀取或寫入存儲的字節數，以GB/s或TB/s來衡量。
延遲：存儲系統響應請求所需的時間，以毫秒來衡量。
2.4 Amazon S3的優勢和用例
Amazon S3是一種可擴展、持久且經濟高效的對象存儲服務，適用于存儲各種數據，包括熱數據和冷數據。
S3提供了多種存儲類別，可以根據數據訪問模式優化成本。
對于數據湖，推薦使用S3通用存儲桶或S3 Express One Zone目錄存儲桶。
S3 Express One Zone提供了更低的延遲，適用于需要頻繁訪問相同對象的場景，例如機器學習訓練和交互式分析。
ClickHouse是一個開源的列式數據庫管理系統，專為實時分析而設計，它利用S3存儲數據，并通過S3 Select功能優化查詢性能。
2.5 Amazon FSx for Lustre的優勢和用例
Amazon FSx for Lustre是一種高性能文件系統，適用于需要高吞吐量和低延遲的工作負載，例如機器學習訓練和高性能計算。
Lustre提供了對幾乎所有機器學習庫的訪問，可以充分利用GPU資源。
Lustre可以為GPU實例提供數十GB/s的吞吐量，總吞吐量可達數百GB/s。
Lustre提供了一個直觀的協作環境，可以與Amazon S3存儲桶連接和同步數據。
對于需要低延遲的場景，FSx for Lustre比直接從S3讀取數據更快，因為它將數據緩存在內存中。
2.6 將Amazon S3和Amazon FSx for Lustre結合使用
許多客戶將Amazon S3和Amazon FSx for Lustre結合使用，以滿足其高性能工作負載的需求。
一種常見的模式是將S3用于長期存儲訓練數據和模型輸出，而將FSx for Lustre用于高性能數據訪問，以加速訓練運行時間。
STG332-使用AWS存儲加速數據庫性能和可擴展性
STG332-Accelerate database performance and scalability with AWS storage
1.內容概述：
本演講深入探討了如何利用Amazon Elastic Block Store（EBS）和Amazon FSx等AWS存儲服務來提升數據庫性能、可擴展性和成本效益。演講重點介紹了不同EBS卷類型和FSx文件系統的特點和適用場景，以及如何利用快照、克隆和高可用性功能創建敏捷的開發和測試環境，加速迭代并確保在中斷事件期間無縫運行數據庫。
2.內容總結：
2.1 自我管理型數據庫存儲的考量因素
企業將數據庫遷移到AWS的速度越來越快，以降低成本、加快創新并專注于應用程序開發。
自我管理型存儲支持企業根據自身需求定制數據庫環境，例如選擇特定的操作系統、處理器類型或集成到特定工作流程中。
對于希望利用AWS云優勢并可能集成云分析或數據湖功能的企業而言，自我管理型存儲提供了靈活性和控制力。
2.2 Amazon EBS在數據庫存儲中的應用
EBS卷類型選擇:
通用型SSD（gp3）：適用于大多數數據庫工作負載，提供均衡的IOPS和吞吐量性能。它是預配置Amazon RDS實例的默認EBS卷類型。
預配置IOPS SSD（io2）：適用于需要高IOPS和低延遲的數據庫工作負載，例如OLTP數據庫。
io2 Block Express：專為要求最苛刻的IO密集型高性能應用程序設計，提供一致的亞毫秒級延遲性能。適用于SAP HANA、Oracle、Microsoft SQL Server、MySQL等數據庫。
快照管理：快照可用于復制、備份和災難恢復，提供數據庫的數據保護功能。
數據生命周期管理（DLM）：可用于自動管理快照，優化存儲成本并簡化操作。
彈性卷：支持在不中斷數據庫運行的情況下修改卷大小、類型或性能，將性能與存儲大小分離。
多重連接：io2 Block Express支持多重連接，支持多個EC2實例同時訪問相同的卷，適用于需要高可用性和數據共享的數據庫部署。
性能指標：EBS提供詳細的性能指標，例如IOPS、吞吐量和延遲，可用于監控數據庫性能并識別瓶頸。
2.3 Amazon FSx在數據庫存儲中的應用
FSx文件系統選擇:
Amazon FSx for NetApp ONTAP：提供與NetApp ONTAP相同的功能，適用于需要企業級功能（如數據去重和壓縮）的數據庫工作負載。
Amazon FSx for OpenZFS：提供高性能和低延遲，適用于對性能要求苛刻的數據庫工作負載，例如AMD的OpenZFS部署案例。
數據遷移:
復制：對于支持復制的存儲服務（如ONTAP和OpenZFS），可以使用復制將數據遷移到FSx。
AWS DataSync：適用于不支持復制的存儲服務的數據庫數據遷移。
數據保護:
SnapMirror：FSx for NetApp ONTAP支持SnapMirror，可用于跨區域或本地和AWS之間的數據保護和復制。
高可用性：FSx文件系統支持多可用區部署，提供數據庫的高可用性和數據冗余。
成本優化:
數據壓縮和去重：FSx for NetApp ONTAP支持數據壓縮和去重，可減少存儲空間使用并降低成本。
八、安全性和訪問控制
STG304-Amazon S3安全性和訪問控制最佳實踐
STG304-Amazon S3 security and access control best practices
1.內容概述：
本演講講解了Amazon S3的安全機制和訪問控制策略，并詳細介紹了如何通過配置桶策略、訪問點策略、IAM策略、S3訪問授權、Lake Formation等功能實現精細化的數據訪問管理，以及如何利用資源控制策略、訪問分析器、服務器訪問日志和AWS CloudTrail日志進行安全審計和監控。
2.內容總結：
2.1 Amazon S3安全基礎
默認安全配置：新創建的S3桶默認啟用以下安全配置：
默認加密：所有新對象都使用AWS SSE-S3（由S3管理的服務器端加密）進行加密。
阻止公共訪問：默認情況下阻止所有公共訪問，防止公共訪問配置錯誤。
禁用ACL：默認情況下禁用訪問控制列表（ACL），鼓勵使用IAM進行訪問控制。
資源和主體：
S3桶是AWS資源，由創建它的賬戶擁有。
IAM用戶和角色是主體，可以使用其憑證對AWS API（包括S3 API）進行簽名請求。
2.2 使用IAM進行訪問控制
IAM策略：
資源（如S3桶）和主體（如IAM角色）都有附加的策略，用于定義其權限。
策略可以是允許策略（授予訪問權限）或拒絕策略（拒絕訪問權限）。
策略使用JSON格式編寫，包含以下元素：
Effect：指定策略是允許還是拒絕訪問。
Action：指定允許或拒絕的操作，例如s3:GetObject。
Resource：指定策略適用的資源，例如特定的S3桶或對象。
Condition：可以添加條件來限制訪問，例如基于請求來源IP地址或時間的條件。
跨賬戶訪問：
可以使用桶策略授予其他AWS賬戶對S3桶的訪問權限。
可以使用Principal元素指定允許訪問的賬戶ID。
對于使用AWS Organizations的企業，可以使用PrincipalOrgID允許來自同一組織的所有賬戶訪問。
拒絕策略和數據邊界：
拒絕策略可用于建立數據邊界，拒絕來自意外來源的訪問。
可以拒絕來自非組織賬戶和非AWS服務的請求。
可以拒絕來自非VPC和非本地數據中心的請求，同時使用條件語句允許AWS服務訪問。
資源控制策略（RCP）：
對于使用AWS Organizations的企業，可以使用RCP為S3桶設置最大可用權限。
RCP可以應用于現有和未來的所有桶，簡化安全管理和審計。
2.3 安全審計和監控
訪問分析器：
提供了一個儀表板，用于顯示具有公共訪問權限的桶以及與外部實體共享的桶。
分析訪問點策略、桶策略和ACL，以識別潛在的安全風險。
服務器訪問日志和AWS CloudTrail日志：
啟用服務器訪問日志和CloudTrail日志可以跟蹤對S3數據的訪問。
CloudTrail提供了更全面的審計信息，建議優先使用CloudTrail進行審計。
2.4 高級訪問控制
S3訪問點：
為S3桶提供替代端點，每個訪問點都有自己的IAM策略。
可以為不同的數據文件夾創建不同的訪問點，并將權限委托給訪問點級別。
可以使用S3訪問點策略更精細地控制數據訪問，并繞過S3桶策略的大小限制。
S3訪問授權：
支持將S3訪問權限直接鏈接到身份提供程序（如Okta或Active Directory）。
簡化了對S3數據集的權限管理，尤其是在用戶加入或離開企業時。
提供了精細的訪問控制，可以授予用戶對特定前綴（文件夾）的讀、寫或列出權限。
支持可信身份傳播，用戶的身份信息會傳遞到S3，方便審計和監控。
Lake Formation：
為AWS Glue數據目錄提供權限系統，用于管理對結構化數據的訪問。
支持對表、列和行進行精細的訪問控制，例如基于單元格級別的訪問控制。
簡化了數據湖的安全管理，并提供了集中式的權限管理機制。
2.5 最佳實踐
最小權限原則：僅授予主體完成其任務所需的最低權限。
使用拒絕策略建立數據邊界：拒絕來自意外來源的訪問請求。
啟用版本控制：防止意外刪除或覆蓋。
啟用多重身份驗證（MFA）：為敏感操作添加額外的安全層。
使用AWS KMS加密數據：控制對加密密鑰的訪問。
定期審計訪問權限：使用訪問分析器、服務器訪問日志和CloudTrail日志監控數據訪問模式。
利用自動化工具：使用AWS Organizations和RCP簡化安全管理。
九、托管文件傳輸
STG305-使用SFTP實現托管文件傳輸的現代化
STG305-Modernize managed file transfer with SFTP
1.內容概述：
如何利用AWS Transfer Family服務通過SFTP協議構建安全、高可用且可擴展的托管文件傳輸方案，以替代傳統的自建SFTP服務器，從而降低管理成本和安全風險，并提高數據傳輸效率和可視化程度。演講重點闡述了Transfer Family的核心功能，包括多種協議支持、靈活的身份驗證和訪問控制機制、自動化工作流程和事件驅動架構集成、以及與Amazon S3數據湖的無縫銜接。
2.內容總結：
2.1 現代化托管文件傳輸的價值
降低管理負擔：使用AWS托管服務可以免除維護SFTP服務器基礎設施的負擔，包括硬件維護、軟件更新、安全補丁和24/7運行保障。
提高安全性：Transfer Family提供多種安全功能，包括數據加密、靜態IP地址、VPC端點、安全組、IAM身份驗證和CloudTrail審計日志記錄，確保數據傳輸安全合規。
增強可擴展性：Transfer Family可以根據業務需求自動擴展，無需手動配置和管理服務器容量，支持高并發連接和海量數據傳輸。
簡化集成：Transfer Family可以與其他AWS服務無縫集成，例如Amazon S3、AWS Step Functions、Amazon EventBridge和AWS Lambda，構建自動化數據流水線和事件驅動架構。
降低成本：Transfer Family采用按使用量付費的模式，無需預先投資硬件和軟件，可以根據實際需求靈活調整成本。
2.2 AWS Transfer Family概述
核心功能：
支持多種協議：SFTP, FTPS, FTP, AS2以及HTTPS（通過Web Apps實現）
靈活的身份驗證：支持IAM用戶、AWS Directory Service、自定義Lambda函數以及身份中心集成
精細的訪問控制：可以使用IAM策略、安全組、VPC端點和IP白名單限制訪問
自動化工作流程：提供內置工作流程和EventBridge集成，實現文件處理自動化
數據湖集成：可以將數據直接傳輸到Amazon S3，構建數據湖和分析平臺
客戶案例：
Re:gion One：利用Transfer Family構建內部文件傳輸服務，支持數千名內部和外部用戶安全地上傳和下載TB級數據。
FINRA：使用Transfer Family將數據直接上傳到Amazon S3數據湖，簡化數據分析流程。
新加坡政府：使用Transfer Family收集電動汽車充電數據，并利用AWS Step Functions和Amazon EMR進行分析，以優化充電站部署策略。
2.3 數據管道智能化
事件驅動架構：Transfer Family與Amazon EventBridge集成，在文件上傳、下載等事件發生時觸發事件，并調用其他AWS服務進行處理，例如Step Functions、Lambda、SQS、SNS等，實現自動化工作流程和數據分析。
上下文感知事件：事件包含豐富的上下文信息，例如文件上傳者、時間戳、IP地址、協議類型等，可以根據這些信息進行精細化的數據處理和分析。
安全合規：Transfer Family服務器滿足HIPAA和PCI等行業合規性標準，確保數據傳輸安全可靠。
2.4 訪問控制
協議支持：SFTP, FTPS, AS2, HTTPS（通過Web Apps實現）
網絡安全：支持VPC端點、安全組和IP白名單限制訪問
身份驗證和授權：
SSH密鑰：使用Transfer Family托管用戶
密碼驗證：集成AWS Directory Service或自定義Lambda函數
Web Apps：使用身份中心和S3訪問授權，為非技術用戶提供簡單易用的Web界面
2.5 數據處理
托管工作流：提供預定義的簡單工作流程，例如文件復制、加密/解密、標簽添加、刪除等，也可以使用Lambda函數進行自定義步驟。
EventBridge集成：支持更靈活的事件驅動工作流程，可以使用Step Functions協調多個AWS服務進行復雜的數據處理和分析。
2.6 數據集成
SFTP連接器：提供完全托管的SFTP客戶端，可以從外部SFTP服務器下載或上傳文件，并與EventBridge集成，實現自動化工作流程。
靜態IP地址：支持為連接器分配靜態IP地址，方便與外部系統集成。
標準化安全策略：提供預定義的安全策略，提高與外部服務器的兼容性。
API支持：提供API用于列出文件、檢查傳輸狀態等操作，方便與其他系統集成。
2.7 Web Apps
面向非技術用戶：提供簡單易用的Web界面，支持非技術用戶通過瀏覽器上傳和下載文件。
身份中心集成：使用身份中心進行用戶身份驗證，并使用S3訪問授權進行訪問控制。
完全托管：無需管理服務器基礎設施，AWS負責維護高可用性和安全性。
可定制品牌：可以自定義Web界面外觀，與企業品牌保持一致。
十、成本優化
STG210-AWS存儲成本優化最佳實踐
STG210-AWS storage best practices for cost optimization 
1.內容概述：
本演講深入探討了AWS存儲服務的成本優化策略，包括從本地遷移到云端的成本優勢、為不同工作負載選擇合適的存儲服務，以及利用AWS工具持續監控和優化存儲基礎設施。演講詳細介紹了Amazon EBS、Amazon FSX、Amazon EFS和Amazon S3四種主要存儲服務的特點、適用場景以及成本優化技巧，并提供了真實客戶案例和最佳實踐建議。
2.內容總結：
2.1 從本地遷移到AWS云端的成本優勢
消除過度配置：本地存儲通常需要預留額外的容量以應對未來增長，導致資源閑置和成本浪費。AWS存儲服務按需付費，只收取實際使用的存儲空間費用，避免了過度配置問題。
減少RAID開銷和格式化損失：本地存儲需要配置RAID陣列以提高數據可靠性，并進行格式化才能使用，這些操作會占用額外的存儲空間。AWS存儲服務由AWS管理，無需用戶配置RAID和格式化，節省了存儲空間。
利用AWS原生工具進行優化：AWS提供多種原生工具，例如壓縮和去重，可以進一步降低存儲成本。
彈性擴展和按需付費：AWS存儲服務可以根據業務需求彈性擴展，無需預先投資硬件和軟件。按使用量付費的模式可以幫助用戶根據實際需求靈活調整成本。
2.2 為不同工作負載選擇合適的存儲服務
Amazon EBS：高性能塊存儲，適用于關系型數據庫、NoSQL數據庫、大數據分析和企業應用等對性能敏感的工作負載。
Amazon FSX：全托管文件存儲服務，提供多種文件系統類型（例如Windows文件服務器、NetApp ONTAP、OpenZFS和Lustre），適用于各種文件共享和高性能計算工作負載。
Amazon EFS：云原生彈性文件存儲服務，支持多實例共享、數據持久化和高并發訪問，適用于DevOps、機器學習和容器化應用等場景。
Amazon S3：對象存儲，具有高可擴展性、持久性和成本效益，適用于數據湖、備份和恢復、移動應用以及AI/ML應用等各種場景。
2.3 Amazon EBS成本優化最佳實踐
從GP2遷移到GP3：GP3提供更高的性價比，每GB每月成本比GP2低20%。
使用彈性卷：彈性卷用戶可以動態調整卷大小、類型和性能，無需中斷操作，確保只為所需資源付費。
使用快照歸檔：將不再訪問的EBS卷快照遷移到快照歸檔，可以降低存儲成本。
2.4 Amazon FSX成本優化最佳實踐
利用原生工具（例如壓縮和去重）最大限度地提高存儲效率。
對于NetApp ONTAP，使用數據分層，將不常訪問的數據存儲在容量池中，可以節省高達88%的存儲成本。
考慮使用FSX for OpenZFS，它比傳統NAS部署的成本低20%。
使用新的FSX智能分層存儲類，該存儲類基于Amazon S3智能分層存儲類，提供完全彈性存儲和自動成本優化。
2.5 Amazon EFS成本優化最佳實踐
為工作負載選擇合適的存儲類：對于頻繁訪問的數據，使用EFS Standard；對于不常訪問的數據，使用EFS Infrequent Access或EFS Archive。
配置生命周期管理策略：自動將數據在不同存儲類之間移動，優化存儲成本。
選擇最佳吞吐量模式：對于需要最高性能的工作負載，使用預配置吞吐量模式；對于彈性需求的工作負載，使用彈性吞吐量模式。
2.6 Amazon S3成本優化最佳實踐
選擇合適的存儲類：根據數據訪問頻率、對象大小和數據保留要求選擇最佳存儲類。
利用S3智能分層：對于未知或不斷變化的訪問模式，S3智能分層可以自動管理存儲架構，將數據移動到較冷的訪問層，優化存儲成本。
利用生命周期策略：對于已知的訪問模式，使用生命周期策略將數據轉換到較冷的存儲類或過期數據，節省成本。
使用S3 Storage Lens：獲取對存儲桶、策略、訪問模式和對象大小的更深入了解，以便做出更明智的數據驅動決策并節省存儲成本。
2.7 真實客戶案例
T-Mobile：從本地遷移到Amazon S3，解決了擴展和性能挑戰，并降低了存儲成本。
Illumina：使用S3智能分層和生命周期策略，三個月內將存儲成本降低了60%。
Upstox：使用S3 Storage Lens高級指標和AWS服務，每年節省超過100萬美元的存儲成本。

 

 

 

 

 

版權聲明：本文內容系天翼云實名用戶自發貢獻，版權歸原作者所有，天翼云開發者社區不擁有其著作權，亦不承擔相應法律責任，原文鏈接：//mp.weixin.qq.com/s/eW45-bb3TXFjqf77J34jQw?from=industrynews&version=4.1.31.6017&platform=win&nwr_flag=1#wechat_redirect

作者： 常華Andy Andy730，如需轉載，請聯系作者。

原文出處及轉載信息見文內詳細說明，如有疑問或爭議，請聯系ctyunbbs@chinatelecom.cn刪除。

文章來自個人專欄
文章 | 訂閱
0條評論
0 / 1000
請輸入你的評論
0
0