AWS 命令列界面 CLI S3 串流上傳、下載、壓縮教學與範例

介紹如何在 Linux 系統中使用 aws 指令搭配 Linux 管線處理串流的上傳、下載與壓縮。 串流上傳 aws 指令可以透過減號(-)來從標準輸入中讀取資料,例如: # 以串流上傳檔案 cat data.txt | aws s3 cp - s3://MyBucket/data.txt 這樣就可以將串流資料直接上傳至 S3 儲存。 ...

October 17, 2020 · G. T. Wang

C++ AWS SDK 以 S3 TransferManager 開發串流下載程式教學與範例

介紹如何使用 C++ AWS SDK 中的 S3 TransferManager 開發 object 下載程式,以串流寫入檔案。 S3 TransferManager 串流下載 以下是以 TransferManager 來自動處理 S3 下載流程的範例程式。 #include <aws/s3/S3Client.h> #include <aws/core/Aws.h> #include <aws/core/auth/AWSCredentialsProvider.h> #include <aws/transfer/TransferManager.h> #include <iostream> #include <fstream> static const char* const ALLOCATION_TAG = "S3_DOWNLOAD"; int main() { Aws::SDKOptions options; Aws::InitAPI(options); { // 自訂 S3 End Point const Aws::String endPoint = "YOUR.END.POINT"; // S3 Bucket 名稱 const Aws::String bucketName = "YOUR_BUCKET"; // Object 名稱 const Aws::String objectName = "CentOS-7-x86_64-Everything-1810.iso"; // 檔案名稱 Aws::String downloadFileName = objectName; // 認證資訊 const Aws::String accessKey = "ASFHDGN345JGS436FG53"; const Aws::String secretKey = "45G54d4cbGDF56bnFsfdgh489dfGHDdfgDFGHs4e"; // 建立 S3 Client Aws::Client::ClientConfiguration config; config.verifySSL = false; auto s3Client = Aws::MakeShared<Aws::S3::S3Client>(ALLOCATION_TAG, Aws::Auth::AWSCredentials(accessKey, secretKey), config); // 設定 S3 End Point s3Client->OverrideEndpoint(endPoint); // 建立 TransferManagerConfiguration auto sdk_client_executor = Aws::MakeShared<Aws::Utils::Threading::DefaultExecutor>(ALLOCATION_TAG); Aws::Transfer::TransferManagerConfiguration transferConfig(sdk_client_executor.get()); transferConfig.s3Client = s3Client; // 下載進度回呼函數 transferConfig.downloadProgressCallback = [](const Aws::Transfer::TransferManager*, const std::shared_ptr<const Aws::Transfer::TransferHandle>& handle) { std::cout << "Download Progress: " << handle->GetBytesTransferred() << " of " << handle->GetBytesTotalSize() << " bytes"; }; // 建立 TransferManager auto transferManager = Aws::Transfer::TransferManager::Create(transferConfig); // 下載 Object auto transferHandle = transferManager->DownloadFile(bucketName, objectName, [=](){ return Aws::New<Aws::FStream>(ALLOCATION_TAG, downloadFileName.c_str(), std::ios_base::out | std::ios_base::binary); }); // 等待下載 transferHandle->WaitUntilFinished(); } Aws::ShutdownAPI(options); return 0; } 此程式碼要配合以下 CMakeLists.txt 設定,以 CMake 來編譯: ...

October 16, 2020 · G. T. Wang

C++ 的 AWS SDK 開發套件使用教學與範例

介紹如何安裝與使用 C++ 的 AWS 開發套件,開發 AWS 服務相關的 C++ 應用程式。 C++ 的 AWS 開發套件(SDK)可讓開發者在 C++ 語言中使用 AWS 的各種服務,開發整合式的 C++ 應用程式。本篇測試環境為 Ubuntu Linux 18.04。 ...

October 16, 2020 · G. T. Wang

AWS 命令列界面 CLI 設定 S3 ACL 權限控制資料存取教學

介紹如何使用 AWS 命令列界面(awscli)的 s3api 指令設定 S3 bucket 與 object 的 ACL,控制資料存取權限。 列出所有 Buckets 若要列出自己所有的 buckets,可以使用 list-buckets 指令: ...

August 20, 2020 · G. T. Wang