AWS 命令列界面 CLI S3 串流上傳、下載、壓縮教學與範例

Sat, 17 Oct 2020 18:47:37 +0800

介紹如何在 Linux 系統中使用 aws 指令搭配 Linux 管線處理串流的上傳、下載與壓縮。

串流上傳

aws 指令可以透過減號（-）來從標準輸入中讀取資料，例如：

# 以串流上傳檔案
cat data.txt | aws s3 cp - s3://MyBucket/data.txt

這樣就可以將串流資料直接上傳至 S3 儲存。

C++ AWS SDK 以 S3 TransferManager 開發串流下載程式教學與範例

Fri, 16 Oct 2020 14:39:25 +0800

介紹如何使用 C++ AWS SDK 中的 S3 TransferManager 開發 object 下載程式，以串流寫入檔案。

S3 `TransferManager` 串流下載

以下是以 TransferManager 來自動處理 S3 下載流程的範例程式。

#include <aws/s3/S3Client.h>
#include <aws/core/Aws.h>
#include <aws/core/auth/AWSCredentialsProvider.h>
#include <aws/transfer/TransferManager.h>
#include <iostream>
#include <fstream>

static const char* const ALLOCATION_TAG = "S3_DOWNLOAD";

int main() {
  Aws::SDKOptions options;
  Aws::InitAPI(options);
  {
    // 自訂 S3 End Point
    const Aws::String endPoint = "YOUR.END.POINT";

    // S3 Bucket 名稱
    const Aws::String bucketName = "YOUR_BUCKET";

    // Object 名稱
    const Aws::String objectName = "CentOS-7-x86_64-Everything-1810.iso";

    // 檔案名稱
    Aws::String downloadFileName = objectName;

    // 認證資訊
    const Aws::String accessKey = "ASFHDGN345JGS436FG53";
    const Aws::String secretKey = "45G54d4cbGDF56bnFsfdgh489dfGHDdfgDFGHs4e";

    // 建立 S3 Client
    Aws::Client::ClientConfiguration config;
    config.verifySSL = false;
    auto s3Client = Aws::MakeShared<Aws::S3::S3Client>(ALLOCATION_TAG, Aws::Auth::AWSCredentials(accessKey, secretKey), config);

    // 設定 S3 End Point
    s3Client->OverrideEndpoint(endPoint);

    // 建立 TransferManagerConfiguration
    auto sdk_client_executor = Aws::MakeShared<Aws::Utils::Threading::DefaultExecutor>(ALLOCATION_TAG);
    Aws::Transfer::TransferManagerConfiguration transferConfig(sdk_client_executor.get());
    transferConfig.s3Client = s3Client;

    // 下載進度回呼函數
    transferConfig.downloadProgressCallback = [](const Aws::Transfer::TransferManager*,
        const std::shared_ptr<const Aws::Transfer::TransferHandle>& handle) {
          std::cout << "Download Progress: " << handle->GetBytesTransferred()
                    << " of " << handle->GetBytesTotalSize() << " bytes";
        };

    // 建立 TransferManager
    auto transferManager = Aws::Transfer::TransferManager::Create(transferConfig);

    // 下載 Object
    auto transferHandle = transferManager->DownloadFile(bucketName, objectName, [=](){
      return Aws::New<Aws::FStream>(ALLOCATION_TAG, downloadFileName.c_str(), std::ios_base::out | std::ios_base::binary);
    });

    // 等待下載
    transferHandle->WaitUntilFinished();
  }
  Aws::ShutdownAPI(options);
  return 0;
}

此程式碼要配合以下 CMakeLists.txt 設定，以 CMake 來編譯：

C++ 的 AWS SDK 開發套件使用教學與範例

Fri, 16 Oct 2020 09:41:28 +0800

介紹如何安裝與使用 C++ 的 AWS 開發套件，開發 AWS 服務相關的 C++ 應用程式。

C++ 的 AWS 開發套件（SDK）可讓開發者在 C++ 語言中使用 AWS 的各種服務，開發整合式的 C++ 應用程式。本篇測試環境為 Ubuntu Linux 18.04。

AWS 命令列界面 CLI 設定 S3 ACL 權限控制資料存取教學

Thu, 20 Aug 2020 14:26:05 +0800

介紹如何使用 AWS 命令列界面（awscli）的 s3api 指令設定 S3 bucket 與 object 的 ACL，控制資料存取權限。

列出所有 Buckets

若要列出自己所有的 buckets，可以使用 list-buckets 指令：

Amazon S3 on G. T. Wang