#google_cloud_storage — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #google_cloud_storage, aggregated by home.social.
-
ストレージ統合を使って Snowflake on AWS から BigQuery にデータを転送してみた
https://dev.classmethod.jp/articles/storage-integration-from-snowflake-on-aws-to-bigquery/#dev_classmethod #Google_Cloud_GCP #Google_BigQuery #Snowflake #Google_Cloud_Storage
-
BigQuery で非構造化データを扱う新機能 ObjectRef 型を使ってみた
https://dev.classmethod.jp/articles/bigquery-objectref-multimodal-tables/#dev_classmethod #Google_Cloud_GCP #Google_BigQuery #Google_Cloud_Storage #Gemini #Vertex_AI
-
Cloud Storage(ウェブサイトホスティング) + App Engine(FastAPI) でFirebase Authenticationの認証フローを組んでみた
https://dev.classmethod.jp/articles/2025-06-20-cloudstorage-app-engine-fast-api-firebase-authentication/#dev_classmethod #Firebase #Google_Cloud_GCP #Google_App_Engine #Google_Cloud_Storage #fastapi #Python #Cloud_Build
-
n8nのAIエージェントにおいてCloud StorageからJSONを読み込むツールがエラーになるのをなんとかしたい
https://dev.classmethod.jp/articles/5bfbf88c04e78e762193448a7da1fae1f0ec6d16/ -
Google Cloudで「AthenaからS3に対してクエリ」みたいなことをやるにはどうやる?
https://dev.classmethod.jp/articles/google-cloud-like-athena-s3/#dev_classmethod #Google_BigQuery #Google_Cloud_Storage #Google_Cloud_GCP
-
AWS DataSyncでGoogleCloudStorageからS3にデータ転送してみた
https://dev.classmethod.jp/articles/aws-datasync-agentless-google-cloud-storage-s3-transfer/#dev_classmethod #AWS #AWS_DataSync #Amazon_S3 #Google_Cloud_Storage
-
AWS DataSyncでGoogleCloudStorageからS3にデータ転送してみた
https://dev.classmethod.jp/articles/aws-datasync-agentless-google-cloud-storage-s3-transfer/#dev_classmethod #AWS #AWS_DataSync #Amazon_S3 #Google_Cloud_Storage
-
[速報]Google Cloud Next '25 開幕!Keynote セッションサマリ
https://dev.classmethod.jp/articles/google-cloud-next-25-keynote/#dev_classmethod #Google_Cloud_GCP #Vertex_AI #Google_Cloud_Storage #Gemini
-
pyarrowでCloud Storage 上の Parquet ファイルのスキーマ情報を取得した場合、ファイル全量ではなくメタデータのみ取得しているか確認してみた
https://dev.classmethod.jp/articles/20250227-cloud-storage-readmetadata-check/ -
Cloud Storage 上の Parquet ファイルのスキーマ情報をメタデータのみで取得する
https://dev.classmethod.jp/articles/gcs-parquet-metadata-schema/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Storage #Apache_Parquet #Python
-
Cloud Storage 上の Parquet ファイルのスキーマ情報をメタデータのみで取得する
https://dev.classmethod.jp/articles/gcs-parquet-metadata-schema/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Storage #Apache_Parquet #Python
-
Cloud Storage 上の Parquet ファイルのスキーマ情報をメタデータのみで取得する
https://dev.classmethod.jp/articles/gcs-parquet-metadata-schema/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Storage #Apache_Parquet #Python
-
Cloud Storage 上の Parquet ファイルのスキーマ情報をメタデータのみで取得する
https://dev.classmethod.jp/articles/gcs-parquet-metadata-schema/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Storage #Apache_Parquet #Python
-
Cloud Storage 上の Parquet ファイルのスキーマ情報をメタデータのみで取得する
https://dev.classmethod.jp/articles/gcs-parquet-metadata-schema/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Storage #Apache_Parquet #Python
-
BigQuery で Parquet と CSV を比較してみる
https://dev.classmethod.jp/articles/bigquery-parquet-csv/#dev_classmethod #Google_Cloud_GCP #Google_BigQuery #Google_Cloud_Storage #Apache_Parquet #CSV
-
BigQuery で Parquet と CSV を比較してみる
https://dev.classmethod.jp/articles/bigquery-parquet-csv/#dev_classmethod #Google_Cloud_GCP #Google_BigQuery #Google_Cloud_Storage #Apache_Parquet #CSV
-
BigQuery の BigLake テーブルと Hive パーティショニングを利用して無駄なファイルの読み込みを避けてみた
https://dev.classmethod.jp/articles/bigquery-biglake-hive-partitioning/#dev_classmethod #Google_Cloud_GCP #Google_BigQuery #Google_Cloud_Storage #Hive
-
BigQuery で Cloud Storage データの自動検出を試してみた(Preview) #cm_google_cloud_adcal_2024
https://dev.classmethod.jp/articles/bigquery-automatic-discovery-catalog-cloud-storage-data/#dev_classmethod #Google_Cloud_GCP #Google_BigQuery #Google_Cloud_Storage #Google_Dataplex
-
BigQuery で Cloud Storage データの自動検出を試してみた(Preview) #cm_google_cloud_adcal_2024
https://dev.classmethod.jp/articles/bigquery-automatic-discovery-catalog-cloud-storage-data/#dev_classmethod #Google_Cloud_GCP #Google_BigQuery #Google_Cloud_Storage #Google_Dataplex
-
BigQuery で JSON Lines ではないカンマ区切りの JSON 形式をそのまま読み込む裏技
https://dev.classmethod.jp/articles/gcp-bigquery-read-json-tips/#dev_classmethod #Google_Cloud_GCP #Google_BigQuery #Google_Cloud_Storage #JSON
-
Google Cloud の Workflows で Batch を呼び出してみた
https://dev.classmethod.jp/articles/google-cloud-workflows-batch/#dev_classmethod #Google_Cloud_GCP #google_cloud_Workflows #Google_Cloud_Storage
-
Google Cloud Batch のジョブで Cloud Storage にマウントされたスクリプトを実行してみた
https://dev.classmethod.jp/articles/google-cloud-batch-script-from-cloud-storage/ -
Google Cloud Storageのクロスバケットレプリケーションを試してみる
https://dev.classmethod.jp/articles/google-cloud-storage-crr/ -
transfer_manager で GCS へのファイルアップロードが高速化できるか確認してみた。
https://dev.classmethod.jp/articles/transfer-manager-gcs-upload-optimization/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Storage #Python
-
Cloud Composer で Dataplex のデータリネージ統合を試してみた 〜カスタム リネージ イベント編〜
https://dev.classmethod.jp/articles/cloud-composer-dataplex-custom-lineage-event/#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #BigQuery #Google_Cloud_Storage #Apache_Airflow
-
Cloud Composer で Dataplex のデータリネージ統合を試してみた
https://dev.classmethod.jp/articles/cloud-composer-dataplex/#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #BigQuery #Google_Cloud_Storage #Storage_Transfer_Service #Apache_Airflow
-
Cloud Composer で Dataplex のデータリネージ統合を試してみた
https://dev.classmethod.jp/articles/cloud-composer-dataplex/#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #BigQuery #Google_Cloud_Storage #Storage_Transfer_Service #Apache_Airflow
-
【初心者歓迎】Google Cloud 基本概念と全体像を学ぼう
https://dev.classmethod.jp/articles/google-cloud-first-learn/#dev_classmethod #Google_Cloud_GCP #Google_BigQuery #Google_Cloud_Storage #Cloud_Run #初心者
-
Cloud Storageにオブジェクトが置かれたらAmazon S3に転送するCloud Run FunctionsをPythonで書いた [Google Cloud --> AWS]
https://dev.classmethod.jp/articles/202409-cloud-run-functions-from-gcs-to-s3-python/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Functions #Google_Cloud_Storage #Amazon_S3 #Python #Google_Cloud_SDK #Boto3
-
Cloud Storageにオブジェクトが置かれたらAmazon S3に転送するCloud Run FunctionsをPythonで書いた [Google Cloud --> AWS]
https://dev.classmethod.jp/articles/202409-cloud-run-functions-from-gcs-to-s3-python/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Functions #Google_Cloud_Storage #Amazon_S3 #Python #Google_Cloud_SDK #Boto3
-
Cloud Storageにオブジェクトが置かれたらAmazon S3に転送するCloud Run FunctionsをPythonで書いた [Google Cloud --> AWS]
https://dev.classmethod.jp/articles/202409-cloud-run-functions-from-gcs-to-s3-python/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Functions #Google_Cloud_Storage #Amazon_S3 #Python #Google_Cloud_SDK #Boto3
-
Cloud Storageにオブジェクトが置かれたらAmazon S3に転送するCloud Run FunctionsをPythonで書いた [Google Cloud --> AWS]
https://dev.classmethod.jp/articles/202409-cloud-run-functions-from-gcs-to-s3-python/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Functions #Google_Cloud_Storage #Amazon_S3 #Python #Google_Cloud_SDK #Boto3
-
Cloud Storageにオブジェクトが置かれたらAmazon S3に転送するCloud Run FunctionsをPythonで書いた [Google Cloud --> AWS]
https://dev.classmethod.jp/articles/202409-cloud-run-functions-from-gcs-to-s3-python/#dev_classmethod #Google_Cloud_GCP #Google_Cloud_Functions #Google_Cloud_Storage #Amazon_S3 #Python #Google_Cloud_SDK #Boto3
-
[組織ポリシー]Soft Deleteの保持期間などを設定できる組織ポリシーを試してみた
https://dev.classmethod.jp/articles/20240902-soft-delete-policy/ -
Storage Transfer ServiceにAmazon S3からのデータ転送をより安くするオプションが追加されました
https://dev.classmethod.jp/articles/gcp-storage-trasnfer-service-managed-private-network/#dev_classmethod #Google_Cloud_GCP #Storage_Transfer_Service #Google_Cloud_Storage #Amazon_S3