#cloud_logging — Public Fediverse posts
Live and recent posts from across the Fediverse tagged #cloud_logging, aggregated by home.social.
-
Как мы делали сервис Cloud Logging
Работа без логов, это как вождение автомобиля вслепую. Ехать можно, но недолго и не туда. Почти в каждом проекте логи нужны. И нужны инструменты, которые умеют с ними работать. А с этим исторически у нас была проблема. В облаке Amvera, проекты пользователей, в большинстве своём, небольшие. А инструменты на рынке, такие как Elasticsearch очень требовательны к выделяемым ресурсам и сложны в настройке. Странно поднимать телеграм-бота, который потребляет 100 мб. оперативной памяти и ставить для его логов Elastic на 16 Гб. Логичным решением является создание мультиарендной системы. Когда мы собираем логи в какой-то большой базе данных, и каждому пользователю даём доступ только к его логам. Звучит замечательно, но на практике реализовать это не так легко. На создание приемлемого решения у нас ушло несколько итераций. И мы хотим поделиться опытом, чтобы другие не наступали на наши грабли и могли сделать сразу хорошо.
https://habr.com/ru/companies/amvera/articles/919450/
#cloud_logging #observability #сбор_логов #анализ_логов #поиск_по_логам #mongodb_для_логов #grafana_loki #victorialogs
-
Как мы делали сервис Cloud Logging
Работа без логов, это как вождение автомобиля вслепую. Ехать можно, но недолго и не туда. Почти в каждом проекте логи нужны. И нужны инструменты, которые умеют с ними работать. А с этим исторически у нас была проблема. В облаке Amvera, проекты пользователей, в большинстве своём, небольшие. А инструменты на рынке, такие как Elasticsearch очень требовательны к выделяемым ресурсам и сложны в настройке. Странно поднимать телеграм-бота, который потребляет 100 мб. оперативной памяти и ставить для его логов Elastic на 16 Гб. Логичным решением является создание мультиарендной системы. Когда мы собираем логи в какой-то большой базе данных, и каждому пользователю даём доступ только к его логам. Звучит замечательно, но на практике реализовать это не так легко. На создание приемлемого решения у нас ушло несколько итераций. И мы хотим поделиться опытом, чтобы другие не наступали на наши грабли и могли сделать сразу хорошо.
https://habr.com/ru/companies/amvera/articles/919450/
#cloud_logging #observability #сбор_логов #анализ_логов #поиск_по_логам #mongodb_для_логов #grafana_loki #victorialogs
-
Как мы делали сервис Cloud Logging
Работа без логов, это как вождение автомобиля вслепую. Ехать можно, но недолго и не туда. Почти в каждом проекте логи нужны. И нужны инструменты, которые умеют с ними работать. А с этим исторически у нас была проблема. В облаке Amvera, проекты пользователей, в большинстве своём, небольшие. А инструменты на рынке, такие как Elasticsearch очень требовательны к выделяемым ресурсам и сложны в настройке. Странно поднимать телеграм-бота, который потребляет 100 мб. оперативной памяти и ставить для его логов Elastic на 16 Гб. Логичным решением является создание мультиарендной системы. Когда мы собираем логи в какой-то большой базе данных, и каждому пользователю даём доступ только к его логам. Звучит замечательно, но на практике реализовать это не так легко. На создание приемлемого решения у нас ушло несколько итераций. И мы хотим поделиться опытом, чтобы другие не наступали на наши грабли и могли сделать сразу хорошо.
https://habr.com/ru/companies/amvera/articles/919450/
#cloud_logging #observability #сбор_логов #анализ_логов #поиск_по_логам #mongodb_для_логов #grafana_loki #victorialogs
-
Как мы делали сервис Cloud Logging
Работа без логов, это как вождение автомобиля вслепую. Ехать можно, но недолго и не туда. Почти в каждом проекте логи нужны. И нужны инструменты, которые умеют с ними работать. А с этим исторически у нас была проблема. В облаке Amvera, проекты пользователей, в большинстве своём, небольшие. А инструменты на рынке, такие как Elasticsearch очень требовательны к выделяемым ресурсам и сложны в настройке. Странно поднимать телеграм-бота, который потребляет 100 мб. оперативной памяти и ставить для его логов Elastic на 16 Гб. Логичным решением является создание мультиарендной системы. Когда мы собираем логи в какой-то большой базе данных, и каждому пользователю даём доступ только к его логам. Звучит замечательно, но на практике реализовать это не так легко. На создание приемлемого решения у нас ушло несколько итераций. И мы хотим поделиться опытом, чтобы другие не наступали на наши грабли и могли сделать сразу хорошо.
https://habr.com/ru/companies/amvera/articles/919450/
#cloud_logging #observability #сбор_логов #анализ_логов #поиск_по_логам #mongodb_для_логов #grafana_loki #victorialogs
-
Cloud Monitoring の指標なしアラートポリシーで Cloud Composer のスケジューラ停止を検知してみた #cm_google_cloud_adcal_2024
https://dev.classmethod.jp/articles/cloud-monitoring-cloud-composer-scheduler-heartbeat-absent/#dev_classmethod #Google_Cloud_GCP #Cloud_Logging #Cloud_Composer
-
Cloud Monitoring の指標なしアラートポリシーで Cloud Composer のスケジューラ停止を検知してみた #cm_google_cloud_adcal_2024
https://dev.classmethod.jp/articles/cloud-monitoring-cloud-composer-scheduler-heartbeat-absent/#dev_classmethod #Google_Cloud_GCP #Cloud_Logging #Cloud_Composer
-
Cloud Composer で DAG パーサーのログを Cloud Logging に出力したい
https://dev.classmethod.jp/articles/cloud-composer-dag-cloud-logging/#dev_classmethod #Google_Cloud_GCP #Cloud_Composer #Cloud_Logging #Apache_Airflow #小ネタ
-
Compute Engine の 「Opsエージェントをインストールする」が上手くいかない！インストールプロセスを理解して解決しよう
https://dev.classmethod.jp/articles/compute-engine-ops-agent/#dev_classmethod #Google_Cloud_GCP #Cloud_Monitoring #Google_Cloud_Compute_Engine #Cloud_Logging
-
【企業セキュリティ】Google Cloud 集約シンクで一元的に組織のログを管理する
https://dev.classmethod.jp/articles/google-cloud-logging-aggregation/#dev_classmethod #Google_Cloud_GCP #Google_BigQuery #ログ #Cloud_Logging #組織ポリシー #セキュリティ
-
【企業セキュリティ】Google Cloud 集約シンクで一元的に組織のログを管理する
https://dev.classmethod.jp/articles/google-cloud-logging-aggregation/#dev_classmethod #Google_Cloud_GCP #Google_BigQuery #ログ #Cloud_Logging #組織ポリシー #セキュリティ
-
Cloud LoggingでOpenAI APIのエラーをSlackに通知してみた
https://dev.classmethod.jp/articles/how-to-notify-slack-of-openai-error-using-cloud-logging/#dev_classmethod #Cloud_Logging #OpenAI #Cloud_Functions #Slack #Google_Cloud_GCP