Мониторинг Ceph кластера

Мониторинг Ceph кластера используя Prometheus и платформу визуализации Grafana.

Grafana - открытая и бесплатная платформа визуализации данных и мониторинга с поддержкой Graphite, InfluxDB, Prometheus, Elasticsearch и многих других баз.

Для мониторинга Ceph кластера мы будем использовать Prometheus

Prometheus - это система мониторинга с открытым исходным кодом, разработанная SoundCloud. Как и другие системы мониторинга, такие как InfluxDB и Graphite, Prometheus хранит все свои данные в базе данных временных рядов.

Установка Grafana

Установим актуальную версию Grafana с официального сайта: 

yum install https://s3-us-west-2.amazonaws.com/grafana-releases/release/grafana-4.4.3-1.x86_64.rpm

Либо используя репозиторий /etc/yum.repos.d/grafana.repo: 

[grafana]
name=grafana
baseurl=https://packagecloud.io/grafana/stable/el/6/$basearch
repo_gpgcheck=1
enabled=1
gpgcheck=1
gpgkey=https://packagecloud.io/gpg.key https://grafanarel.s3.amazonaws.com/RPM-GPG-KEY-grafana
sslverify=1
sslcacert=/etc/pki/tls/certs/ca-bundle.crt

И ставим пакет: 

yum install grafana

Добавляем сервис в автозагрузку: 

systemctl enable grafana-server.service

Запускаем сервис: 

systemctl start grafana-server

После установки Grafana будет доступна по адресу: http://IP_ADDRESS:3000

Логин/пароль по умолчанию admin/admin.

Установка Prometheus

Создаем non-root sudo пользователя prometheus. 

echo "prometheus ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/prometheus && sudo chmod 0440 /etc/sudoers.d/prometheus

Загружаем стабильную версию продукта: 

$ curl -LO "https://github.com/prometheus/prometheus/releases/download/v1.7.1/prometheus-1.7.1.linux-amd64.tar.gz"

Создаем директорию для Prometheus: 

$ mkdir ~/Prometheus

И распаковываем в неё загруженный архив: 

$ tar -xvzf ~/prometheus-1.7.1.linux-amd64.tar.gz

Проверяем установленную версию Prometheus: 

$ /home/prometheus/Prometheus/prometheus-1.7.1.linux-amd64/prometheus -version

Увидим приблизительно следующий вывод: 

prometheus, version 1.7.1 (branch: master, revision: 3afb3fffa3a29c3de865e1172fb740442e9d0133)
  build user:   root@0aa1b7fc430d
  build date:       20170612-11:44:05
  go version:       go1.8.3

В целом установка Prometheus завершена.

Запускаем Prometheus сервер

Переходим в директорию с установленным Prometheus 

$ /home/prometheus/Prometheus/prometheus-1.7.1.linux-amd64/

Редактируем конфигурационный файл prometheus.yml: 

...
 - job_name: 'ceph-exporter'
    static_configs:
   - targets: ['YOU_IP_ADDRESS:9128']
        labels:
          alias: ceph-exporter

Запускаем Prometheus в фоновом режиме: 

nohup ./prometheus > prometheus.log 2>&1 &

Посмотреть лог-файл сервиса Prometheus: 

tail -f prometheus.log

Вывод приблизительно следующий: 

time="2017-09-14T12:21:58+03:00" level=info msg="Starting prometheus (version=1.7.1, branch=master, revision=3afb3fffa3a29c3de865e1172fb740442e9d0133)" source="main.go:88"
time="2017-09-14T12:21:58+03:00" level=info msg="Build context (go=go1.8.3, user=root@0aa1b7fc430d, date=20170612-11:44:05)" source="main.go:89"
time="2017-09-14T12:21:58+03:00" level=info msg="Host details (Linux 3.10.0-514.21.1.el7.x86_64 #1 SMP Thu May 25 17:04:51 UTC 2017 x86_64 InfraCephManage (none))" source="main.go:90"
time="2017-09-14T12:21:58+03:00" level=info msg="Loading configuration file prometheus.yml" source="main.go:252"
time="2017-09-14T12:21:58+03:00" level=info msg="Loading series map and head chunks..." source="storage.go:428"
time="2017-09-14T12:21:58+03:00" level=info msg="0 series loaded." source="storage.go:439"
time="2017-09-14T12:21:58+03:00" level=info msg="Starting target manager..." source="targetmanager.go:63"
time="2017-09-14T12:21:58+03:00" level=info msg="Listening on :9090" source="web.go:259"

Веб-интерфейс доступен по адресу: http://YOUR_IP_ADDRESS:9090

Настройка экспорта

Для экспорта данных о Ceph кластере будем использовать Ceph Exporter

В данной статье будет рассмотрен пример с Docker-контейнером, на ГХ можно найти мануал по установке на Go.

Итак, установим Docker, если он еще не установлен в системе: 

$ sudo yum install docker

Добавим в автозагрузку и запустим: 

$ sudo systemctl enable docker
$ sudo  systemctl start docker

Выгружаем контейнер: 

$ sudo docker pull digitalocean/ceph_exporter

Запускаем контейнер с дополнительными опциями (указываем папку с конфигурационными файлами Ceph, а также порт на котором будет слушаться экспортер): 

$ sudo docker run -v /etc/ceph:/etc/ceph -p=9128:9128 -td digitalocean/ceph_exporter

Проверяем, что контейнер запущен: 

$ sudo docker stats
CONTAINER   CPU %               MEM USAGE / LIMIT       MEM %               NET I/O               BLOCK I/O           PIDS
bc05ae2b7acb        0.04%               5.922 MiB / 992.7 MiB   0.60%               47.11 kB / 16.86 kB   23.66 MB / 0 B      16

Настраиваем экспорт в Grafana

Добавляем источник данных в Grafana:

Затем добавляем дашборд. В данном примере используется Ceph - Cluster шаблон с Grafana Labs. Добавляем его. (Для удобства можно использовать ID 917 для быстрого импорта).

Переходим в добавленный дашборд и, если все действия были выполнены правильно, то наблюдаем информацию о нашем Ceph кластере.