Dans un environnement de production, un temps d'arrêt de même quelques microsecondes est intolérable. Le débogage de ces problèmes est critique. Une journalisation et une surveillance appropriées de l'infrastructure aident à déboguer de tels scénarios. Cela aide également à détecter tout problème imminent qui pourrait survenir dans un avenir proche.
Il existe différentes solutions de journalisation et de surveillance disponibles sur le marché. Dans cet article, nous allons parcourir les étapes pour déployer Grafana Loki sur Debian 10. Grafana Loki se compose de trois composants Promtail, Loki et Grafana (PLG) que nous verrons brièvement avant de procéder au déploiement.
Promtail
Promtail est un agent qui expédie le contenu des journaux locaux vers une instance Loki privée ou Grafana Cloud. Il est généralement déployé sur chaque machine sur laquelle des applications doivent être surveillées.
Il agit principalement:
- Découvre des cibles
- Attache des étiquettes aux flux de journaux
- Les pousse vers l'instance Loki.
Actuellement, Promtail peut suivre les journaux de deux sources: les fichiers journaux locaux et le journal systemd (sur les machines AMD64 uniquement). source
Loki
Tel que cité par les créateurs de Loki, Loki est un système d'agrégation de journaux scalable horizontalement, hautement disponible et inspiré de Prometheus. Loki utilise le même mécanisme de découverte de service que celui de Prometheus et ajoute des étiquettes au flux de journal au lieu de l'indexation. Pour cette raison, les journaux reçus de Promtail se composent du même ensemble d'étiquettes que celui des métriques d'application. Ainsi, il offre non seulement une meilleure commutation de contexte entre les journaux et les métriques, mais évite également la journalisation complète des index.
Grafana
Grafana est une plate-forme open-source spécialisé dans l'analyse et la surveillance. Il fonctionne spécifiquement sur des données chronologiques provenant de sources telles que Prometheus et Loki. De plus, il vous permet d'interroger, de visualiser, d'alerter sur les métriques quel que soit son emplacement stocké. Il aide à créer, explorer et partager des tableaux de bord et encourage la culture axée sur les données.
Nous utiliserons la source de données Loki avec le client Promtail comme collecteur sur le serveur Grafana lui-même. Ici on installe la version 1.5.0. Regardez les releases avant l'installation afin d'installer la dernière version.
Installation de Loki
Mise en place
mkdir /opt/loki && cd /opt/loki
wget https://github.com/grafana/loki/releases/download/v1.5.0/loki-linux-amd64.zip
unzip loki-linux-amd64.zip
wget https://raw.githubusercontent.com/grafana/loki/master/cmd/loki/loki-local-config.yaml
useradd -s /bin/bash -d /opt/loki/ loki
chown -R loki: /opt/loki/Définir Loki en tant que service
Création du fichier : /etc/systemd/system/loki.service
[Unit]
Description=Loki Grafana
Wants=network-online.target
After=network-online.target
[Service]
Type=simple
User=loki
Group=loki
ExecStart=/opt/loki/loki-linux-amd64 -config.file=/opt/loki/loki-local-config.yaml
SyslogIdentifier=loki
Restart=always
[Install]
WantedBy=multi-user.targetCommandes système et visualisation des logs en direct :
systemctl enable loki.service
systemctl start loki.service
systemctl status loki.service
journalctl -f -u loki.serviceLe fichier de configuration de Loki dans notre cas se trouve : **/opt/loki/loki-local-config.yaml**
Installation Promtail
mkdir /opt/promtail && cd /opt/promtail
wget https://github.com/grafana/loki/releases/download/v1.5.0/promtail-linux-amd64.zip
unzip promtail-linux-amd64.zip
wget https://raw.githubusercontent.com/grafana/loki/master/cmd/promtail/promtail-local-config.yaml
useradd -s /bin/bash -d /opt/promtail/ promtail
chown -R promtail: /opt/promtail/
usermod -a -G adm promtailLe groupe adm est utilisé pour les tâches de surveillance du système. Les membres de ce groupe peuvent lire de nombreux fichiers journaux dans /var/log et peuvent utiliser xconsole. Historiquement, /var/log était /usr/adm (et plus tard /var/adm), d'où le nom du groupe.
Définir Promtail en tant que service
[Unit]
Description=Promtail Loki
Wants=network-online.target
After=network-online.target
[Service]
Type=simple
User=promtail
Group=promtail
ExecStart=/opt/promtail/promtail-linux-amd64 -config.file /opt/promtail/promtail-local-config.yaml
SyslogIdentifier=promtail
Restart=always
[Install]
WantedBy=multi-user.targetCréation du fichier : /etc/systemd/system/promtail.service
systemctl enable promtail.service
systemctl start promtail.service
systemctl status promtail.service
journalctl -f -u promtail.serviceCommandes système et visualisation des logs en direct :
Example de configuration promtail
Les configurations de Promtail sont différentes en fonction des besoins de chacun. Pour cela dans cet article on ne va montrer qu'un exemple de base. Dans cet exemple on va prendre les logs d'Apache2 et d'un site web.
Fichier /opt/promtail/promtail-local-config.yaml
server:
http_listen_port: 9080
grpc_listen_port: 0
positions:
filename: /tmp/positions.yaml
clients:
- url: http://mondomaine:3100/loki/api/v1/push
scrape_configs:
- job_name: apache
static_configs:
- targets:
- localhost
labels:
host: aukfood
job: apache2
__path__: /var/log/apache2/*log
- job_name: monsite-errorlogs
static_configs:
- targets:
- localhost
labels:
host: aukfood
job: monsite-errorlogs
__path__: /var/www/monsite/var/log/apache2/error*
Maintenant que Promtail est installé et démarré, vous devriez avoir Loki qui commence à stocker les flux et index des journaux reçus :
ls -la /tmp/loki/index/
ls -la /tmp/loki/chunks/On peut voir les fichiers logs pris en compte par Promtail dans /tmp/positions.yaml
Création de dashboard dans Grafana
Sachant que notre Loki est installé sur le même serveur que notre Grafana, l'ajout d'une source via l'interface est très simple et rapide :
Pour visualiser les logs dans Grafana c'est très simple, il suffit de créer un nouveau dashboard de sélectionner la source Loki et de créer une requête. Pour la visualisation il faut être en mode logs. Exemple :
{host="aukfood",job="monsite-errorlogs"}Pour réaliser des graphiques visuels il faut réaliser des requêtes plus poussées. Dans cet exemple on va prendre la somme des entrées dans les logs afin de réaliser un graphique :
sum(count_over_time(({host="aukfood"})[$__interval]))