Module syslogng version ALPHA

[Jm0u]

Bonjour à tous,

C'est avec plaisir que je mets à disposition une version SVN d'un module pour Oreon.

Ce module liste les alertes contenues dans la base de données MYSQL de syslogNG. syslogNG doit être préalablement installé. http://www.balabit.com/products/syslog-ng/

Voilà pour ceux qui se sentent une âme de developpeur pour m'aider à debugger et à améliorer ce module qu'ils n'hésitent pas :)

Voici l'adresse du SVN : http://svn.oreon-project.org/Modules/syslogNG/syslogNG

EnJoy

[xspoon]

bonjour,

d'abord merci et bravo pour ce module bien pratique, les fonctions de tri marchent nickel: pour moi c'est utilisable tel quel.

config utilisée:

Debian Sarge

module SyslogNG 1.1 du SVN Oreon

+ sources du site balabit:
syslog-ng-2.0.4.tar.gz
eventlog-0.2.5.tar.gz

+ librairies ajoutées pour la compilation:
libglib2.0-dev
libnet1-dev

+ script syslog2mysql.sh récuperé dans le paquet php-syslog-ng-2.9.1


Seul souci constaté: l'affichage des priorités crit et err ne se fait pas en couleur ( cf screenshot), aussi l'écrasement des colonnes de gauche quand un message plus long passe en 'line wrap'.

que du cosmetique quoi; sinon: excellent


http://i11.tinypic.com/4m0kzdx.png

[wistof]

Salut Xspoon,

merci pour ton retour.

On prend en notes tes remarques, et particuliérement cette histoire de couleur.

A+

[wistof]

Hello,

tu peux mettre à jour avec les fichiers 'syslogng.ihtml' et 'css/syslogng.css' dispo sur le SVN.

[xspoon]

salut Wistof

j'install ça lundi, thx

Bon WE.

[xspoon]

hello,

les modifs sont OK : thx

de plus j'ai étendu tes modifs sur le NoWrap aux autres colonnes sauf 'Message', car les hostsnames avec des tirets passaient aussi en wrap ainsi que les noms de programmes avec des slashs.

en plus ça permet de rajouter un peu de padding right à ces colonnes en rajoutant "padding-right:3px;" dans les 6 dernières classes du css/syslogng.css

avec ça, l'affichage est nickel.

je te laisse l'integrer sur le SVN ou sinon je peux envoyer les 2 fichiers.

[j2l]

Hello tout le monde,

J'ai testé le module syslogNG, j'ai juste un petit soucis : les caractères accentués. Pourtant d'après ce que j'ai vu le charset est bien en iso :

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1"/>

Envore bravo pour votre boulot sur syslogNG et bien sur Oreon qui est un produit magnifique

[xspoon]

salut,

as tu verifié directement dans la base mysql si tu retrouve le pb ?

[j2l]

Je viens de vérifier, dans la base de données les accents sont bien présents

[xspoon]

certainement un pb de navigateur, va voir dans affichage > encodage etc...

[j2l]

Je m'excuse, j'ai honte, je me cache, je sors, je pars en courant, ça doit être une manie de ne pas aller au plus simple tout de suite :rolleyes:

[Pittocha]

quelle est la procedure d'install de syslog ?

J'ai l'erreur "DB Error: insufficient permissions" et rien dans "Options Oreon Options Générales Syslog-NG"

[Pittocha]

personne ne peux m'aider ?:(

[Pittocha]

en faite mon pb, c'est que les bases "syslogng" et la table "logs" n'est pas créé, j'ai installé les rpm suivants pour les prerequis
http://rpm.pbone.net/index.php3/stat/4/idpl/1201664/com/libol-0.3.13-1.i386.rpm.html
http://rpm.pbone.net/index.php3/stat/4/idpl/3648484/com/eventlog-devel-0.2.5-1.el4.i386.rpm.html
http://rpm.pbone.net/index.php3/stat/4/idpl/1201690/com/syslog-ng-1.6.2-1.i386.rpm.html

et apres deplacer le repertoire de syslog-ng present sur le SVN ds mon dossier modules.

Comment avez vosu fais pour crééer la base de log, ca été automatique ou vous l'avez créé à la main ?

[xspoon]

Comment avez vosu fais pour crééer la base de log, ca été automatique ou vous l'avez créé à la main ?


oui il faut la créer à la main et avec un script fourni par php-syslog-ng


mysql> create database syslog;
mysql> exit

# mysql -u root -p syslog < php-syslog-ng-2.9.1r10/install/sql/dbsetup.sql



ensuite vive les tutos

Ex http://openmaniak.com/fr/syslog_tutorial.php

[Pittocha]

cool merci M.
J'ai reussi à faire fonctionner php-syslog-ng, il affiche bien les log d'une machie distante.
Par contre maintenant 2eme etape ds Oreon, j'ai ca :
http://www.imagup.info/images/03/1184668713_Sans%20titre.JPG
Rien qui s'affiche, je peux meme pas aller configurer l'acces à la base
Tu sais de où ca peux venir ?

J'avais pensé au fait que la ligne ds "DBconnect.php" :
require_once("DB.php");
devait etre plutot :
require_once("/usr/share/pear/DB.php");
mais ca change pas grd chose...
Quelqu'un peux m'aider svp ? Quel utilisateur mysql utiilise SYslog-ng pour oreon ?

[xspoon]

apparement ton module est mal installé car il n'y as pas les champs de configuration (voir photo). as tu essayé de te déloguer de l'interface ou sinon desinstaller le module et le réinstaller .

[Pittocha]

:):):):)
Bon j'ai retélécharger syslogNG surle SVN, et à ma plus grande surprise, c'est pas les memes fichiers, vous avez du faire uen mise à jour.
exemple j'avais formSyslogNG.htm et maintenant il y a formSyslogNG.ihtml ...
Tout fonctionne à merveille maintenant
un grand merci à toi xspoon!

[wistof]

Hello,

Il faut que tu partes du principe que ce que tu trouves sur le SVN est en cours de dev, donc sujet à des changements.

Le package SyslogNG-1.0 (http://download.oreon-project.org/index.php?id=62) est disponible en download depuis cet après-midi

http://wiki.oreon-project.org/index.php/SyslogNG

[Grosminus]

Bonjour Wistof,
Le module SyslogNG fonctionne-t-il avec oréons 1.4-1 car j'essaye de l'installer mais je n'y arrive pas ...
SyslogNG indépendement d'oreon fonctionne correctement, mais l'installation du module ne me donne pas le bon résultat. Est-ce que tu peux m'éclairer sur cette compatibilité ?

[fourmix]

Oui le module fonctionne sur la version 1.4.1 (j'utilise la RC1)

J'ai une question pour les développeurs (désolé j'avais fait un mail):
J’utilise les 2 séparément depuis quelques temps et depuis hier j’ai centralisé Syslog-NG sur centreon (tests pour le moment)

Cependant du passage à PHPsyslog-NG stand-alone à Syslog-ng en module, deux fonctionnalités me manquent : le fait de pouvoir exclure un message et le fait de pouvoir inclure/exclure plusieurs messages pour les filtres.

J’ai essayé avec NOT message pour l’exclusion ou !message et encore avec AND ou un ; pour filtrer avec plusieurs messages, mais sans succès.

Y a-t-il une autre possibilité ?
Merci.

[Pittocha]

Une autre fonctionnalité importante est manquante ds le module syslog d'oreon, c'est de consulter les autres tables que log, en effet tout les mois, syslog archives les logs dans uen tables appelés par ex "logs20070718" ...

Actuellement je ne peux donc pas consulter des logs directement ds oreon qui remonte à plus d'un mois. Je dois passe par l'interface syslog seule

[Grosminus]

Je suis du meme avis que toi !!

J'ai trouvé le problème que j'avais. Alors je vais vous l'expliquer défois qu'il arrive a certain d'entre nous ou que les développeurs est un retour sur une petite erreur.
Aprés avoir installé différents plugins, le dernier étant Gmap (GoogleMap : trés pratiue d'ailleurs), celui-ci faisait appel a la page n°9. Une fois le plugnin SyslogNG installé, celui-cifaisait toujours appel a la page n°9.
J'ai donc étais voir dans ma BDD et j'ai parcourus la table Topologie.
J'ai découvert que le module syslog faisait bien appel a ./modules/syslogNG/syslogng.php. donc l'erreur n'était pas là !!

Il cherchait donc le premier enregistrement qui faisait appel a la page n°9 (Gmap) et l'executé d'où l'erreur. J'ai donc modifié manuellement l'enregistrement en lui faisant appeler la page n°10 et le problème était réglé !!

[wistof]

Je suis du meme avis que toi !!

J'ai trouvé le problème que j'avais. Alors je vais vous l'expliquer défois qu'il arrive a certain d'entre nous ou que les développeurs est un retour sur une petite erreur.
Aprés avoir installé différents plugins, le dernier étant Gmap (GoogleMap : trés pratiue d'ailleurs), celui-ci faisait appel a la page n°9. Une fois le plugnin SyslogNG installé, celui-cifaisait toujours appel a la page n°9.
J'ai donc étais voir dans ma BDD et j'ai parcourus la table Topologie.
J'ai découvert que le module syslog faisait bien appel a ./modules/syslogNG/syslogng.php. donc l'erreur n'était pas là !!

Il cherchait donc le premier enregistrement qui faisait appel a la page n°9 (Gmap) et l'executé d'où l'erreur. J'ai donc modifié manuellement l'enregistrement en lui faisant appeler la page n°10 et le problème était réglé !!

Hello,

interressant comme retour. Nous avons un conflit avec ces 2 modules.
On va voir ça avec le dev du module Gmap.

Merci !

[wistof]

Fourmix, Pittocha

Le module a été initialement developpé dans le but d'accèder rapidement log syslog-ng depuis Oreon (Jmou, tu me corriges si je me trompe), et non de redévelopper php-syslogng.

Plusieurs possibilitées pour retrouver les fonctionnalitées que vous enoncez :
- Continuer le dev du module
- Intégrer directement php-syslogng dans Oreon
- Rajouter un lien pour se rediriger vers l'interface php-syslogng

Pour ma part, je n'envisage pas de travailler sur ce module dans les prochains jours.

[fourmix]

Bonjour Wistof et merci pour ta réponse.
J'aimerais bien contribuer mais mes compétences en prog. sont misérables :oops:
Pour ma part je trouve qu'actuellement, il ne manque que les fonctionnalités énoncées ci-dessous.

Il existe un module syslogng sous GLPI, est ce que le code peut être repris en partie???? Je ne l'ai jamais testé donc ne connait pas toutes les fonctionnalités, est-ce que qq'un l'a utilisé?

Il me semble que c'est dommage de ne pas intégrer complétement syslog en module à oreon, car ainsi on aurait une plate-forme de supervision assez complète en une seule fenêtre, cela apporte vraiment un plus par rapport à un lien qui renvoie vers PHPsyslogNG.
En tout cas merci pour ce dev., j'espère que ce module va continuer...

[Pittocha]

sinon pour pallier ce pb, on peux juste augementer la periode de rétention des données. Si tu sais que tu risques de consultrer les logs superieur à un mois directemlent ds oreon, il faut ds le crontab mettre à tout les 2 mois l'execution de la fonction logrotate.php qui archive les logs.

[Pittocha]

j'ai une question, l'exécution de la fonction
/var/www/html/phpsyslogng-2.8/scripts/syslog2mysql.sh

envoi ds la table logs tout les logs present ds le mysql.pipe. Et je suis obligé d'éxécuter à la main pour que ca remplisse la table, pourtant je l'ai bien mis ds le crontab de root
# crontab -e -u root
@reboot root /var/www/phpsyslogng-2.8/scripts/syslog2mysql.sh >> /var/log/mysql.log 2>&1

Comment faire pour qu'il s'éxécute totu le tps ?

[fourmix]

moi je fais comme ça :

Pour que syslog-ng soit lancé à chaque démarrage du PC :
#vi /etc/init.d/syslog-ng
--- DEBUT ---
# !/bin/bash
/usr/local/sbin/syslog-ng -f /etc/syslog-ng.conf
/var/www/phpsyslogng/scripts/syslog2mysql.sh &
--- FIN ---

#chmod 700 /etc/init.d/syslog-ng
#ln -s /etc/init.d/syslog-ng /etc/rc2.d/S21syslog-ng
#ln -s /etc/init.d/syslog-ng /etc/rc0.d/K19syslog-ng
#ln -s /etc/init.d/syslog-ng /etc/rc6.d/K19syslog-ng

[wistof]

Bonjour Wistof et merci pour ta réponse.
J'aimerais bien contribuer mais mes compétences en prog. sont misérables :oops:
Pour ma part je trouve qu'actuellement, il ne manque que les fonctionnalités énoncées ci-dessous.

Il existe un module syslogng sous GLPI, est ce que le code peut être repris en partie???? Je ne l'ai jamais testé donc ne connait pas toutes les fonctionnalités, est-ce que qq'un l'a utilisé?

Il me semble que c'est dommage de ne pas intégrer complétement syslog en module à oreon, car ainsi on aurait une plate-forme de supervision assez complète en une seule fenêtre, cela apporte vraiment un plus par rapport à un lien qui renvoie vers PHPsyslogNG.
En tout cas merci pour ce dev., j'espère que ce module va continuer...

Hello,

Concernant le module de GLPI, je ne l'ai pas testé non plus, vu que je n'utilise pas GLPI. Par contre, on pourra noter que Jmou est aussi à l'origine du module syslogng de GLPI. (Jmou, si tu nous lis, donnes-nous ta vision des choses ;) ).

Actuellement, nous sommes en 1.0, le module a le temps d'évoluer. Je vous invite à utiliser la discution dans le wiki pour proposer vos demandes évolutions.

Merci.

[Pittocha]

moi je fais comme ça :

Pour que syslog-ng soit lancé à chaque démarrage du PC :
#vi /etc/init.d/syslog-ng
--- DEBUT ---
# !/bin/bash
/usr/local/sbin/syslog-ng -f /etc/syslog-ng.conf
/var/www/phpsyslogng/scripts/syslog2mysql.sh &
--- FIN ---

#chmod 700 /etc/init.d/syslog-ng
#ln -s /etc/init.d/syslog-ng /etc/rc2.d/S21syslog-ng
#ln -s /etc/init.d/syslog-ng /etc/rc0.d/K19syslog-ng
#ln -s /etc/init.d/syslog-ng /etc/rc6.d/K19syslog-ng
ah j'ai trouvé une solution,
Mettez la ligne suivante dans le fichier /etc/rc.local
/var/www/html/phpsyslogng-2.8/scripts/syslog2mysql.sh >> /var/log/mysql.log 2>&1 &
et tout baigne :)

[Pittocha]

Hello tout le monde,

J'ai testé le module syslogNG, j'ai juste un petit soucis : les caractères accentués. Pourtant d'après ce que j'ai vu le charset est bien en iso :

<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1"/>

Envore bravo pour votre boulot sur syslogNG et bien sur Oreon qui est un produit magnifique

le pb ne vient pas de ton navigateur, mais de la conf de apache (httpd.conf).
Il faut commenter l'utf8 et ajouter la norme francaise. Car il arrive que la norme que vous specifiez ds les metas de la page index d'oreon ne prend pas le dessus sur la conf d'appache.
#AddDefaultCharset UTF-8
AddDefaultCharset ISO-8859-15

[nitroz]

Bonjour,

j'ai installé et configuré syslog-ng avec une base mysql : elle se remplie correctement d'evenement

Ensuite j'ai installé le module + config dans option générale OK

ensuite je vais sur le lien syslog-NG et j'obtiens l'erreur suivante :

Mysql Error : DB Error: no such fieldMysql Error : DB Error: no such field

Je n'ai pâs de probleme de droit sur la bdd

voici la conf de syslog-ng pour la destination :

destination d_mysql {
pipe("/tmp/mysql.pipe"
template("INSERT INTO logs (host, facility, priority, level, tag, date,
time, program, msg) VALUES ( '$HOST', '$FACILITY', '$PRIORITY', '$LEVEL','$TAG',
'$YEAR-$MONTH-$DAY', '$HOUR:$MIN:$SEC', '$PROGRAM', '$MSG' );\n") template-escape(yes));
};


Une idée ?

[xspoon]

salut,

as tu généré ta base avec le script livré par php-syslog-ng (php-syslog-ng-2.9.1r10/install/sql/dbsetup.sql)

et/ou la conf dans Options > Oreon > Options Générales > Syslog-NG

[nitroz]

Salut,
Effectivement je n'avais que la table logs

Sur tes conseilles j'ai pris le .sql et la conf du syslog.conf du package php-syslog-ng 2.9 et ca marche ...:D

Merci beaucoup

A+

[worm75011]

Bonjour à tous,

C'est avec plaisir que je mets à disposition une version SVN d'un module pour Oreon.

Ce module liste les alertes contenues dans la base de données MYSQL de syslogNG. syslogNG doit être préalablement installé. http://www.balabit.com/products/syslog-ng/

Voilà pour ceux qui se sentent une âme de developpeur pour m'aider à debugger et à améliorer ce module qu'ils n'hésitent pas :)

Voici l'adresse du SVN : http://svn.oreon-project.org/Modules/syslogNG/syslogNG

EnJoy
bonjour
j ai un beau 404 pour aller sur votre svn :
Not Found

The requested URL /Modules/syslogNG/syslogNG was not found on this server.
Additionally, a 404 Not Found error was encountered while trying to use an ErrorDocument to handle the request.



est ce normal?



merci
philippe

[inconnuflo]

Faut-il installer des packages précis avant de mettre en place le module SYSLOG-NG d'oreon ?

[xspoon]

salut,

voici les pkg que j'ai utilisés:

syslog-ng-2.0.4.tar.gz
eventlog-0.2.5.tar.gz
(http://www.balabit.com/downloads/files/syslog-ng/sources/stable/src/)


php-syslog-ng-2.9.1r10.tar.gz
(http://sourceforge.net/projects/php-syslog-ng/)

libnet1
libnet1-dev
libglib2.0-dev
lsb-base



ci-jointe une doc vite faite, à ameliorer pour le Wiki...

[inconnuflo]

Kool merci je vais tester dès que possible :-)

[inconnuflo]

1- Installation RPM
rpm –ivh eventlog-0.2.5-1.el4.i386.rpm
rpm –ivh eventlog-devel-0.2.5-1.el4.i386.rpm
rpm -ivh libol-0.3.16-1.el4.i386.rpm
rpm -ivh syslog-ng-2.0.4-1.el4.i386.rpm

2-Mise en place de SYSLOG-NG
Créer une database mysql :
Create database syslogng;

Créer un user logs2 :
GRANT ALL PRIVILEGES ON syslogng TO 'logs2'@'localhost' IDENTIFIED BY 'logs';
http://sourceforge.net/projects/php-syslog-ng/
tar xzf tar xzf php-syslog-ng-2.9.1r10.tar.gz
mv html /data & mv /data/html /data/phpsyslogng

Dans « /data/phpsyslogng/install/sql » lancer le script dbsetup.sql dans la base syslogng :
mysql –u root –p syslogng < dbsetup.sql

Dans /etc/syslog-ng.conf
Modifier dans la section options :
use_dns (yes);
dns_cache_hosts(/etc/hosts);

Décommenter dans la section source :
udp(ip(0.0.0.0) port(514));

Ajouter une destination mysql et une log :
destination d_mysql { pipe("/var/log/mysql.pipe" template("INSERT INTO logs
(host, facility, priority, level, tag, datetime, program, msg) VALUES
( '$HOST', '$FACILITY', '$PRIORITY', '$LEVEL', '$TAG', '$YEAR-$MONTH-$DAY $HOUR:$MIN:$SEC',
'$PROGRAM', '$MSG' );\n") template-escape(yes));
};
log {
source(s_sys);
destination(d_mysql);
};

Dans /data/phpsyslogng/config/config.php
<Directory "/data/phpsyslogng/scripts">
Deny from all
</Directory>
<Directory "/data/phpsyslogng/includes">
Deny from all
</Directory>
<Directory "/data/phpsyslogng/config">
Deny from all
</Directory>

Copier /data/phpsyslogng/scripts/syslog2mysql.sh dans /etc/init.d

Modifier de fichier dans init.d, en précisant l’user « logs2 » et son password « logs »

Démarrer le script :
/etc/init.d/ syslog2mysql.sh &
/etc/init.d/syslog-ng start

3-Installer le module dans Oreon
suivre la procédure sur le wiki

[xspoon]

OK je vais passer ça sur le wiki.

la création du mysql.pipe se fait en automatique ?

[inconnuflo]

Je ne sais pas
au départ j'ai créé un fichier vide

et j'ai oublié de le supprimer pour voir s'il le créé de manière auto

En tout cas ca marche,

Reste plus qu'à configurer mes serveurs pointant vers ce syslog

[xspoon]

Je ne sais pas
au départ j'ai créé un fichier vide
et j'ai oublié de le supprimer pour voir s'il le créé de manière auto

nan, c'est juste que tu ne l'avais pas mis dans ta doc c'est tout



Reste plus qu'à configurer mes serveurs pointant vers ce syslog

et après tu auras sûrement besoin de faire un peu de filtrage avec tous ces messages ;)

par exemple créer un filtre qui ressemble à ça:

filter f_regex {
not match(Connection.from.127.0.0.1)
and not match(CRON.+?pam_unix)
etc...;
}

[inconnuflo]

bah voilà j'allais chercher un moyen d'alléger ma base, car ca gonfle très vite :-)

Merci pour l'astuce du filtrage

Si tu as qq chose sur le paramétrage des autres machines (Windows/UInix) pointant sur ce serveur syslog, je suis preneur :-) (surtout si après on peu directement faire un check dans la foulée pour gérer les alertes

[xspoon]

sur du linux tout se fait dans le syslog.conf, au lieu de mettre

*.* @IP_DISTANTE

tu mets

*.crit ou *.>alert @IP_DISTANTE
ou !mail.* etc...

(les syntaxes varient suivant les versions syslogs).

sur du windows ça doit se configuer dans la même idée.

pour info qu est-ce que tu utilise comme syslog sur tes windows et quel types de messages te renvoient-ils ?

[fourmix]

comment vous gérez le log rotate des logs (cron avec le script logrotate.php me pose des pbl) et la suppression des logs anciens afin d'éviter d'exploser l'espace disque ?

[inconnuflo]

pour le moment, j'ai le meme pb

[xspoon]

j' ai un script en ALPHA qui fonctionne mais je travaille encore sur la partie réduction de l'index... donc bientôt :)

en attendant pour patienter: voilà un petit plugin/graph pour surveiller la taille d'une table mysql:

check_mysql_table_size

./check_mysql_table_size --help

Plugin for Nagios, with perf data.
Returns the Data, Index and Total size of a mysql table

Hint: edit the plugin to properly connect to your database.

Usage:
-d (--db_name) Database to connect to. (required)
-t (--db_table) Table to search about. (required)
-H (--db_host) Server hosting the database. (default is 'localhost')
-w (--warning) Warning threshold in MB. (assuming 1MB=1MiB=1024*1024B)
-c (--critical) Critical threshold in MB.
-h (--help) Usage help.




voir post suivant...

[xspoon]

...avec le fichier.

[inconnuflo]

kool je vais tester ca

sinon tu as un moyen de faire le "logrotate" pour syslog-ng ? car celui fourni ne marche pas (ou je ne l'ai mal implémenté)

[xspoon]

je pense qu'il faut que tu copie le fichier syslog-ng.rotate dans le repertoire /etc/logrotate.d et ensuite amorcer en lancant logrotate -f /etc/logrotate.conf. (laisse mouliner si tu as des gros fichiers). Tu peux après effacer les vieux *log.0

bonne chance.