Vote utilisateur: 4 / 5

Etoiles activesEtoiles activesEtoiles activesEtoiles activesEtoiles inactives
 

Relog.exe est un utilitaire intégré à l'OS windows et présent sur les windows XP,7,8 et 10 coté workstation et 2003, 2008, 2008R2 2012 coté serveur.

Cet utilitaire prend en entré un fichier de trace perfmon avec plus ou moins de compteurs actifs dans la trace.

Théoriquement il est facile d'intégrer ces traces dans une base de données avec la synthaxe suivante

 

relog matrace.blg -o SQL:DSNODBC!IDTRACE

Avec :

  • DSNODBC étant le nom du DSN ODBC,
  • IDTRACE étant un identificateur à priori pour définir le serveur host depuis lequel sont issus les traces (mais il est possible de mettre ce que l'on souhaite)
Sauf qu'après mettre heurter a de nombreuses difficultées je me suis aperçu qu'il y avait de nombreuses zones d'ombres et non documentées avant de pouvoir intégrer n'importe quel compteur dans une base de données :
  • La base de données ne peut-être que SQL Server : j'ai essayé avec Access mais la définition des tables de traces contient la propriété IDENTITY disponible uniquement sur SQL Server (et DB2). J'ai également essayé avec Oracle mais la c'est un problème d'identification qui est venu me perturber. Je pense qu'il est possible de reproduire les tables de traces dans un autre SGBD que SQL server mais il faudra les créer manuellement et il faudra que cette base permette l'authentification windows ou qu'elle n'ai pas de login/mot de passe. Les tables sont décrites sur msdn : http://msdn.microsoft.com/en-us/library/aa373198(v=VS.85).aspx
  • il faut retirer les apostrophes des libellés des compteurs : lorque l'on est sur un serveur français avec des compteurs dont le libellé est en français,certains compteur ont un libellé contenant une apostrophe (une quote). Exemple temps d'attente moyen. Il est nécessaire de modifier ces compteurs pour retirer les apostrophes. Si vous avez des fichiers binaires (.blg) il faudra faire une étape de transformation en format csv et modifier les fichiers csv pour retirer les apostrophes. J'ai fait ça en powershell maintenant que windows dispose d'un language shell évolué et j'espère stable dans le temps...
conversion des fichiers blg en csv et retrait des apostrophes en powershell
# conversion blg --> csv

ls -r -include *.blg | foreach{relog $_ -f csv -o $_`.csv}

# retrait de l'apostrophe

ls -r -include *.blg.csv | foreach-object{(get-content $_) -replace "'"," " | set-content -path $_}

 

  • Passer le système réalisant le relog en heure d'hiver ! Pour moi il a été nécessaire de modifier ce paramètre système car sinon j'ai une tentative d'insertion avec un un libellé contenant (heure d'été), vu qu'il y a une apostrophe (d'été), ca plante... On peut repérer ca soit avec l'event viewer soit avec une trace ODBC
  • Utiliser un DSN basé sur un driver ODBC en version SQL server 2000 : le driver ODBC 2005 et le 2008 s'appuyant sur des librairies incompatibles avec l'utilitaire relog. Relog cherche en effet à utiliser une bibliothèque odbcbcp.dll qui n'est plus inclue dans les drivers supérieur à sql 2000 (sqlncli10.dll pour 2008)
  • Le service sql server doit être lancé avec un compte service local (ou bien le user doit avoir des droits spécifiques sur les fichiers et répertoires où se trouvent les tracces perfmon)
  • L'utilitaire relog doit être lancer avec un compte local (si possible administrateur local, je crois mais n'ai pas testé dans d'autre cas de figure)
  • Autoriser le user nt "service local" en lecture sur les répertoires et fichiers de traces

 

intégration des fichiers csv dans la base SQL Server via un driver ODBC (v2000)
ls -r -include *.csv | foreach{relog $_ -o SQL:ODBC_MSS_PERFMON_2000K!"$($_.directory.name)"}

  

Modèle des tables de traces

Par contre le modèle des tables générées par relog (cf mdsn) ne me semble pas approprié pour un reporting performant.  Le modèle est un modèle normalisé, très souple pour intégrer de nouveaux compteurs mais générant du coup 1 lignes par compteur et par capture.

J'ai l'habitude d'intégrer de nombreux compteurs sur un serveur MS SQL Server. Ces compteurs sont d'autant plus nombreux qu'il y a d'instance hébergées sur la machine. Avec 6 instances  SQL server 2005 je monte à plus de 400 compteurs entre les compteurs système (cpu,mem, disques, réseau) et les compteurs sgbd (lock/latches, buffer, session, log, fichier et autres ratios... Si on fait un capture toute les minutes on a 60 * 24 * 400 = 500.000 lignes par jour par machine. 
Si on souhaite intégrer les traces de dix machines (60 instances) on se retrouve avec 5.000.000 de lignes par jours

Il est donc indispensable de purger ces tables de traces: par un batch de nuit pas exemple. Une conservation sur 30 jours maximum me parait une bonne approche.

Une des solutions pour réduire le volume de données est de ré-échantilloner les données via relog -t en utilisant un ré-échantillonage toute les 5 ou 10 minutes par exemple.

 

Ajouter vos commentaires

Poster un commentaire en tant qu'invité

0 / 30000 Restriction des caractères
Votre texte doit contenir entre 10 et 30000 caractères
Vos commentaires sont soumis à la modération de l'administrateur.
conditions d'utilisation.
  • Aucun commentaire trouvé