Ultimate tlist filter VTOM ! Filtre XSL du vtexport XML

Merci à JOEY de m’avoir inspriré ! :)

Liste des filtres XSL que je créé au fil des besoins

(voir plus) Ultimate tlist filter VTOM ! Filtre XSL du vtexport XML

09-02-2017

Anchor lien id name dans un mail HTML Outlook

Sur Outlook, pour un mail au format HTML avec des liens anchor de type <a href="#versid">... vers <div id="versid">... ne fonctionne pas chez moi.

Seul le href #top ou #haut selon la langue fonctionne (sans même avoir de conteneur avec cet id).

Ce qui fonctionne dans mon contexte, c’est de remplacer (ou d’ajouter) un tag <a name="versid"></a> juste avant le conteneur de destination.

Ca donne :
```
<a href="#bonjour">lien classique</a>
<p>du texte</p>
...
<a name="bonjour"></a>
<div id="bonjour">
mon div etc.
</div>
```

Formules excel

Recherche dans une feuille qui check si une de ces colonnes (test de chaque ligne d’une colonne IP Adresse) est présente dans deux feuilles différentes (correspondance adresse)

Les formules présentes pourraient être utile pour :

supprimer une retour chariot, saut de ligne, d’une cellule à plusieurs lignes
trouver des valeurs identiques dans des colonnes différentes
modifier la valeur d’une cellule

=SI.NON.DISP(
  SI.NON.DISP(
    SI.NON.DISP(
      RECHERCHEV(
        GAUCHE(
          SUBSTITUE([@adresses];"0.0.0.0";"");
          CHERCHE(CAR(10);SUBSTITUE([@adresses];"0.0.0.0";"")) - 1
        );
        LastExec!$S:$S;
        1;
        FAUX
      );
      RECHERCHEV(
        GAUCHE(
          SUBSTITUE([@adresses];"0.0.0.0";"");
          CHERCHE(CAR(10);SUBSTITUE([@adresses];"0.0.0.0";"")) - 1
        );
        Tableau2[[#Tout];[IP]:[IP]];1;FAUX
      )
    );
    SI.NON.DISP(
      RECHERCHEV(
        GAUCHE(
          DROITE(
            SUBSTITUE([@adresses];"0.0.0.0";"");
            CHERCHE(CAR(10);SUBSTITUE([@adresses];"0.0.0.0";""))
          );
          CHERCHE(CAR(10);SUBSTITUE([@adresses];"0.0.0.0";"")) - 1
        );
        LastExec!$S:$S;
        1;
        FAUX
      );
      RECHERCHEV(
        GAUCHE(
          DROITE(
            SUBSTITUE([@adresses];"0.0.0.0";"");
            CHERCHE(CAR(10);SUBSTITUE([@adresses];"0.0.0.0";""))
          );
          CHERCHE(CAR(10);SUBSTITUE([@adresses];"0.0.0.0";"")) - 1
        );
        Tableau2[[#Tout];[IP]:[IP]];
        1;
        FAUX
      )
    )
  );
  SI.NON.DISP(
    RECHERCHEV(
      GAUCHE(
        DROITE(
          DROITE(
            SUBSTITUE([@adresses];"0.0.0.0";"");
            CHERCHE(CAR(10);SUBSTITUE([@adresses];"0.0.0.0";""))
          );
          CHERCHE(CAR(10);SUBSTITUE([@adresses];"0.0.0.0";""))
        );
        CHERCHE(CAR(10);SUBSTITUE([@adresses];"0.0.0.0";"")) - 1
      );
      LastExec!$S:$S;
      1;
      FAUX
    );
    RECHERCHEV(
      GAUCHE(
        DROITE(
          DROITE(
            SUBSTITUE([@adresses];"0.0.0.0";"");
            CHERCHE(CAR(10);SUBSTITUE([@adresses];"0.0.0.0";""))
          );
          CHERCHE(CAR(10);SUBSTITUE([@adresses];"0.0.0.0";""))
        );
        CHERCHE(CAR(10);SUBSTITUE([@adresses];"0.0.0.0";"")) - 1
      );
      Tableau2[[#Tout];[IP]:[IP]];
      1;
      FAUX
    )
  )
)

=SI.NON.DISP(
  SI.NON.DISP(
    RECHERCHEV(
      [@adresses];
      Tableau1[[#Tout];[IP]:[IP]];
      1;
      FAUX
    );
    RECHERCHEV(
      [@adresses];
      Tableau2[[#Tout];[IP]:[IP]];
      1;
      FAUX
    )
  );
  SI.NON.DISP(
    SI.NON.DISP(
      RECHERCHEV(
        GAUCHE(
          [@adresses];
          CHERCHE(CAR(10);[@adresses]) - 1
        );
        Tableau1[[#Tout];[IP]:[IP]];
        1;
        FAUX
      );
      RECHERCHEV(
        GAUCHE(
          [@adresses];
          CHERCHE(CAR(10);[@adresses]) - 1
        );
        Tableau2[[#Tout];[IP]:[IP]];
        1;
        FAUX
      )
    );
    SI.NON.DISP(
      SI.NON.DISP(
        RECHERCHEV(
          GAUCHE(
            DROITE(
              [@adresses];
              CHERCHE(CAR(10);[@adresses])
            );
            CHERCHE(
              CAR(10);
              DROITE(
                [@adresses];
                CHERCHE(CAR(10);[@adresses])
              )
            ) - 1
          );
          Tableau1[[#Tout];[IP]:[IP]];
          1;
          FAUX
        );
        RECHERCHEV(
          GAUCHE(
            DROITE(
              [@adresses];
              CHERCHE(CAR(10);[@adresses])
            );
            CHERCHE(
              CAR(10);
              DROITE(
                [@adresses];
                CHERCHE(CAR(10);[@adresses])
              )
            ) - 1
          );
          Tableau2[[#Tout];[IP]:[IP]];
          1;
          FAUX
        )
      );
      SI.NON.DISP(
        RECHERCHEV(
          GAUCHE(
            DROITE(
              DROITE(
                [@adresses];
                CHERCHE(CAR(10);[@adresses])
              );
              CHERCHE(CAR(10);DROITE(
                [@adresses];
                CHERCHE(CAR(10);[@adresses])
              ))
            );
            CHERCHE(
              CAR(10);
              DROITE(
                DROITE(
                  [@adresses];
                  CHERCHE(CAR(10);[@adresses])
                );
                CHERCHE(CAR(10);DROITE(
                  [@adresses];
                  CHERCHE(CAR(10);[@adresses])
                ))
              )
            ) - 1
          );
          Tableau1[[#Tout];[IP]:[IP]];
          1;
          FAUX
        );
        RECHERCHEV(
          GAUCHE(
            DROITE(
              DROITE(
                [@adresses];
                CHERCHE(CAR(10);[@adresses])
              );
              CHERCHE(CAR(10);DROITE(
                [@adresses];
                CHERCHE(CAR(10);[@adresses])
              ))
            );
            CHERCHE(
              CAR(10);
              DROITE(
                DROITE(
                  [@adresses];
                  CHERCHE(CAR(10);[@adresses])
                );
                CHERCHE(CAR(10);DROITE(
                  [@adresses];
                  CHERCHE(CAR(10);[@adresses])
                ))
              )
            ) - 1
          );
          Tableau2[[#Tout];[IP]:[IP]];
          1;
          FAUX
        )
      )
    )
  )
)

FAQ VTOM Dates - Dec

Des fois, j’ai des questions en direct par e-mail. Je me dis que ça pourrait être bien de poster les questions / réponses.

unlock a locked date

Unlock a locked date in command line is not possible, and should stay a human action. If you ask yourself how to automate and unlock a locked date (or all) without an human action, may be your job(s) should not lock the date in the first place (in jobs’s definition).

Of course you can always unlock a locked date by setting all jobs which are blocking this date to OK.

You can list all locked date with this command : tlist blocage

Or check the status of a date : tchkdate /nom="your_datename"

Then loop over all blocking jobs and set to OK :
```
vtom@044d119e1768:/mnt/workspace$ vtaddjob /nom="exploitation/appli_test/job1" /status="te"
Modification du traitement exploitation/appli_test/job1 terminee (27ms).
```
retrieve corresponding environment/application for a specific date?

tlist [-f <env>[/<app>[/<job>]]] jobs should do the trick.

Something like that :
```
tlist jobs | sort -k"2,2" -u | grep -w "your_date"
sort -k"2,2" -u to sort on applications and get unique row for an application
grep -w "your_date" to filter with your specific date


vtom@044d119e1768:~$ tlist -f exploitation jobs | sort -k"2,2" -u | grep -w "date_exp"
exploitation            appli_test              job1                    client_local            date_exp
```
Also, you can do a csv list of whatever column you want with a vtexport and an preformatted xsl file.

First compile the Stylizer.java class : javac Stylizer.java

Export your VTOM base in XML :
```
vtexport -x [-f <env>[/<app>[/job]]] > /somepath/your_vtexport.xml
```
Filter the XML with the XSL file : java Stylizer filter_env_app_date.xsl your_vtexport.xml
```
vtom@044d119e1768:/mnt/workspace$ javac Stylizer.java
vtom@044d119e1768:/mnt/workspace$ ls
Stylizer.class  Stylizer.java
vtom@044d119e1768:/mnt/workspace$ java Stylizer filter_env_app_date.xsl /var/tmp/vtexport.xml
exploitation£appli_test£date_exp£
```

Statuts dans le vtexport

Code couleur des statuts dans VTOM.

    R = ENCOURS       #05FAFA
    X = ENDIFFICULTE  #FFC800
    W = AVENIR        #FAFF14
    F = TERMINE       #14FF14
    E = ENERREUR      #FA0000
    D = DEPLANIFIE    #C3C3C3
    U = NONPLANIFIE   #FAFAFA

{
  "R" : {"rvb":"5,250,250","nom":"ENCOURS"},
  "X" : {"rvb":"255,200,0","nom":"ENDIFFICULTE"},
  "W" : {"rvb":"250,255,20","nom":"AVENIR"},
  "F" : {"rvb":"20,255,20","nom":"TERMINE"},
  "E" : {"rvb":"250,0,0","nom":"ENERREUR"},
  "D" : {"rvb":"195,195,195","nom":"DEPLANIFIE"},
  "U" : {"rvb":"250,250,250","nom":"NONPLANIFIE"}
}

Et la column vtstatus dans la table vt_stats_job : (index de 0 à 6)

let Status = ["", "AVENIR ", "ENCOURS", "TERMINE", "ENERREUR", "DEPLANIFIE", "NONPLANIFIE"]
# mode d'exécution
let VTOMModeExec = ["", "Exéc", "Simu", "Test", "Stop", "Job"]

Curl sftp avec mot de passe

Je ne sais pas s’il existe une raison justifiant le fait de faire du sftp non sécurisé (mot de passe en clair, sans certificat SSL) mais des fois, il ne faut pas trop chercher à comprendre.

Donc sachez que si on vous dit, “plus de FTP, il faut faire du SFTP” et qu’on vous dit, “ah non, impossible de mettre en place des clés privées, publiques”, vous pouvez scripter du sftp avec curl avec le user / mot de passe !

Lister, afficher, récupérer

# la racine de connexion du user
curl -k -u user:mdp sftp://host

# un répertoire en particulier (ne pas oublier le dernier /)
curl -k -u user:mdp sftp://host/MyDir/

# affiche le contenu du fichier à l'écran
curl -k -u user:mdp sftp://host/monFichier

# récupérer un fichier 
curl -k -u user:mdp sftp://host/monFichier -o /monRep/monFichier

les options intéressantes

-v                  | mode verbose, pratique pour debug
-u user:mdp         | pour l'authentification
sftp://@IP:port     | protocole peut être sftp, ftp, http par exemple
-Q "CMD dir/file"   | exécution de la commande sur le fichier (on part de la racine de connexion user)
-k ou --insecure    | (SSL) This option explicitly allows curl to perform "insecure" SSL connections and transfers
                    | problème résolu de "curl: (51) SSL peer certificate or SSH remote key was not OK"
-o dir/file         | redirige la sortie dans le fichier dir/file

Quelques commandes FTP

# delete
curl -u user:mdp ftp://host -Q 'DELE MyDir/FileTodelete'
# rename
curl -u user:mdp ftp://host -Q 'RNFR MyDir/FileToRename' -Q 'RNTO MyDir/FileRenamed'

Quelques commandes SFTP

# delete
curl -k -u user:mdp sftp://host -Q 'rm MyDir/FileTodelete'

# rename
curl -k -u user:mdp sftp://host -Q 'rename MyDir/FileToRename MyDir/FileRenamed'

# on peut cumuler la commande + le listage (attention, par défaut, la commande est effectuée avant)
# supprimer le rep' /var/tmp/MyDir et lister le contenu de /var/tmp/
curl -k -u user:mdp sftp://host/var/tmp/ -Q 'rmdir /var/tmp/MyDir'

man curl
 -Q, --quote <command>
  (FTP/SFTP)  Send  an arbitrary command to the remote FTP or SFTP server. Quote commands are sent BEFORE the transfer takes place (just
  after the initial PWD command in an FTP transfer, to be exact). To make commands take place after a successful transfer,  prefix  them
  with  a  dash '-'.  To make commands be sent after curl has changed the working directory, just before the transfer command(s), prefix
  the command with a '+' (this is only supported for FTP). You may specify any number of commands. If the server returns failure for one
  of  the  commands,  the  entire  operation will be aborted. You must send syntactically correct FTP commands as RFC 959 defines to FTP
  servers, or one of the commands listed below to SFTP servers.  This option can be used multiple times. When speaking to an FTP server,
  prefix the command with an asterisk (*) to make curl continue even if the command fails as by default curl will stop at first failure.

  SFTP  is  a binary protocol. Unlike for FTP, curl interprets SFTP quote commands itself before sending them to the server.  File names
  may be quoted shell-style to embed spaces or special characters.  Following is the list of all supported SFTP quote commands:

  chgrp group file
         The chgrp command sets the group ID of the file named by the file operand to the group ID specified by the group  operand.  The
         group operand is a decimal integer group ID.
  chmod mode file
         The chmod command modifies the file mode bits of the specified file. The mode operand is an octal integer mode number.
  chown user file
         The  chown  command sets the owner of the file named by the file operand to the user ID specified by the user operand. The user
         operand is a decimal integer user ID.
  ln source_file target_file
         The ln and symlink commands create a symbolic link at the target_file location pointing to the source_file location.

  mkdir directory_name
         The mkdir command creates the directory named by the directory_name operand.
  pwd    The pwd command returns the absolute pathname of the current working directory.
  rename source target
         The rename command renames the file or directory named by the source operand to the destination path named by the target  oper‐
         and.
  rm file
         The rm command removes the file specified by the file operand.
  rmdir directory
         The rmdir command removes the directory entry specified by the directory operand, provided it is empty.
  symlink source_file target_file
         See ln.

Bug rencontré sur AIX

OpenSSL version mismatch. Built against 1000105f, you have 100000bf

Merci JM F. pour celle-là ;)

export LIBPATH=:/usr/lib:$LIBPATH

curl: (51) SSL peer certificate or SSH remote key was not OK

-k ou --insecure

sinon curl c’est aussi …

Sympa pour les API avec un retour JSON par exemple : voir mon article sur le WebAccess

et pour plein d’autres fonctionnalités sympa (comme récupérer les entêtes d’une requête HTML) client URL

Javascript fonction unique (distinct) sur un tableau d'objet

Mon besoin en Javascript

J’ai un tableau d’objets, et je veux récupérer un tableau de valeurs uniques d’objets ayant le même attribut.

Fonction

let _distinctUniqueValuesInArray = (arr, prop) => arr.map(obj => obj[prop]).filter((v, i, a) => a.indexOf(v) == i)

Exemple

var monArray = [
{"VTENVNAME":"ENV1","VTDOMAINE":"MONDOMAINE25","NB_JOBS_NON_STATS":"15"},
{"VTENVNAME":"ENV2","VTDOMAINE":"MONDOMAINE15","NB_JOBS_NON_STATS":"58"},
{"VTENVNAME":"ENV2","VTDOMAINE":"MONDOMAINE35","NB_JOBS_NON_STATS":"18"},
{"VTENVNAME":"ENV2","VTDOMAINE":"MONDOMAINE25","NB_JOBS_NON_STATS":"50"},
{"VTENVNAME":"ENV5","VTDOMAINE":"MONDOMAINE36","NB_JOBS_NON_STATS":"2"},
{"VTENVNAME":"ENV5","VTDOMAINE":"MONDOMAINE26","NB_JOBS_NON_STATS":"10"},
{"VTENVNAME":"ENV7","VTDOMAINE":"MONDOMAINE26","NB_JOBS_NON_STATS":"81"},
{"VTENVNAME":"ENV7","VTDOMAINE":"MONDOMAINE36","NB_JOBS_NON_STATS":"47"},
{"VTENVNAME":"ENV7","VTDOMAINE":"MONDOMAINE16","NB_JOBS_NON_STATS":"71"},
{"VTENVNAME":"ENV8","VTDOMAINE":"MONDOMAINE25","NB_JOBS_NON_STATS":"45"},
{"VTENVNAME":"ENV8","VTDOMAINE":"MONDOMAINE15","NB_JOBS_NON_STATS":"31"},
{"VTENVNAME":"ENV8","VTDOMAINE":"MONDOMAINE35","NB_JOBS_NON_STATS":"62"},
{"VTENVNAME":"ENV13","VTDOMAINE":"MONDOMAINE36","NB_JOBS_NON_STATS":"2"},
{"VTENVNAME":"ENV13","VTDOMAINE":"MONDOMAINE16","NB_JOBS_NON_STATS":"2"},
{"VTENVNAME":"ENV13","VTDOMAINE":"MONDOMAINE26","NB_JOBS_NON_STATS":"2"},
{"VTENVNAME":"ENV14","VTDOMAINE":"MONDOMAINE16","NB_JOBS_NON_STATS":"56"},
{"VTENVNAME":"ENV14","VTDOMAINE":"MONDOMAINE36","NB_JOBS_NON_STATS":"29"},
{"VTENVNAME":"ENV14","VTDOMAINE":"MONDOMAINE26","NB_JOBS_NON_STATS":"77"},
{"VTENVNAME":"ENV15","VTDOMAINE":"MONDOMAINE26","NB_JOBS_NON_STATS":"164"},
{"VTENVNAME":"ENV15","VTDOMAINE":"MONDOMAINE36","NB_JOBS_NON_STATS":"90"},
{"VTENVNAME":"ENV15","VTDOMAINE":"MONDOMAINE16","NB_JOBS_NON_STATS":"139"},
{"VTENVNAME":"ENV16","VTDOMAINE":"MONDOMAINE16","NB_JOBS_NON_STATS":"113"},
{"VTENVNAME":"ENV16","VTDOMAINE":"MONDOMAINE36","NB_JOBS_NON_STATS":"123"},
{"VTENVNAME":"ENV16","VTDOMAINE":"MONDOMAINE26","NB_JOBS_NON_STATS":"410"}
]
_distinctUniqueValuesInArray(monArray,"VTDOMAINE")

["MONDOMAINE25", "MONDOMAINE15", "MONDOMAINE35", "MONDOMAINE36", "MONDOMAINE26", "MONDOMAINE16"]

_distinctUniqueValuesInArray(monArray,"VTENVNAME")

["ENV1", "ENV2", "ENV5", "ENV7", "ENV8", "ENV13", "ENV14", "ENV15", "ENV16"]

Pour aller plus loin

Array.prototype.map()

Mon talbeau d’entrée étant constitué d’objets, et ne voulant qu’un tableau de valeurs pour une clé donnée, je créé un nouveau tableau avec map qui satisfait mes besoins.

(arr, prop) => arr.map(obj => obj[prop])

Array.prototype.filter() Array.prototype.indexOf()

Comme map() retourne un tableau, je peux l’enchainer avec filter()

Je ne retourne que les élements qui vérifient ma condition.

v (valeur), i (index), a (le tableau complet, ici monnouveautableau qui correspond à arr.map(obj => obj[prop]))

monnouveautableau.filter((v, i, a) => a.indexOf(v) == i)

En français : on boucle sur tous les élements de monnouveautableau et on retourne chaque élément dans un nouveau tableau si son index (i) correspond à l’index du premier élément (indexOf) de monnouveautableau qui a la valeur v.

Je ne sais pas si c’est français, mais j’me comprends !

sort sur un tableau de tableaux sur plusieurs index

https://stackoverflow.com/a/2784879

Array.prototype.deepSortAlpha= function(){
    var itm, L=arguments.length, order=arguments;

    var alphaSort= function(a, b){
        a= a.toLowerCase();
        b= b.toLowerCase();
        if(a== b) return 0;
        return a> b? 1:-1;
    }
    if(!L) return this.sort(alphaSort);

    this.sort(function(a, b){
        var tem= 0,  indx=0;
        while(tem==0 && indx<L){
            itm=order[indx];
            tem= alphaSort(a[itm], b[itm]); 
            indx+=1;        
        }
        return tem;
    });
    return this;
}

monArr = [
  ["EVOLAN", "libéléEVOLAN2", "applEVOLAN", "jobEVOLAN", "domEVOLAN", "caisse1", "endEVOLAN", "YES"],
  ["ALIS", "libéléALIS2", "applALIS", "jobALIS", "domALIS", "caisse2", "endALIS", "YES"],
  ["ALIS", "libéléALIS", "applALIS", "jobALIS", "domALIS", "caisse2", "endALIS", "YES"],
  ["ALIS", "libéléALIS", "applALIS", "jobALIS", "domALIS", "caisse3", "endALIS", "NO"],
  ["EVOLAN", "libéléEVOLAN", "applEVOLAN", "jobEVOLAN", "domEVOLAN", "caisse1", "endEVOLAN", "YES"],
  ["IAM", "libéléIAM1", "applIAM", "jobIAM", "domIAM", "caisse1", "endIAM", "YES"],
  ["IAM", "libéléIAM", "applIAM", "jobIAM", "domIAM", "caisse1", "endIAM", "YES"],
  ["OUI", "libéléOUI", "applOUI", "jobOUI", "domOUI", "caisse1", "endOUI", "YES"],
  ["ALIS", "libéléALIS2", "applALIS", "jobALIS", "domALIS", "caisse2", "endALIS", "NO"],
  ["EVOLAN", "libéléEVOLAN3", "applEVOLAN", "jobEVOLAN", "domEVOLAN", "caisse1", "endEVOLAN", "YES"],
  ["ALIS", "libéléALIS", "applALIS", "jobALIS", "domALIS", "caisse1", "endALIS", "YES"],
  ["IAM", "libéléIAM3", "applIAM", "jobIAM", "domIAM", "caisse1", "endIAM", "NO"],
  ["IAM", "libéléIAM2", "applIAM", "jobIAM", "domIAM", "caisse1", "endIAM", "NO"],
  ["IAM", "libéléIAM", "applIAM", "jobIAM", "domIAM", "caisse2", "endIAM", "NO"]
]
monArr.deepSortAlpha(0,1,7)
(14) [Array(8), Array(8), Array(8), Array(8), Array(8), Array(8), Array(8), Array(8), Array(8), Array(8), Array(8), Array(8), Array(8), Array(8)]
0:(8) ["ALIS", "libéléALIS", "applALIS", "jobALIS", "domALIS", "caisse3", "endALIS", "NO"]
1:(8) ["ALIS", "libéléALIS", "applALIS", "jobALIS", "domALIS", "caisse2", "endALIS", "YES"]
2:(8) ["ALIS", "libéléALIS", "applALIS", "jobALIS", "domALIS", "caisse1", "endALIS", "YES"]
3:(8) ["ALIS", "libéléALIS2", "applALIS", "jobALIS", "domALIS", "caisse2", "endALIS", "NO"]
4:(8) ["ALIS", "libéléALIS2", "applALIS", "jobALIS", "domALIS", "caisse2", "endALIS", "YES"]
5:(8) ["EVOLAN", "libéléEVOLAN", "applEVOLAN", "jobEVOLAN", "domEVOLAN", "caisse1", "endEVOLAN", "YES"]
6:(8) ["EVOLAN", "libéléEVOLAN2", "applEVOLAN", "jobEVOLAN", "domEVOLAN", "caisse1", "endEVOLAN", "YES"]
7:(8) ["EVOLAN", "libéléEVOLAN3", "applEVOLAN", "jobEVOLAN", "domEVOLAN", "caisse1", "endEVOLAN", "YES"]
8:(8) ["IAM", "libéléIAM", "applIAM", "jobIAM", "domIAM", "caisse2", "endIAM", "NO"]
9:(8) ["IAM", "libéléIAM", "applIAM", "jobIAM", "domIAM", "caisse1", "endIAM", "YES"]
10:(8) ["IAM", "libéléIAM1", "applIAM", "jobIAM", "domIAM", "caisse1", "endIAM", "YES"]
11:(8) ["IAM", "libéléIAM2", "applIAM", "jobIAM", "domIAM", "caisse1", "endIAM", "NO"]
12:(8) ["IAM", "libéléIAM3", "applIAM", "jobIAM", "domIAM", "caisse1", "endIAM", "NO"]
13:(8) ["OUI", "libéléOUI", "applOUI", "jobOUI", "domOUI", "caisse1", "endOUI", "YES"]

vthttpd -dump et requêtes SQL - tlist ameliore - vtexport.xml to csv

<Article mis à jour> J’ai rajouté pas mal de petites astuces sur cet article qui date de l’année dernière (filtre XSL - merci Joey pour l’inspiration !, parsing java, utilisation de Panda Python)

Une autre astuce avec le Webaccess VTOM vthttpd : on peut dump tout le contenu de la base VTOM en un fichier exploitable par SQLITE !

L’utilisation principale est de lister tous les jobs, à la manière d’un tlistmais avec beaucoup plus d’informations (dont les paramètres et le script)

Voici un petit exemple :

vthttpd -dump /var/tmp/vthttpd.dat
sqlite3 /var/tmp/vthttpd.dat
>
.tables  -- liste toutes les tables
pragma table_info(JOBS) ; -- liste les champs de la table JOBS
.schema JOBS ; -- idem mais avec le type de la colonne (varchar(35) par ex.)

On peut exécuter un script .sql :

sqlite3 /var/tmp/vthttpd.dat < /var/tmp/monfichier.sql

Et on grep sur ce qu’on souhaite

select j.JOB_SID, e.NAME, a.NAME, j.NAME, j.COMMENT, j.FAMILY, j.SCRIPT, h.NAME, u.NAME, q.NAME, d.NAME, GROUP_CONCAT(p.VALUE,'|')
from jobs j
left join applications a on j.APP_SID = a.APP_SID
left join environments e on a.ENV_SID = e.ENV_SID
left join hosts h on j.HOST_SID = h.HOST_SID or (ifnull(j.HOST_SID,'') = '' and ( a.HOST_SID = h.HOST_SID or (ifnull(a.HOST_SID,'') = '' and e.HOST_SID = h.HOST_SID) ) )
left join users u on j.USER_SID = u.USER_SID or (ifnull(j.USER_SID,'') = '' and ( a.USER_SID = u.USER_SID or (ifnull(a.USER_SID,'') = '' and e.USER_SID = u.USER_SID) ) )
left join queues q on j.QUEUE_SID = q.QUEUE_SID or (ifnull(j.QUEUE_SID,'') = '' and ( a.QUEUE_SID = q.QUEUE_SID or (ifnull(a.QUEUE_SID,'') = '' and e.QUEUE_SID = q.QUEUE_SID) ) )
left join dates d on j.DATE_SID = d.DATE_SID or (ifnull(j.DATE_SID,'') = '' and ( a.DATE_SID = d.DATE_SID or (ifnull(a.DATE_SID,'') = '' and e.DATE_SID = d.DATE_SID) ) )
left join job_parameters p on j.JOB_SID = p.JOB_SID
group by j.JOB_SID
;

ex.

root@acf59c2005cf:/mnt/workspace/temp# sqlite3 vthttpd.dat < all_jobs.sql
JOBac1100030a411a8d570cf93000000004|exploitation|appli_test|job2|||jobok.bat|client_local|vtom|queue_ksh|date_exp|
JOBac1100033f6aedb3570cf93000000002|exploitation|appli_test|job1|||jobok.bat|client_local|vtom|queue_ksh|date_exp|param1|param2|param3
JOBac1100036f024b9d570cf93000000006|exploitation|appli_test|job3|||jobok.bat|client_local|vtom|queue_ksh|date_exp|

(exemple en Java, P.I je ne suis pas expert en Java - je suis tombé sur des machines qui n’avaient pas sqlite3 … Ca ne suit surement pas les bonnes pratiques JAva mais ça fonctionne)

package top100_vthttpd_jobs_to_csv;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.Statement;

public class Top100Main {

	public static void main(String[] args) {
		Connection c = null;
		Statement stmt = null;
		String sepCSV = "," ;
		
		try {
			Class.forName("org.sqlite.JDBC");
			c = DriverManager.getConnection("jdbc:sqlite:D:\\workspace\\java\\top100_vthttpd_jobs_to_csv\\vthttpd.dat");
			c.setAutoCommit(false);
			stmt = c.createStatement();
			
			String allJobs = "select j.JOB_SID, e.NAME, a.NAME, j.NAME, j.COMMENT, j.FAMILY, j.SCRIPT, h.NAME, u.NAME, q.NAME, d.NAME, GROUP_CONCAT(p.VALUE,'|')"
					+ " from jobs j"
					+ " left join applications a on j.APP_SID = a.APP_SID"
					+ " left join environments e on a.ENV_SID = e.ENV_SID"
					+ " left join hosts h on j.HOST_SID = h.HOST_SID or (ifnull(j.HOST_SID,'') = '' and ( a.HOST_SID = h.HOST_SID or (ifnull(a.HOST_SID,'') = '' and e.HOST_SID = h.HOST_SID) ) )"
					+ " left join users u on j.USER_SID = u.USER_SID or (ifnull(j.USER_SID,'') = '' and ( a.USER_SID = u.USER_SID or (ifnull(a.USER_SID,'') = '' and e.USER_SID = u.USER_SID) ) )"
					+ " left join queues q on j.QUEUE_SID = q.QUEUE_SID or (ifnull(j.QUEUE_SID,'') = '' and ( a.QUEUE_SID = q.QUEUE_SID or (ifnull(a.QUEUE_SID,'') = '' and e.QUEUE_SID = q.QUEUE_SID) ) )"
					+ " left join dates d on j.DATE_SID = d.DATE_SID or (ifnull(j.DATE_SID,'') = '' and ( a.DATE_SID = d.DATE_SID or (ifnull(a.DATE_SID,'') = '' and e.DATE_SID = d.DATE_SID) ) )"
					+ " left join job_parameters p on j.JOB_SID = p.JOB_SID"
					+ " group by j.JOB_SID"
				//	+ " limit 10"
					+ " ;"
			;

			ResultSet rs = stmt.executeQuery( allJobs );
			
			
			while ( rs.next() ) {
			   String jSID = rs.getString(1);
			   String eName = rs.getString(2);
			   String aName = rs.getString(3);
			   String jName = rs.getString(4);
			   String jComment = rs.getString(5);
			   String jFamily = rs.getString(6);
			   String jScript = rs.getString(7);
			   String hName = rs.getString(8);
			   String uName = rs.getString(9);
			   String qName = rs.getString(10);
			   String dName = rs.getString(11);
			   String pValue = rs.getString(12);
			   System.out.print( 
					   //jSID + sepCSV + 
					   eName + sepCSV + aName + sepCSV + jName + sepCSV + jComment + sepCSV +
					   jFamily + sepCSV + jScript + sepCSV +hName + sepCSV + uName + sepCSV +
					   qName + sepCSV + dName + sepCSV + pValue
					);
			   System.out.println();
			}
		
			rs.close();
			stmt.close();
			c.close();
			
		}catch ( Exception e ) {
		  System.err.println( e.getClass().getName() + ": " + e.getMessage() );
		  System.exit(0);
		}

	}
}

Filtrer directement un fichier XML avec un fichier XSL et sortie en texte (pour du csv)

J’avais déjà utilisé ce langage de transformation XSL mais il m’était complétement sorti de la tête. Merci à JOEY de m’avoir inspriré ! :)

Fichier XSL de transformation (à adapter selon vos besoin)

<xsl:stylesheet version="2.0" xmlns:xsl="http://www.w3.org/1999/XSL/Transform">
  <xsl:output method="text" encoding="utf-8" />
  
  <!-- j'utilise cette sortie pour constituer mon fichier CSV utilisé en tant que data pour load dans Oracle une table avec SQLLDR et un fichier de controle .ctl -->
  <!--
  sqlldr do not set OPTIONALLY ENCLOSED BY '"' because this char appears in comments and params 

        LOAD DATA APPEND
        INTO TABLE nom_dela_table_oracle
        FIELDS TERMINATED BY "£"
        
        (
          "VTENVNAME"                     CHAR,
          "VTAPPLNAME"                    CHAR,
          "VTJOBNAME"                     CHAR,
          "APPMODE"                     CHAR,
          "JOBMODE"                     CHAR, 
          etc...
        )
  -->
  
  <xsl:param name="delimCSV" select="'£'" /><!-- j'utilise ce char car il n'est pas utilisé dans mon référentiel VTOM -->
  <xsl:param name="delimParam" select="'§'" />
  <xsl:param name="break" select="'&#xA;'" />
  <!--
  <xsl:value-of select="$delimCSV" />
   -->

  <xsl:template match="/">
	  <xsl:apply-templates select="Domain/Environments/Environment/Applications/Application/Jobs/Job" />
  </xsl:template>

  <!-- All Job node for root node -->
  <xsl:template match="Domain/Environments/Environment/Applications/Application/Jobs/Job">
    <xsl:value-of select="../../../../@name" /><xsl:value-of select="$delimCSV" />              <!-- EnvironmentName -->
    <xsl:value-of select="../../@name" /><xsl:value-of select="$delimCSV" />                    <!-- ApplicationName -->
    <xsl:value-of select="@name" /><xsl:value-of select="$delimCSV" />                          <!-- JobName -->
    <xsl:value-of select="../../@mode" /><xsl:value-of select="$delimCSV" />                    <!-- ApplicationMode -->
    <xsl:value-of select="@mode" /><xsl:value-of select="$delimCSV" />                          <!-- JobMode -->
    <xsl:value-of select="../../@onDemand" /><xsl:value-of select="$delimCSV" />                <!-- ApplicationOnDemand -->
    <xsl:value-of select="@onDemand" /><xsl:value-of select="$delimCSV" />                      <!-- JobOnDemand -->
    <xsl:value-of select="Script/text()" /><xsl:value-of select="$delimCSV" />                  <!-- Script -->
    <xsl:apply-templates select="Parameters/Parameter" /><xsl:value-of select="$delimCSV" />    <!-- Parameters -->
    <xsl:value-of select="../../../../../../@name" /><xsl:value-of select="$delimCSV" />        <!-- DomainName -->
    <xsl:value-of select="$break" />
  </xsl:template>

  <!-- All Parameter node for Job node -->
  <xsl:template match="Parameters/Parameter">
    <xsl:value-of select="text()" /><xsl:value-of select="$delimParam" />                       <!-- Parameter -->
  </xsl:template>  

</xsl:stylesheet>

Pour appliquer le fichier XSL au fichier XML vtexport VTOM, on peut faire ça assez simplement avec une class Java (Stylizer) fournie par Oracle.

Si vous voulez plus d’information sur la classe et la télécharger, voici le lien Oracle Transforming XML Data with XSLT.

# Compiler le code source java pour créer votre class Stylizer.class, A ne faire qu'une fois. La classe doit se trouver dans votre CLASSPATH (variable d'environnement)
javac Stylizer.java

# Lancer la commande pour transformer votre XML avec le fichier XSL
java Stylizer votrefichier.xsl vtorefichier.xml

Parser le vtexport XML VTOM en “pur” Java (un peu long)

package vtexport_xml_to_csv;

import java.io.File;
import java.io.FileWriter ;
import java.io.IOException;
import java.util.Date;

import javax.xml.parsers.DocumentBuilder;
import javax.xml.parsers.DocumentBuilderFactory;
import javax.xml.parsers.ParserConfigurationException;
import javax.xml.xpath.XPath;
import javax.xml.xpath.XPathFactory;
import javax.xml.xpath.XPathConstants ;
import javax.xml.xpath.XPathExpressionException;

import org.w3c.dom.Document;
import org.w3c.dom.NodeList;
import org.w3c.dom.Node;
import org.xml.sax.SAXException;

public class VtexportXML {
	private static String xmlPath ;
	private static Document document;
	private static final String separateurCSV = "£" ;
	private static final String separateurEscape = "§" ;
	private static String domainName;
	
	public static void main(String[] args) throws ParserConfigurationException, SAXException, IOException, XPathExpressionException {
		if (args.length == 1) {
			setXmlPath(args[0]);
		}else{
			System.err.println("Usage : 1 paramètre nécessaire");
			System.err.println("1 : chemin complet du fichier xml");
	        System.exit(1);
		}

        final DocumentBuilderFactory factory = DocumentBuilderFactory.newInstance();    	
        final DocumentBuilder builder = factory.newDocumentBuilder();
	    setDocument( builder.parse( new File( getXmlPath() ) ) );
    	listAllJobs();
	}

	public static String getXmlPath() {
		return xmlPath;
	}

	public static void setXmlPath(String xmlPath) {
		VtexportXML.xmlPath = xmlPath;
	}
	
	public static Document getDocument() {
		return document;
	}

	public static void setDocument(Document document) {
		VtexportXML.document = document;
	}
	
	public static void listAllJobs() throws XPathExpressionException, IOException{
		System.out.println(new Date()) ;
		
		File file = new File(getXmlPath() + ".txt");
		// creates the file
		file.createNewFile();
		// creates a FileWriter Object
		FileWriter writer = new FileWriter(file); 
		
		// xPath instance
		XPath xPath =  XPathFactory.newInstance().newXPath();
		// set DomainName 
		setDomainName((String) xPath.compile("/Domain/@name").evaluate( getDocument() ) );
		
		// get all nodelist job
		NodeList nodeList = (NodeList) xPath.compile("/Domain/Environments/Environment/Applications/Application/Jobs/Job").evaluate(getDocument(),XPathConstants.NODESET);	
		
		int percentDone = 1 ;
		System.out.print("0%.");
		
		// loop over nodelist job
		for(int i = 0; i < nodeList.getLength() ; i++){
			
			// print evolution running script %
			if(! ( (i * 100 / nodeList.getLength()) < percentDone ) ){
				percentDone++ ;
				if(percentDone % 10 == 0){
					System.out.print(percentDone + "%");
				}else{
					System.out.print(".");
				}
			}
			
			// job node
			Node jobNode = (Node) nodeList.item(i) ;
			
			// nodelist parameters
			NodeList parametersNodes = (NodeList) xPath.evaluate("Parameters/Parameter",jobNode,XPathConstants.NODESET) ;
			String[] parameters = new String [ parametersNodes.getLength() ] ;
			
			// all parameters as an Array
			for(int j = 0 ; j < parametersNodes.getLength() ; j++){
				parameters[j] = ((Node) parametersNodes.item(j)).getTextContent() ;
			}
			
			writer.write(
				
				separateurEscape + xPath.evaluate("../../../../@name", jobNode) + separateurEscape + separateurCSV +	// envName
				separateurEscape + xPath.evaluate("../../@name", jobNode) + separateurEscape + separateurCSV +			// appName
				separateurEscape + xPath.evaluate("@name", jobNode) + separateurEscape + separateurCSV +				// jobName
				separateurEscape + xPath.evaluate("../../@mode", jobNode) + separateurEscape + separateurCSV +			// AppMode
				separateurEscape + xPath.evaluate("@mode", jobNode) + separateurEscape + separateurCSV +				// JobMode
				separateurEscape + xPath.evaluate("../../@onDemand", jobNode) + separateurEscape + separateurCSV +		// AppOnDemand
				separateurEscape + xPath.evaluate("@onDemand", jobNode) + separateurEscape + separateurCSV +			// JobOnDemand
				separateurEscape + xPath.evaluate("Script",jobNode) + separateurEscape + separateurCSV +				// Script
				separateurEscape + String.join("|", parameters) + separateurEscape + separateurCSV + 					// Parameters
				separateurEscape + getDomainName() + separateurEscape + separateurCSV									// DomainName
				+ "\n"
			);
			
		}

		// Flush the content to the file
		writer.flush();
		writer.close();
		
		// print prompt running script
		System.out.println();
		System.out.println("Fichier en sortie : " + file.getAbsolutePath());
		System.out.println(new Date() + " The end");
	}

	public static String getDomainName() {
		return domainName;
	}

	public static void setDomainName(String domainName) {
		VtexportXML.domainName = domainName;
	}

}

Autre pour moi

Reminder pour moi : consolidation des statistiques VTOM (en attendant que tout soit dans la base postgres, je passe par le vthttpd dump)

plateforme=up2
vthttpdDat=vthttpd_${plateforme}.dat
allJobsSQL=all_jobs.sql
allJobs1to1=all_jobsSID_1to1Param_${plateforme}.txt
allJobsManyTo1=all_jobsSID_manyTo1Param_${plateforme}.txt
outputStats=stats_${plateforme}
vtsgbdPort=30509
hostFilter=HOST1

test -f $vthttpdDat && rm $vthttpdDat
vthttpd -dump $vthttpdDat
sqlite3 $vthttpdDat < $allJobsSQL |  awk 'BEGIN{ FS="|" ; OFS="|" } { l=length($10) ; if(l == 2) { $10="0"$10 ;} ;  if(l == 1){ $10="00"$10 }  ; print}' | sort -g  >  $allJobs1to1

### All jobs manyto1 parameters
awk -F "|" 'BEGIN{ job_sid=null;} {if($1 == job_sid){ printf "|%s",$11 }else{ if(job_sid != null){ printf "\n" } ; printf "%s|%s|%s|%s|%s|%s|%s|%s|%s|%s",$1,$2,$3,$4,$5,$6,$7,$8,$9,$11 } ; job_sid=$1 ;}' $allJobs1to1 | sort > $allJobsManyTo1

# get stats with filters (modify where clauses)   
# select vtobjectsid,vtenvname, vtapplname, vtjobname, vtbegin, (vtend::timestamp - vtbegin::timestamp), vtend, vtexpdatevalue, vthostname, vtusername, vtbqueuename, vtdatename,vtstatus, vterrmess  
~/sgbd/bin/psql -d vtom -p $vtsgbdPort << EOF
\pset tuples_only
\pset footer off
\a
\o $outputStats
select vtobjectsid,vtbegin,(vtend::timestamp - vtbegin::timestamp),vtend,vtexpdatevalue,vtstatus,vterrmess
from vt_stats_job 
where vthostname = '$hostFilter' 
and (vtend::timestamp - vtbegin::timestamp) >= '00:10:00'
order by (vtend::timestamp - vtbegin::timestamp) 
;
EOF

Très long avec Awk (beaucoup d’itération :x)

awk -v fic=$allJobsManyTo1 'BEGIN{
    OFS="|";FS="|";
    i=0 ;
    while ((getline line < fic ) > 0){
        tAllJobsManyTo1[i]=line ;
        i++ ;
    }
    close (fic) ;
    
}{
    if($1 ~ /^APP/){
      print $0;
      next
    }
    jobSID=$1 ;
    lineStats=$0 ;
    
    for (i in tAllJobsManyTo1){
        split(tAllJobsManyTo1[i],tLine,"|");
   
        if( tLine[1] == jobSID ){
          script=tLine[5] ;
          printf "%s|%s\n",lineStats,script ;
          delete  tAllJobsManyTo1[i] ;
          break; 
        }
    }
    
}' /var/tmp/stats

Beaucoup plus rapide avec Pandas - Python :

import pandas

my_cols_csv1 = [ "vtobjectsid","vtbegin","vtduration","vtend","vtexpdatevalue","vtstatus","vterrmess" ]
csv1 = pandas.read_csv('stats_up2',delimiter=r"|",names=my_cols_csv1)
my_cols=["vtobjectsid","env","app","job","script","host","user","queue","vtdatename","param"]
my_cols=my_cols + range(150)
csv2 = pandas.read_csv('all_jobsSID_manyTo1Param_up2.txt',names=my_cols, sep="|")
merge = pandas.merge(csv1,csv2, on='vtobjectsid')
merge.to_csv("output.csv")

	vtobjectsid	vtbegin	vtduration	vtend	vtexpdatevalue	vtstatus	vterrmess	env	app	job	script	host	user	queue	vtdatename	param
0	JOB7ef5b39400006ad956a6113e00014e22	19/03/2016 03:58	00:10:00	19/03/2016 04:08	19/03/2016	3	Termine a 04:08:30	ENV1	poz12daj1	p800ostp1	PATH_DWH_SHELL/OSEF_odi.ksh	HOST1	prdwh12	queue_ksh	ENV1J_12_rdwh	
1	JOB7ef5b39400006ad956a6113e00014e22	03/03/2016 03:29	00:12:24	03/03/2016 03:42	03/03/2016	3	Termine a 03:42:17	ENV1	poz12daj1	p800ostp1	PATH_DWH_SHELL/OSEF_odi.ksh	HOST1	prdwh12	queue_ksh	ENV1_12_rdwh	

Ressource pile

Lister le contenu de la ressource pile VTOM

tpush -name <nom ressource pile> -info
```
valeur         : 1
contenu:
1
2
3
```
Le problème, c’est qu’on a des informations qu’on ne souhaite pas forcément. Pas très pratique pour faire une boucle for par exemple.

On filtre avec awk tous les élements de la ressource pile VTOM qui sont après le mot contenu et où la ligne n’est pas vide (dernière ligne vide dans le résultat de mon tpush)
```
tpush -name <nom ressource pile> -info | select -skip 3  | select-string -NotMatch "^$"
```
```
tpush -name <nom ressource pile> -info | awk '\
BEGIN{ligneContenu="x";nbValues=0;}\
($1 ~ /contenu/ || NR > ligneContenu) && $0 != ""\
{\
if(ligneContenu == "x"){ ligneContenu = NR ; next } ;\
print $0;\
}'
1
2
3
```
Compter le nombre d’éléments dans la pile
```
(tpush -name <nom ressource pile> -info | select -skip 3  | select-string -NotMatch "^$").count
```
```
tpush -name <nom ressource pile> -info | awk '\
BEGIN{ligneContenu="x";nbValues=0;}\
($1 ~ /contenu/ || NR > ligneContenu) && $0 != ""\
{\
if(ligneContenu == "x"){ ligneContenu = NR ; next } ;\
nbValues++;\
}\
END{print nbValues}'
3
```
Afficher le premier élément de la ressource pile VTOM

tval -name <nom ressource pile>

Vider le premier élément de la ressource pile VTOM
```
tpop -name <nom ressource pile>
OK: <nom ressource pile>

# le premier élément 1 que j'avais dans ma pile a été supprimé
tpush -name <nom ressource pile> -info
valeur         : 2
contenu:
2
3
```
Ajouter un élément à la fin de la ressource pile VTOM
```
tpush -name <nom ressource pile> -value 1
OK: 1

# la valeur 1 a été rajoutée en fin de pile
tpush -name <nom ressource pile> -info
valeur         : 2
contenu:
2
3
1
```
Vider tous les éléments de la ressource pile VTOM

tempty -name <nom ressource pile>

A quoi ça sert ?

Dans VTOM

Une ressource pile VTOM peut être attendue sur une application ou un traitement
- Présent = au moins un élement dans la pile
- Absent = aucun élément dans la pile
mis à jour sur mon v5.7, on dit "Vide" et "Non vide" au lieu de présent/absent (plus logique remarquez)

Pratique par exemple pour exécuter une cyclique autant de fois que qu’il y a d’éléments dans une pile.

Sur une remarque de nagnag, je me rends compte que ce que je dis peut prêter à confusion. La pile ne se décharge pas automatiquement à chaque exécution de la cyclique. C'est bien un mécanisme perso par tpop (via un job/script) qui doit dépiler à chaque cycle.

Autre exemple plus tordu : on a une pile initialisée avec n éléments (avec n = nombre de couloirs attendus, ces couloirs sont sur des environnements ou des serveurs VTOM différents par exemple), à chaque fois qu’un couloir (une chaine) est terminé, on dépile d’1 élément la ressource ; une autre chaine attend que les n couloirs se soient exécutés (la tête de chaine attend la ressource pile à Absent)

Une ressource pile VTOM peut être ajoutée en tant que paramètre d’un traitement

Le traitement peut prendre en paramètre la ressource pile qui aura comme valeur le premier élément de cette dernière {nomressource}, on peut aussi vouloir le nom de la ressource plutôt que sa valeur {nomressource,name}.

Dans les scripts

Et pourquoi pas ?

Exemple : à l’issue d’une sauvegarde, vous empilez le nom de la sauvegarde et son statut (un genre de clé:valeur, tpush -name <nom de la ressource> -value "masave1:OK"). à l’issue de toutes vos sauvegardes, ou le matin, vous faites un reporting en dépilant tous les élements (tval pour récupérer la valeur courante, tpop pour supprimer la valeur courante). Ainsi, par exemple, on peut envoyé par mail un tableau avec le nom de la sauvegarde et OK vert ou KO rouge.

Les axes d’améliorations que j’aimerais voir

C’est bien dommage qu’on soit limité à Présent ou Absent. J’aimerais voir apparaître le $#index [<>=!] value et qui conditionnerait le lancement si le nombre total d’éléments ($#index) était égal (ou autre comparateur) à une certaine valeur (value).

Bien dommage aussi qu’on ne puisse pas supprimer l’index souhaité ou ajouter avant/après l’index souhaité, genre de splice (c’est du FIFO, premier arrivé, premier sorti)
Border Line VTOM

Si vous lisez ces mots, c’est que le côté obscur vous a déjà envahi et que le border line ne vous fait pas peur !

Par conséquent, ce qui va suivre ne vous effraiera point et pourrait même vous intéresser

(mais quand même, attention à vos prod, ne jouez que sur vos bacs à sable !)

Ouvrir les DBF (ne concerne que les versions < v6.1 VTOM)

Les .dbf c’est les fichiers de Table qui constituent la base de données VTOM actuelle (bientôt full Postgres SQL, adieu les .dbf) dans votre répertoire TOM_BASES (ou de votre vtbackup)
- installer simpledbf et pandas pour Python
```
from simpledbf import Dbf5
dbf = Dbf5('/mnt/workspace/temp/monvtbackup/appl.dbf', codec='latin-1')
dbf.to_csv('/mnt/workspace/temp/appl.csv')
```
Restaurer votre pg_dump_sgbd.backup en un fichier SQL exploitable
```
$TOM_HOME/sgbd/bin/pg_restore /mnt/workspace/temp/monvtbackup/pg_dump.bakcup > /mnt/workspace/temp/pg_dump.sql
```
vtexport, vthtools, vtstools, vtping …

On peut tout faire à distance (ou localement pour changer d’instance VTOM si plusieurs VTOM d’installés sur le même serveur).

Il suffit de :
- récupérer les ports dans /etc/services
- avoir à disposition les binaires (user vtom qui charge les variables d’environnement $TOM_ADMIN/vtom_init.ksh ou avoir copié quelque part les binaires)
- exporter les variables
```
export TOM_REMOTE_SERVER=monserveurdistant
export TOM_PORT_vtsgbd=30509
export TOM_PORT_vtserver=30507

# quelques exemples de commandes qui afficheront les résultats comme si on était sur le serveur distant
vtping
vtstools -x -e "01-01-2000 00:00:00 07-06-2016 23:59:00" 
```
plus dangereux, vtaddaccount

Imaginons que j’importe la base de PROD sur mon bac à sable pour faire des tests (je suis un hacker gentil quand même hein).

Imaginons que je n’ai pas de user / mdp pour effectuer des modifications. On rajoute le user TOM avec un profil par défaut.
```
vtaddaccount -l 
vtom@36122a68438c:/mnt/workspace$ vtaddaccount -l
Nom           : ADM_prf
Commentaire   :

Nom           : PIL_PROD_prf
Commentaire   :

Nom           : TOM_prf
Commentaire   :

vtaddaccount -n TOM -p TOM -d ADM_prf
```
Et biensûr, je peux faire ça à distance avec la magie du export TOM_REMOTE_SERVER etc.

Accéder aux stats directement depuis la base VTOM
```
$TOM_HOME/sgbd/bin/psql -d vtom -p VOTRE_PORT_SGBD << EOF
\pset tuples_only
\pset footer off
\a
select *
from vt_stats_job 
limit 1
;
EOF

# autre exemple de requête pour avoir tous les traitements TERMINE ou en ERREUR
\pset footer off
\t
\f ;
\a
\o /var/tmp/20160125-123246_export_stats.csv
select vtenvname,vtapplname,vtjobname,
CASE WHEN vtstatus=4 THEN 'EN-ERREUR'
  WHEN vtstatus=3 THEN 'TERMINE'
END,
to_char(vtbegin,'DD-MM-YYYY HH24:MI:SS'),to_char(vtend,'DD-MM-YYYY HH24:MI:SS'),vterrmess,to_char(vtexpdatevalue,'DD-MM-YYYY HH24:MI:SS'),'MONDOMAINE',vtfamily,vthostname,vtbqueuename,vtusername,vtcomment,''
from vt_stats_job
where vtjobname != ''
and (vtstatus = 3 or vtstatus = 4)
;
```

Ultimate tlist filter VTOM ! Filtre XSL du vtexport XML

Liste des filtres XSL que je créé au fil des besoins

unlock a locked date

retrieve corresponding environment/application for a specific date?

Lister, afficher, récupérer

les options intéressantes

Quelques commandes FTP

Quelques commandes SFTP

Bug rencontré sur AIX

sinon curl c’est aussi …

Mon besoin en Javascript

Fonction

Exemple

Pour aller plus loin

sort sur un tableau de tableaux sur plusieurs index

Filtrer directement un fichier XML avec un fichier XSL et sortie en texte (pour du csv)

Parser le vtexport XML VTOM en “pur” Java (un peu long)

Autre pour moi

Lister le contenu de la ressource pile VTOM

Compter le nombre d’éléments dans la pile

Afficher le premier élément de la ressource pile VTOM

Vider le premier élément de la ressource pile VTOM

Ajouter un élément à la fin de la ressource pile VTOM

Vider tous les éléments de la ressource pile VTOM

A quoi ça sert ?

Dans VTOM

Une ressource pile VTOM peut être attendue sur une application ou un traitement

Une ressource pile VTOM peut être ajoutée en tant que paramètre d’un traitement

Dans les scripts

Les axes d’améliorations que j’aimerais voir

Ouvrir les DBF (ne concerne que les versions < v6.1 VTOM)

Restaurer votre pg_dump_sgbd.backup en un fichier SQL exploitable

vtexport, vthtools, vtstools, vtping …

plus dangereux, vtaddaccount

Accéder aux stats directement depuis la base VTOM