vtexport parametresjson modèle de job démultiplication de chaine vtom

J’en avais déjà discuté sur ce blog, certaines données, notamment dans le vtexport, sont “encodées” dirons-nous.
Pas très pratique pour faire des modifications. Un peu mieux et en clair sur l’export xml en ce qui concerne les modèles de job vtom (type Transferts) mais ça reste une chaîne de caractère qui représente le job sous format JSON.

Allez ! petit exercice sympa que j’ai eu à faire récemment, démultiplication d’une chaine de jobs de transfert - basés sur Modèle de Job VTOM Transfert donc - sur multibanques et multi-typedefichier.
~ 300 jobs, hors de question que je conceptionne (immaculée) à la main.

(voir plus) vtexport parametresjson modèle de job démultiplication de chaine vtom

24-05-2024

Exemple script python API VTOM

Petit script python pour donner un exemple de ce qu’il est désormais possible de faire avec les API VTOM. Le besoin : écrire dans un fichier texte la liste de tous les agents de plusieurs unités de soumission qui match un certain patern (ex tous les agents des “lot_1” de “win” commanençant par “PATCH”).

Article complet ici

Opérateurs binaire exemple concret

Une vidéo de Grafikart m’a inspiré pour un besoin que j’avais en javascript pour stocker en base les horaires cron des utilisateurs pour déclencher des alarmes.

// ex. Le nombre binaire 000000000000000001000000 est équivalent à l'entier 64.
// getChoices(64) donnera donc [ 7 ]
// Le nombre binaire 000000000000000001000001 est équivalent à l'entier 65.
// getChoices(65) donnera donc [ 1, 7 ]
function getChoices(number) {
    let choices = [];
    let position = 1;

    while (number > 0) {
        // Si le bit de poids faible est 1, ajoutez la position à la liste des choix
        if ((number & 1) === 1) {
            choices.push(position);
        }

        // Décalez les bits vers la droite et passez à la position suivante
        number >>= 1;
        position++;
    }

    return choices;
}
// fonction inverse, on donne le tableau en entrée pour donner l'entier correspondants des heures
// getNumber( [1, 7] ) donnera 65
function getNumber(choices) {
    let number = 0;
    for (let i = 0; i < choices.length; i++) {
        let position = choices[i];
        // Définir le bit à la position spécifiée à 1
        number |= 1 << (position - 1);
    }
    return number;
}

Les sources :

Lien MDN Javascript Grafikart opérateurs binaires

Opérateurs binaires

Un opérateur binaire traite les opérandes comme des suites de 32 bits (des zéros ou des uns) plutôt que comme des nombres décimaux, hexadécimaux et octaux. Ainsi, le nombre décimal 9 se représente en binaire comme 1001. Les opérateurs binaires effectuent leur opération sur des représentations binaires et renvoient des valeurs numériques.

Le tableau qui suit détaille les opérateurs binaires JavaScript.

Opérateur	Utilisation	Description
ET binaire	`a & b`	Renvoie un à chaque position pour laquelle les bits des deux opérandes valent un.
OU binaire	`a \| b`	Renvoie un zéro à chaque position pour laquelle les bits des deux opérandes valent zéro.
OU exclusif binaire	`a ^ b`	Renvoie un zéro à chaque position pour laquelle les bits sont les mêmes. [Renvoie un à chaque position où les bits sont différents.]
NON binaire	`~ a`	Inverse les bits de l'opérande.
Décalage à gauche	`a << b`	Décale la représentation binaire de `a` de `b` bits vers la gauche, en ajoutant des zéros à droite.
Décalage à droite avec propagation du signe	`a >> b`	Décale la représentation binaire de `a` de `b` bits vers la droite, enlevant les bits en trop.
Décalage à droite avec remplissage à zéro	`a >>> b`	Décale la représentation binaire de `a` de `b` bits vers la droite, enlevant les bits en trop et en ajoutant des zéros à gauche.

Opérateurs binaires logiques

Les opérateurs logiques binaires fonctionnent de la façon suivante :

Les opérandes sont convertis en entiers sur 32 bits. Pour les nombres dont la valeur binaire dépasse 32 bits, les bits les plus hauts sont abandonnés. Ainsi, l'entier suivant sur plus de 32 bits sera converti en entier sur 32 bits :
```
Avant : 1110 0110 1111 1010 0000 0000 0000 0110 0000 0000 0001
Après :                1010 0000 0000 0000 0110 0000 0000 0001
```
Chaque bit du premier opérande est associé au bit correspondant du second opérande : le premier bit avec le premier bit, le second avec le second et ainsi de suite.
L'opérateur est appliqué sur chaque paire ainsi constituée et le résultat est construit en binaire.

Par exemple, la représentation binaire du nombre décimal 9 est 1001, et celle du nombre décimal 15 est 1111. Aussi, quand on utilise les opérateurs binaires sur ces valeurs, on a les résultats suivants :

Expression	Résultat	Description binaire
`15 & 9`	`9`	`1111 & 1001 = 1001`
`15 \| 9`	`15`	`1111 \| 1001 = 1111`
`15 ^ 9`	`6`	`1111 ^ 1001 = 0110`
`~15`	`-16`	`~ 0000 0000 … 0000 1111 = 1111 1111 … 1111 0000`
`~9`	`-10`	`~ 0000 0000 … 0000 1001 = 1111 1111 … 1111 0110`

On notera que tous les 32 bits sont inversés lors de l'utilisation de l'opérateur NON binaire et que les valeurs avec le bit le plus à gauche à 1 représentent des valeurs négatives (représentation en complément à deux). Aussi, l'évaluation de ~x fournira la même valeur que -x - 1.

Opérateurs de décalage binaire

Les opérateurs de décalage binaire utilisent deux opérandes : celui de gauche est la quantité sur laquelle effectuer le décalage et celui de droite indique le nombre de bits à décaler. La direction de l'opération de décalage dépend de l'opérateur utilisé.

Les opérateurs de décalage convertissent leurs opérandes en entiers sur 32 bits et renvoient un résultat de type Number ou BigInt selon la règle suivante : si l'opérande gauche est de type BigInt, la valeur de retour sera de type BigInt et sinon, la valeur de retour sera de type Number.

Les opérateurs de décalage sont listés dans le tableau suivant.

Opérateurs de décalage binaire
Opérateur	Description	Exemple
Décalage à gauche (`<<`)	Cet opérateur décale la valeur du premier opérande du nombre de bits indiqué vers la gauche. Les bits en trop sont abandonnés et des bits à 0 sont ajoutés sur la droite.	`9<<2` donne `36`, car `1001`, décalé de 2 bits à gauche vaut `100100` en binaire, ce qui correspond à `36` en décimal.
Décalage à droite avec propagation du signe (`>>`)	Cet opérateur décale la valeur du premier opérande du nombre de bits indiqué vers la droite. Les bits en trop à droite sont abandonnés. Des copies du bit le plus à gauche sont ajoutés sur la gauche.	`9>>2` donne `2`, car `1001` décalé de 2 bits à droite vaut `10` en binaire, ce qui correspond à `2` en décimal. De même, `-9>>2` donne `-3`, car le signe est conservé.
Décalage à droite avec remplissage à zéro (`>>>`)	Cet opérateur décale la valeur du premier opérande du nombre de bits indiqué vers la droite. Les bits en trop à droite sont abandonnés. Des bits à zéro sont ajoutés sur la gauche.	`19>>>2` donne `4`, car `10011` décalé de deux bits à droite devient `100` en binaire, ce qui vaut `4` en décimal. Pour les valeurs positives, le décalage à droite avec remplissage à zéro et le décalage à droite avec propagation du signe fourniront le même résultat.

Une autre façon de parcourir et rechercher des infos dans VTOM

Ex. Dates non utilisées dans aucun env

# Charger le fichier XML dans une variable
[xml]$xml = Get-Content "vtexport.xml"

# Extraire tous les noms de dates
$dateNames = $xmlContent.Domain.Dates.Date | ForEach-Object { $_.name }

# Extraire tous les noms utilisés
$usedNames = $xmlContent.Domain.Environments.Environment.UsedDates.names -split ' '

# Trouver les noms de dates qui ne sont pas utilisés
$unusedNames = $dateNames | Where-Object { $_ -notin $usedNames }

# Afficher les noms non utilisés
$unusedNames

Lister les dates VTOM liées à plusieurs environnements

$data = vtlist env/date | ConvertFrom-Csv -Delimiter "`t" -Header ENV, DATE

$groupedData = $data | Group-Object DATE | ForEach-Object {
    [PSCustomObject]@{
        DATE = $_.Name
        ENV = ($_.Group.ENV | Sort-Object -Unique) -join ', '
    }
}

$sortedData = $groupedData | Sort-Object { ($_.ENV.Split(',').Count) } -Descending

$filteredData = $sortedData | Where-Object { ($_.ENV.Split(',').Count) -ge 2 }

$filteredData

Suppression profil vtom impossible

vtdelprofile /name groupe_jedi
.\cs\jsrv_cs_profile.c (364) - jsrv_deleteProfile(PRO0a7700fxx0002cd65xxfd6c9300000000) errorLa commande de suppression de profil a echoue.

Ou que dans l’IHM vous essayez de supprimer le profil qui n’est lié à aucun compte utilisateur mais que ça ne fait rien, cherchez du côté des télédiffusions.
Il est probable que des lots de télédif soient liés à ce profil.

(vttdf /list kit) | foreach { echo "vttdf /del kit /name `"$(($_ -split "`t")[0])`" /profile `"$(($_ -split "`t")[1])`"" }
# vous grep les lots avec votre profil en question
vtdelprofile /name groupe_jedi
La commande de suppression de profil a abouti.

Sorcellerie bug accolade dans param

v7.1.1b5
Petit bug si { ouvrante dans un paramètre vtom (genre un mdp, oui je sais c’est mal). Quand vtom envoie dans la queue, on retrouve une accolade fermante } (en trop du coup).
Sorcellerie de dev chez Absyss, palliatif qui fonctionne en tous cas, en attendant de résoudre, rajouter E[]| devant le paramètre en question.
Ex.
```
Dans l'onglet Param du job VTOM :
/mdp:"bonjour{tralala"

== bug on retrouve au final dans la queue / script :
/mdp:"bonjour{tralala"}

Palliatif :
E[]|/mdp:"bonjour{tralala"
```
D’ailleurs si vous voulez identifier vos jobs concernés, c’est un peu pénible car beaucoup de jobs avec param {} notamment pour les ressources. Pas si évident à chercher. Sinon vtexport -x et chercher la pattern regex ^.*{[^}]+$, vous aurez les “test {“ des formules de planning, vous excluez ça et vous avez vos vraies lignes.
Bug queue_wnt de base Absyss

v7.1.1b5
petit binz avec la queue_wnt de base de chez Absyss. J’ai des doubles quotes qui ne vont pas.
Coup du sort, j’ai un compère porscheboxster77 qui a eu le même problème 2 jours avant moi.
Ca fait des trucs du genre :
```
Arguments: """TEST ESPACE"" "
ESPACE""=="" was unexpected at this time.
```
C’est pas grand chose, c’est leur loop args qui merdouille. On peut remplacer :
```
:argloop
shift
if "%0"=="" goto argend
set arg=%arg% %0
goto argloop
:argend

call "%TOM_SCRIPT%" %arg%


en :
call "%TOM_SCRIPT%" %*
```
c’est assez drôle d’ailleurs, car ils fournissent une nouvelle queue à ma connaissance submit_queue_wnt_space.bat qui fait appel à une nouvelle variable TOM_ que je ne connaissais pas :
```
rem :argloop
rem shift
rem if "%0"=="" goto argend
rem set arg=%arg% %0
rem goto argloop
rem :argend

rem call "%TOM_SCRIPT%" %arg%
call "%TOM_SCRIPT%" %TOM_SCRIPT_ARGS%
```
Comme quoi, on ne devait pas être les seuls ^^

No log, exit en erreur, saut de ligne dans param

v7.1.1b5
Petit bug mais plutôt sain en fait. Disons que je n’avais pas le cas avant mais ça me semble normal que ça plante.
Saut de ligne dans Param du job vtom == plantage du script, pas de log, et retour chelou dans vtom avec le bon tsend.
Ca sent le vieux copié / collé depuis excel dans le param du job.
Pour les repérer, vtexport -x et chercher la pattern regex ^]]></Parameter>$

Editer le job en question et supprimer à la mano l’espace à la fin, ça règle le problème.

# là on voit bien les sauts de lignes sur param 2, 3, 4, 5, 6, 7
            <Job name="put_luke_contacts" retained="0" family="leia" comment="Depot du fichiers en provenance du cyberespac" information=" " frequency="D" onDemand="0" isAsked="0" cycleEnabled="0" cycle="00:00:00" minStart="04:10:00" maxStart="23:10:00" mode="E" hostsGroup="starship" queue="queue_sh" user="skyw" retcode="-1" status="W" statusTime="29-11-2023 09:55:12" substatus="0" appInErr="1" descOnErr="0" blockDate="0" restartType="M" restartCount="0" restartMax="1" restartDelay="00:00:00" restartLabel="0" timeBegin="1701251193" timeEnd="1701251195" ipid="0" mepType="E">
              <Script><![CDATA[#/usr/local/spool/SCRIPTS/transfert_ftp.sh]]></Script>
              <Parameters>
                <Parameter><![CDATA[--client "anakin"]]></Parameter>
                <Parameter><![CDATA[--ip 1.1.1.1
]]></Parameter>
                <Parameter><![CDATA[--action put
]]></Parameter>
                <Parameter><![CDATA[--rep-source "/usr/local/spool/leia/EM"
]]></Parameter>
                <Parameter><![CDATA[--rep-cible /ImportAuto/
]]></Parameter>
                <Parameter><![CDATA[--on-error stop
]]></Parameter>
                <Parameter><![CDATA[--file-name csv
]]></Parameter>
                <Parameter><![CDATA[--delete]]></Parameter>
                <Parameter><![CDATA[--function sftp]]></Parameter>
                <Parameter><![CDATA[--ftp-mode --ftp-pasv]]></Parameter>
              </Parameters>
              <Node objectType="job" x="270" y="260" z="0"/>
            </Job>

WARNING SID UNKNOWN_SID vtexport

Si vous avez déjà eu ce genre de problème lors d’un vtexport filtré avec WARNING SID :
```
PS E:\temp> vtexport -x > e:\temp\vtexport.xml
vtexport elapsed time : 9s 147ms

PS E:\temp> vtexport -x -f * > e:\temp\vtexport.xml
WARNING SID 'DAT752' not found in map 'date'.
WARNING SID 'RES1b2d' not found in map 'ressource'.
WARNING SID 'DAT753' not found in map 'date'.
WARNING SID 'RES1b2b' not found in map 'ressource'.
Le controle d'integrite a detecte des anomalies, vtexport interrompu 
```
Rajoutez /forceExport à votre commande et faites une recherche de “UNKNOWN_SID” à l’intérieur de l’export pour voir les objets impactés.
Avec un peu de chance, un simple “Définir et OK” sur l’objet résoudra le problème.
Sinon copier / coller l’app ou le job en question vu dans l’export avec “UNKNOWN_SID” et supprimer l’ancien (bourrin mais ça fonctionne, attention à vos liens, mise en exploit, tout ça).