Clients VTOM zones Solaris

Sur les superclusters Solaris, il ne faut pas faire un simple ps -eaf | grep bdaemon sous peine de voir tous les clients VTOM de toutes les zones (sortes de guest) du supercluster.

Le plus drôle arrive si on commence à kill les bdaemon des zones depuis le supercluster en croyant que c’était des bdaemons zombies, ça kill vraiment le client VTOM sur la zone.

C’est pourquoi il vaut mieux effectuer la commande ps -flz global | grep bdaemon pour afficher les process du supercluster et, ps -flZ | grep bdaemon pour voir tous les clients et les zones associées.

Autres commandes pratiques pour voir les zones : zoneadm list

Si global ==> supercluster, si plusieurs lignes avec des hostnames, ce sont les zones du supercluster.

Si une seule ligne avec le hostname ==> zone

(voir plus) Clients VTOM zones Solaris

12-02-2015

Exécuter une application si parent déplanifié

Une question de Bertrand :

Comment exécuter une application seulement si la précédente se déplanifie et sans passer par des ressources ? (notamment utile sur une déplanification suite à une “non” ressource : fichier non présent …)

Le plus simple est de configurer resnopla dans le fichier vtom.ini, dans la section du tengine en question :
```
[TENGINE:exploitation]
resnopla=1
```
Ainsi, l’application ne passera plus à l’état DEPLANIFIE mais NON-PLANIFIE. On peut alors définir un lien exclusif (noir) entre les applications.

exemple :

API VTOM webaccess

Vous n’êtes pas sans savoir que VTOM fournit, depuis quelques versions maintenant, un webaccess (un portail web d’accès à VTOM / vthttpd).

Sur une question de Stephane, je me suis penché sur son fonctionnement.

Voici quelques API VTOM glannées dans les pages du webaccess.

Peu importe comment vous y accédez, ici en curl (user:passwd à changer) mais on peut très bien faire ça avec POSTMAN.

Liste de tous les environnements

curl -k -u user:passwd "http://localhost:30080/api/environment/list" -X GET  | python -m json.tool

Liste de toutes les applications

curl -k -u user:passwd "http://localhost:30080/api/application/list" -X GET  | python -m json.tool
curl -k -u user:passwd "http://localhost:30080/api/application/list?envSId=ENV7f00000102a3106054b8e57700000014" -X GET  | python -m json.tool
curl -k -u user:passwd "http://localhost:30080/api/application/list?environmentName=VAGUE5_INT" -X GET  | python -m json.tool

Liste de tous les jobs

curl -k -u user:passwd "http://localhost:30080/api/job/list" -X GET  | python -m json.tool
curl -k -u user:passwd "http://localhost:30080/api/job/list?appSId=APP7f00000129a98189539f1cb000000023" -X GET  | python -m json.tool
curl -k -u user:passwd "http://localhost:30080/api/job/list?applicationName=BASCULE_DATE" -X GET  | python -m json.tool

Détails d’un job

curl -k -u user:passwd "http://localhost:30080/api/job/getById?id=JOB7f0000012b10ca88539f1cb4000000c2" -X GET  | python -m json.tool

Détails de tous les jobs (ou autres items)

curl -k -u user:passwd "http://localhost:30080/api/job/getAll" -X GET  | python -m json.tool

Exemple de résultat

{
    "rc": 0, 
    "result": {
        "ExpectedContexts": [], 
        "ExpectedResources": [], 
        "Script": "D:\\Script\\rotation_log_dxserver\\Rotate_log_dxserver.bat", 
        "appInErr": "1", 
        "applicationSId": "APP7f00000129a98189539f1cb000000023", 
        "blockDate": "0", 
        "cycle": "00:00:00", 
        "cycleEnabled": "0", 
        "descOnErr": "0", 
        "exploited": "E", 
        "frequency": "D", 
        "id": "JOB7f0000012b10ca88539f1cb4000000c2", 
        "information": " ", 
        "isAsked": "0", 
        "maxStart": "37:59:00", 
        "minStart": "25:30:00", 
        "mode": "E", 
        "movementTime": "0", 
        "name": "ROT_LOG_DXSERVER", 
        "onDemand": "0", 
        "restartCount": "0", 
        "restartLabel": "0", 
        "restartMax": "1", 
        "restartType": "M", 
        "retained": "0", 
        "retcode": "-1", 
        "status": "W", 
        "timeBegin": "1421112600", 
        "timeEnd": "1421112630", 
        "xid": "JOBc2"
    }
}

On a vérifié avec Stephane, les attributs sont hiérarchisés comme dans le vtexport xml (si pas dans Job, on remonte dans Application, si pas dans Application, on remonte sur Environnement).

carrément le contenu du script !!!

curl -k -u user:passwd "http://localhost:30080/api/job/getScript?id=JOB7f0000012b10ca88539f1cb4000000c2"  -X GET  | python -m json.tool

Liste des Logs (utiliser le job xid et non l’id tout court)

curl -k -u user:passwd "http://localhost:30080/api/log/getLogList?id=JOBc2"  -X GET  | python -m json.tool

Si je résume :

Pour avoir toutes les informations détaillées d'un ensemble d'items (environment, application, job, date, host, instruction - pour info instruction c'est les consignes -  etc)
http://localhost:30080/api/<item>/getAll

Pour avoir toute la liste d'un ensemble d'items mais avec moins de détails 
http://localhost:30080/api/<item>/list

Pour avoir le détail d'un item en particulier
http://localhost:30080/api/<item>/getById?id=<id>

Pour filtrer la liste d'un ensemble d'item sur un attribut particulier
http://localhost:30080/api/<item>/list?<attribut>=<valeur>

Si l'attribut n'est pas présent dans l'item le plus bas (job), il faut remonter d'un cran (application) et encore d'un cran si besoin (environment). Notion de hiérarchie, notamment pour les dates, host, queue, user.

On peut aussi utiliser cette méthode pour s’authentifier, en passant par le header http :

# echo -n "user:password" | base64, ici TOM:TOM
curl -H 'Authorization: Basic VE9NOlRPTQ=='

On peut aussi se pré-authentifier avec /api/utilities/login POST { login: “xxx”, password: “xxx” }. Ca renvoie un cookie avec vtsession et webdoc_account_id qu’il faudra rajouter aux futures requêtes. Ce qui est bien avec cette méthode, c’est que les utilisateurs LDAP passent, alors que l’Authorization Basic ne fonctionne qu’avec des utilisateurs “locaux”.

Vous en voulez plus ?

Aucune doc Absyss ne référence toutes les APIs. Donc petite astuce :

Ouvrez votre navigateur Chrome F12 et aller dans l’onglet Network pour voir les appels aux API. Baladez vous sur l’interface Web du web access et glannez les différentes adresses et requêtes XHR.

Petite astuce côté client pour effectuer une request REST sur l’api VTOM sans utiliser jQuery

var serveurVtom = "http://monserveurvtom:30080" ;
var xhr = new XMLHttpRequest();
xhr.onreadystatechange = function(){
      var status = xhr.status;

      if (status == 200) {
        
        if(xhr.response != null) {
                // toute la réponse avec les columns et les rows
                console.log( xhr.response ) ;
                // on récupère le nom par exemple et on l'affiche dans la console
                xhr.response.result.rows.forEach(function(entry){
                        console.log(entry.name);
                });
        }
        
      } else {
        console.log("error");
        console.log(status);
      }
}
xhr.open('GET', serveurVtom + '/api/job/list');
xhr.responseType = 'json';

// attention sous unix echo "user:passwdord" | base64 interprète le saut de ligne du echo et vous donne une mauvaise authentification
// il faut utiliser l'option -n, echo -n "user:password" | base64
// on peut utiliser un encodage base64 via javascript directement mais dans ce cas le user:mdp est en clair dans le code
// ex. VE9NOlRPTQ== => base64 pour TOM:TOM
xhr.setRequestHeader('Authorization', 'Basic VE9NOlRPTQ==');
xhr.send();

Un exemple pour lister tous les jobs, il faut changer l’ip, le port et encoder le user:password

<html lang=fr">
<head>
<meta charset="utf-8" />
</head>
<body>

<button id="refresh-button">Refresh</button>
<table id="list-jobs"></table>

<script>
// Variables Globales
var serveurVtom = "http://192.168.99.100:30080" ; // A changer !
var authVtom = "VE9NOlRPTQ==" ; //base64 user:password
var itemsVtom = [ "environment", "application", "job", "date", "host", "queue" ] ; 
itemsVtom.forEach(function(item){
	eval("window.API_" + item + "_LIST = null ;") ;
});


// Fonctions
function findItemById(source, id){
    return source.filter(function( obj ) {
        return obj.id == id;
    })[ 0 ];
}

function debutAffichage(){
	
	window.API_job_LIST.result.forEach(function(entry){
		var application = findItemById(window.API_application_LIST.result, entry.applicationSId) ;
		var environment = findItemById(window.API_environment_LIST.result, application.environmentSId) ;
		var host = findItemById(window.API_host_LIST.result, entry.host) ;
		if(!host){
			var host = findItemById(window.API_host_LIST.result, application.host) ;
			if(!host){
				var host = findItemById(window.API_host_LIST.result, environment.host) ;
			}
		}
		var dateVtom = findItemById(window.API_date_LIST.result, entry.date) ;
		if(!dateVtom){
			var dateVtom = findItemById(window.API_date_LIST.result, application.date) ;
			if(!dateVtom){
				var dateVtom = findItemById(window.API_date_LIST.result, environment.date) ;
			}
		}
		var queue = findItemById(window.API_queue_LIST.result, entry.queue) ;
		if(!queue){
			var queue = findItemById(window.API_queue_LIST.result, application.queue) ;
			if(!queue){
				var queue = findItemById(window.API_queue_LIST.result, environment.queue) ;
			}
		}
		
		var tableListJobs = document.querySelector('table#list-jobs') ;
		var this_tr = document.createElement("tr");
		this_tr.innerHTML = "<td>" + environment.name + "</td>" +
			"<td>" + application.name + "</td>" +
			"<td>" + entry.name + "</td>" +
			"<td>" + dateVtom.name + "</td>" +
			"<td>" + queue.name + "</td>" +
			"<td>" + host.name + "</td>" +
			"<td>" + entry.Script + "</td>" ;

		if(entry.Parameters){
			this_tr.innerHTML = this_tr.innerHTML + "<td>" ;
			entry.Parameters.forEach(function(parameter){
				this_tr.innerHTML = this_tr.innerHTML + parameter + "<br>" ;
			});
			this_tr.innerHTML = this_tr.innerHTML + "</td>" ;
		}

		tableListJobs.appendChild(this_tr);
	}); //eof foreach job list

} // eof debutAffichage

function getItemsVtom(){
	if(typeof(Storage) !== "undefined") {
		var isAllItemsInStorage = true ;
		itemsVtom.forEach(function(item){
			if(sessionStorage["API_"+item+"_LIST"]){
				eval('window.API_'+item+'_LIST = JSON.parse(sessionStorage.getItem("API_'+item+'_LIST")) ;') ;
			}else{
				isAllItemsInStorage = false ;
			}

		});
		if(! isAllItemsInStorage){
			getItemsVtomAPI() ;
		}

	}else{
		getItemsVtomAPI() ;
	}
} // eof getItemsVtom

function removeItemsFromSessionStorage(){
	itemsVtom.forEach(function(item){
		sessionStorage.removeItem("API_"+item+"_LIST");
	});
}

// http://www.html5rocks.com/en/tutorials/cors/
// cross domain 
function getItemsVtomAPI(){
  
 itemsVtom.forEach(function(item){

	eval('var xhr'+item+' = new XMLHttpRequest();') ; 
	var strCode = 'xhr'+item+'.onreadystatechange = function(){' + 
	      'var status = xhr'+item+'.status;' +

	      'if (status == 200) {'+
		'if(xhr'+item+'.response != null) {' +
			'window.API_'+item+'_LIST = xhr'+item+'.response ;' +
			'if(typeof(Storage) !== "undefined") {' +
				'sessionStorage.setItem("API_'+item+'_LIST",JSON.stringify(window.API_'+item+'_LIST)) ;' +
			'}' +
		'}' + 
	      '}' +

	'}' ;
	eval(strCode);
	eval('xhr'+item+".open('GET', serveurVtom + '/api/"+item+"/getAll',true);") ;
	eval('xhr'+item+".responseType = 'json';") ;
	eval('xhr'+item+".setRequestHeader('Authorization', 'Basic ' + authVtom);");
	eval('xhr'+item+'.send();') ;
 });

} // eof getItemsVtomAPI

// On récupère les items
getItemsVtom() ;

function _isAllItemsLoaded(){

 console.log((new Date()).getTime()); // debug to make sure we pass through this
 
 var isAllItemsLoaded = true ;
 itemsVtom.forEach(function(item){
  
	if(eval('window.API_'+item+'_LIST') == null){
		isAllItemsLoaded = false ;
	}else if(eval('window.API_'+item+'_LIST.rc') == 4){
		isAllItemsLoaded = false ;
    console.log(eval('window.API_'+item+'_LIST.errmsg')) ;
    clearInterval(window.intervalDebutAffichage);
  }
 });
 if( isAllItemsLoaded )
 { 
  console.log("loaded"); // debug to make sure we pass through this 
	clearInterval(window.intervalDebutAffichage);
	debutAffichage();
  return true ;
 }else{
  return false ; 
 }  
}
if(! _isAllItemsLoaded()){ // si les items ne sont pas chargés au démarrage, on lance une boucle interval
  // On vérifie qu'on a bien chargé toutes les données, on affiche quand c'est ok
  window.intervalDebutAffichage = setInterval(_isAllItemsLoaded,1000); 

  // quoi qu'il arrive on sort de la boucle au bout de x secondes
  setTimeout(function(){ 
    clearInterval(window.intervalDebutAffichage);
  }, 60000);
}

// Events

// Refresh data
document.querySelector('#refresh-button').addEventListener('click',function(e){
	removeItemsFromSessionStorage();
	window.location = window.location ;	
}) ;

</script>

</body>
</html>

Bon évidemment ça ne donnera rien mais importer cette page chez vous, et changer l’IP, le port et le mot de passe pour que ça fonctionne.

Exemple pour lister toutes les consignes

# on récupère les données en JSON depuis l'API web access VTOM
curl -k -u user:passwd "http://localhost:30080/api/instruction/getAll > /var/tmp/instructions.json

# on créé le script qui va générer les consignes au format HTML
vi /var/tmp/create_instructions_html.py
#!/usr/bin/python
import json
import sys
import io

jdata = open(sys.argv[1])
data = json.load(jdata)

for result in data["result"]:
        with io.open(result["name"] + ".html", "w", encoding='utf-8') as f:
                f.write(result["content"])
                f.close()
jdata.close()


# On exécute le script 
chmod +x /var/tmp/create_instructions_html.py
/var/tmp/create_instructions_html.py /var/tmp/instructions.json

Documentations VTOM, comment télécharger la doc officielle absyss

La question revient assez fréquemment. Comment se procurer la documentation officielle VTOM Absyss ? Je n’ai pas le droit de diffuser les documentations VTOM car c’est strictement interdit par l’éditeur Absyss.

Modalité pour télécharger la documentation

Vous êtes client

La documentation se trouve sur votre CD d’installation.

Cependant, si vous souhaitez avoir la documentation de versions plus récentes :

Téléphonez à la hotline, ils vous donneront, gratuitement, un lien FTP et une procédure pour les obtenir (voir ci-dessous pour les coordonnées)

Vous n’êtes pas client

Téléphonnez au numéro ci-dessous. Demandez un commercial avant-vente, il se fera une joie de vous éclairer sur le produit VTOM.

Il vous donnera très certainement la documentation si vous la souhaitez et, vous proposera une maquette adaptée à votre contexte.

Coordonnées Absyss

Contact Absyss
```
ABSYSS
15/17 boulevard du Général de Gaulle
92120 MONTROUGE - France
33 (0) 1 40 84 89 01 (standard)
33 (0) 1 40 84 85 91 (hotline)
33 (0) 1 40 84 88 40 Fax
hotline@absyss.com
```

tlist amélioré affichage script paramètres et autres champs

edit 20/08/2015 ) J'ai trouvé plus simple pour le même résultat, ça fait un script en moins à maintenir ! allez faire un tour sur mon article vthttpd dump et requêtes SQL sur votre base VTOM

Pour tous les frustrés du tlist VTOM qui est assez pauvre en informations,voici mon tlist (ok je sais, il y a la "Recherche" dans l'IHM mais le mode commande tlist est loin d'être suffisant). Je m'en sers notamment pour chercher tous les jobs avec un certain script et un certain paramètre, pour les mettre à STOP ou sortir un fichier csv. Et tout ça en mode commande. Grâce au vtexport en xml, il permet de lister rapidement les applications et les jobs avec les champs et les options suivantes :

Liste des options :

 Parametres  Valeurs / Formats Caracteristiques
 ----------- ----------------- -------------------------------------------------------
 -h                            Affiche l'aide
 -f          ENV[/APP][/JOB]   Filtre sur environnement/application/traitement (le nom
                               de l'application ou du traitement est optionnel)
 -novt                         Ne re-genere pas un nouvel vtexport 
 -myvt       path              Specifie le chemin du fichier vtexport.xml (couple avec
                               l'option -novt, permet de specifier votre fichier
                               vtexport.xml)
 -app                          N'affiche que les applications 
 -job                          N'affiche que les traitements 
 -encours                      Filtre les traitements en cours d'execution 
 -items      item[/item]..     N'affiche que certains items dans la liste
 -searchJ    item=value        Filtre les jobs selon une recherche de pattern sur un ou
                               plusieurs items 
 -excludeJ   item=value        Exclure les jobs selon une recherche de pattern sur un ou
                               plusieurs items
 -csv        motif             Permet de specifier un motif de separation (; par defaut)
 -output     path/fic          Permet de rediriger la sortie standard vers un fichier
 -status     R|U|F|W|E         Permet de filtrer les jobs avec un certain statut
                               R=En cours;U=Non planifie;F=Termine;W=A venir;E=Erreur
 -nofirstline                  N'affiche pas la premiere ligne recapitulative d item
 -debug                        Affiche  la requete XPath

Liste des items et sortie a l'ecran par defaut :
item;env;app;job;minStart;maxStart;maxLength;cycleEnabled;cycle;mode;retained;onDemand;daysInWeek;daysInMonth;weeksInMonth;monthsInYear;isFormula;formula;comment;information;date;user;status;host;queue;script;parameter;

Liste des items pris en charge par searchJ et excludeJ : 
env | app | job | status | cycleEnabled | script | parameter[position] | host | mode | onDemand | queue | user | retained

Signification des valeurs : 
	Planning
	1 = yes ; 0 = no ;
	B = Both (chome + ouvre) ; W = Worked (ouvre) ; N = No (chome)

	Mode;
	J = traitement ; O = stop ; T = test ; S = simulation ; E = execution

	Status;
	R = En cours ; U = Non planifie ; F = Termine ; W = A venir ; E = En erreur

Exemples : 
        $0 -novt -myvt /tmp/monvtexport.xml -items env/app/job/parameter -searchJ script=netbackup -searchJ env=PROD -excludeJ job=CFG

        $0 -searchJ parameter1=MA_POLICIE_NETBACKUP
 
        $0 > /tmp/domaine_prod.csv

tlist amélioré VTOM ~~Vous pouvez tester ce code sur codingground à cette adresse :~~(ils ont changé la VM, je n'arrive plus à mettre la librairie XML::LibXML http://goo.gl/6MXx2I

Vous pouvez uploader votre fichier vtexport, testez le script en n'oubliant pas de spécifier -novt et -myvt nomvotrevtexport (évidemment VTOM n'est pas installé, il n'y a donc pas la commande vtexport)

Mise à jour pour Antoine avec les ressources : tlist amélioré VTOM avec les ressources

tlist all jobs amélioré

Comment exécuter un script powershell avec VTOM

Nouveau job, nouveau contexte, et un nombre impressionnant de plateformes Windows. Ma balance de serveurs 80% Unix / 20% Windows vient de basculer. Qui dit Windows, dit scripts Powershell. Mieux vaut un qui sait, que dix qui cherchent comme on dit.
Installation du client VTOM en 64 bits !
On peut aussi laisser le client VTOM 32 bits mais dans ce cas là, il faudra lancer le powerhsell x86 dans la queue(car celui par défaut dans le PATH des OS 64Bits est le powershell 64bits)
- Arrêter l'agent VTOM AbsyssBatchManager dans services.msc
- Se déplacer dans %ABM_BIN%\..\services
- Renommer bdaemon.exe en bdaemon-32.exe et bdaemon-64.exe en bdaemon.exe
- Relancer l'agent VTOM AbsyssBatchManager dans services.msc
on peut vérifier si le bdaemon.exe est en 32 ou 64 Bits dans le Gestionnaire des Tâches Windows. Ca sera préciser (x32)

Une queue particulière pour lancer les scripts Powershell
Je passe les mises en formes et fioritures habituelles (voir mon article sur les queues d'exécution VTOM). La commande principale pour lancer des scripts powershell est la suivante (même si on peut adapter, voir get-help about_Powershell.exe). Noubliez pas de mettre le full path du powershell x86 si vous avez un client VTOM 32 bits
```
PowerShell.exe -ExecutionPolicy Unrestricted -NonInteractive -File <FilePath> [<Args>]
```
Attention, si vous avez des problèmes de sécurité (« Impossible de charger le fichier c:\script.ps1 car l’exécution de scripts est désactivée sur ce système. Pour plus d’information, consultez…. »), regardez de ce côté : get-help about_Execution_Policies ou about_Signing). L'idée, c'est que la stratégie de sécurité est généralement restreinte pour ne pouvoir lancer aucun script powershell.
```
get-executionpolicy
Restricted
set-executionpolicy Unrestricted
```
Impossible de changer les Queues d'exécution sous Windows

Alors celle-là, si on ne la sait pas, on ne peut pas l’inventer. Ca vous est peut-être déjà arrivé ? Vous voulez changer les queues d’exécution sur un client Windows et rien n’y fait. Vous modifiez le %systemroot%\vtom.ini en rajoutant votre queue /queue_maqueue:nbMaxExecSimultanées, vous relancez le client et queue_maqueue n’est toujours pas prise en charge par le client VTOM.

Pour rappel, installation d’une queue sous Windows. Une fois que ces éléments sont bien modifiés, je vous invite d’ailleurs à redémarrer votre client VTOM et à faire un %ABM_BIN%\bstat pour bien vérifier quelles sont les queues d’exécution prises en compte sur votre client.

La solution :

En fait, c’est tout bête. Selon votre configuration Windows, si vous avez mis un utilisateur particulier de connexion dans votre service AbsyssBatchManager (disons LukeSkywalker), il faut aller dans %userprofile%\Windows\vtom.ini (en gros dans C:\Users\LukeSkywalker\Windows\vtom.ini).

Merci à Fred :)

Script shell dd generator

La commande dd en shell, à quoi ça sert ?

Je vois deux principaux intérêts à la commande dd unix.

Copie bloc à bloc d’un support (CD, DVD, Clé, Disques, etc.)
Test de performance d’écriture entre la source et la destination de la copie.

edit 2015)

je viens de découvrir qu'on pouvait créer un fichier plein de zéro (avec dd par exemple), le formater, et le monter comme si c'était un filesystem ! ça me parait fou mais ça semble fonctionner. Très pratique quand il n'y a pas de VG ou plus de place pour créer des lv, ou pas de fs disponible. Ca permet surtout de cloisonner l'espace disque si, par exemple, on ne veut pas qu'un répertoire impacte le fs complet. Magnifique tutorial de quota pour linux

Next, create a 20M file (disk image) in a suitable location. What I did below is create the file disk-quota.ext3 in the directory /usr/disk-img.

   # mkdir -p /usr/disk-img
   # dd if=/dev/zero of=/usr/disk-img/disk-quota.ext3 count=40960
The dd command above created a 20MB file because, by default, dd uses a block size of 512 bytes. That makes this size: 40960*512=20971520. For kicks, we'll confirm this size.

   # ls -lh /usr/disk-img/disk-quota.ext3
   -rw-r--r--  1 root root 20M Jul 19 14:34 /usr/disk-img/disk-quota.ext3
Next, format this as an ext3 filesystem.

   # /sbin/mkfs -t ext3 -q /usr/disk-img/disk-quota.ext3 -F
The "-t" gives it the type. You're not limited to ext3. In fact, you could use ext2 or other filesystems installed on your system. The "-q" is for the device, and "-F" is to force the creation without warning us that this is a file and not a block device.

Lien Wikipédia dd (Unix).

Toujours est-il que les paramètres de la commande ne sont pas forcément triviales. C’est pourquoi j’ai fait un petit script shell avec un menu.

Script

dd_generator.sh

#!/bin/sh
#
#	SCRIPT	: dd_generator
#	AUTEUR 	: Virtual Thom
#	DATE	: 02.10.13
# set -x # debug
# set -n # verif syntax sans exec
#
##################################
#	VARIABLES
##################################
datenow=$(date +"%d-%m-%y_%H.%M.%S")
ibs='1024' # nombre d'octet lu d'un coup du if
count='10000' # nombre de segments ibs lu (si 0 il va au bout du fichier)
unit='Mo'
unit_base=1024
unit_mo=`expr ${unit_base} \* ${unit_base}`
unit_go=`expr ${unit_mo} \* ${unit_base}`
unit_to=`expr ${unit_go} \* ${unit_base}`
fonc_calc_unit(){
case ${unit} in
	"octets")
	unit_calc=1
	;;
	"Ko")
	unit_calc=${unit_base}
	;;
	"Go")
	unit_calc=${unit_go}
	;;
	"To")
	unit_calc=${unit_to}
	;;
	"Mo" | *)
	unit_calc=${unit_mo}
	;;
esac 
}
fonc_calc_unit
#total_size='expr ${ibs} \* ${count} \/ ${unit_calc}' # par defaut en Mo, doit être évaluer
total_size="echo 'scale=2;${ibs} * ${count} / ${unit_calc}' | bc" # par defaut en Mo, doit être évaluer
total_size_msg='echo "Taille Totale (en $unit) :"'
of_path='echo "${PWD}/dd_`eval ${total_size}`${unit}_${datenow}.bin"' # par defaut fichier écrit dans le répertoire courant
if_path='/dev/zero' # par defaut fichier lu constitué de vide 
msg_retour="Tapez retour99 ou laissez vide pour ne pas changer la valeur"

##################################
#	FONCTIONS
##################################
date_heure(){
        date_heure_var=`date +"%d/%m/%Y - %H:%M:%S : "`
        echo "${date_heure_var}$1"
}
date_simple(){
        date_heure_var=`date +"%d%m%Y_%H%M%S"`
        echo "${date_heure_var}"
}
fonc_sortie(){
        numero_exit=$1
        message_exit=$2
        date_heure "${message_exit}"
        date_heure "Fin du script. Exit : ${numero_exit}"
        exit ${numero_exit}
}
fonc_pause(){
   echo -e "\nAppuyez sur Entrer pour continuer...\c"
   read
}
fonc_trap_exit(){
	echo ""
	fonc_sortie "123" "Script interrompu"
}
trap 'fonc_trap_exit' 2
fonc_menu_principal(){
	clear

	#TITRE 
	echo -e "\n\t################\n\t# DD GENERATOR #\n\t################\n"
	echo -e "\n\tdd of=`eval ${of_path}` if=${if_path} ibs=${ibs} count=${count}\n"
	PS3="Selectionner une option et appuyer sur Entrer :"

	select options in "Unite par defaut : $unit" "Fichier lu : $if_path" "Fichier ecrit : `eval $of_path`" "Taille segment de lecture (octet) : $ibs" "Nombre de Segment : $count" "`eval $total_size_msg` `eval \"$total_size\"`" "Creer le fichier" "Quitter"
	do
	case ${options}	 in 
		"Unite par defaut : $unit")
			menu_unit
		;;
		"Fichier lu : $if_path")
			clear
			echo -e "Veuillez entrer le chemin complet du fichier à lire : \n\t(${msg_retour})"
			read read_if_path
			fonc_test_retour "${read_if_path}" &&  if_path=${read_if_path}
			fonc_menu_principal
		;;
		"Fichier ecrit : `eval $of_path`")
			clear
			echo -e "Veuillez entrer le chemin complet du fichier à créer : \n\t(${msg_retour})"
			read read_of_path
			fonc_test_retour "${read_of_path}"
			if test $? -eq 0
			then
				of_path_tmp=${read_of_path}
				of_path='echo ${of_path_tmp}'
			fi
			fonc_menu_principal
		;;
		"Taille segment de lecture (octet) : $ibs")
			clear
			echo -e "Veuillez entrer la taille du segment lu : \n\t(${msg_retour})"
			read read_ibs 
			fonc_test_retour "${read_ibs}" && ibs=${read_ibs}
			fonc_menu_principal
		;;
		"Nombre de Segment : $count")
			clear
			echo -e "Veuillez entrer le nombre de segment : \n\t(${msg_retour})\n\t(tapez 0 pour copier le fichier if en totalite)"
			read read_count 
			fonc_test_retour "${read_count}" && count=${read_count}
			fonc_menu_principal
		;;
		"`eval $total_size_msg` `eval \"$total_size\"`")
			clear
			echo -e "Veuillez entrer `eval $total_size_msg` `eval \"$total_size\"` : \n\t(${msg_retour})\n\t(tapez 0 pour copier le fichier if en totalite)"
			read read_total_size 
			fonc_test_retour "${read_total_size}" && fonc_calc_count	
			fonc_menu_principal
		;;
		"Creer le fichier")
			fonc_dd_generator
			fonc_sortie $?  
		;;
		"Quitter")
			fonc_sortie 0
		;;
		
	esac
	echo ""
	REPLY=
	clear
	echo -e "\n\n\tDD GENERATOR\n\n"
	done
	clear
}
fonc_dd_generator(){
    if test $count -eq 0 
	then 	
		echo "dd of=`eval ${of_path}` if=${if_path} ibs=${ibs}"
		dd of=`eval ${of_path}` if=${if_path} ibs=${ibs} && 
		echo "Le fichier `eval ${of_path}` a été créé" 
	else
		echo "dd of=`eval ${of_path}` if=${if_path} ibs=${ibs} count=${count}" 
		dd of=`eval ${of_path}` if=${if_path} ibs=${ibs} count=${count}&& 
		echo "Le fichier `eval ${of_path}` a été créé" 
	fi
}
fonc_test_retour(){
	if test "$1" == "retour99" -o -z "$1" 
	then
		return 250
	else
		return 0
	fi
}
menu_unit(){
	clear

        #TITRE
        echo -e "\n\n\tUnite actuelle : $unit\n\n"
        PS3="Selectionner une option et appuyer sur Entrer :"

        select options in "octets" "Ko" "Mo" "Go" "To" "Retour"
	do
		case ${options} in 
			"octets")
				unit='octets'
				fonc_calc_unit
				fonc_menu_principal
			;;
			"Ko")
				unit='Ko'
				fonc_calc_unit
				fonc_menu_principal
			;;
			"Mo")
				unit='Mo'
				fonc_calc_unit
				fonc_menu_principal
			;;
			"Go")
				unit='Go'
				fonc_calc_unit
				fonc_menu_principal
			;;
			"To")
				unit='To'
				fonc_calc_unit
				fonc_menu_principal
			;;
			"Retour")
				fonc_menu_principal
				break
			;;
		esac
        echo ""
        REPLY=
        clear
        echo -e "\n\n\tUnit actuelle : $unit\n\n"
        done
        clear

}
fonc_calc_count(){
	count=`expr ${read_total_size} \* ${unit_calc} \/ ${ibs}`
}

##################################
#	SCRIPT
##################################
fonc_menu_principal
# end of script

Résultat du script dd_generator.sh

################
# DD GENERATOR #
################
dd of=/SCRIPTS/dd_9.76Mo_15-10-14_09.53.09.bin if=/dev/zero ibs=1024 count=10000
1) Unite par defaut : Mo
2) Fichier lu : /dev/zero
3) Fichier ecrit : /SCRIPTS/dd_9.76Mo_15-10-14_09.53.09.bin
4) Taille segment de lecture (octet) : 1024
5) Nombre de Segment : 10000
6) Taille Totale (en Mo) : 9.76
7) Creer le fichier

8) Quitter
Selectionner une option et appuyer sur Entrer :7

dd of=/SCRIPTS/dd_9.76Mo_15-10-14_09.53.09.bin if=/dev/zero ibs=1024 count=10000
10000+0 enregistrements lus
20000+0 enregistrements écrits
10240000 octets (10 MB) copiés, 0,05625 seconde, 182 MB/s
Le fichier /SCRIPTS/dd_9.76Mo_15-10-14_09.53.09.bin a été créé
15/10/2014 - 09:53:33 :
15/10/2014 - 09:53:33 : Fin du script. Exit : 0

#ls -lisa /SCRIPTS/dd_9.76Mo_15-10-14_09.53.09.bin
23592966 10016 -rw-r--r-- 1 root root 10240000 oct 15 09:53 /SCRIPTS/dd_9.76Mo_15-10-14_09.53.09.bin
#ls -lisah /SCRIPTS/dd_9.76Mo_15-10-14_09.53.09.bin
23592966 9,8M -rw-r--r-- 1 root root 9,8M oct 15 09:53 /SCRIPTS/dd_9.76Mo_15-10-14_09.53.09.bin

Lister tous les LUNs par Pool et par projet en script aksh - ZFS Storage 7310 (Oracle Unified Storage Systems)

Cet article a pour objectif de lister tous les LUNs par pool et par projet en mode automatique par script, sur les baies de stockage ZFS 7310 (Oracle Unified Storage Systems). Les explications, c'est pas votre point fort ? Rendez-vous directement au script ici
Qu'est ce qu'aksh ?
C'est le shell par défaut quand vous vous connectez sur les baies de stockage ZFS 7310 (et plus globalement pour les Oracle Unified Storage Systems). En général, ce shell, aux commandes bien particulières, est destiné à l'exploitation des baies, en plus de la GUI par navigateur web. On n'y reste, généralement, pas bien longtemps avant de taper la commande " confirm shell " pour passer en root sur la baie (avec un shell tout ce qu'il y a de plus classique).
Scripter en aksh
Depuis le shell aksh, vous pouvez taper un certain nombre de commandes comme :
- ls : pour l'état des objets courants du chemin où vous vous trouvez
- cd : pour se déplacer
- select xxxx : pour sélectionner un pool, un projet, un LUN etc. et se positionner sur l'objet
- get attribut : pour récupérer la valeur d'un attribut de l'objet où vous vous trouvez
- la liste n'est pas exhaustive mais ça suffit en général, vous trouverez la documentation en bas de page
Pour scripter, il suffira d'encapsuler ces commandes avec run('commande') soit :
- dans un shell aksh en tapant " script " (pour terminer saisissez "." et ENTRéE
- dans un fichier xxxx.aksh. Vous pourrez lancer le script en ssh depuis un autre serveur : ssh root@ip_tete_baie script < votrescript.aksh
  - pour rajouter une clé ssh entre un serveur et la tête de baie, rien de plus simple, "confirm shell; cd ~/.ssh; vi authorized_keys;" et vous rajouter la clé publique de votre serveur (attention la clé saute sur un changement de firmware, j'en ai fait les frais récemment)
Pour le reste, ça ressemble comme deux gouttes d'eau à du javascript. Pour ceux qui sont habitués, ça va être très facile de comprendre mon script pour lister les LUNs.
Script aksh pour lister les LUNs
```
run('cd /'); // certain d'être dans le répertoire racine
run('shares'); // déplace dans shares
var projects = list(); // liste de tous les projets 
var pool = run('get pool').split(/\s+/)[3]; // récupération du nom du pool

for (var i = 0; i < projects.length; i++) { // pour chaque pool
  run('select ' + projects[i]);             // sélection du pool
  var luns = list() ;                       // liste des LUNs du pool
  for (var j = 0;j < luns.length ; j++){    // pour chaque LUNs
     run('select ' + luns[j]) ;             // sélection du LUN
     var initiatorgroup = run('get initiatorgroup').split(/\s+/)[3];  // récupération de l'initiator group
     var targetgroup = run('get targetgroup').split(/\s+/)[3];  // récupération du target group
     var space_total = run('get space_total').split(/\s+/)[3];  // récupération de la taille du LUN
     printf('%s;%s;%s;%s;%s\n',projects[i],luns[j],initiatorgroup,targetgroup,space_total) ; // affichage, ici en csv
     run('cd ..') ;  // on remonte d'un cran pour sortir du select LUN
   }
   run('cd ..'); // remonte d'un cran pour sortir du select Pool
}
run('cd ..'); 
```
Voilà, rien de compliqué. Quand vous voulez adapter, connectez-vous en aksh sur la tête de baie et vérifier les attributs en faisant un " ls ". Documentations offcielles ORACLE
Déployer une application Sails JS (framework Node.js) sur Openshift - gratuit

Je me mets à Node.js et plus particulièrement au framework Sails JS. Pour déployer mon application, il me fallait une solution robuste et un service gratuit qui puisse héberger du Node js. C’est là que j’ai découvert Openshift.

Le service de RedHat offre carrément l’accès à une VM en ssh et la possibilité de déployer n’importe quelle type d’application (j’ai aussi une base MongoDB qui tourne).

Tout est plutôt bien expliqué sur le site mais rien de très clair pour le framework Sails js. C’est l’objet de cet article.

<edit 16/01/2015>J’ai trouvé encore mieux ! Cloud9. Environnement de développement complet sur le Cloud, gratuit.</edit>

Je suppose que votre application fonctionne déjà sous sails js en local sur votre machine.

Procédure
1. Ouvrir un compte sur Openshift (le plus petit est gratuit)
2. Déployer un gear / application Node JS depuis l’interface web d’openshift
3. Définir une clé ssh en copiant votre clé publique locale (bien souvent ~/.ssh/id_rsa.pub, sinon lancer ssh-keygen)
4. Sauvegarder votre application locale pour être sûr de ne rien casser
5. Effectuer un git clone de l’adresse de votre application (copier depuis Source Code dans l’interface web d’openshift
```
cd votre_repertoire_de_travail
git clone ssh://votre_id@app-namespace.rhcloud.com
```
1. Supprimer tout le contenu du répertoire que vous avez cloné, excepté le répertoire .git
```
cd /votre_repertoire_de_travail/app
rm -Rf votre_repertoire_de_travail/app
```
1. Copier l’intégralité de votre application sails js dans le répertoire
```
cp -Rp /votre_app_sauvegardée/* /votre_repertoire_de_travail/app/
```
1. Pousser les informations sur openshift avec git
```
cd /votre_repertoire_de_travail/app/
# modifier le fichier config/models.js, passer l'attribut migrate à 'safe', 'alter' ou 'drop' selon ce que vous voulez

# renseigner bien votre fichier package.json qui devra comprendre toutes les dépendances de votre application 
# c'est une étape indispensable car le processus appliquera les dépendances lors du git push grâce à package.json

git add *
git commit -m "date_du_jour premier push"
git push --set-upstream origin master
#par la suite un simple git push suffira pour pousser les modifications (ici on établit la relation origin master) 
```
1. Se connecter en ssh sur votre VM (voir remote access dans l’interface d’administration openshift)
2. Ajouter ou modifier le fichier config/local.js pour ajouter le port web correct et ne plus utiliser le port 1337 par défaut
```
cd $OPENSHIFT_REPO_DIR
vi config/local.js

module.exports = {
port: process.env.OPENSHIFT_NODEJS_PORT || 8080,
host: process.env.OPENSHIFT_NODEJS_IP
}
```
1. Arrêter et redémarrer votre application
```
killall node
node app.js
```
Et voilà !

Clients VTOM zones Solaris

Liste de tous les environnements

Liste de toutes les applications

Liste de tous les jobs

Détails d’un job

Détails de tous les jobs (ou autres items)

Exemple de résultat

carrément le contenu du script !!!

Liste des Logs (utiliser le job xid et non l’id tout court)

Si je résume :

Vous en voulez plus ?

Petite astuce côté client pour effectuer une request REST sur l’api VTOM sans utiliser jQuery

Exemple pour lister toutes les consignes

Modalité pour télécharger la documentation

Vous êtes client

Vous n’êtes pas client

Coordonnées Absyss

Installation du client VTOM en 64 bits !

Une queue particulière pour lancer les scripts Powershell

La solution :

La commande dd en shell, à quoi ça sert ?

Script

Résultat du script dd_generator.sh

Qu'est ce qu'aksh ?

Scripter en aksh

Script aksh pour lister les LUNs

Procédure