Lancement des simulations sur Caparmor
Bonjour, Voici la progression de cette fonctionnalité. Ce qui fonctionne: - connexion à caparmor par mot de passe - connexion a caparmor par clé publique - dépôt de la clé publique si elle existe et que la connexion par mot de passe fonctionne - envoie des simulations sur caparmor - lancement des simulations sur caparmor - affichage de la progression des simulation lancées Ce qui reste à faire: - pouvoir arrêter une simulation ? (ça parait pas simple) - récupérer les résultats de simulation - stockée une liste locale des simulations lancée à distance (cela permet d'arrêter et relancer isis et pouvoir continuer à afficher la progression et récupérer les résultats) - faire en sorte que le IsisFish distant renvoie le chemin vers ses propres data et que le IsisFish local récupère les simulations via ce chemin -- Éric <chatellier@codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com
Bonjour, on vient un peut aux nouvelles sur "la progression de cette fonctionalité" : on a en effet 462 simulations a faire tourner pouvez vous nous expliquer concretement comment nous y prendre et nous confirmer que c'est possible Merci Sigrid et Stéphanie Éric Chatellier a écrit :
Bonjour,
Voici la progression de cette fonctionnalité.
Ce qui fonctionne: - connexion à caparmor par mot de passe - connexion a caparmor par clé publique - dépôt de la clé publique si elle existe et que la connexion par mot de passe fonctionne - envoie des simulations sur caparmor - lancement des simulations sur caparmor - affichage de la progression des simulation lancées
Ce qui reste à faire: - pouvoir arrêter une simulation ? (ça parait pas simple) - récupérer les résultats de simulation - stockée une liste locale des simulations lancée à distance (cela permet d'arrêter et relancer isis et pouvoir continuer à afficher la progression et récupérer les résultats) - faire en sorte que le IsisFish distant renvoie le chemin vers ses propres data et que le IsisFish local récupère les simulations via ce chemin
-- Sigrid LEHUTA ~ ><> ~ Doctorante Département Ecologie et Modèles pour l'Halieutique IFREMER, rue de l'ile d'Yeu BP 21105 44311 Nantes Cedex 03 Tél : +33 (0)2 40 37 41 65
Sigrid LEHUTA a écrit :
Bonjour, on vient un peut aux nouvelles sur "la progression de cette fonctionalité" : on a en effet 462 simulations a faire tourner pouvez vous nous expliquer concretement comment nous y prendre et nous confirmer que c'est possible Merci Sigrid et Stéphanie
Bonjour, C'est encore en cours de developpement. Mais je n'ai moi même pas compris comment cela devait fonctionner :D Il faut que Benjamin me ré-explique.
Éric Chatellier a écrit :
Bonjour,
Voici la progression de cette fonctionnalité.
Ce qui fonctionne: - connexion à caparmor par mot de passe - connexion a caparmor par clé publique - dépôt de la clé publique si elle existe et que la connexion par mot de passe fonctionne - envoie des simulations sur caparmor - lancement des simulations sur caparmor
En fait l'erreur est ici. Pour l'instant je lance moi même la simulation alors, que je doit attendre que Caparmor la lance tout seul.
- affichage de la progression des simulation lancées
Ce qui reste à faire: - pouvoir arrêter une simulation ? (ça parait pas simple) - récupérer les résultats de simulation - stockée une liste locale des simulations lancée à distance (cela permet d'arrêter et relancer isis et pouvoir continuer à afficher la progression et récupérer les résultats) - faire en sorte que le IsisFish distant renvoie le chemin vers ses propres data et que le IsisFish local récupère les simulations via ce chemin
-- Éric <chatellier@codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com
On Fri, 16 Jan 2009 16:42:31 +0100 Éric Chatellier <chatellier@codelutin.com> wrote:
Sigrid LEHUTA a écrit :
Bonjour, on vient un peut aux nouvelles sur "la progression de cette fonctionalité" : on a en effet 462 simulations a faire tourner pouvez vous nous expliquer concretement comment nous y prendre et nous confirmer que c'est possible Merci Sigrid et Stéphanie
Bonjour,
C'est encore en cours de developpement.
Mais je n'ai moi même pas compris comment cela devait fonctionner :D
Il faut que Benjamin me ré-explique.
Éric Chatellier a écrit :
Bonjour,
Voici la progression de cette fonctionnalité.
Ce qui fonctionne: - connexion à caparmor par mot de passe - connexion a caparmor par clé publique - dépôt de la clé publique si elle existe et que la connexion par mot de passe fonctionne - envoie des simulations sur caparmor - lancement des simulations sur caparmor
En fait l'erreur est ici. Pour l'instant je lance moi même la simulation alors, que je doit attendre que Caparmor la lance tout seul.
En fait, j'espere bien que la semaine prochaine, ils (Sylvain/Eric) auront fini et fait une nouvelle version qui marche super bien et surtout qui se connect facilement a caparmor. Vu que je ne suis dispo que vendredi, je ne pourrais verifier ca que vendredi, mais je viendrais avec les sucettes s'ils ont fini (et le fouet au cas ou ;)) -- Benjamin -------------------- tél: +33 (0) 2 40 50 29 28 email: poussin@codelutin.com () campagne du ruban ascii http://www.codelutin.com /\ pour les mails en ascii
Voilà benjamin les modification concernant le lancement sur Caparmor. Je sais pas pourquoi, mais je sens qu'on aura pas de sucettes vendredi ... :( Lancement des simulations SSH ============================= On designe par "$id" l'identifiant d'une simulation. En théorie: ########### Au lancement d'un simulation ---------------------------- - Upload de la simulation dans le $HOME de l'utilisateur. (dans le $HOME directement ?) - Creation du script launch-isis-$id.seq Avec l'ajout de la commande permettant le lancement de isis sur cette simulation. - Upload de ce script - Ajout de ce script dans la queue via qsub Au démarrage de la simulation ----------------------------- - Création d'un fichier quelque part dans $HOME qui contient les informations de la simulation Exemple: - nombre de simulation - leur etats - l'état global de la simulation (à définir, je ne cerne pas bien les plans d'analyses) Exemple: - fichier $HOME/$simulation-$id qui contient $id_global=running $id_1=end $id_2=end $id_3=end $id_6=running ... En parallèle: ~~~~~~~~~~~~~ - Sauvegarde de l'id de simulation dans un fichier local (pour dire, cet simulation $id a été demandé a être lancée sur caparmor) - Lancement d'un thread de monitoring de progression qui ne connait que l'$id par contre - Récupération du fichier $HOME/$simulation-$id - Récupération du control de la sous simulation en cours et affichage de la progression - Lorsque la simulation est terminée - Récupération de toutes les simulations présente dans le fichier $HOME/$simulation-$id - Suppression du fichier $HOME/$simulation-$id (pas indispensable je pense) - Suppression de $id du fichier local Au lancement d'Isis ------------------- Lancement des simulations qui sont dans le fichier local (en utilisant le launcher SSHSimulationLauncher). Idem que tout le reste sauf qu'il n'upload pas le tout et qu'il ne fait que du monitoring... En pratique ########### En pratique ca passe pas trop, car "l'ordonnanceur" on va dire, la classe qui gère les plan d'analyse intervient *avant* le launcher. Donc en gros même si un plan d'analyse demande 200 simulations il va y avoir 200 petites simulation sur caparmor et non une seule globale. Coté serveur, on lance Isis avec l'action --simulateWithSimulation qui passe par un launcher local et donc qui ne prend pas en charge les plans d'analyses pour l'instant. Solution ######## Je sais pas trop si c'est possible de déplacer tout ce qui concerne les plan dans le process local. Car actuellement tous les launcher appellent celui là d'une façon ou d'une autre. Je regarde ça... -- Éric <chatellier@codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com
On Tue, 20 Jan 2009 16:59:51 +0100 Éric Chatellier <chatellier@codelutin.com> wrote:
En pratique ###########
En pratique ca passe pas trop, car "l'ordonnanceur" on va dire, la classe qui gère les plan d'analyse intervient *avant* le launcher.
Donc en gros même si un plan d'analyse demande 200 simulations il va y avoir 200 petites simulation sur caparmor et non une seule globale.
Est-ce vraiment un probleme, pour moi c plutot plus simple a gere ? On soumet des simulations et on sait quelle seront toujours des simulations 'simple' pas de plan d'analyse qui lance plusieurs simulations. Donc tu dois meme pouvoir simplifier ton algo. Mais s'il fonctionne deja tu peux le laisser :) Donc que des simulations simples, donc en local, juste une liste de simulation qui a ete envoyer a caparmor pas encore recupere. Que l'on relit au lancement d'isis pour monitorer les simulations de caparmor. Sur caparmor, on doit pouvoir simplement utiliser le fichier de statut de la simulation, il faut juste que ce fichier indique bien lorsque la simulation est terminée. pour qu'isis recupere les resultats. Par contre, le probleme, car forcement, il y en a un :). Est pour les plan d'analyse sequentiel. Il faut laisser la machine local qui lance les simulations branchee au reseau et attendre que toutes les simulations soient faites. Pour les plans paralleles, pas de probleme, la machine local va envoyer toutes les simulations en quelques minutes a caparmor. Elle pourra etre enlevee du reseau, et lorsqu'elle reviendra elle recuperera les simulations sur caparmor. Et pour l'instant c plutot ce genre de simulation que l'on souhaite faire. Il faudra reflechir comment envoyer directement un plan d'analyse a caparmor pour les plans sequentiels et donc utiliser l'ensemble de ton algo.
Coté serveur, on lance Isis avec l'action --simulateWithSimulation qui passe par un launcher local et donc qui ne prend pas en charge les plans d'analyses pour l'instant.
C bien, ca veut dire que c coherent avec le reste ;) -- Benjamin -------------------- tél: +33 (0) 2 40 50 29 28 email: poussin@codelutin.com () campagne du ruban ascii http://www.codelutin.com /\ pour les mails en ascii
Benjamin POUSSIN a écrit : > Pour les plans paralleles, pas de probleme, la machine local va envoyer > toutes les simulations en quelques minutes a caparmor. Elle pourra etre > enlevee du reseau, et lorsqu'elle reviendra elle recuperera les > simulations sur caparmor. > > Et pour l'instant c plutot ce genre de simulation que l'on souhaite > faire Pour faire ça, je doit stocker : - l'id de la simulation - la launcher qui l'a lancé - la date de lancement (pour l'arrêter si trop vieille) Pas de probleme, mais un fois la simulation finie j'ai aussi besoin : - du paramètre export - du paramètre plan d'analyse - peut être d'autre Donc il faut que je sauve aussi les paramètres de chaque simulation ? Autre question : je peut stocker ça dans $HOME/.isis-simulations/id1.save $HOME/.isis-simulations/id2.save $HOME/.isis-simulations/id3.save ? -- Éric <chatellier@codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com
Grande question! on est vendredi: c'était sucette ou fouet?... ;-) A+ Hilaire Le 16 janvier 2009 17:21, Benjamin POUSSIN <poussin@codelutin.com> a écrit :
On Fri, 16 Jan 2009 16:42:31 +0100 Éric Chatellier <chatellier@codelutin.com> wrote:
Bonjour, on vient un peut aux nouvelles sur "la progression de cette fonctionalité" : on a en effet 462 simulations a faire tourner pouvez vous nous expliquer concretement comment nous y prendre et nous confirmer que c'est
Sigrid LEHUTA a écrit : possible
Merci Sigrid et Stéphanie
Bonjour,
C'est encore en cours de developpement.
Mais je n'ai moi même pas compris comment cela devait fonctionner :D
Il faut que Benjamin me ré-explique.
Éric Chatellier a écrit :
Bonjour,
Voici la progression de cette fonctionnalité.
Ce qui fonctionne: - connexion à caparmor par mot de passe - connexion a caparmor par clé publique - dépôt de la clé publique si elle existe et que la connexion par mot de passe fonctionne - envoie des simulations sur caparmor - lancement des simulations sur caparmor
En fait l'erreur est ici. Pour l'instant je lance moi même la simulation alors, que je doit attendre que Caparmor la lance tout seul.
En fait, j'espere bien que la semaine prochaine, ils (Sylvain/Eric) auront fini et fait une nouvelle version qui marche super bien et surtout qui se connect facilement a caparmor. Vu que je ne suis dispo que vendredi, je ne pourrais verifier ca que vendredi, mais je viendrais avec les sucettes s'ils ont fini (et le fouet au cas ou ;))
-- Benjamin -------------------- tél: +33 (0) 2 40 50 29 28 email: poussin@codelutin.com () campagne du ruban ascii http://www.codelutin.com /\ pour les mails en ascii _______________________________________________ Isis-fish-devel mailing list Isis-fish-devel@lists.labs.libre-entreprise.org http://lists.labs.libre-entreprise.org/mailman/listinfo/isis-fish-devel
participants (4)
-
Benjamin POUSSIN -
Hilaire Drouineau -
Sigrid LEHUTA -
Éric Chatellier