Fw: repertoire sur /home3/caparmor
Salut, Pour les simulations, les log de simulation, ... il faudrait utiliser "/export/home12/poussin" comme l'indique tina. Pour les simulations ce n'est pas forcement simple de deplacer que ce repertoire (et pas le reste de isis-database), mais il faudrait au moins effacer la simulation lorsqu'elle a ete envoyee au client (donc a faire: zip + checksum + envoi + verif du checksum + suppression simulation | reessai d'envoie) lorsqu'on zip un repertoire de simulation on passe de 13Mo a 1,4Mo donc on gagne un facteur 10, donc on devrait passer de 2min de recuperation a 12s :) Eric :) ----- Message Transféré ----- Date: Tue, 28 Apr 2009 09:58:12 +0200 De: Tina ODAKA <Tina.Odaka@ifremer.fr> À: poussin@ifremer.fr Cc: MAHEVAS <Stephanie.Mahevas@ifremer.fr> Sujet: Re: repertoire sur /home3/caparmor hi benjamin , please do not forget to delete the temp files which you are creating on your /home3/caparmor/poussin/isis-tmp you can have max 10G on that directory. If you want, you can use /export/home12/poussin this is for tmp files; you can put more than 10G and all the files which are older than 5 days we delete it automatically regards tina Tina.Odaka@ifremer.fr wrote:
ATTENTION!! votre repertoire /home3/caparmor/poussin depasse 10Go veuillez faire du menage S.V.P.
-- =================================================== Tina Odaka RIC - IDM - IFREMER Tel: +33 (0)2 98 22 41 85 Fax: +33 (0)2 98 22 45 46 email: Tina.Odaka@ifremer.fr http://www.ifremer.fr/pcim ================================================== -- Benjamin -------------------- tél: +33 (0) 2 40 50 29 28 email: poussin@codelutin.com () campagne du ruban ascii http://www.codelutin.com /\ pour les mails en ascii
Benjamin POUSSIN a écrit :
Salut,
Pour les simulations, les log de simulation, ... il faudrait utiliser "/export/home12/poussin" comme l'indique tina.
Pour les simulations ce n'est pas forcement simple de deplacer que ce repertoire (et pas le reste de isis-database), mais il faudrait au moins effacer la simulation lorsqu'elle a ete envoyee au client (donc a faire: zip + checksum + envoi + verif du checksum + suppression simulation | reessai d'envoie)
lorsqu'on zip un repertoire de simulation on passe de 13Mo a 1,4Mo donc on gagne un facteur 10, donc on devrait passer de 2min de recuperation a 12s :)
je dirais plutot 1s (en scp, un fichier de 4Mo met 2s), le temps de dl ne viens pas de la taille, mais du nombre de fichiers... (1000 fichiers .db de -10Kb pour 1 simu)
Eric :)
----- Message Transféré -----
Date: Tue, 28 Apr 2009 09:58:12 +0200 De: Tina ODAKA <Tina.Odaka@ifremer.fr> À: poussin@ifremer.fr Cc: MAHEVAS <Stephanie.Mahevas@ifremer.fr> Sujet: Re: repertoire sur /home3/caparmor
hi benjamin , please do not forget to delete the temp files which you are creating on your /home3/caparmor/poussin/isis-tmp you can have max 10G on that directory.
If you want, you can use /export/home12/poussin this is for tmp files; you can put more than 10G and all the files which are older than 5 days we delete it automatically
regards tina
Tina.Odaka@ifremer.fr wrote:
ATTENTION!! votre repertoire /home3/caparmor/poussin depasse 10Go veuillez faire du menage S.V.P.
-- ---- Jean Couteau Code Lutin - http://www.codelutin.com 44 Bd des Pas Enchantés - 44230 St-Sébastien/Loire Tél : 02 40 50 29 28 - Fax : 09 59 92 29 28
On Tue, 28 Apr 2009 12:09:01 +0200 Benjamin POUSSIN <poussin@codelutin.com> wrote:
Salut,
Pour les simulations, les log de simulation, ... il faudrait utiliser "/export/home12/poussin" comme l'indique tina.
Pour les simulations ce n'est pas forcement simple de deplacer que ce repertoire (et pas le reste de isis-database), mais il faudrait au moins effacer la simulation lorsqu'elle a ete envoyee au client (donc a faire: zip + checksum + envoi + verif du checksum + suppression simulation | reessai d'envoie)
lorsqu'on zip un repertoire de simulation on passe de 13Mo a 1,4Mo donc on gagne un facteur 10, donc on devrait passer de 2min de recuperation a 12s :)
En fait le plus simple je pense pour le zip, est d'utiliser la methode SimulationStorage.createZip(). Et sur le cote client il ne reste plus qu'a reimporter ce zip avec SimulationStorage.importZip(file) apres avoir verifier le checksum Je pense qu'on va encore diminuer le temps de download car la base va etre mise en SQL (plus compressable) et tous les fichiers de log de la base ne seront pas telecharge. -- Benjamin -------------------- tél: +33 (0) 2 40 50 29 28 email: poussin@codelutin.com () campagne du ruban ascii http://www.codelutin.com /\ pour les mails en ascii
Benjamin POUSSIN a écrit :
Salut,
Pour les simulations, les log de simulation, ... il faudrait utiliser "/export/home12/poussin" comme l'indique tina.
Pour les simulations ce n'est pas forcement simple de deplacer que ce repertoire (et pas le reste de isis-database), mais il faudrait au moins effacer la simulation lorsqu'elle a ete envoyee au client (donc a faire: zip + checksum + envoi + verif du checksum + suppression simulation | reessai d'envoie)
Je l'ai fait comme ça : Le isis-client envoie une simulation au isis serveur. Le isis serveur : - fait la simulation - fait le zip + md5 - supprime la simulation Ensuite, le zip + md5 sont récupérés par le client. (charge au client de l'effacer)
lorsqu'on zip un repertoire de simulation on passe de 13Mo a 1,4Mo donc on gagne un facteur 10, donc on devrait passer de 2min de recuperation a 12s :)
Eric :)
-- Éric <chatellier@codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com
Eric Chatellier a écrit :
Je l'ai fait comme ça :
Le isis-client envoie une simulation au isis serveur.
Le isis serveur : - fait la simulation - fait le zip + md5 - supprime la simulation
Ensuite, le zip + md5 sont récupérés par le client. (charge au client de l'effacer)
Bonjour, J'ai fait un test en condition réelle (c'est ça dire pas sur le même réseau que le serveur de simulation, comme caparmor). Donc lors de mon premier test, isis passait son temps a télécharger les simulations, rien d'autre. J'ai donc fait un esssai de compression en .tar.bz2 (au lieu de zip). Pour une simulation résultat de 32mo on passe de 2,5Mo (zip) à 900ko (tar.bz2). C'est basé sur commons-compress, rapide a decompresser, tres lent a compresser, mais vu que c'est sur le serveur, ca ne pose pas de probleme je pense. Ensuite j'ai lancé une AS sur 10ans avec une analyse morris donnant 1600 simulations. Il a mit 46 heures a en faire 1350 avant que mon disque soit plein : 50 Go de simulation :-) Ensuite, j'ai testé la seconde pass, mais il faudrait changer quelques chose. On a remarqué avec Benjamin que la méthode getParameter() du SimulationStorage ouvrait la base de données. Actuellement les méthodes de seconde pass ouvre toutes les base de simulation, ça ne va pas fonctionner. Voilà ;) -- Éric <chatellier@codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com
Salut, Pourrez vous me prevenir des que la nouvelle version sera dispo et telechargeable ? Comme meme ma 3.1 bug apresent (pb d affichage des regles dans la liste deroulante de l interface de lancement de simu !!), j'aimerais la télécharger des que possible... merci sigrid Eric Chatellier a écrit :
Eric Chatellier a écrit :
Je l'ai fait comme ça :
Le isis-client envoie une simulation au isis serveur.
Le isis serveur : - fait la simulation - fait le zip + md5 - supprime la simulation
Ensuite, le zip + md5 sont récupérés par le client. (charge au client de l'effacer)
Bonjour,
J'ai fait un test en condition réelle (c'est ça dire pas sur le même réseau que le serveur de simulation, comme caparmor).
Donc lors de mon premier test, isis passait son temps a télécharger les simulations, rien d'autre. J'ai donc fait un esssai de compression en .tar.bz2 (au lieu de zip). Pour une simulation résultat de 32mo on passe de 2,5Mo (zip) à 900ko (tar.bz2). C'est basé sur commons-compress, rapide a decompresser, tres lent a compresser, mais vu que c'est sur le serveur, ca ne pose pas de probleme je pense.
Ensuite j'ai lancé une AS sur 10ans avec une analyse morris donnant 1600 simulations. Il a mit 46 heures a en faire 1350 avant que mon disque soit plein : 50 Go de simulation :-)
Ensuite, j'ai testé la seconde pass, mais il faudrait changer quelques chose. On a remarqué avec Benjamin que la méthode getParameter() du SimulationStorage ouvrait la base de données. Actuellement les méthodes de seconde pass ouvre toutes les base de simulation, ça ne va pas fonctionner.
Voilà ;)
-- Sigrid LEHUTA ~ ><> ~ Doctorante Département Ecologie et Modèles pour l'Halieutique IFREMER, rue de l'ile d'Yeu BP 21105 44311 Nantes Cedex 03 Tél : +33 (0)2 40 37 41 65
Sigrid LEHUTA a écrit :
Salut, Pourrez vous me prevenir des que la nouvelle version sera dispo et telechargeable ? Comme meme ma 3.1 bug apresent (pb d affichage des regles dans la liste deroulante de l interface de lancement de simu !!), j'aimerais la télécharger des que possible... merci sigrid Bonjour,
Avec beaucoup de retard, la version 3.2.0.4 est disponible ici : http://isis-fish.labs.libre-entreprise.org/download/version3/isis-fish-3.2.0... -- Éric <chatellier@codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com
participants (4)
-
Benjamin POUSSIN -
Eric Chatellier -
Jean Couteau -
Sigrid LEHUTA