September 2012 - Isis-fish-commits - mailman.cloud.codelutin.com

r3773 - trunk/src/main/java/fr/ifremer/isisfish/util
by bpoussin＠users.forge.codelutin.com 11 Sep '12

11 Sep '12

Author: bpoussin Date: 2012-09-11 19:56:00 +0200 (Tue, 11 Sep 2012) New Revision: 3773 Url: http://forge.codelutin.com/repositories/revision/isis-fish/3773 Log: utilisation de la representation interne de la chaine comme cle pour minimiser le nombre de chaine dans la JVM Modified: trunk/src/main/java/fr/ifremer/isisfish/util/Cache.java Modified: trunk/src/main/java/fr/ifremer/isisfish/util/Cache.java =================================================================== --- trunk/src/main/java/fr/ifremer/isisfish/util/Cache.java 2012-09-11 07:57:50 UTC (rev 3772) +++ trunk/src/main/java/fr/ifremer/isisfish/util/Cache.java 2012-09-11 17:56:00 UTC (rev 3773) @@ -115,7 +115,10 @@ // le pas de temps trouve dans les arguments TimeStep step = computeKey(sbKey, method, args); - Object key = sbKey.toString(); + // on recupere le intern de la String car normalement en cache on + // retrouve souvent les memes chaines comme cle (sinon le cache + // servirait a rien :D) + Object key = sbKey.toString().intern(); result = get(step, key); if (result == null) {

1 0

r3772 - in trunk/src/main/java/fr/ifremer/isisfish: datastore simulator/launcher
by echatellier＠users.forge.codelutin.com 11 Sep '12

11 Sep '12

Author: echatellier Date: 2012-09-11 09:57:50 +0200 (Tue, 11 Sep 2012) New Revision: 3772 Url: http://forge.codelutin.com/repositories/revision/isis-fish/3772 Log: Support delete and close for both database and file result storages. Modified: trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultDatabaseStorage.java trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultStorage.java trunk/src/main/java/fr/ifremer/isisfish/simulator/launcher/InProcessSimulatorLauncher.java Modified: trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultDatabaseStorage.java =================================================================== --- trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultDatabaseStorage.java 2012-09-07 23:51:36 UTC (rev 3771) +++ trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultDatabaseStorage.java 2012-09-11 07:57:50 UTC (rev 3772) @@ -102,6 +102,38 @@ this.simulation = simulation; } + @Override + public void delete() { + TopiaContext tx = null; + boolean mustClose = false; + + try { + if (simulation == SimulationContext.get().getSimulationStorage()) { + tx = SimulationContext.get().getDbResult(); + } + + if (tx == null) { + // not in simulation, create transaction + tx = simulation.getStorage().beginTransaction(); + mustClose = true; + } + + tx.execute("DELETE " + Result.class.getName()); + if (mustClose) { + tx.closeContext(); + } + } catch (Exception ex) { + if (log.isErrorEnabled()) { + log.error("Can't delete results", ex); + } + } + } + + @Override + public void close() { + // do nothing, closed by simulation storage closing + } + protected void putInCache(TimeStep step, String name, MatrixND mat, TopiaContext context) { String key = step.getStep() + ":" + name; putInCache(key, mat, context); @@ -518,7 +550,7 @@ // echatellier 20120829 : vidage du cache hibernate // sinon on fait trop de lecture que la meme transaction // et le cache hibernate se remplit sans se vider - tx.clearCache(); + //tx.clearCache(); } } catch (Exception eee) { if (log.isWarnEnabled()) { @@ -604,7 +636,7 @@ // echatellier 20120829 : vidage du cache hibernate // sinon on fait trop de lecture que la meme transaction // et le cache hibernate se remplit sans se vider - tx.clearCache(); + //tx.clearCache(); } } catch (TopiaException eee) { if (log.isWarnEnabled()) { Modified: trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java =================================================================== --- trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java 2012-09-07 23:51:36 UTC (rev 3771) +++ trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java 2012-09-11 07:57:50 UTC (rev 3772) @@ -56,6 +56,7 @@ import java.util.TreeMap; import org.apache.commons.collections.BidiMap; import org.apache.commons.collections.bidimap.DualHashBidiMap; +import org.apache.commons.io.IOUtils; import org.apache.commons.lang3.StringUtils; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; @@ -421,7 +422,22 @@ super.finalize(); raf.close(); } + + @Override + public void delete() { + close(); + File file = SimulationStorage.getResultFile(simulation.getDirectory()); + file.delete(); + } + @Override + public void close() { + if (raf != null) { + IOUtils.closeQuietly(raf); + raf = null; + } + } + /** * Methode interne pour que les deux Map soit mise a jour en meme temps * C'est la seul methode qui permet d'ajouter des noms de result dans les Map Modified: trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultStorage.java =================================================================== --- trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultStorage.java 2012-09-07 23:51:36 UTC (rev 3771) +++ trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultStorage.java 2012-09-11 07:57:50 UTC (rev 3772) @@ -149,4 +149,21 @@ * @return last simulation date */ public TimeStep getLastStep(); + + /** + * Delete all result for this result storage. + * + * In case of sensitivity analysis, after export, result are no longer + * needed and can be deleted to save disk space. + * + * @since 4.1.1.2 + */ + public void delete(); + + /** + * Close result storage. + * + * @since 4.1.1.2 + */ + public void close(); } Modified: trunk/src/main/java/fr/ifremer/isisfish/simulator/launcher/InProcessSimulatorLauncher.java =================================================================== --- trunk/src/main/java/fr/ifremer/isisfish/simulator/launcher/InProcessSimulatorLauncher.java 2012-09-07 23:51:36 UTC (rev 3771) +++ trunk/src/main/java/fr/ifremer/isisfish/simulator/launcher/InProcessSimulatorLauncher.java 2012-09-11 07:57:50 UTC (rev 3772) @@ -5,7 +5,7 @@ * $Id$ * $HeadURL$ * %% - * Copyright (C) 2002 - 2010 Ifremer, Code Lutin, Benjamin Poussin + * Copyright (C) 2002 - 2012 Ifremer, Code Lutin, Benjamin Poussin, Chatellier Eric * %% * This program is free software: you can redistribute it and/or modify * it under the terms of the GNU General Public License as @@ -56,6 +56,7 @@ import fr.ifremer.isisfish.aspect.CacheAspect; import fr.ifremer.isisfish.aspect.RuleAspect; import fr.ifremer.isisfish.aspect.TraceAspect; +import fr.ifremer.isisfish.datastore.ResultStorage; import fr.ifremer.isisfish.datastore.SimulationStorage; import fr.ifremer.isisfish.datastore.SimulatorStorage; import fr.ifremer.isisfish.simulator.SimulationContext; @@ -66,8 +67,8 @@ import fr.ifremer.isisfish.simulator.SimulationParameter; import fr.ifremer.isisfish.simulator.SimulationPreScript; import fr.ifremer.isisfish.simulator.Simulator; +import fr.ifremer.isisfish.types.Month; import fr.ifremer.isisfish.types.TimeStep; -import fr.ifremer.isisfish.types.Month; /** * Fait une simulation dans la meme jvm. @@ -420,9 +421,11 @@ // suppression des résultats si l'utilisateur a demande à ne conserver // que les resultats de seulement la première simulation d'une AS + ResultStorage resultStorage = simulation.getResultStorage(); if (parameters.isSensitivityAnalysisOnlyKeepFirst() && !control.getId().endsWith("_0")) { - context.getDbResult().clear(true); + resultStorage.delete(); } + resultStorage.close(); } catch (OutOfMemoryError eee) { log.error(_("isisfish.error.during.simulation"), eee); @@ -437,14 +440,13 @@ // // Finaly close all TopiaContext used during simulation // - SimulationContext context = SimulationContext.get(); context.closeDB(); context.closeDBResult(); try { - // close all transaction + // close all transaction (root context) if (context.getSimulationStorage() != null) { context.getSimulationStorage().closeMemStorage(); context.getSimulationStorage().closeStorage();

1 0

r3771 - trunk/src/main/java/fr/ifremer/isisfish/datastore
by bpoussin＠users.forge.codelutin.com 07 Sep '12

07 Sep '12

Author: bpoussin Date: 2012-09-08 01:51:36 +0200 (Sat, 08 Sep 2012) New Revision: 3771 Url: http://forge.codelutin.com/repositories/revision/isis-fish/3771 Log: ajout d'un numero de version dans la mark du resulat Modified: trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java Modified: trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java =================================================================== --- trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java 2012-09-07 23:45:03 UTC (rev 3770) +++ trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java 2012-09-07 23:51:36 UTC (rev 3771) @@ -200,7 +200,7 @@ * la symetrie entre les deux */ static protected class ResultHeaderMatrix { - final static long RESULT_MATRIX = BitUtil.toMark("res mat"); + final static long RESULT_MATRIX = BitUtil.toMark("resmat01"); int stepValue; // le pas de temps String name; // le nom du resultat

1 0

r3770 - trunk/src/main/java/fr/ifremer/isisfish/datastore
by bpoussin＠users.forge.codelutin.com 07 Sep '12

07 Sep '12

Author: bpoussin Date: 2012-09-08 01:45:03 +0200 (Sat, 08 Sep 2012) New Revision: 3770 Url: http://forge.codelutin.com/repositories/revision/isis-fish/3770 Log: suppression du sync qui multiplie par 3 le temps de simulation Modified: trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java Modified: trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java =================================================================== --- trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java 2012-09-07 23:16:26 UTC (rev 3769) +++ trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java 2012-09-07 23:45:03 UTC (rev 3770) @@ -527,7 +527,11 @@ ResultMapped r = new ResultMapped(raf, offset, step, name, mat); storeResult(r); offset += r.size(); - raf.getFD().sync(); + // si on force un sync (ecriture disque) au cas + // ou la simulation plante, on a tout de meme des resultat. Mais + // cela dimini grandement les performances :( On divise par 3 le + // temps de simulation, si on ne force pas le sync. + // raf.getFD().sync(); } catch (IOException eee) { log.warn("Can't add result '" + name + "' at step " + step, eee); }

1 0

r3769 - trunk/src/main/java/fr/ifremer/isisfish/datastore
by bpoussin＠users.forge.codelutin.com 07 Sep '12

07 Sep '12

Author: bpoussin Date: 2012-09-08 01:16:26 +0200 (Sat, 08 Sep 2012) New Revision: 3769 Url: http://forge.codelutin.com/repositories/revision/isis-fish/3769 Log: lorsqu'on ecrit n'importe ou, ca donne n'importe quoi :) avant d'ecrire on se position la ou il faut et tout marche :) Modified: trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java Modified: trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java =================================================================== --- trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java 2012-09-07 18:03:30 UTC (rev 3768) +++ trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java 2012-09-07 23:16:26 UTC (rev 3769) @@ -239,14 +239,14 @@ * @return * @throws IOException */ - public static ResultHeaderMatrix read (RandomAccessFile raf) throws IOException { - long pos = raf.getFilePointer(); + public static ResultHeaderMatrix read (RandomAccessFile raf, long offset) throws IOException { + raf.seek(offset); long mark = raf.readLong(); ResultHeaderMatrix result = null; if (mark != RESULT_MATRIX) { // on a pas le bon marqueur, on se replace avant sa lecture - raf.seek(pos); + raf.seek(offset); } else { result = new ResultHeaderMatrix(); result.stepValue = raf.readInt(); @@ -273,7 +273,8 @@ } return result; } - public void write (RandomAccessFile raf) throws IOException { + public void write (RandomAccessFile raf, long offset) throws IOException { + raf.seek(offset); long mark = RESULT_MATRIX; raf.writeLong(mark); @@ -303,7 +304,7 @@ public ResultMapped(RandomAccessFile raf, long offset) throws IOException { this.raf = raf; this.offset = offset; - ResultHeaderMatrix header = ResultHeaderMatrix.read(raf); + ResultHeaderMatrix header = ResultHeaderMatrix.read(raf, offset); if (header != null) { step = new TimeStep(header.stepValue); name = header.name; @@ -350,20 +351,18 @@ ResultHeaderMatrix header = new ResultHeaderMatrix(); header.set(step.getStep(), name, dims.length, dimNames, dims, sems, dataSize); - header.write(raf); + header.write(raf, offset); // on prend la position apres l'ecriture de l'entete - long size = raf.getFilePointer(); - - long dataOffset = offset + size; + long dataOffset = raf.getFilePointer(); // on cree la nouvelle matrice comme il faut (semantique non decore) DoubleBigMappedVector data = new DoubleBigMappedVector(raf, dataOffset, dataSize); this.matrix = MatrixFactory.getInstance().create(name, sems, dimNames, data); // et on met les valeurs de l'ancienne dans la nouvelle this.matrix.paste(matrix); - size += dataSize * 8; /* un double est sur 8 bytes*/ - this.size = size; + // la taille du tout est la longueur du header (position des data - offset) + taille des data + size = dataOffset - offset + dataSize * 8; /* un double est sur 8 bytes*/ } /**

1 0

r3768 - trunk/src/main/java/fr/ifremer/isisfish/datastore
by bpoussin＠users.forge.codelutin.com 07 Sep '12

07 Sep '12

Author: bpoussin Date: 2012-09-07 20:03:30 +0200 (Fri, 07 Sep 2012) New Revision: 3768 Url: http://forge.codelutin.com/repositories/revision/isis-fish/3768 Log: ouverture du fichier de resultat toujours en RW. On arrive maintenant a relire des resultats precedement sauver. (mais il semble toujours faut :() Modified: trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java Modified: trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java =================================================================== --- trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java 2012-09-07 17:35:57 UTC (rev 3767) +++ trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java 2012-09-07 18:03:30 UTC (rev 3768) @@ -404,13 +404,9 @@ this.simulation = simulation; File file = SimulationStorage.getResultFile(simulation.getDirectory()); - // le fichier semble se corrompre à la relecture (ouverture - // en lecture seule s'il existe déjà) - if (file.isFile()) { - raf = new RandomAccessFile(file, "r"); - } else { - raf = new RandomAccessFile(file, "rw"); - } + // il faut toujours ouvrir en 'rw' car sinon les matrices n'arrive pas + // a ce charger car elle sont toujours en RW. + raf = new RandomAccessFile(file, "rw"); // on lit les donnees deja presente offset = 0;

1 0

r3767 - in trunk/src: main/java/fr/ifremer/isisfish/datastore main/java/fr/ifremer/isisfish/util test/java/fr/ifremer/isisfish test/java/fr/ifremer/isisfish/util
by bpoussin＠users.forge.codelutin.com 07 Sep '12

07 Sep '12

Author: bpoussin Date: 2012-09-07 19:35:57 +0200 (Fri, 07 Sep 2012) New Revision: 3767 Url: http://forge.codelutin.com/repositories/revision/isis-fish/3767 Log: - Correction dans le stockage des resultats en fichier mapper - ajout d'un marqueur en debut de resultat pour de futur evolution - outil de reparation - ajout d'autre type de resultat Added: trunk/src/main/java/fr/ifremer/isisfish/util/BitUtil.java trunk/src/test/java/fr/ifremer/isisfish/util/BitUtilTest.java Modified: trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java trunk/src/test/java/fr/ifremer/isisfish/AbstractIsisFishTest.java Modified: trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java =================================================================== --- trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java 2012-09-06 13:39:35 UTC (rev 3766) +++ trunk/src/main/java/fr/ifremer/isisfish/datastore/ResultMappedStorage.java 2012-09-07 17:35:57 UTC (rev 3767) @@ -41,6 +41,7 @@ import fr.ifremer.isisfish.simulator.SimulationResultListener; import fr.ifremer.isisfish.types.Month; import fr.ifremer.isisfish.types.TimeStep; +import fr.ifremer.isisfish.util.BitUtil; import java.io.File; import java.io.IOException; import java.io.RandomAccessFile; @@ -191,46 +192,135 @@ protected String name; protected MatrixND matrix; - /** read data from file */ - public ResultMapped(RandomAccessFile raf, long offset) throws IOException { - this.raf = raf; - this.offset = offset; + /** + * Classe permettant de lire et ecrire le header d'un resultat matrice + * Le header comprend tout sauf les donnees de la matrice. + * Si on ne retrouve pas la mark, alors on ne lit pas le resultat. + * Cette classe sert a simplifier la lecture et l'ecriture pour garantir + * la symetrie entre les deux + */ + static protected class ResultHeaderMatrix { + final static long RESULT_MATRIX = BitUtil.toMark("res mat"); - int stepValue = raf.readInt(); - step = new TimeStep(stepValue); + int stepValue; // le pas de temps + String name; // le nom du resultat + int dimSize; // le nombre de dimension + String[] dimNames; // le nom des dimensions + int[] dims; // la taille de chaque dimension + List[] sems; // les semantiques de chaque dimension + int dataSize; // la taille du vecteur. En mettant un int on est limite a 2Go x 8 (double) = 16Go par matrice - name = raf.readUTF(); + /** + * Methode qui prend tous les champs en parametre, ce qui force a ne pas en oublier + * @param stepValue + * @param name + * @param dimSize + * @param dimNames + * @param dims + * @param sems + * @param dataSize + */ + public void set(int stepValue, String name, int dimSize, + String[] dimNames, int[] dims, List[] sems, int dataSize) { + this.stepValue = stepValue; + this.name = name; + this.dimSize = dimSize; + this.dimNames = dimNames; + this.dims = dims; + this.sems = sems; + this.dataSize = dataSize; + } - int dimSize = raf.readInt(); + /** + * Lit le header si possible. Si ce n'est pas possible replace le + * raf a l'emplacement auquel il etait avant la tentative de lecture. + * + * @param raf + * @return + * @throws IOException + */ + public static ResultHeaderMatrix read (RandomAccessFile raf) throws IOException { + long pos = raf.getFilePointer(); - String[] dimNames = new String[dimSize]; - for (int i=0; i<dimSize; i++) { - dimNames[i] = raf.readUTF(); - } + long mark = raf.readLong(); + ResultHeaderMatrix result = null; + if (mark != RESULT_MATRIX) { + // on a pas le bon marqueur, on se replace avant sa lecture + raf.seek(pos); + } else { + result = new ResultHeaderMatrix(); + result.stepValue = raf.readInt(); + result.name = raf.readUTF(); + result.dimSize = raf.readInt(); + result.dimNames = new String[result.dimSize]; + for (int i=0; i< result.dimSize; i++) { + result.dimNames[i] = raf.readUTF(); + } + result.dims = new int[result.dimSize]; + for (int i=0; i< result.dimSize; i++) { + result.dims[i] = raf.readInt(); + } - int[] dims = new int[dimSize]; - for (int i=0; i<dimSize; i++) { - dims[i] = raf.readInt(); + result.sems = new List[result.dimSize]; + for (int i=0; i< result.dimSize; i++) { + result.sems[i] = new ArrayList(); + for (int j=0; j< result.dims[i]; j++) { + String s = raf.readUTF(); + result.sems[i].add(s); + } + } + result.dataSize = raf.readInt(); + } + return result; } + public void write (RandomAccessFile raf) throws IOException { + long mark = RESULT_MATRIX; - List[] sems = new List[dimSize]; - for (int i=0; i<dimSize; i++) { - sems[i] = new ArrayList(); - for (int j=0; j<dims[i]; j++) { - String s = raf.readUTF(); - sems[i].add(s); + raf.writeLong(mark); + raf.writeInt(this.stepValue); + raf.writeUTF(this.name); + raf.writeInt(this.dimSize); + for (int i=0; i< this.dimSize; i++) { + raf.writeUTF(this.dimNames[i]); } + for (int i=0; i< this.dimSize; i++) { + raf.writeInt(this.dims[i]); + } + + + for (int i=0; i< this.sems.length; i++) { + for (Object s : this.sems[i]) { + raf.writeUTF(String.valueOf(s)); + } + } + raf.writeInt(this.dataSize); } + } - long size = raf.getFilePointer(); - long dataOffset = offset + size; - int dataSize = raf.readInt(); // en mettant un int on est limite a 2Go x 8 (double) = 16Go par matrice - DoubleBigMappedVector data = new DoubleBigMappedVector(raf, dataOffset, dataSize); - this.matrix = matrixFactory.create(name, sems, dimNames, data); - size += dataSize * 8; /* un double est sur 8 bytes*/ - this.size = size; + /** read data from file */ + public ResultMapped(RandomAccessFile raf, long offset) throws IOException { + this.raf = raf; + this.offset = offset; + ResultHeaderMatrix header = ResultHeaderMatrix.read(raf); + if (header != null) { + step = new TimeStep(header.stepValue); + name = header.name; + String[] dimNames = header.dimNames; + List[] sems = header.sems; + + long size = raf.getFilePointer(); + long dataOffset = offset + size; + + int dataSize = header.dataSize; + + DoubleBigMappedVector data = new DoubleBigMappedVector(raf, dataOffset, dataSize); + this.matrix = matrixFactory.create(name, sems, dimNames, data); + + size += dataSize * 8; /* un double est sur 8 bytes*/ + this.size = size; + } } /** write date to file */ @@ -246,18 +336,7 @@ List[] sems = matrix.getSemantics(); int dataSize = MatrixHelper.getVectorSize(dims); // en mettant un int on est limite a 2Go x 8 (double) = 16Go par matrice - raf.write(step.getStep()); // ecriture du pas de temps - raf.writeUTF(name); // ecriture du nom du resultat - raf.write(dims.length); // ecriture de la taille du tableau de dimension et semantique - - for (String s : dimNames) { - raf.writeUTF(s); // ecriture du nom de chaque dimensions - } - for (int d : dims) { - raf.write(d); // ecriture de chaque dimension - } - - // conversion et enregistrement des semantiques + // conversion des semantiques SemanticsDecorator deco = new EntitySemanticsDecorator(); for (int i=0; i<sems.length; i ++) { List l = sems[i]; @@ -266,11 +345,12 @@ for (Object o : l) { o = deco.undecorate(o); undecorate.add(o); - raf.writeUTF(o.toString()); // ecriture de chaque dimension } } - raf.writeInt(dataSize); + ResultHeaderMatrix header = new ResultHeaderMatrix(); + header.set(step.getStep(), name, dims.length, dimNames, dims, sems, dataSize); + header.write(raf); // on prend la position apres l'ecriture de l'entete long size = raf.getFilePointer(); @@ -452,6 +532,7 @@ ResultMapped r = new ResultMapped(raf, offset, step, name, mat); storeResult(r); offset += r.size(); + raf.getFD().sync(); } catch (IOException eee) { log.warn("Can't add result '" + name + "' at step " + step, eee); } @@ -480,7 +561,7 @@ */ public boolean isEnabled(String name) { name = name.trim(); - if (enabledResult == null) { + if (enabledResult == null && simulation.getSimulationParametersFile().exists()) { enabledResult = new HashSet<String>(); Collection<String> resultEnabled = simulation.getParameter() @@ -538,7 +619,11 @@ } log.info("Enabled result: " + enabledResult); } - boolean result = enabledResult.contains(name); + // par defaut on dit qu'on conserve le resultat + boolean result = true; + if (enabledResult != null) { + result = enabledResult.contains(name); + } return result; } Added: trunk/src/main/java/fr/ifremer/isisfish/util/BitUtil.java =================================================================== --- trunk/src/main/java/fr/ifremer/isisfish/util/BitUtil.java (rev 0) +++ trunk/src/main/java/fr/ifremer/isisfish/util/BitUtil.java 2012-09-07 17:35:57 UTC (rev 3767) @@ -0,0 +1,77 @@ +package fr.ifremer.isisfish.util; + + +import org.apache.commons.lang3.StringUtils; +import org.apache.commons.logging.Log; +import org.apache.commons.logging.LogFactory; + +/** + * Quelques methodes pour manipuler les bits d'un long. Ces methodes servent pour + * creer des marques pour les resultats mapper + * + * @author poussin + * @version $Revision$ + * + * Last update: $Date$ + * by : $Author$ + */ +public class BitUtil { + + /** to use log facility, just put in your code: log.info(\"...\"); */ + static private Log log = LogFactory.getLog(BitUtil.class); + /** + * Converti une chaine de maximum 8 carateres en un long representant cette + * chaine en ascii. + * @param s + * @return + */ + public static long toMark(String s) { + long result = 0; + s = StringUtils.rightPad(s, 8, ' '); + s = StringUtils.substring(s, 0, 8); + for (int i=0; i<8; i++) { + long b = (long)s.charAt(i); + // le 1er caractere doit etre le plus a gauche + // un long est sur 64 bit, on decale de 8 en 8 (byte) + result = result | (b << (64-(i+1)*8)); + } + return result; + } + + /** + * Convertie un long en sa representation String. Le long est en fait + * l'aggregation de 8 char (8x8bits). Les chars sont dans la table ascii + * @param l + * @return + */ + public static String fromMark(long l) { + long m = 0x00000000000000FF; // mask 255 + String result = ""; + for (int i=0; i<8; i++) { // on parcours chaque byte du long + long t = l >> 8*i; // on decale le caratere a lire a droite + char v = (char)(t & m); // on applique le mask pour ne garder que ce caratere + result = v + result; + } + return result; + } + + /** + * Montre les bits d'une nombre entier + * @param l + * @return + */ + public static String showBit(long l) { + long m = 0x0000000000000001; + String result = ""; + for (int i=0; i<64; i++) { + long t = l >> i; + long v = t & m; + result = v + result; + if (i!= 0 && i%8 == 0) { + result = " " + result; + } + } + return result; + } + +} Modified: trunk/src/test/java/fr/ifremer/isisfish/AbstractIsisFishTest.java =================================================================== --- trunk/src/test/java/fr/ifremer/isisfish/AbstractIsisFishTest.java 2012-09-06 13:39:35 UTC (rev 3766) +++ trunk/src/test/java/fr/ifremer/isisfish/AbstractIsisFishTest.java 2012-09-07 17:35:57 UTC (rev 3767) @@ -40,6 +40,7 @@ import freemarker.cache.ClassTemplateLoader; import freemarker.ext.beans.BeansWrapper; import freemarker.template.Configuration; +import java.io.IOException; /** * Abstract test case for isis fish. Added: trunk/src/test/java/fr/ifremer/isisfish/util/BitUtilTest.java =================================================================== --- trunk/src/test/java/fr/ifremer/isisfish/util/BitUtilTest.java (rev 0) +++ trunk/src/test/java/fr/ifremer/isisfish/util/BitUtilTest.java 2012-09-07 17:35:57 UTC (rev 3767) @@ -0,0 +1,34 @@ +package fr.ifremer.isisfish.util; + + +import org.apache.commons.logging.Log; +import org.apache.commons.logging.LogFactory; +import org.junit.Assert; +import org.junit.Test; + +/** + * + * @author poussin + * @version $Revision$ + * + * Last update: $Date$ + * by : $Author$ + */ +public class BitUtilTest { + + /** to use log facility, just put in your code: log.info(\"...\"); */ + static private Log log = LogFactory.getLog(BitUtilTest.class); + /** + * Test que la conversion chaine vers long fonctionne pour la creation de mark + */ + @Test + public void testMark() { + String s = "res mat"; + long l = BitUtil.toMark(s); + String r = BitUtil.fromMark(l); + + // le resultat fait toujours 8 caracteres, s'il faut des espaces son ajouter + Assert.assertEquals(s + " ", r); + } + +}

1 0

r3766 - trunk/src/main/java/fr/ifremer/isisfish
by echatellier＠users.forge.codelutin.com 06 Sep '12

06 Sep '12

Author: echatellier Date: 2012-09-06 15:39:35 +0200 (Thu, 06 Sep 2012) New Revision: 3766 Url: http://forge.codelutin.com/repositories/revision/isis-fish/3766 Log: fixes #1461 : Le d?\195?\169pot communaut?\195?\169 n'est pas mis ?\195?\160 jour au d?\195?\169marrage Modified: trunk/src/main/java/fr/ifremer/isisfish/IsisFish.java Modified: trunk/src/main/java/fr/ifremer/isisfish/IsisFish.java =================================================================== --- trunk/src/main/java/fr/ifremer/isisfish/IsisFish.java 2012-09-05 13:57:18 UTC (rev 3765) +++ trunk/src/main/java/fr/ifremer/isisfish/IsisFish.java 2012-09-06 13:39:35 UTC (rev 3766) @@ -529,6 +529,12 @@ // check protocol, user, host communityVcs.checkProtocol(); + // check file status + // WARNING : this do the real svn update + List<File> filesInClonflict = communityVcs.checkFileStatus(); + if (filesInClonflict != null && !filesInClonflict.isEmpty()) { + warnFileListDialog(_("isisfish.error.warning.title"), _("isisfish.vcs.update.warningconflict"), filesInClonflict); + } } // fin de l'init on supprime le vetoable du vcs

1 0

r3765 - trunk/src/main/java/fr/ifremer/isisfish/ui/script
by echatellier＠users.forge.codelutin.com 05 Sep '12

05 Sep '12

Author: echatellier Date: 2012-09-05 15:57:18 +0200 (Wed, 05 Sep 2012) New Revision: 3765 Url: http://forge.codelutin.com/repositories/revision/isis-fish/3765 Log: Fix NPE Modified: trunk/src/main/java/fr/ifremer/isisfish/ui/script/ScriptUI.jaxx Modified: trunk/src/main/java/fr/ifremer/isisfish/ui/script/ScriptUI.jaxx =================================================================== --- trunk/src/main/java/fr/ifremer/isisfish/ui/script/ScriptUI.jaxx 2012-09-05 13:56:54 UTC (rev 3764) +++ trunk/src/main/java/fr/ifremer/isisfish/ui/script/ScriptUI.jaxx 2012-09-05 13:57:18 UTC (rev 3765) @@ -46,21 +46,21 @@ <JMenu id="scriptTxtFile" text="isisfish.script.menu.file"> <JMenu id="scriptNewMenu" text="isisfish.script.menu.new" icon="script.png"> <JMenuItem id="miNewScript" text="isisfish.script.menu.txtNewScript" - onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.Script)' icon="script.png" /> + onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.CommunityScript)' icon="script.png" /> <JMenuItem id="miNewSimulator" text="isisfish.script.menu.txtNewSimulator" - onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.Simulator)' icon="script.png" /> + onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.CommunitySimulator)' icon="script.png" /> <JMenuItem id="miNewExport" text="isisfish.script.menu.txtNewExport" - onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.Export)' icon="script.png" /> + onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.CommunityExport)' icon="script.png" /> <JMenuItem id="miNewRule" text="isisfish.script.menu.txtNewRule" - onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.Rule)' icon="script.png" /> + onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.CommunityRule)' icon="script.png" /> <JMenuItem id="miNewSImulationPlan" text="isisfish.script.menu.txtNewSimulationPlan" - onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.SimulationPlan)' icon="script.png" /> + onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.CommunitySimulationPlan)' icon="script.png" /> <JMenuItem id="miNewSensitivity" text="isisfish.script.menu.txtNewSensitivity" - onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.Sensitivity)' icon="script.png" /> + onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.CommunitySensitivity)' icon="script.png" /> <JMenuItem id="miNewSensitivityExport" text="isisfish.script.menu.txtNewSensitivityExport" - onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.SensitivityExport)' icon="script.png" /> + onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.CommunitySensitivityExport)' icon="script.png" /> <JMenuItem id="miNewEquationModel" text="isisfish.script.menu.txtNewEquationModel" - onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.Formule)' icon="script.png" /> + onActionPerformed='getScriptAction().newScript(ScriptAction.ScriptMapping.CommunityFormule)' icon="script.png" /> </JMenu> <JMenuItem id="miSave" text="isisfish.script.menu.save" onActionPerformed="getScriptAction().saveScript()" icon="script_save.png" enabled='{isSingleFileSelected()}' />

1 0

r3764 - trunk/src/main/java/fr/ifremer/isisfish/simulator/launcher
by echatellier＠users.forge.codelutin.com 05 Sep '12

05 Sep '12

Author: echatellier Date: 2012-09-05 15:56:54 +0200 (Wed, 05 Sep 2012) New Revision: 3764 Url: http://forge.codelutin.com/repositories/revision/isis-fish/3764 Log: Fixes #1460 :Impossible d'appeler R depuis un sous processus Modified: trunk/src/main/java/fr/ifremer/isisfish/simulator/launcher/SubProcessSimulationLauncher.java Modified: trunk/src/main/java/fr/ifremer/isisfish/simulator/launcher/SubProcessSimulationLauncher.java =================================================================== --- trunk/src/main/java/fr/ifremer/isisfish/simulator/launcher/SubProcessSimulationLauncher.java 2012-09-04 09:32:34 UTC (rev 3763) +++ trunk/src/main/java/fr/ifremer/isisfish/simulator/launcher/SubProcessSimulationLauncher.java 2012-09-05 13:56:54 UTC (rev 3764) @@ -43,8 +43,6 @@ import org.apache.commons.logging.LogFactory; import org.nuiton.util.FileUtil; -import com.sun.tools.internal.jxc.gen.config.Config; - import fr.ifremer.isisfish.IsisFish; import fr.ifremer.isisfish.datastore.SimulationStorage; import fr.ifremer.isisfish.simulator.SimulationControl; @@ -203,11 +201,11 @@ // jri args String libraryPath = System.getProperty("java.library.path"); if (StringUtils.isNotBlank(libraryPath)) { - command.add("-Djava.library.path=\"" + libraryPath + "\""); + command.add("-Djava.library.path=" + libraryPath + ""); } String rType = System.getProperty("R.type"); if (StringUtils.isNotBlank(rType)) { - command.add("-DR.type=\"" + rType + "\""); + command.add("-DR.type=" + rType + ""); } // common args

1 0