r570 - in trunk/coser-business/src: main/java/fr/ifremer/coser/services test/java/fr/ifremer/coser/services test/resources test/resources/web - Coser-commits

25 Jan 2011

Author: chatellier
Date: 2011-01-25 11:56:30 +0000 (Tue, 25 Jan 2011)
New Revision: 570

Log:
Fix result upload merge with separated indicators and maps results.

Modified:
   trunk/coser-business/src/main/java/fr/ifremer/coser/services/ProjectService.java
   trunk/coser-business/src/main/java/fr/ifremer/coser/services/WebService.java
   trunk/coser-business/src/test/java/fr/ifremer/coser/services/CoserTestAbstract.java
   trunk/coser-business/src/test/java/fr/ifremer/coser/services/WebServiceTest.java
   trunk/coser-business/src/test/resources/web/upload1.zip
   trunk/coser-business/src/test/resources/web/upload2.zip
   trunk/coser-business/src/test/resources/webindicators.csv

Modified: trunk/coser-business/src/main/java/fr/ifremer/coser/services/ProjectService.java
===================================================================

--- trunk/coser-business/src/main/java/fr/ifremer/coser/services/ProjectService.java	2011-01-25 11:54:59 UTC (rev 569)
+++ trunk/coser-business/src/main/java/fr/ifremer/coser/services/ProjectService.java	2011-01-25 11:56:30 UTC (rev 570)
@@ -414,8 +414,7 @@
         if (!projectDirectory.isDirectory()) {
             throw new CoserBusinessException(_("Project %s doesn't exists !", projectName));
         }
-        Project project = new Project();
-        project.setName(projectName);
+        Project project = new Project(projectName);
 
         for (Category category : Category.values()) {
             // load only additional files

Modified: trunk/coser-business/src/main/java/fr/ifremer/coser/services/WebService.java
===================================================================
--- trunk/coser-business/src/main/java/fr/ifremer/coser/services/WebService.java	2011-01-25 11:54:59 UTC (rev 569)
+++ trunk/coser-business/src/main/java/fr/ifremer/coser/services/WebService.java	2011-01-25 11:56:30 UTC (rev 570)
@@ -254,8 +254,7 @@
             for (File existingProject : projects) {
                 if (existingProject.isDirectory()) {
                     String projectName = existingProject.getName();
-                    Project p = new Project();
-                    p.setName(projectName);
+                    Project p = new Project(projectName);
 
                     // loop on selections
                     File selectionsDirectory = new File(existingProject, CoserConstants.STORAGE_SELECTION_DIRECTORY);
@@ -264,8 +263,7 @@
                         for (File existingSelection : selections) {
                             if (existingSelection.isDirectory()) {
                                 String selectionName = existingSelection.getName();
-                                Selection s = new Selection();
-                                s.setName(selectionName);
+                                Selection s = new Selection(selectionName);
 
                                 // loop on result
                                 File rsufisDirectory = new File(existingSelection, CoserConstants.STORAGE_RESULTS_DIRECTORY);
@@ -343,7 +341,7 @@
                 Project project = path.getProject();
                 project = projectService.openProject(project.getName());
 
-                OneResultFileFilter oneRFF = new OneResultFileFilter(config,
+                OneResultFileFilter oneRFF = new OneResultFileFilter(config.getProjectsDirectory(),
                         project, path.getSelection(), path.getRsufiResult(), publishDataResults.contains(path));
                 mFileFilters.add(oneRFF);
             }
@@ -566,14 +564,16 @@
      * les fils (et il faut qu'il les demande)
      */
     protected class OneResultFileFilter implements FileFilter {
-        protected CoserBusinessConfig config;
+        protected File projectsDirectory;
+
+        /** Doit etre un project chargé avec nom de fichier originaux. */
         protected Project project;
         protected Selection selection;
         protected RSufiResult rsufi;
         protected boolean exportWithData;
 
-        public OneResultFileFilter(CoserBusinessConfig config, Project project, Selection selection, RSufiResult rsufi, boolean exportWithData) {
-            this.config = config;
+        public OneResultFileFilter(File projectsDirectory, Project project, Selection selection, RSufiResult rsufi, boolean exportWithData) {
+            this.projectsDirectory = projectsDirectory;
             this.project = project;
             this.selection = selection;
             this.rsufi = rsufi;
@@ -591,7 +591,7 @@
             try {
                 String currentPathName = pathname.getCanonicalPath() + File.separator;
 
-                File projectDirectory = new File(config.getProjectsDirectory(), project.getName());
+                File projectDirectory = new File(projectsDirectory, project.getName());
                 File selectionsDirectory = new File(projectDirectory, CoserConstants.STORAGE_SELECTION_DIRECTORY);
                 File selectionDirectory = new File(selectionsDirectory, selection.getName());
                 File resultsDirectory = new File(selectionDirectory, CoserConstants.STORAGE_RESULTS_DIRECTORY);
@@ -655,8 +655,12 @@
      * <li>suppression des selections vides
      * <li>suppression des projets vides
      * <li>copie (avec ecrasement) des nouveaux fichiers dans l'ancien répertoire
+     *   mais seulement pour ceux des zones concernés (partie difficile)
      * </ul>
      * 
+     * TODO chatellier 20110125 l'algorithme n'est pour l'instant pas performant
+     * et contient pas mal de code dupliqué, mais pour la v1.0 ca ira.
+     * 
      * @param archiveFile uploaded file
      * @throws CoserBusinessException 
      */
@@ -674,20 +678,24 @@
             // suppression dans l'ancien répertoire des resultat deja present
             // dans le nouveau (pour les conflits)
             cleanCurrentProjectDirectory(projectsDirectory, indicatorsResultZoneIds);
+            // creation du filter qui copiera juste ce qu'il faut
+            FileFilter indicatorsFileFilter = getCopyFileFilter(tempDirectory, false);
             // copie (avec ecrasement) des nouveaux fichiers dans l'ancien répertoire
-            FileUtils.copyDirectory(tempDirectory, projectsDirectory);
+            //FileUtils.copyDirectory(tempDirectory, projectsDirectory, indicatorsFileFilter);
+            customCopyDirectory(tempDirectory, projectsDirectory, indicatorsFileFilter);
 
-
             File mapsDirectory = config.getWebMapsProjectsDirectory();
             // recuperation des noms zone des nouveau fichiers
             List<String> mapsResultZoneIds = getZonesIds(tempDirectory, true);
             // suppression dans l'ancien répertoire des resultat deja present
             // dans le nouveau (pour les conflits)
             cleanCurrentProjectDirectory(mapsDirectory, mapsResultZoneIds);
+            // creation du filter qui copiera juste ce qu'il faut
+            FileFilter mapsFileFilter = getCopyFileFilter(tempDirectory, true);
             // copie (avec ecrasement) des nouveaux fichiers dans l'ancien répertoire
-            FileUtils.copyDirectory(tempDirectory, mapsDirectory);
+            //FileUtils.copyDirectory(tempDirectory, mapsDirectory, mapsFileFilter);
+            customCopyDirectory(tempDirectory, mapsDirectory, mapsFileFilter);
 
-
             FileUtils.deleteDirectory(tempDirectory);
 
             if (log.isInfoEnabled()) {
@@ -705,7 +713,36 @@
     }
 
     /**
+     * N'utilise pas la methode de commons-fileutils, car lorsqu'un répertoire
+     * est refusé, il ne descend pas dans les sous répertoire alors que dans
+     * notre cas il le faut.
+     * 
+     * @param directory directory
+     * @param projectsDirectory
+     * @param indicatorsFileFilter
+     * @throws IOException 
+     */
+    protected void customCopyDirectory(File srcDir,
+            File destDir, FileFilter indicatorsFileFilter) throws IOException {
+        List<File> files = FileUtil.getFilteredElements(srcDir, null, true);
+        for (File file : files) {
+            if (indicatorsFileFilter.accept(file)) {
+                String path = file.getPath().substring(srcDir.getPath().length());
+
+                File destFile = new File(destDir, path);
+                if (file.isDirectory()) {
+                    destFile.mkdirs();
+                }
+                else {
+                    FileUtils.copyFile(file, destFile);
+                }
+            }
+        }
+    }
+
+    /**
      * Met à jour certaines proprietes apres la mise à jour des données.
+     * 
      * @throws CoserBusinessException 
      */
     protected void updateDataProperties() throws CoserBusinessException {
@@ -824,6 +861,61 @@
     }
 
     /**
+     * Retourne un file filter qui ne copiera que les dossiers resultat
+     * correspondant au type demandé. Pour un resultat, le filtre devra
+     * egalement copier les dossiers projet et selection correspondants.
+     * 
+     * @param scanDirectory directory containing result to copy
+     * @param mapResults result type to get
+     * @return aggragated file filter
+     * @throws CoserBusinessException 
+     */
+    protected FileFilter getCopyFileFilter(File scanDirectory, boolean mapResults) throws CoserBusinessException {
+
+        MultipleFileFilter aggregateFileFilter = new MultipleFileFilter();
+
+        File[] projectFiles = scanDirectory.listFiles();
+        if (projectFiles != null) {
+            for (File projectFile : projectFiles) {
+                if (projectFile.isDirectory()) {
+
+                    File selectionsDirectory = new File(projectFile, CoserConstants.STORAGE_SELECTION_DIRECTORY);
+                    File[] selectionFiles = selectionsDirectory.listFiles();
+                    if (selectionFiles != null) {
+                        for (File selectionFile : selectionFiles) {
+                            if (selectionFile.isDirectory()) {
+
+                                File resultsDirectory = new File(selectionFile, CoserConstants.STORAGE_RESULTS_DIRECTORY);
+                                File[] resultFiles = resultsDirectory.listFiles();
+                                if (resultFiles != null) {
+                                    for (File resultFile : resultFiles) {
+                                        if (resultFile.isDirectory()) {
+                                            RSufiResult rsufiResult = projectService.getRSufiResult(resultFile);
+
+                                            // return result depending on result type
+                                            if ( (mapResults && rsufiResult.isMapsResult()) ||
+                                                    (!mapResults && rsufiResult.isIndicatorsResult())) {
+
+                                                Project p = new Project(projectFile.getName());
+                                                Selection s = new Selection(selectionFile.getName());
+
+                                                OneResultFileFilter resultFileFilter = new OneResultFileFilter(scanDirectory, p, s, rsufiResult, true);
+                                                aggregateFileFilter.add(resultFileFilter);
+                                            }
+                                        }
+                                    }
+                                }
+                            }
+                        }
+                    }
+                }
+            }
+        }
+
+        return aggregateFileFilter;
+    }
+
+    /**
      * Fait le menage dans le dossier courant des projets en supprimant
      * tout les resulat qui ont un result id non present dans la liste
      * {@code newResultIds}.

Modified: trunk/coser-business/src/test/java/fr/ifremer/coser/services/CoserTestAbstract.java
===================================================================
--- trunk/coser-business/src/test/java/fr/ifremer/coser/services/CoserTestAbstract.java	2011-01-25 11:54:59 UTC (rev 569)
+++ trunk/coser-business/src/test/java/fr/ifremer/coser/services/CoserTestAbstract.java	2011-01-25 11:56:30 UTC (rev 570)
@@ -104,7 +104,7 @@
 
     @AfterClass
     public static void cleanDirectory() throws IOException {
-        FileUtils.deleteDirectory(testDirectory);
+        //FileUtils.deleteDirectory(testDirectory);
     }
 
     /**

Modified: trunk/coser-business/src/test/java/fr/ifremer/coser/services/WebServiceTest.java
===================================================================
--- trunk/coser-business/src/test/java/fr/ifremer/coser/services/WebServiceTest.java	2011-01-25 11:54:59 UTC (rev 569)
+++ trunk/coser-business/src/test/java/fr/ifremer/coser/services/WebServiceTest.java	2011-01-25 11:56:30 UTC (rev 570)
@@ -88,7 +88,7 @@
     @Test
     public void testGetIndicators() throws CoserBusinessException {
         MultiKeyMap indicators = webService.getIndicatorsMap();
-        Assert.assertEquals(62, indicators.size());
+        Assert.assertEquals(93, indicators.size());
     }
 
     /**
@@ -119,11 +119,10 @@
         assertFileNotExists(config.getWebIndicatorsProjectsDirectory() + "/projet1/selections/selection11/results/result111");
         assertFileExists(config.getWebIndicatorsProjectsDirectory() + "/projet1/selections/selection11/results/result112");
         assertFileNotExists(config.getWebIndicatorsProjectsDirectory() + "/projet1/selections/selection12");
-        assertFileNotExists(config.getWebIndicatorsProjectsDirectory() + "/projet2");
         // some tests (from second)
         assertFileExists(config.getWebIndicatorsProjectsDirectory() + "/projet1/selections/selection11/results/result113");
         assertFileExists(config.getWebIndicatorsProjectsDirectory() + "/projet1/selections/selection11/results/result114");
-        assertFileExists(config.getWebIndicatorsProjectsDirectory() + "/projet3/selections/selection31/results/result311");
+        assertFileExists(config.getWebMapsProjectsDirectory() + "/projet3/selections/selection31/results/result311");
     }
 
     /**

Modified: trunk/coser-business/src/test/resources/web/upload1.zip
===================================================================
(Binary files differ)

Modified: trunk/coser-business/src/test/resources/web/upload2.zip
===================================================================
(Binary files differ)

Modified: trunk/coser-business/src/test/resources/webindicators.csv
===================================================================
--- trunk/coser-business/src/test/resources/webindicators.csv	2011-01-25 11:54:59 UTC (rev 569)
+++ trunk/coser-business/src/test/resources/webindicators.csv	2011-01-25 11:56:30 UTC (rev 570)
@@ -1,33 +1,33 @@
-"id";"label_fr";"label_en"
-"Abundance";"Abondance totale dans la zone (valeur relative)";"Total abundance in the area (relative value)"
-"Biomass";"Biomasse totale dans la zone (valeur relative)";"Total biomass in the area (relative value)"
-"Dbar";"Densité relative dans la zone";"Relative density in the area"
-"l0.05";"Longueur au 5ème percentile de la distribution de longueur";"Length at the fifth percentile of the length distribution"
-"l0.25";"Longueur au 25ème percentile de la distribution de longueur";"Length at the twenty-fifth percentile of the length distribution"
-"l0.75";"Longueur au 75ème percentile de la distribution de longueur";"Length at the seventy-fifth percentile of the length distribution"
-"l0.95";"Longueur au 95ème percentile de la distribution de longueur";"Length at the ninety- fifth percentile of the length distribution"
-"L50";"Taille à 50 % de maturité";"Size at 50 % maturity"
-"Lbar";"Longueur moyenne dans la population";"Mean length in the population"
-"lnN";"Logarithme naturel de l'abondance";"Natural Logarithm of abundance"
-"lvar";"Variance de la longueur dans l'échantillon";"Sample variance of length measurements"
-"PropMat";"Proportion de matures";"Proportion of mature individuals"
-"sexRatio";"Sexe ratio (males/femelles)";"Sex ratio (males/females)"
-"Wbar";"Poids individuel moyen dans la population";"Average individual weight in the population"
-"biomBig";"Biomasse des grandes espèces (valeur relative)";"Biomass of the large species (relative value)"
-"biomSmall";"Biomasse des petites espèces (valeur relative)";"Biomass of the small species (relative value)"
-"Btot";"Biomasse totale dans la zone (valeur relative)";"Total biomass in the area (relative value)"
-"Delta";"Indice de diversité \u0394";"Diversity index \u0394"
-"Gtot";"Moyenne géométrique du nombre par espèce";"Geometric mean of species abundances"
-"Lbcomm";"Taille moyenne dans communauté";"Average length in community"
-"meanQuant0.95";"Moyenne des l0;95 des espèces";"Average across species of l0;95"
-"meanWbar";"Moyenne des Wbar par espèce";"Average of species Wbar "
-"Ntot";"Abondance totale dans la zone (valeur relative)";"Total abundance in the area (relative value)"
-"propL15";"Proportion des grands individus en nombre (taille seuil 15 cm)";"Proportion of large individuals in numbers (threshold size 15 cm)"
-"propL20";"Proportion des grands individus en nombre (taille seuil 20 cm)";"Proportion of large individuals in numbers (threshold size 20 cm)"
-"propL25";"Proportion des grands individus en nombre (taille seuil 25 cm)";"Proportion of large individuals in numbers (threshold size 25 cm)"
-"propL30";"Proportion des grands individus en nombre (taille seuil 30 cm)";"Proportion of large individuals in numbers (threshold size 30 cm)"
-"propLW";"Proportion des grands individus en poids (/ taille seuil spécifique à la zone)";"Proportion of large individuals in weight  (/ threshold length area specific)"
-"Shannonmod";"Indice de Shannon normalisé / première année";"Shannon index normalized wrt the first year"
-"Wbcomm";"Poids moyen d'un individu";"Average weight of an individual"
-"Wtot";"Biomasse totale dans la zone (valeur relative)";"Total biomass in the area (relative value)"
+"id";"label_fr";"label_en";"unit"
+"Abundance";"Abondance totale dans la zone (valeur relative)";"Total abundance in the area (relative value)";""
+"Biomass";"Biomasse totale dans la zone (valeur relative)";"Total biomass in the area (relative value)";""
+"Dbar";"Densité relative dans la zone";"Relative density in the area";""
+"l0.05";"Longueur au 5ème percentile de la distribution de longueur";"Length at the fifth percentile of the length distribution";"cm"
+"l0.25";"Longueur au 25ème percentile de la distribution de longueur";"Length at the twenty-fifth percentile of the length distribution";"cm"
+"l0.75";"Longueur au 75ème percentile de la distribution de longueur";"Length at the seventy-fifth percentile of the length distribution";"cm"
+"l0.95";"Longueur au 95ème percentile de la distribution de longueur";"Length at the ninety- fifth percentile of the length distribution";"cm"
+"L50";"Taille à 50 % de maturité";"Size at 50 % maturity";"cm"
+"Lbar";"Longueur moyenne dans la population";"Mean length in the population";"cm"
+"lnN";"Logarithme naturel de l'abondance";"Natural Logarithm of abundance";""
+"lvar";"Variance de la longueur dans l'échantillon";"Sample variance of length measurements";""
+"PropMat";"Proportion de matures";"Proportion of mature individuals";""
+"sexRatio";"Sexe ratio (males/femelles)";"Sex ratio (males/females)";""
+"Wbar";"Poids individuel moyen dans la population";"Average individual weight in the population";"kg"
+"biomBig";"Biomasse des grandes espèces (valeur relative)";"Biomass of the large species (relative value)";""
+"biomSmall";"Biomasse des petites espèces (valeur relative)";"Biomass of the small species (relative value)";""
+"Btot";"Biomasse totale dans la zone (valeur relative)";"Total biomass in the area (relative value)";""
+"Delta";"Indice de diversité \u0394";"Diversity index \u0394";""
+"Gtot";"Moyenne géométrique du nombre par espèce";"Geometric mean of species abundances";""
+"Lbcomm";"Taille moyenne dans communauté";"Average length in community";"cm"
+"meanQuant0.95";"Moyenne des l0;95 des espèces";"Average across species of l0;95";"cm"
+"meanWbar";"Moyenne des Wbar par espèce";"Average of species Wbar";"kg"
+"Ntot";"Abondance totale dans la zone (valeur relative)";"Total abundance in the area (relative value)";""
+"propL15";"Proportion des grands individus en nombre (taille seuil 15 cm)";"Proportion of large individuals in numbers (threshold size 15 cm)";""
+"propL20";"Proportion des grands individus en nombre (taille seuil 20 cm)";"Proportion of large individuals in numbers (threshold size 20 cm)";""
+"propL25";"Proportion des grands individus en nombre (taille seuil 25 cm)";"Proportion of large individuals in numbers (threshold size 25 cm)";""
+"propL30";"Proportion des grands individus en nombre (taille seuil 30 cm)";"Proportion of large individuals in numbers (threshold size 30 cm)";""
+"propLW";"Proportion des grands individus en poids (/ taille seuil spécifique à la zone)";"Proportion of large individuals in weight  (/ threshold length area specific)";""
+"Shannonmod";"Indice de Shannon normalisé / première année";"Shannon index normalized wrt the first year";""
+"Wbcomm";"Poids moyen d'un individu)";"Average weight of an individual";"kg"
+"Wtot";"Biomasse totale dans la zone (valeur relative)";"Total biomass in the area (relative value)";""

    

r570 - in trunk/coser-business/src: main/java/fr/ifremer/coser/services test/java/fr/ifremer/coser/services test/resources test/resources/web

chatellier＠users.labs.libre-entreprise.org

tags

participants (1)