erreur en utilisant foreach sur une queue mpi sur datarmor (parallel::mclapply marche)
Bonjour, j'ai eu un problème de parallélisation sur datarmor, ca a fini par marcher mais je ne comprends pas pourquoi ! Si qqn peut m'aider a sortir de mon ignorance sur le fonctionnement de la parallelisation je serai tres reconnaissante car c'est frustrant et pas tres efficace de bricoler comme ça. Merci !!! j'utilise un script R pour lancer des run isis en parallele sur mpi-6 sur datarmor. J'ai 2 méthodes qui sont des copier/coller de codes plus anciens mais j'avoue ne pas trop comprendre comment ils marchent. Le premier c est notre méthode habituelle de calibration et l'autre je l'ai déterré, car le premier ne marchait pas. Quelle difference entre les 2 ? Pourquoi foreach ne marche pas dans ce cas ? *Methode 1 : utilise package foreach, il a tres bien marché pour lancer des LHS jusqu'ici mais là j'ai l'erreur ci-dessous. Ca pourrait être lié à un conflit de package d'après internet...??? Ou alors ils ont changé qqch sur datarmor ? --------------------------------------------------------------------- library(doParallel, include.only = c("registerDoParallel")) # pour éviter d’écraser `makeCluster` library(foreach) cl <- makeCluster(parallel::detectCores()) registerDoParallel(cl) tmp <- foreach(i = simus) %dopar% { # lancer simul nomSimul_i <- sprintf("%s_%04d", Sys.getenv("SIMUL_BASENAME"), i) debug_file <- file.path(Sys.getenv("PBS_O_WORKDIR"),"debugISIS.log") system2("myIsis", args = nomSimul_i, stdout = debug_file, stderr = debug_file) } Error in makeMPIcluster(spec, ...) : MPI cluster of size 167 already running Calls: makeCluster -> makeMPIcluster Execution halted --------------------------------------------------------------------- *Methode 2 : fonctionne avec parallel et la fonction mclapply mais je ne sais pas pourquoi ca marche et pas l'autre. mclapply(seq(0, N_SIM), mc.cores = parallel::detectCores(), function (i){ # lancer simul nomSimul_i <- sprintf("%s_%04d", Sys.getenv("SIMUL_BASENAME"), i) debug_file <- file.path(Sys.getenv("PBS_O_WORKDIR"),"debugISIS.log") system2("myIsis", args = nomSimul_i, stdout = debug_file, stderr = debug_file) }) -- /!\ Boite mail saturée (en cours de nettoyage laborieux) Pour ma santé mentale et l'environnement, merci d'éviter les pièces jointes au maximum. -- Sigrid LEHUTA ><> __/\__ ~ ><> ~ \____/ ~ Fisheries modeller IFREMER - HALGO-EMH Ecology and modeling for fisheries science DECOD Dynamics and sustainability of ecosystems: from source to sea AFH Association Française d'Halieutique (AFH) Centre Atlantique - Rue de l'Ile d'Yeu BP 21105 - 44311 Nantes Cedex 03 Tel. : 02 40 37 42 38 (8238) Participez à l'ENQUETE Réduction des captures de dauphins :https://http-proxy.cloud.codelutin.com/enquete_delmoges https://peche.ifremer.fr/Le-role-de-l-Ifremer/Recherche/Projets/Description-... https://www.francefilierepeche.fr/projets/gemmbe/ https://delmoges.recherche.univ-lr.fr/presentation-du-projet/ https://www.ices.dk/advice/ESD/Pages/Bay-of-Biscay-and-the-Iberian-Coast_Lan... https://halgo.ifremer.fr/en https://www.umr-decod.fr/en https://www.association-francaise-halieutique.fr/
participants (1)
-
Sigrid LEHUTA