Gestion de la mémoire du fichier des résultats mappé
Bonjour, Suite aux problèmes de mémoires actuels avec le nouveau fichier de stockage des résultats, j'ai rechercher comment était gérée la mémoire pour ce genre de fichier. J'ai trouvé cet article qui en parle: http://blog.ippon.fr/2011/11/03/java-acces-directs-a-la-memoire-off-heap/ Les fichiers mappé semble être stocké hors de la mémoire heap (celle qu'on augmente avec -Xmx), cela explique pourquoi si cette mémoire est trop grande, celle ci se réduit. Il parle également d'autres options pour controler la taille de cette zone: -XX:MaxDirectMemorySize À voir. Pour l'instant, je vais faire quelques tests sans mapper les résultats en mémoire (ca sera surrement plus lent)... -- Éric Chatellier <chatellier@codelutin.com> Tel: 02.40.50.29.28 http://www.codelutin.com
Le 26/10/2012 15:04, Eric Chatellier a écrit :
Pour l'instant, je vais faire quelques tests sans mapper les résultats en mémoire (ca sera surrement plus lent)...
En utilisant les matrices avec DoubleBigVector plutot que DoubleBigMappedVector (donc sans mapping mémoire des fichiers), je ne sens pas de différences visibles sur un simulation. Benjamin, quel est l'intérêt de découper le fichier de résultat en fichier mappé du coup ? -- Éric Chatellier <chatellier@codelutin.com> Tel: 02.40.50.29.28 http://www.codelutin.com
Le 26/10/2012 15:04, Eric Chatellier a écrit :
Il parle également d'autres options pour controler la taille de cette zone: -XX:MaxDirectMemorySize
Pour résoudre les problèmes de OutOfMemory : can't map vector sous windows, il faudrait jouer avec cette option sur la ligne de commande: -XX:MaxDirectMemorySize=xxxMo Pour contre, je n'ai pas encore eu le temps de la tester, donc attention au effet de bord... -- Éric Chatellier <chatellier@codelutin.com> Tel: 02.40.50.29.28 http://www.codelutin.com
Le 26/11/2012 13:14, Eric Chatellier a écrit :
Le 26/10/2012 15:04, Eric Chatellier a écrit :
Il parle également d'autres options pour controler la taille de cette zone: -XX:MaxDirectMemorySize Pour résoudre les problèmes de OutOfMemory : can't map vector sous windows, il faudrait jouer avec cette option sur la ligne de commande:
-XX:MaxDirectMemorySize=xxxMo
Pour contre, je n'ai pas encore eu le temps de la tester, donc attention au effet de bord... merci de faire les tests de ton cote car j'ai un peu peur que l'on fasse le yoyo avec ces "effets de bord"
-- ...................................................................... Stephanie MAHEVAS (Stephanie.Mahevas@ifremer.fr) IFREMER/EMH (Ecologie et Modèles pour l'Halieutique) Tel: (33) 2 40 37 41 81 Fax: (33) 2 40 37 40 75 o \ o / _ o __| \ / |__ o _ \ o / o /|\ | /\ ___\o \o | o/ o/__ /\ | /|\ / \ / \ | \ /) | ( \ /o\ / ) | (\ / | / \ / \ ......................................................................
participants (2)
-
Eric Chatellier -
Stephanie MAHEVAS