Bonjour, Voici les résultats des tests de performance d'IsisFish sur caparmor. La mise à jour effectuée par IsisFish 3.3 "semble" à elle seule améliorer les performances sur caparmor : - IsisFish-3.2 : 64% de temps CPU - IsisFish-3.3 : 85% de temps CPU Les 15% de temps restant étant bien utilisé par les accès disques: - zip de simulation - base de données résultats - exports - zip de résultats Cordialement. -- Éric <chatellier@codelutin.com> Tel: 02 40 50 29 28 http://www.codelutin.com Test de profiling caparmor ========================== Description ----------- Carparmor : jdk-1.6.0.13 (x86), linux 2.6.16.60 (amd64) Local : jdk-1.6.0.16 (x86), linux 2.6.30 (amd64) Les tests caparmor ont tous été fait dans un noeud caparmor: qsub -I -q parallel8 -l select=1:ncpus=8 Test témoin ----------- Test effectué sur la base Golfe de Gascogne, avec tous les résultats sélectionné, tous les exports selectionnés. Local: real 11m49.791s user 11m34.471s sys 0m26.690s Caparmor: real 10m27.015s user 8m50.865s sys 0m38.374s Caparmor test 2 : real 9m59.770s user 8m42.357s sys 0m38.202s Mise à jour de java sur caparmor -------------------------------- Passage au jdk-1.6.0.16. Caparmor: real 9m34.355s user 8m51.889s sys 0m36.402s Caparmor test 2 : real 10m14.276s user 8m31.252s sys 0m37.202s Sensiblement la même chose. Test sans exports ----------------- Pas d'export. Tous les résultats possible sélectionné. Tous les logs en "error". Création du zip final. Caparmor: real 9m45.530s user 8m55.177s sys 0m40.087s Caparmor test 2 : real 10m44.570s user 8m42.845s sys 0m38.494s Sans la création du zip de resultat ----------------------------------- Pas d'export. Tous les résultats possible selectionné. Tous les logs en "error". Pas de creation du zip de fin. Caparmor : real 9m11.346s user 8m43.661s sys 0m36.758s Caparmor test 2 : real 10m7.875s user 8m25.776s sys 0m36.938s Seul les exports en écriture à la fin de la simulation ------------------------------------------------------ Base mémoire. Tous les résultats possible séléctionné. Export des résultats. Tous les logs en "error". Pas de creation du zip de résultats. Caparmor : real 9m25.109s user 9m49.869s sys 0m24.310s Caparmor test 2 : real 9m32.726s user 9m58.029s sys 0m23.917s Sans aucune écriture disque --------------------------- Base mémoire. Tous les résultats possible séléctionné. Pas d'export. Tous les logs en "error". Pas de creation du zip de résultats. Caparmor: real 9m36.553s user 9m36.592s sys 0m23.313s Caparmor test 2 : real 9m10.363s user 10m6.166s sys 0m24.294s Seule la base en mémoire ------------------------ Dans ce test, tous les acces disque ont été conservé (zip, export, zip resultat), exeptée la base de données résultat. Caparmor: real 9m39.021s user 9m37.508s sys 0m23.045s Caparmor test 2 : real 9m32.731s user 9m26.603s sys 0m23.297s Tests supplémentaires --------------------- Tous ces test ont révélés, un temps d'acces disque dû entre autre à la base de données, cependant, je ne suis jamais parvenu à reproduire les performances à 50% obtenu pendant la réunion. Tous les tests précendents ont été effectués sur la version 3.3.0 de IsisFish qui contient des versions plus récentes de quelques librairies. Test isis-fish-3.2.0.9 ~~~~~~~~~~~~~~~~~~~~~~ Caparmor: real 11m39.838s user 7m30.392s sys 0m27.446s Caparmor test 2: real 11m20.282s user 7m41.549s sys 0m27.146s On retrouve la perte de performance rencontrée lors de la réunion. Les tests de non regression ont été effectués entre isisfish 3.1 et 3.3, et les résultats sont bien toujours identiques. Test isis-fish-3.3 avec h2-1.1.119 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ real 11m9.378s user 7m55.218s sys 0m28.058s Test isis-fish-3.3 avec hibernate-3.3.1 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ real 9m58.471s user 8m0.890s sys 0m38.202s La mise a jour apporté par hibernate 3.3.2 semble améliorer les performances. Conclusion ---------- Les résultats des tests ont bien montrer que les écritures disques reduisaient les performance des jobs caparmor. Surtout les accès disques "en cours" de simulations dûs à la base de données. Performance: - isisfish-3.2 : ~ 64% - isisfish-3.3 : ~ 85% - isisfish-3.3 (avec base mémoire) : ~ 95% - isisfish-3.3 (sans ecriture) : ~ 105% Cependant, les optimisations envisageables ne sont pas évidentes: - l'import du zip initial est nécéssaire (données de simulation) - la base de résultat (pour ne pas consomer trop d'espace mémoire en cours de simulation) - les exports (les résultats de simulations) - le zip final de résultat (pour récupération des résultats)