Author: echatellier Date: 2010-02-22 15:53:53 +0100 (Mon, 22 Feb 2010) New Revision: 5 Added: diswork/trunk/src/site/rst/ diswork/trunk/src/site/rst/devel/ diswork/trunk/src/site/rst/devel/draft.rst diswork/trunk/src/site/rst/index.rst diswork/trunk/src/site/rst/user/ diswork/trunk/src/site/rst/user/install.rst diswork/trunk/src/site/rst/user/starting.rst diswork/trunk/src/site/site_en.xml Log: Init diswork site Added: diswork/trunk/src/site/rst/devel/draft.rst =================================================================== --- diswork/trunk/src/site/rst/devel/draft.rst (rev 0) +++ diswork/trunk/src/site/rst/devel/draft.rst 2010-02-22 14:53:53 UTC (rev 5) @@ -0,0 +1,80 @@ +Diswork first draft +=================== + + +Principe +-------- +3 types de machines : annuaires (uptime très grand), stockage (beaucoup de HDD), +calculateur (beaucoup de CPU). Un noeud (une machine physique) peut être d'un ou +plusieurs type. +Les annuaires sont reliés entre eux en DHT (Distributed Hashtable). +Potentiellement 1 ou 2 serveurs existent pour indiquer les point d'entrées +dans le réseau pour pouvoir fonctionner hors d'un réseau local. +Un client envoie aux annuaires les simulations qu'il doit effectuer : version du +simulateur et data. +Quand un calculateur a du temps, il demande à l'annuaire ce qu'il doit faire. +Récupère une simu, le simulateur approprié si il ne l'a pas (P2P ?) fait tourner +la simu et dit aux stockages que les résultats sont dispo. Réplication des +résultats entre les stockages. Client demande à l'annuaire où sont les résultats +et les télécharges (P2P ?) + +Storage +------- +Pour les serveurs de stockage, il recherche a duplique l'information +qui ne l'est pas assez. Par exemple dans l'annuaire, un resultat est +marque comme ayant une disponibilite de 1 (une seul machine active a +l'avoir) alors un serveur de stockage au repos va essaye de recuperer +ce resultat pour augmenter ce taux de partage. + +Il faut bien penser que l'intelligence est dans les serveurs qui +veulent faire du travail, pas dans un serveur qui repartira les choses +(surtout pour le stockage on se n'est pas une approche vraiment +naturelle) + +Détails +------- +- Utilisation d'algorithme efficace pour découvrir l'ensemble des noeuds +- Un noued peut se contenter de ne connaitre que ces voisins (annuaire, stockage, calculateur) +- Un peu de config pour que le calculateur puisse choisir les applis qui ont le droit de tourner +- Quand résultats sont produits, aucun calculateur ne peut plus démarrer la simu +- Il faut optimiser les simulations a faire pour que le maximum de calculateur en fasse le plus de differente +- Plusieurs calculateur peuvent effectuer la même simulation +- Les calculateurs gere eux même les simulations en erreur (telle simulation a echoué 2 fois, je ne la fait plus) +- Le client peut télécharger les résultats depuis plusieurs noeud de stockage (P2P) +- Communication : utiliser HTTP pour éviter les firewall +- Vérification d'un ckecksum sur les logiciels de simulation (et les résultats?) +- Voir comment faire entrer Caparmor dans le réseau (noeud qui délègue à Caparmor ?) +- Mettre en pause la simulation quand l'utilisateur se ressert de son poste +- Detecter que l'utilisateur ne se sert plus de son poste pour lancer les simulations (inactivité, pas de charge cpu) +- Postes windows, utilisation d'un screensaver ? (diswork en cours) +- Les noeuds savent se mettre à jour (ou détecter qu'il ne sont pas à jour) +- Bonne gestion de l'espace disque sur les noeuds de stockage +- Systèmes de statistique pour insiter à offrir du stockage, du cpu, des annuaires (bonus) + + +Contacts +-------- +- Gerson Sunye pour le DHT +- Lamarre pour le plus haut niveau (les algos de recherche/decouverte...) +- TMG pour le P2P (on va avoir les mêmes problématiques : connexion entrante sur un pair qui n'est pas un serveur) + + +Technique +--------- +- JXTA : protocole P2P +- rechercher s'il n'y a pas d'autre librairie utilisable. Par exemple +regarder dans les implantations java bittorrent s'il n'y a pas des +choses recuperables (vuze, ...) + + +Premier objectif +---------------- +Bonne structure de l'annuaire. +Etude des protocoles. +Solutionnement des problématiques de communication (firewall). + +Fonctionne sans réplication des données. +Fonctionne sans téléchargement depuis plusieurs sources. + +La version 1.0.0 doit être entierement fonctionnelle (sans contenir toutes les +fonctionnalités) \ No newline at end of file Added: diswork/trunk/src/site/rst/index.rst =================================================================== --- diswork/trunk/src/site/rst/index.rst (rev 0) +++ diswork/trunk/src/site/rst/index.rst 2010-02-22 14:53:53 UTC (rev 5) @@ -0,0 +1,16 @@ +Presentation +============ + +Diswork is a `distributed computing`_ library writen in Java_ used to run Java_ +application. + +References +---------- +Here is a list a client application that use Diswork_ : + * IsisFish_ (*soon*) + + +.. _Diswork: http://maven-site.nuiton.org/diswork +.. _Java: http://java.sun.com/ +.. _distributed computing: http://en.wikipedia.org/wiki/Distributed_computing +.. _IsisFish: http://isis-fish.labs.libre-entreprise.org/ \ No newline at end of file Added: diswork/trunk/src/site/rst/user/install.rst =================================================================== --- diswork/trunk/src/site/rst/user/install.rst (rev 0) +++ diswork/trunk/src/site/rst/user/install.rst 2010-02-22 14:53:53 UTC (rev 5) @@ -0,0 +1,5 @@ +Install +======= + +TODO: client use +TODO: server use \ No newline at end of file Added: diswork/trunk/src/site/rst/user/starting.rst =================================================================== --- diswork/trunk/src/site/rst/user/starting.rst (rev 0) +++ diswork/trunk/src/site/rst/user/starting.rst 2010-02-22 14:53:53 UTC (rev 5) @@ -0,0 +1,4 @@ +Starting with Diswork +===================== + +TODO : maybe put here a "hello world" application running on diswork \ No newline at end of file Added: diswork/trunk/src/site/site_en.xml =================================================================== --- diswork/trunk/src/site/site_en.xml (rev 0) +++ diswork/trunk/src/site/site_en.xml 2010-02-22 14:53:53 UTC (rev 5) @@ -0,0 +1,33 @@ +<?xml version="1.0" encoding="UTF-8"?> +<project name="${project.name}"> + + <bannerLeft> + <name>${project.name}</name> + <href>index.html</href> + </bannerLeft> + + <poweredBy> + <logo href="http://maven.apache.org" name="Maven" img="images/logos/maven-feather.png"/> + <logo href="http://jrst.labs.libre-entreprise.org" name="JRst" img="images/jrst-logo.png"/> + <logo href="http://docutils.sourceforge.net/rst.html" name="ReStructuredText" img="images/restructuredtext-logo.png"/> + </poweredBy> + + <body> + + <breadcrumbs> + <item name="${project.name}" href="index.html" /> + </breadcrumbs> + + <menu name="Users"> + <item href="user/install.html" name="Install"/> + <item href="user/starting.html" name="Starting"/> + </menu> + + <menu name="Developer"> + <item href="devel/draft.html" name="First draft"/> + </menu> + + <menu ref="reports"/> + + </body> +</project>