- Wikitty-devel - mailman.cloud.codelutin.com

Fw: Spécifications sync de wikitty pub
by Benjamin POUSSIN 04 Apr '11

04 Apr '11

----- Message Transféré ----- Date: Fri, 1 Apr 2011 17:58:43 +0200 De: Manoël <manoel.fortun(a)gmail.com> Bonjour, Voilà mes spécifications pour les fonctionnalités de sync de wikitty pub. Il y aura sûrement des choses à rediscuter ou préciser. Manoël. _______________________________________________ Lutins mailing list Lutins(a)list.codelutin.com http://list.codelutin.com/cgi-bin/mailman/listinfo/lutins

4 11

Questions wikitty publication sync
by Manoël 31 Mar '11

31 Mar '11

Bonjour, J'ai quelques questions sur la première partie(commit/udpate/delete/ checkout) de wikitty publication dont je dois m'occuper. 1) Alors si je saisie bien dans l'usage on se servira de wikitty plublication comme maven en ligne de commande un peu comme suit: wp commit [--recursion (true|false)] [--ws (url du WikittyService)] [répertoire à pousser] ? 2) Quand on dit qu'on peut récupérer un ensemble de wikitty à partir d'un label on parle des nom ou de label type tag que on aurait attaché sur un ensemble de wikitty ? 3) Concernant le numéro de version, il est incrémenté par le service wikitty, donc on peut comitter auprès d'un service wikitty si notre num de version locale est supérieur ou égale à celle du wikitty service ? 4) Dans le cas d'un update, j'update en écrasant ? Sans me soucier de ce qui est existant, ou je dois faire un diff, réécrire ce qui a été effacé ? Dans le premier cas ça revient à repartir comme si on faisait un checkout. 5) Si localement l'utilisateur fait des suppressions, des ajouts, des modifs et qu'il veut commit je dois faire un diff et faire les opérations delete liés automatiquement ? ou l'utilisateur doit faire les deletes lui même ? 6) On stocke dans l'arborescence un fichier de propriétés avec l'adresse du service wikitty, on le stock où ? Admettons je checkout le label ponay récursivement, le fichier de propriété se retrouvera dans ponay ou dans le dossier contenant le dossier ponay ? 7) On doit pouvoir avoir un service de wikitty pour les WikittyPubText et un autre WikittyPubData, peut-il avoir dans les WikittyPubText une référence vers un WikittyPubData ? et donc doit on gérer la conservation du lien en modifiant le WikittyPubText pour lui dire que le WikittyPubData est ailleurs ? 8) Dans le cas d'un commit d'un dossier qui n'a jamais été mis sur dans le wikitty service on doit passer obligatoirement une adresse de service, et après on fait comme télécharge les fichiers de propriété correspondant ? comme si on avait fait un checkout ? (la question se pose aussi pour un commit de quelque chose qui existait déja dans le wikitty, si on fait un update automatique après) 9) Il y a une gestion de version des éléments, au niveau global comme révision ou chaque élément sauvegardé à son propre numéro de version ? Pour changer de wikiservice cible se pose la question puisque le wikitty original n'a peut être pas la même version ? Voilà pour la première batterie de questions d'autre surement à suivre. Manoël

4 4

NPE durant la reindexation
by Eric Chatellier 24 Feb '11

24 Feb '11

Bonjour, La reindexation ne fonctionne pas et se termine par une NPE : java.lang.reflect.InvocationTargetException at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25) at java.lang.reflect.Method.invoke(Method.java:597) at org.nuiton.util.ObjectUtil.call(ObjectUtil.java:327) at org.nuiton.util.ApplicationConfig$Action.doAction(ApplicationConfig.java:556) at org.nuiton.util.ApplicationConfig.doAction(ApplicationConfig.java:943) at com.jurismarches.vradi.VradiServiceMain.main(VradiServiceMain.java:52) Caused by: org.nuiton.wikitty.WikittyException: Can't store wikitty at org.nuiton.wikitty.storage.solr.WikittySearchEngineSolr.store(WikittySearchEngineSolr.java:322) at org.nuiton.wikitty.services.WikittyServiceStorage$1.scan(WikittyServiceStorage.java:960) at org.nuiton.wikitty.jdbc.WikittyStorageJDBC.scanWikitties(WikittyStorageJDBC.java:473) at org.nuiton.wikitty.services.WikittyServiceStorage.syncSearchEngine(WikittyServiceStorage.java:947) at org.nuiton.wikitty.services.WikittyServiceDelegator.syncSearchEngine(WikittyServiceDelegator.java:192) at org.nuiton.wikitty.services.WikittyServiceDelegator.syncSearchEngine(WikittyServiceDelegator.java:192) at org.nuiton.wikitty.services.WikittyServiceDelegator.syncSearchEngine(WikittyServiceDelegator.java:192) at org.nuiton.wikitty.services.WikittyServiceSecurity.syncSearchEngine(WikittyServiceSecurity.java:539) at org.nuiton.wikitty.services.WikittyServiceDelegator.syncSearchEngine(WikittyServiceDelegator.java:192) at org.nuiton.wikitty.WikittyProxy.syncSearchEngine(WikittyProxy.java:1069) at com.jurismarches.vradi.VradiServiceAction.reIndexSolr(VradiServiceAction.java:94) ... 8 more Caused by: java.lang.NullPointerException at org.nuiton.wikitty.storage.solr.SolrUtil.copySolrDocument(SolrUtil.java:220) at org.nuiton.wikitty.storage.solr.SolrUtil.copySolrDocument(SolrUtil.java:271) at org.nuiton.wikitty.storage.solr.WikittySearchEngineSolr.addTreeIndexField(WikittySearchEngineSolr.java:574) at org.nuiton.wikitty.storage.solr.WikittySearchEngineSolr.store(WikittySearchEngineSolr.java:320) ... 18 more J'ai regardé vite fait le code, mais je ne sais pas si le code peut fonctionner en gerant cette valeur null, ou si c'est une erreur. -- Éric Chatellier <chatellier(a)codelutin.com> Tel: 02.40.50.29.28 http://www.codelutin.com

2 6

[ANN] - Wikitty 3.0.4 released
by nuiton.org Release Notification 15 Feb '11

15 Feb '11

1 0

Indexation de WikittyAuthorisation (Groups)
by Benjamin POUSSIN 07 Feb '11

07 Feb '11

Salut, Sur WikittyAuthorisation ont a des champs qui prennent comme valeur des Users ou des Groups. Les Groups contiennent eux même des Users ou des Groups. L'idée est d'optimiser l'indexation pour mettre la vérification des droits de façon simple. Dans les WikittyAuthorisation on ajoute de nouveaux champs exemple: #group-groups-readers et #group-users-readers qui contiendront respectivement tous les groups et tous les Users du champs readers. De cette façon pour savoir si un User a le droit de faire quelque chose, il suffit de rechercher s'il est dans #group-users-readers. Peut-etre introduire la notion de champs calculé dans Wikitty et s'en servir pour ce besoin ? (comment faire ca ? il faut y reflechir) Si un Group est modifié, on recherche s'il est utilisé dans un Group pour la secu, si c'est le cas on recherche tous les WikittyAuthorisation qui l'utilise et on réindexe cette autorisation. Peut-etre introduire la notion de trigger sur wikitty pour cela ? (comment faire ca ? il faut y reflechir) Je pense qu'a cours terme, on va implanter directement dans l'indexation Solr ce calcul de champs. Mais prevoir que ce code devra sans doute être remplacer par des champs calculés et des triggers lorsque ceux-ci auront été implantés. L'avantage des champs calculé, est qu'on ne modifie pas l'indexation SolR et qu'on reste normalement agnostique a l'implantation du moteur de recherche utilisé. Idem pour les triggers, l'autre avantage des triggers est qu'il pourrait etre de simple listener sur des evenements wikitty (store, delete) et s'executer en tache de fond ou non suivant ce que l'on souhaite). L'implantation des triggers me semble beaucoup plus simple que les champs calculés. Et pourrait etre un premier pas pour faire l'externalisation de fonction qu'on fait rentrer artificielement dans le core. On pourrait meme imagine que l'indexation des arbres se base aussi sur les champs calculés + triggers. -- Benjamin POUSSIN -------------------- tél: +33 (0) 2 40 50 29 28 email: poussin(a)codelutin.com http://www.codelutin.com

2 2

[ANN] - Wikitty 3.0.3 released
by nuiton.org Release Notification 27 Jan '11

27 Jan '11

1 0

nouvelle Indexation pour les TreeNode
by Benjamin POUSSIN 26 Jan '11

26 Jan '11

Salut, Pour faire suite au échange précédent sur l'indexation des arbres. Et les solutions actuelles qui sont au nombre de deux (que sur les attachments, que sur les TreeNode). Voici après de grande réflexion le résultat :) En fait la bonne façon de faire, est d'utiliser les deux méthodes d'indexation :). - celle qui est utilisée actuellement qui sur chaque objet (attachment) d'un Node ajoute de l'info - celle qui ajoute de l'info sur les TreeNode eux même L'implantation actuelle n'est vraiment pas performante en nombre de requête SolR. Si on a un arbre de N noeud avec M attachment sur chaque et qu'on les réenregistres, alors on fait N x M requête :( (j'exagère un peu, mais pas beaucoup, car dans le pire des cas ca peu arriver :() La nouvelle implantation (en cours) ne fait que 4 requêtes au pire quoi qu'il arrive. De plus dans l'ancienne version sur les grands arbres (N node), on se retrouvait avec N nouveaux champs pour un attachment au niveau N. Dans le nouveau, on a seulement 1 champs quoi qu'il arrive par noeud sur lequel il est attaché (#attached.<treenodeid>). Il me semble qu'avec l'ancienne, il se pouvait aussi qu'il y ait des problèmes pour mettre le même attachment dans deux noeuds de la même branche d'un même arbre, ici il n'y aura plus de problème. Pour l'indexation des TreeNode on ajoute 3 champs, quoi qu'il arrive (#root, #parents, #depth) De cette façon, toutes les recherches sont rapides: - facette (count du nombre d'attachment) - recuperation d'un sous arbre jusqu'a une certaine profondeur Dès que j'ai fini l'implantation je commit, et j'écris une doc qui explique tout bien pour chaque cas et ce qui se passe pour l'indexation (ajout d'un node/attachment, suppression d'un node/attachment) et tout ce que ca implique. -- Benjamin POUSSIN -------------------- tél: +33 (0) 2 40 50 29 28 email: poussin(a)codelutin.com http://www.codelutin.com

1 0

[ANN] - Wikitty 3.0.2 released
by nuiton.org Release Notification 13 Jan '11

13 Jan '11

1 0

[fixed] Anomalie #1182: WikittyException when copying a wikitty with a lower bound > 0
by Benjamin POUSSIN 30 Dec '10

30 Dec '10

Salut, Jean, j'ai normalement fixé le problème, mais je ne peux pas tester facilement (wikitty est en chantier sur ma machine et je manque de temps/courage, et comme ca si ca marche pas je te le laisse en exercice ;)) donc si tu pouvais recuperer le commit et tester merci -- Benjamin POUSSIN -------------------- tél: +33 (0) 2 40 50 29 28 email: poussin(a)codelutin.com () campagne du ruban ascii http://www.codelutin.com /\ pour les mails en ascii

2 1

[ANN] - Wikitty 3.0.1 released
by nuiton.org Release Notification 24 Dec '10

24 Dec '10

1 0