[zours]

Aujourd'hui, on se pose diverses questions concernant un accès via un flux XML, à certaines données du challenge et des utilisateurs.
Une première version se trouve à http://www.newbiecontest.org/minidump.php (qui n'a de mini que le nom, d'ailleurs, puisque le fichier représente 3.4MB). Afin de ne pas saturer la bande passante, le fichier est compressé en bz2. ATTENTION ! Ce n'est PAS une archive, mais bien juste un fichier compressé.

A quoi peut servir ce fichier ?
A plein de choses ! Il regroupe à peu près toutes les informations utiles sur les challenges et les utilisateurs du site. Vous pouvez par exemple vous en servir pour récupérer de manière simple vos statistiques.

Qu'est-ce qu'on attend de vous ?
Actuellement, cet export est en beta-test.
Si vous avez envie de jouer avec, nous vous serions reconnaissants de nous faire part de tout commentaire. Si il manque des informations, si certaines sont inutiles, trop difficiles d'accès, etc...
Par ailleurs, ce fichier est très (trop ?) gros. Comme, dans certains cas, il n'est pas nécessaire d'avoir autant d'informations, nous envisagions également de produire plusieurs fichiers, du plus léger au plus fourni. Que verriez-vous dans les différentes variantes ?

Comment l'utiliser ?
Nous allons ici prendre l'exemple de PHP.
Il s'agira d'abord de charger le fichier depuis l'URL, par le moyen de votre choix, et stocker son contenu dans une chaîne.
Ensuite, un appel à bzdecompress() vous permettra d'obtenir les données originales (attention, apparemment cette fonction sous windows est terriblement lente : 50 secondes environ, contre à peine 3 sous linux). Pour le traitement, les solutions ne manquent pas, mais SimpleXML semble tout à fait convenir. Dans tous les cas, le manuel PHP vous en dira suffisamment pour jouer.

Merci enfin de noter que ce topic est destiné au feedback.
Si vous avez des problèmes avec ce fichier, passez sur IRC ou envoyez-moi un pm, mais évitez de flooder ce topic avec du hors-sujet .

[Nms]

Séparer le fichier en deux serait déjà pas mal : proposer un choix entre les données sur les challenges d'un côté, et sur les users de l'autre (et un troisième choix regroupant les deux, pour les bourrins uniquement).
A l'intérieur du choix "challenges", peut-être proposer de sélectionner uniquement certaines catégories mais bon ces données là ne sont pas énormes donc c'est peut être pas nécessaire.
A l'intérieur du choix "users", faire des checkboxs pour chacune des 7 informations fournies sur chaque user : nick (coché par défaut et obligatoire, faut bien pouvoir se repérer ^^), points, date d'inscription, dernière validation, nombre de challs validés et validations des épreuves (le plus gros). Déjà ça allégerait pas mal si on ne veut pas avoir la liste des validations de chaque user par exemple... On peut même pousser le vice un peu plus loin en proposant des checkboxs pour chaque catégorie de challenges si la checkbox "épreuves validées" est cochée, bien que ça ne soit pas forcément nécessaire.
Pour finir, quitte à fournir une telle quantité d'informations, autant rajouter la date de validation pour chaque épreuve validée... Je crois que tu n'es plus à ça près zours ^^

Voilà mon avis, ce genre d'infos n'intéressera peut être pas grand monde, mais pour les férus de statistiques (au sens très large hein) dont je fais partie, ça peut être marrant. Et puis ça donne l'occasion de manipuler un peu du XML, ça peut pas faire de mal...

[S0410N3]

Nms, ou comment tranformer un export simple en truc de fou xD j/k
Ce que tu proposes serait pratique. Après je pense que c'est à chacun de traiter ça comme il l'entend et c'est un peu le but de l'export total. Donc oui ça serait sympa de pouvoir choisir mais si on ne peut pas ce n'est pas forcément gênant à mon sens.

Pour finir, quitte à fournir une telle quantité d'informations, autant rajouter la date de validation pour chaque épreuve validée...

Pour ça il y a un probème. Cette information n'est disponible que depuis la dernière version de la base de données. Elle sera donc éronnée dans la majorité des cas si ajoutée.

Sinon, bravo zours pour le joli travail

Qui se dévoue pour nous pondre une macro Openoffice de génération de stats/graphiques à partir de ça ?

[zours]

Je prends note de tout ça, mais Mr_KaLiMaN me faisait hier soir fort justement remarquer que, si on fait des fichiers trop réactifs aux requêtes, on perd l'intérêt du système, qui est de servir un ensemble de statistiques sans trop fatiguer le serveur (les données sont cachées, et renouvelées toutes les heures uniquement).

Si je mets tout ce que tu suggères en place, soit je fous en cache un paquet de fichiers, soit je mets pas en cache, et alors faut refaire ça à chaque fois qu'un utilisateur demande, ce qui, pour peu qu'ils choisissent plusieurs "checkboxes", va représenter un bon volume de données et être trop lourd pour le système.

Alors, pour garder l'intérêt du système que je propose, on va dire qu'on peut se permettre jusqu'à une dizaine de fichiers différents si c'est vraiment nécessaire, mais forcément, ça pourra pas être trop customisable non plus.

[Nms]

Ha bah fallait le dire que ça fonctionnait de cette façon, je voyais pas du tout les choses comme ça ^^
Bref, dans ce cas, je pense que faire un fichier pour les challenges, un fichier pour les users sans les validations, et un fichier avec les validations et le nick serait parfait.

[Gardel]

Pouerf, sur NC, on aime les sats ^^

Ce fichier xml est über complet O_O

Ca pourrait être sympa de créer des ptits trucs avec, des applications locales ou je ne sais quoi, l'idée d'OOo est pasmal S0S0

Mais bon ça fait lourd et si tout le monde dl tout ça régulièrement la bande passante risque de mal supporter

[pied de mamouth]

Avec PHP il me semble que l'on peut dessiner. Et gérer XML avec du php c'est assez simple. Donc il devrait y avoir moyen de faire plein de joli graphique et le script ne téléchargerais le fichier XML qu'une fois tout les "je sais pas combien". Non ?

[Mr_KaLiMaN]

Mais bon ça fait lourd et si tout le monde dl tout ça régulièrement la bande passante risque de mal supporter icon_surprised

Tsss ça fait que 113ko compressé, je pense pas ce soit la mort

Donc pour ne pas faire de HS comme notre ami Gob,
je verrais bien en supplément dans les stats users la catégorie à laquelle appartient chaque épreuve validée (du genre <chall id="185" cat="cr"/>),
le ranking de l'user(<user nick="S0410N3" points="2553" rank="1" lastValidation="2006-10-23 23:09:29" solvedChalls="172" inscription="2005-05-13 19:53:22">)
Biensûr ce ne sont ici que des rajouts de confort pour une version fournie...
à suivre...

[Chilly]

Moi j'aurais bien envie de faire joujou avec ce fichier, mais là je le trouve un peu lourd, il a du mal à s'ouvrir sous mon windows...

alors je suggère de proposer des versions qui ne comprendraient que les informations des N premiers, (pour N=50, 100 ou 500 par exemple)

A part ça, je ne suis pas persuadée que reprendre une information en double soit une bonne idée (je parle de la catégorie des challenges présente dans categories et dans user) mais je n'ai pas fait de tests de performances alors je peux me tromper...

mais donc je suggère une version sans cette information dans les noeuds user.

Tout ça parce que j'aime bien faire joujou avec de l'xml et que je me dis que des versions plus lights pourraient être pratiques pour ceux qui voudraient s'y initier.

[Zmx]

juste un truc.

Elle as complement disparu la notion de "difficulté" des epreuves ?
Si oui: oubliez ce que je viens de demander.
Si non: on peux l'ajouter au xml?

[zours]

Gardel : ouais, le but c'est justement de permettre à ceux qui veulent de pouvoir se servir de ce genre d'infos à côté, sans se faire chier à écrire des scripts de parsing des pages html, qui de toute façon se vautreraient lamentablement dès qu'on toucherait à la mise en page.

Mr_KaLiMaN : ça sera ajouté (voir commentaire plus bas concernant la redondance).

chilly-willy : why not. Peut-être pas avec des intervalles si petits vu le nombre d'utilisateurs du site, mais je note. En ce qui concerne la redondance, ouais, y'a quelques informations qu'on répète, parce que les queries XPath n'ont pas la vélocité de queries SQL. Je ne sais pas non plus si on perd à ce point en performances. Si quelqu'un a envie de s'amuser à faire des benches, je suis preneur.

Zmx : oui et non. Auparavant la difficulté d'une épreuve était évaluée par l'administration du site, et une valeur en points était attribuée en correspondance. Là, c'est toujours pareil, si une épreuve vaut beaucoup de points, elle est difficile, la seule différence étant que ce sont les validations qui déterminent si elle l'est ou pas.

[Gardel]

Oui enfin je pensais surtout aux ressources utilisées pour la création du fichier et la compression mais bon peut-être que c'est négligeable

M'enfin ça me donne bien envie de faire des ptits trucs avec manipulation de xml ça

[zours]

Bon, on va dire que la première mouture est opérationnelle. Accessible depuis http://www.newbiecontest.org/index.php?page=statsite avec quelques informations.