logo Homepage
+  NewbieContest
|-+  Général» Suggestions/Dev. du site» Qualité globale des épreuves
Username:
Password:
Pages: [1]
  Imprimer  
Auteur Fil de discussion: Qualité globale des épreuves  (Lu 10126 fois)
max2070

Profil challenge

Classement : 325/54252

Néophyte
*
Hors ligne Hors ligne
Messages: 13

--


Voir le profil
« le: 24 Avril 2016 à 17:05:18 »

Bonjour, je poste ici suite à des retours d'experience :

Il m'est arrivé de vouloir vendre newbiecontest à des amis et de recevoir des réponses de type :
- oui je connais mais j'aime pas c'est pas assez réaliste ni actuel, je préfère tel site
- oui je connais mais je voulais faire de la grosse crypto (en tant que gros bourrin) et sur NC à part des crypto inventées par des mecs ou des trucs bateaux c'est pas fou, je préfère tel site
- oui je connais mais les épreuves sont souvent un peu random, pas en rapport avec leurs catégories, je préfère aller sur d'autres sites
- oui je connais mais les épreuves sont toutes pareils, je préfère sur tel autre site car on apprend beaucoup plus de chose

bon ... au delà de l'aspect subjectif de ce genre de réponse, je trouve que c'est révélateur de certaines choses, sur NC, on a 3 profils de challengers :

1- le mec déjà rodé qui cherche des épreuves intéressantes et/ou réaliste pour se faire la main.
2- le newbie un peu curieux qui arrive la par hasard et qui se prend au jeux.
3- le mec qui aime bien les énigmes/jeux de pistes (indépendamment de l'informatique)

Globalement, je pense que le système de NC convient parfaitement aux personnes de la catégorie 3, mais pas forcément aux deux premières. Il faudrait trouver un compromis et essayer de plaire à tout le monde :

problèmes de Client Side :

- énormément de doublons

bon c'est du client side, c'est normal, mais du coup je serais pour la purger et la fusionner avec hacking, ça permet de commencer doucement et de manière plus ludique.

problèmes de hacking

- les premières épreuves sont soit pas réalistes du tout, soit à base de guessing (globalement de mauvaise qualité)
- ensuite on fait très souvent appel aux mêmes notions ou aux même langages, ce qui est dommage (+/- doublons), à partir du milieu c'est quand même bien sympa.

Je pense que c'est pas super long de refaire des facile plus réalistes.

Pour avoir des épreuves plus variées sur les reste, ça dépends des contributeurs. Mais, à mon sens une grosse partie des première devraient être supprimées ou remplacées (en tout cas ça donne pas envie d'aller sur cette catégorie). De plus avec la présence d'un nombre suffisant d'épreuve facile sur cette catégorie, personne ne cherche à en faire de nouvelles.

Épreuves Crackme

je peux pas trop me prononcer vu le nombre de validation que j'ai, à part ptete avoir plus de linux ? mais bon, ça on fait ce qu'on peux avec les contributions proposées ...

problèmes de Épreuves Cryptographie

Très bonne catégorie quand même, se elle bouge pas c'est pas trop grave car la qualité des chall est assez bonne.

- il manque peut-être des challs plus réalistes sur des faiblesses de chiffrement existants (plutôt sur du difficile) ou des mauvais chiffrement utilisés dans la vrai vie.
- énormément de challenge de type facile, je pense qu'on peut facilement en enlever entre 5 et 7 qui n'apporte pas grand chose. (pour motiver les contributeurs).

Épreuves Forensics :

pour l'instant ça s'annonce très bien.

Épreuves Logique :

- bien trop de chall googlable ...
- bien trop de suite (doublons ?)
- un peu random, parfois des logique un peu trop personnelle

Épreuves Programmation :

- bien trop de doublons
- on ne trouve pas de problème de complexités, d'IA (bon ça ça dépend des contributeur), mais en gros pas assez relié à des problèmes de programmation

sur cette catégorie il serait intéressant d'avoir des épreuves de type prologin pour se creuser un peu la tête même sur les premières (au lieu de faire 6 challs d'affiler avec le même script qui fait une requête HTTP)

Épreuves Stéganographie :

- trop orienté jeux de piste/énigme. On commence à faire de la "vrai" stégano après plus de 20 épreuves (et ça nous empèche pas de galérer sur les 20 premières ...), assez fastidieux si ce qui t'interesse c'est vraiment la grosse stegano.

Épreuves Wargame :

j'ai pas touché du tout ...

En gros

Je trouve que le problème avec la qualité des épreuves NC intervient surtout sur la première moitié des challs (la partie "facile") :
- nombre excessif et trop éloigné de la catégorie
ou
- nombre excessif dont une partie n'apporte rien/pas grand chose
ou
- qualité mauvaise, (trop de guessing, pas réaliste, vieux, ...)

Personnellement je pense qu'un bon ménage sur ces épreuves pourrait augmenter la qualité globale des épreuves NC, genre de ménage qui peut être fait via un sondage sur la communauté ayant pour but de selectionner les épreuves qui mérite de partir.

Je fait aussi ce constat aussi sur la base de comparaison avec d'autres sites.

Cet état des lieux est probablement très subjectif, c'est pourquoi je suis curieux d'avoir votre avis sur le sujet.

perso, voilà ce que j'aime dans les épreuves :

- qu'elles me fassent apprendre de nouvelles choses
- qu'elles soit variées (ça veut dire des notions différentes et pas de doublons car c'est pas très intéressant)
- dans l'idéal, qu'elles me fasse mariner
- que j'arrive à le faire xD

Hop de manière général, ça m'intéresse de sonder l'avis de la communauté, voilà un petit sondage rapide => https://www.newbiecontest.org/forums/index.php?topic=4439

Journalisée

--
Grandasse

Profil challenge

Classement : 693/54252

Néophyte
*
Hors ligne Hors ligne
Messages: 18


Voir le profil
« #1 le: 24 Avril 2016 à 17:18:01 »



Épreuves Logique :

- bien trop de chall googlable ...
- bien trop de suite (doublons ?)
- un peu random, parfois des logique un peu trop personnelle


Faudrait savoir : si tu veux pas que ce soit goolable, c'est forcément personnalisé !
Journalisée
max2070

Profil challenge

Classement : 325/54252

Néophyte
*
Hors ligne Hors ligne
Messages: 13

--


Voir le profil
« #2 le: 24 Avril 2016 à 17:42:24 »

une épreuve personnelle c'est très bien. Type neurocalc (celle ci est géniale). ce qui est reprochable c'est une "logique personnelle", genre j'invente une suite que seul moi comprend.

Les épreuves googlable, c'est les épreuves ou des petits malins publient les solution sur le net ...
Journalisée

--
GuilmetteEddie
Profil challenge

non classé(e).

Néophyte
*
Hors ligne Hors ligne
Messages: 2


Voir le profil WWW
« #3 le: 02 Septembre 2016 à 15:33:47 »

Je suis dac avec max
Journalisée

Salut, je m’appelle Eddie, je suis un résidant français. Avec le projet de loi de Pinel, je souhaite m’investir dans la construction d’immeuble.
S0410N3
Administrateur

Profil challenge

Classement : 10/54252

Membre Héroïque
*****
Hors ligne Hors ligne
Messages: 1260


Voir le profil WWW
« #4 le: 05 Septembre 2016 à 20:15:00 »

Je trouve que le problème avec la qualité des épreuves NC intervient surtout sur la première moitié des challs (la partie "facile") :
- nombre excessif et trop éloigné de la catégorie
ou
- nombre excessif dont une partie n'apporte rien/pas grand chose
ou
- qualité mauvaise, (trop de guessing, pas réaliste, vieux, ...)

C'est marrant, ça correspond à peu près à quand j'avais repris le site vers 2006. J'en suis sûr pour la plupart en tout cas

ll y a clairement 2 paliers sur NC je pense, sans parler de l’intérêt ou pas des épreuves. Les premières épreuves historiques sont là et valent ce qu'elles valent (et oui bien souvent ce n'est pas grand chose).
Le problème d'en supprimer c'est que le palier est peut être trop élevé entre le facile pas terrible et le reste.
On a déjà eu souvent le débat par le passé.

Après NC se veut être un site ludique, contrairement à d'autres sites montés après.
Ca ça vient de moi, je l'avoue. Je n'ai jamais perçu les challenges comme une prise de tête et pour moi c'est plus comme des jeux de plages. Peu importe que le contenu soit ou non d'actualité, qu'il colle à la réalité ou autre, l'essentiel c'est de s'amuser et éventuellement on en tire de toute  façon toujours quelque chose transposable ailleurs. On apprend aussi à penser "out of the box" et à avoir une vision latérale. NC n'est pas un site de sécu malgré ce que certains en disent et se persuadent à penser. Il y a d'autres sites qui font ça très bien et mieux que NC...

Depuis quelques temps on sent que cette âme se perd. Je le déplore un peu de mon côté mais après tout il faut bien que le site évolue...
Je pense juste qu'on sort de son esprit premier.
Je pense aussi personnellement que c'est une erreur mais je sais aussi qu'on ne m'écoutera pas sur ce point.

Et je link juste un post de BAAL, qui bizarrement ne semble plus trop venir, et résume aussi ce que je pense :
https://www.newbiecontest.org/forums/index.php?topic=4439.msg59532#msg59532

Sur ce, have fun quand même....
Journalisée

Enjoy (copyleft de quelqu'un qui a trop parlé)

S0410N3

-------------------------------------------------------------------------------------
La folie est le prix à payer pour le temps passé à être trop lucide.
-------------------------------------------------------------------------------------
http://forum.hardware.fr/hfr/Discussions/Societe/francais-repere-repaire-sujet_19265_1.htm
the lsd
Administrateur

Profil challenge

Classement : 189/54252

Membre Héroïque
*****
Hors ligne Hors ligne
Messages: 3096

poulping for fun & profit


Voir le profil WWW
« #5 le: 06 Septembre 2016 à 20:04:31 »

Bon, je vais prendre les remarques pour moi hein...

ll y a clairement 2 paliers sur NC je pense, sans parler de l’intérêt ou pas des épreuves. Les premières épreuves historiques sont là et valent ce qu'elles valent (et oui bien souvent ce n'est pas grand chose).
Le problème d'en supprimer c'est que le palier est peut être trop élevé entre le facile pas terrible et le reste.
On a déjà eu souvent le débat par le passé.

Pas de problème la dessus, on est tous d'accord, il y a un palier. Ce qui pêche, c'est (en partie tout du moins) que les épreuves récentes sont en bas de la liste par défaut. Du coup, même si elles sont simples, elles ne sont pas faites parce tout le monde a peur du bas de la liste.


Après NC se veut être un site ludique, contrairement à d'autres sites montés après.
Ca ça vient de moi, je l'avoue. Je n'ai jamais perçu les challenges comme une prise de tête et pour moi c'est plus comme des jeux de plages. Peu importe que le contenu soit ou non d'actualité, qu'il colle à la réalité ou autre, l'essentiel c'est de s'amuser et éventuellement on en tire de toute  façon toujours quelque chose transposable ailleurs. On apprend aussi à penser "out of the box" et à avoir une vision latérale. NC n'est pas un site de sécu malgré ce que certains en disent et se persuadent à penser. Il y a d'autres sites qui font ça très bien et mieux que NC...

Si c'est pas ludique un site de chall, personne ne va dessus. Personne n'a aucune obligation d'aller sur un site qu'il ne veut pas fréquenter.
Sur la partie apprentissage, c'est presque une évidence, c'est une grande partie (imho) des sites de challs.
Pour le coup de "NC c'est pas un site de sécu", c'est pas la première fois que je l'entends, et pour faire plaisir à tout le monde (et que vous arrêtiez de vous taper sur la gueule, on va dire que "NC, c'est un site de challs, avec des challs sécu". Comme ça, pas de jaloux, tout le monde est content.


Depuis quelques temps on sent que cette âme se perd. Je le déplore un peu de mon côté mais après tout il faut bien que le site évolue...
Je pense juste qu'on sort de son esprit premier.
Je pense aussi personnellement que c'est une erreur mais je sais aussi qu'on ne m'écoutera pas sur ce point.

C'es là que j'en prend pour mon  grade.

Pour rappel, "l'esprit premier de NC", tel que vu par Folcan (parce que l'esprit premier, c'est quand même le sien), c'était clairement pas orienté comme un site de "jeux de plages". C'était clairement orienté sécu à l'époque. Qu'il soit bon ou pas, osef, je précise juste que ce qu'a construit Folcan, c'était pas la même chose que ce que tu as construit. Mais bon, c'est vieux tout ça

Ensuite, l'âme de NC qui se perd (donc celle que tu as voulu lui insuffler) : sur quelle base pense tu qu'elle se perd ?
Si on regarde les challs sortis depuis 2 ans : des progs, qui pour moi restent dans le mode "fun" que tu recherches et qui font toucher à tout (analyse d'un son, du crawling, de l'algo, etc)
des hacks : catégorie "controversée" par certains on va dire. Toujours est il que c'était à l'époque où md5lovers et Job Interview sont sorties une des catégories les moins remplies. Et quand bien même certains ne l'aime pas, c'est une catégorie à part entière.
une logique : pareil, on reste dans le fun. Et plus, celle là, on peut vraiment la faire à la page.
les forensics : en quoi est ce de la sécu pure ? On est dans un domaine de l'informatique qui est totalement autre. Et puis, ça reste clairement apprendre à penser out of ze box
les wargames : effectivement, on est sur de la sécu pure. Ca plait à certains, pas à d'autres. Mais si on reste sur les catégories de l'époque, on n'avancera pas, et NC va mourir à petit feu. Ce que personne ne veut. Pas moi en tout cas (et je suis pas le seul).

En quoi tu reproches d'avoir perdu l'esprit de NC par rapport à ces épreuves ?


C'est peut être la v5 du site qui pose problème ?
Un remaniement du design, des features en plus (au hasard, les sploits, qui ajoutent du piquant et du fun), mais rien qui dénature le site (je te laisse voir la page release notes, tu sais, une des nouvelles features de le v5)


Le forum alors ?
Rien de changé à ce niveau. Presque aucune modif n'a été faite pour la v5. Donc, ça doit pas être ça.

Ce sont les membres sinon ?
Pas de bol, on ne peut rien y faire je crois. A moins de faire un truc à la zenk, où il faut 300 références, un CV avec lettre de motivation, 10 ans d'expérience minimum, et 50000$ d’inscription. Là, ça serait perdre l'esprit de NC.
Et sur les 40000 membres, on en connait qu'une toute petite partie, toi comme moi. Les gens qui viennent sur IRC, et dans une moindre mesure ceux qui postent sur le forum (je parle pas des demandes d'aides, plutôt des topics généraux)

Je vois pas où ca bloque perso.

Et je link juste un post de BAAL, qui bizarrement ne semble plus trop venir, et résume aussi ce que je pense :
https://www.newbiecontest.org/forums/index.php?topic=4439.msg59532#msg59532

Well, s'il ne vient plus trop faire des challs, c'est peut être parce qu'il les a tous fait. S'il ne vient plus sur IRC, c'est peut être parce qu'il a d'autre raisons que la perte de l'esprit de NC aussi.
Si je relis son post que tu as linké, il dit je cite "J’espère juste que NC gardera un esprit ”challenge“ et qu’il ne virera pas complètement du côté hacking". Donc tu peux remonter un peu plus haut dans mon post, pour y trouver que la catégorie hacking est une des moins fournies.

Il dit aussi que tel ou tel autre site sont orientés hack, ou stega ou machin ou chose. Et bien pour moi, NC c'est avoir toutes les catégories, avec un ratio similaire entre chaque catégorie, avec des challs qui sont faciles, d'autres qui sont difficiles ; avec des épreuves qui parfois contiennent du guess, parfois non ; des challenges qui sont un vrai jeu de piste, ou pas. Bref, tu as compris, mais je peux rallonger la liste si tu veux.

Si tu as part que NC parte du coté hacking, c'est la dernière fois que je le dis : Non. Je ne cache pas que c'est la catégorie que je préfère. Mais c'est pas pour autant que je ne sortirai que des hacks. Parce que justement, NC, c'est une globalité.
Si tu as peur que je flingue "l'esprit NC", c'est pas ce que je vais faire non. Mais il ne peut pas ne pas évoluer. La preuve en est avec les deux dernières catégories, mais ce n'est pas pour autant que l'esprit que tu veux va disparaître.


Sur ce, je retourne mettre en place des nouveaux challenges, qui ne seront pas *oh suprise* des hacks.

Enjoy

The lsd
Journalisée

Newbie Contest Staff :
The lsd - Th3_l5D (IRC)
Statut :
Administrateur
Citation :
Cartésien désabusé : je pense, donc je suis, mais je m'en fous !
ferbos

Profil challenge

Classement : 11/54252

Membre Senior
****
Hors ligne Hors ligne
Messages: 356

The Godfather is back....


Voir le profil WWW
« #6 le: 14 Septembre 2016 à 06:44:44 »

   On peut dire que max2070 à l'art de plomber l'ambiance Et personne pour retrouver un degré de zenitude acceptable sur ce sujet déjà évoqué maintes fois dans plusieurs topics.... comment c'est dommage. M'enfin je comprends, parfois il vaut mieux ne pas risquer sa peau et ne pas vexer son fan club en balaçant un sondage à la sauvette

   Pour les challenges, il y a une différence dans les niveaux ce qui permet de prendre confiance et de s'amuser un peu avant d'arriver à un certain niveau. Ici, on a bien cette notion de jeu de plage qui, pour certaines épreuves, tourne au jeu d'explosion de la tête Car c'est vrai qu'il faut sauter parfois des paliers très éloignés. Néanmoins, je trouve cela très bien pour le néophyte. Des challenges hacking réalistes? Cela n'existe pas. Les réalistes serait d'avoir un bot qui te banne 3 jours si tu fais un mauvais pas ou si tu te fais avoir par l'administrateur A mon sens, NC n'est pas fait uniquement pour le spécialiste de sécurité mais pour tout le monde de 7 à 77 ans ^^ Céder à ses exigences n'est pas la meilleure des idées. Ces challengers qui viennent d'autres sites plus spécialisés comparons et aurons nécessairement quelquechose à redire sur la qualité des épreuves comment les organiser. Piquer des idées ailleurs ben ouais.... mais pour quoi faire et pour qui? Si c'est pour les personnes juste sorties d'une école d'informatique, je ne vois pas l'intérêt et cela a déjà été dit d'autres le font mieux que NC. Et s'il s'agit de faire pareil, NC sera toujours loin derrière à moins de tout zapper.

En quoi tu reproches d'avoir perdu l'esprit de NC par rapport à ces épreuves ?
   Je me suis posé la question autrement. S'il y avait eu toutes les catégories présentes actuellement, me serais-je inscrit? Probablement pas. Parce qu'en voyant les différentes catégories et le nombre d'épreuves associées, je me dis: voilà un site de sécurité informatique. Pour me dire que ce n'est pas que ça, il faudrait une catégorie "charades" et une autre "mots croisés" Quand je me suis inscrit, je me suis dit: "je vais voir les logiques et ensuite je pourrai aussi faire les autres catégories". Mais ce que je ne pensais pas c'est faire aussi les hacking, les cracking ou même plus récemment les wargames. Rien que pour cela je crois avoir pensé un peu out the box et m'être amélioré au quotidien. Ensuite si, dans chaque catégorie, on ajoute autant d'épreuves pour moi il n'y aura plus de doute: ce sera un site de sécurité informatique. Reste que j'espère que l'on parle bien du même esprit. Parce que l'esprit, ce n'est pas que le contenu, c'est aussi ce que l'on affiche sur sa page d'accueil.... Passer le paragraphe de "Bienvenue", on tombe sur un paragraphe bien plus long sur la NDH qui a plutôt tendance à afficher: "Ici, on fait du hack et de la sécurité informatique" Donc le caractère éclectique et équilibré que tu veux the_lsd me laisse dans le doute.... On ne peut pas avoir le beurre, l'argent du beurre, la crèmerie et la crèmière

   En parlant de "penser out the box", je ne vois pas en quoi la catégorie forensics c'est "penser out the box"? C'est vrai, je ne comprenais rien au début. C'est plaisant mais c'est très linéaire en plus j'ai utilisé un outil. Donc là il faut m'expliquer. En passant, cela peut s'opposer au fait que les épreuves soient réalistes.

   Je crois que l'on n'est pas sortie de l'auberge.... de toute façon, il y a trop de bières à l'intérieur

ferbos
« Dernière édition: 14 Septembre 2016 à 06:47:52 par ferbos » Journalisée

"Les seules limites sont les fautes."
Womb

Profil challenge

Classement : 65/54252

Néophyte
*
Hors ligne Hors ligne
Messages: 47


Voir le profil
« #7 le: 14 Septembre 2016 à 08:17:09 »

Je plussoie ferbos,

Je ne vais pas épiloguer sur ce que je reproche ou défend de NC, je l'ai déja fait et j'aime pas me répéter.
J'ajouterai juste : NC est très bien, ne changez rien (ou presque, je ne suis pas contre de nouvelles épreuves).
De toutes façons on peut jamais plaire à tout le monde, que ce soit nous humainement ou le site puisque c'est de cela qu'il s'agit. Il y aura toujours des gens insatisfait (et pour ça y'a d'autre sites).

Max, on note ta grande envie de faire le ménage dans les épreuves, tu as d'ailleurs ouvert un sondage intitulé "trop d'apreuves sur NC"
https://www.newbiecontest.org/forums/index.php?topic=4439.0

Seulement il faut accepter que tout le monde ne pense pas comme toi (ou tes amis que tu évoque). Il y aura toujours des gens qui y trouveront leur compte et d'autre non, (c'est la vie).

hop, Un petit sonadage pour pour savoir si vous trouvez qu'il serait bien de faire le ménages de supprimer pas mal d'épreuves qui :

- sont en doublons
- sont googlable
- sont basé sur trop de guess
- sont absolument pas réalistes/cohérentes

de manière à garder n'avoir que des épreuves de qualité et motiver les contributeurs


Comptes-tu insister longtemps pour obtenir ce que tu demandes ? Pourquoi réouvrir un second topic pour dire sensiblement la même chose ?


Bon finalement j'ai écrit plus que je ne le pensais,
A bon entendeur !

PS : sujet un peu redondant avec le sondage que tu as ouvert, Vox populi, le peuple à parlé, c'est dommage que la majorité ne soit pas de ton avis, non ?  
Notons: "Non, c'est très bien, ne changez rien" => 37 votes pour (80.4%)


« Dernière édition: 16 Septembre 2016 à 20:56:17 par Womb » Journalisée

"la critique est aisée mais l’art est difficile" ^^
M. Drake

Profil challenge

Classement : 199/54252

Néophyte
*
Hors ligne Hors ligne
Messages: 31


Voir le profil
« #8 le: 16 Septembre 2016 à 23:02:29 »

Je suis bien d'accord avec vous.
Pour moi NC, c'est pas juste un site de sécurité informatique (même si la toute première fois que je suis venu ici c'était pour ça..), c'est une spirale vertueuse : on t'appate sur une catégorie que tu n'aurais jamais fait , avec des épreuves faciles (enfin "facile", je disais pas ça au début hein !) , et petit à petit ça monte en difficulté... C'est purement addictif.
Pour quelqu'un qui n'est pas du tout dans ce milieu (informatique) au jour le jour , c'est un des moyens que j'ai trouvé pour m'aerer l'esprit.. et des fois me torturer les neurones, pour mon propre bien.
J'aime la manière dont le site est géré, ça doit continuer à évoluer (même si je préférais l'ancienne version, j'aime bien garder mes marques...), Pour continuer à nous motiver à aller toujours plus loin !
Mais j'avoue que je n'ai absolument aucune idée de l'envers du decor.
Quoi qu'il en soit, les plus de 40k inscrits sont loin d'être tous actifs, peuvent que ceux qui n'aiment pas ne restent pas, et c'est mieux pour tout le monde.
Thanks à l'équipe
Et aux autres, sans qui le site ne vivrait pas..

Drake
Journalisée
max2070

Profil challenge

Classement : 325/54252

Néophyte
*
Hors ligne Hors ligne
Messages: 13

--


Voir le profil
« #9 le: 18 Septembre 2016 à 01:31:03 »

euh @Womb, @ferbos : il y a malentendu, j'ai ouvert ce topic exactement au même moment que le sondage !! (Il est même en lien du topic). Ce truc est vieux, je m'acharne pas du tout, vos commentaires (de l'époque) m'ont ré-ouvert les yeux et m'ont rappellés mes débuts sur NC.

D'ailleurs je serais super content d'avoir une catégorie charade !!

De toute façons le résultat du sondage est assez parlant.

De manière générale, j'ai essayé d'être constructif dans mon approche en étant conscient que mon avis étais subjectif et en demandant celui de des autres.

Peace !!
Journalisée

--
Pages: [1]
  Imprimer  
 
Aller à: