Normalement la recherche de failles telle que tu la décris correspond à la catégorie "wargame", il s'agit de trouver ce qui dans un exécutable est susceptible de laisser la possibilité à un utilisateur de contourner l’exécution du programme réel avec un autre programme (généralement un shellcode dans le cas de ce genre d'épreuve, mais lorsqu'on sort du cadre du jeu, ça serait plus des portes dérobées, des virus, ...).
Il y a peut être d'autres types de failles qu'on peut chercher mais celles là sont les plus recherchées puisqu'elles offrent parfois la possibilité de prendre le contrôle d'une machine sur laquelle on n'a pas les droits. Donc si tu veux t'engager sur la recherche de failles, commence par faire beaucoup de wargame ^^ parce que même si un simple buffer overflow n'est pas forcément exclus quelque part dans le code de windows 10, il peut y avoir des failles beaucoup plus complexes, et tout le problème c'est de les déceler (ça m'étonnerait que windows offre le code source de son OS
).