Вот кто впервые сел копаться в уязвимостях — может быть реально непонятно, с чего именно. Я бы сначала поэкспериментировал с простыми и понятными инструментами вроде Nikto или OpenVAS — их несложно запустить и быстро получить базовую картину. Они не идеальны, но особенно для старта подойдут, чтобы понять, где есть типовые дыры.
Если хочется поглубже, стоит познакомиться с Burp Suite в бесплатной версии — там уже можно играться с прокси, смотреть, как работают запросы, и анализировать реакции сервера. Это реально полезно и для понимания, и для практики.
Если совсем новичок — проще всего залезть в готовые сканеры, типа тех же Nikto или OpenVAS, чтобы понять, где есть самые очевидные дырки. Потом уже можно поиграться с Burp Suite и посмотреть, как сервер на запросы реагирует. Главное — сначала не перегружаться, а то голова быстро взорвётся.