Я вот начинал с простого: пробовал стандартные сканеры уязвимостей, типа open source каких-то. Главное — понять, что настройки безопасности часто влияют на то, насколько сайт вообще "пробиваемый". Удобно сначала глянуть, нет ли открытых директорий, слабых паролей и т.д. Пока сам ковыряюсь, кажется, что не так страшно, если базовые моменты в порядке. Погружаться глубже, наверное, стоит, когда есть больше опыта.