Requests вместе с BeautifulSoup — простой и понятный тандем для новичков, быстро позволяет вытягивать нужные данные из HTML. Lxml работает заметно быстрее, но синтаксис чуть сложнее, к тому же может быть проблемой с установкой. Для старта лучше взять requests+BS — быстро цепляет, а потом, если захочешь производительность, попробовать lxml. Pandas нужны, чтобы красиво обработать таблицы после очистки, без них не очень удобно.