Согласен, requests с BeautifulSoup — самый простой вход для начинающих, сразу виден результат. Lxml вроде быстрее, но пока он кажется сложным. Pandas реально выручает, когда данные запарились и нужны таблицы, но сначала лучше освоить базу, чтобы не запутаться с кодом и сразу не переборщить со сложностями.