Пытаюсь оптимизировать свой скрипт, который на больших данных очень тормозит. Перепробовал уже кое-что: заменил циклы на генераторы, подключил numpy для массивов — стало чуть лучше, но всё равно не фонтан. Перфоманс профилировал через cProfile — понятно, где "узкие места", но реально тормозит именно тяжёлая обработка в циклах.

Думал попробовать Cython или numba — кто-то юзал? Как с ними вообще жить, сложно руками код переделывать? Или лучше просто переписать какую-то часть на C? Парадоксально, но иногда помогает просто перекладывать таски в многопоточность с multiprocessing — хотя Python жрет память и синхронизация мутная выходит.

Ещё видел, что можно PyPy попробовать — реально все ускоряет или только на чистом питоне без C-библиотек? Кто ещё какие способы юзает, чтобы не дропать интерпретатор вообще, а ускорять проверенными методами? Какое мнение про оптимизацию по памяти — есть жизнь вне алгоритмов?