Я на такой же домашней машине прокачивал маленькие модели и тоже боялся фигню напортачить с весами. Копии делать руками - нормально, но реально муторно, особенно если изменений много и надо постоянно откатываться. Git на больших весах - костыль полный, да ещё и долго, как ты заметил, не вариант.

Пробовал DVC - вещь интересная, он умеет работать с большими артефактами, версии меток весов нормально хранит, плюс можно делать снимки, откатываться. Правда, он добавляет свопинг и организационные заморочки, так что требует привыкнуть, но в масштабах домашнего ПК вполне живой вариант. Ещё видел, что народ шардит веса по частям - чтобы менять только нужные, а не всю модель целиком. Это уже сложнее и требует круче писать код обработки, но для быстрого отката и экспериментов кайф.

Автоматические бэкапы с мониторингом - тут проще руками скрипты подрубить, которые после каждой сессии тренировки копируют актуальные веса в отдельную папку с отметкой времени или версии. Можно на Python сделать, чтобы не тормозило сильно тренировку - например, хоть в фоне.

Короче, если не хочется городить крутую инфраструктуру - параллельное хранение с четкими метками в разных папках плюс простые скрипты для копирования и восстановления - самый гибкий и надежный вариант для домашних условий. DVC чтоб попробовать, если собираешься масштабировать немного, но он тяжеловат.

В итоге тренишь, думаешь "а вдруг сломаю", и быстро возвращаешься к стабильной - так я и делаю. Главное, не бояться экспериментировать, просто держать порядок в версиях.