У меня была похожая ситуация: база знаний стала около 8-9 тысяч статей, и начал замечать, что темы часто повторяются, только немного по-другому написаны или с мелкими изменениями. Ручная чистка — реально кошмар, автоматом же боишься что-то важное вырезать. Пробовал фильтровать по ключевым словам и тегам, но либо алгоритмы пропускают дубли, либо срезают уникальный контент.

В итоге сделал так: скрипт на Python, который собирает потенциальные дубли по похожести заголовков и первых абзацев, а потом сам вручную проверяю, что можно объединить, а что оставить. Получилось без потери смысла и с сохранением разных вариантов формулировок. Немного муторно, но хоть порядок в базе навёл.

Кто-то ещё с таким сталкивался? Есть более простой и надёжный способ искать дубли без риска потерять важное?