==============================
CoreClean — дедупликатор словарей
==============================

Убирает повторы из текстовых словарей. Файлы от КБ до ТБ,
до 20 000 словарей за раз, любые языки и кодировки.
Оригиналы не трогаются (кроме галочки «Перезапись оригиналов»).

--- ЧЕТЫРЕ КНОПКИ ---

1) «Удалить дубли» — склеивает все словари в ОДИН файл без повторов.
aaa, bbb + bbb, ccc → aaa, bbb, ccc

2) «Убрать цепочку дублей» — словари остаются раздельными, но одна
строка не повторяется по всему набору. После выбора открывается
окно РОЛЕЙ, у каждого словаря значок:
🛡 Эталон — не трогается, только для сравнения (приоритет);
✂ Чистить — из него убирается всё, что есть в эталонах и выше.
Все ✂ Чистить = обычная цепочка. Большой перебор пометь 🛡, остальные ✂.

3) «Очистить от символов» — вырезает указанные символы из строк
(символы впиши в поле над кнопками).
Символы: -.@
Вход: Astranom-Wifi
Выход: AstranomWifi

4) «Разбить по символам» — режет строку на куски по символам-разделителям.
Символы-разделители: -.,@:
Вход: Astranom-Wifi
Angela1983@mail.ru:1234
Выход: Astranom
Wifi
Angela1983
mail
ru
1234
(каждый кусок — отдельной строкой)

Спецсимволы в поле: \t = таб, \n \r = перевод строки, \xHH, \uXXXX.

--- ПОЛЕЗНОЕ ---

• Наведи курсор на кнопку — всплывёт подсказка с примером.
• «Размер текста» — ползунком внизу или Ctrl + колесо мыши.
• Линию над логом тяни мышкой — меняет высоту лога; двойной клик
по ней — развернуть лог на всё окно и обратно.
• «Ограничить нагрузку» (30/60/90%) — чтобы работать за ПК параллельно.

Выбери словари любой кнопкой, чтобы начать.


- Использует до 90% ядер процессора и до 55 ГБ памяти,
но не больше, чем реально свободно — на слабом ПК
сам ужимается и не тормозит систему.
- По завершении — звуковой сигнал.

━━━ Скорость ━━━
Пример: ~1 млрд строк (12 ГБ, 20 файлов) очищается примерно за минуту


━━━ Требования ━━━
Windows x64.


➤ СКАЧАТЬ CoreClean