Как удалить Дубли с Оригиналом по фасту

[Found]

Ребят,

Парюсь который день, как можно быстро и без гемороя удалить в тексте ДУбли вместе с Оригиналом, на выходе получит чисто без дублей и оригинала дубля.

Пример:

12345

123

1234

12345

-Получить

123

1234

Онлайн тулза есть подобная? или в тестовике по фасту можно? - что б не напрегатся сильно софтом, или экзелем -нужно делать удалять очень быстро

[Semwize]

bvsDupDelet (http://vizbe.net/bvsDupDelet.zip)

галку на "уникальный"

[rct]

def main(file):
f = open(file, 'r').readlines()
unic = {hash(l): l for l in f.split("\n")}
return unic
open(sys.argv[1], 'w').write(main(sys.argv[1]))

Должно сработать.

[xusanokaz]

FlodDUblecator

[Found]

↑ (https://antichat.live/posts/3928089/)
bvsDupDelet (http://vizbe.net/bvsDupDelet.zip)
галку на "уникальный"


Спасибо, Пользуюсь посоветованным софтом радует на ура.

Теперь такой вопрос, там много галочек, 1 меня сейчас один словарь большой объединенный в нем около 100+ словарей, допустим 20 раз повторяется пароль: 12345 -как удалить 19 штуки о оставить один оригинал?) Какую галочку там ткнуть на Eng и много с Duble фразой хз что нажать

[Found]

http://s017.radikal.ru/i400/1602/7a/3b7bc53ab27b.jpg (http://radikal.ru/big/06c40b38ab9243168cca30de7ab4a20e)

[nick_sale]

качаешь notepad++,жмешь ctrl+h,переходишь в пометки....там ставишь галочку,помечать закладкой,и вводишь слово поиска...после идешь в поиск=>закладки=>убрать все строки с закладкой