Помогите убрать повторы из файла

Знаю, что спрашивали уже =)
Нашел все темы со словом "повторы", но так ниче путного не увидел...
Вобщем, есть файл, в нем URL (1 урл на строку),нужно убрать все повторяющиеся урлы...

Пробовал в экселе, вроде удаляет все.. но потом в этом файле нашел какие-то адреса в ковычках.... вобщем, что-нить кроме экселя, плиз

sort file1.txt | uniq > file2.txt

Точно кроме Excel? В нем проще всего. Кавычки, если делать правильно, появляться не должны.

Ты, наверное, прямо в Excel .csv файл открывал? Надо через вырезать - вставить, фильтр, только уникальные, потом скопировать и вставить в блокнот.

всем рейтинг поставил (правда я не понял вот это "sort file1.txt | uniq > file2.txt", в программировании не силен )

Петр, а тогда еще вопрос... а если файл больше, чем на 65536 строк?
А то эксель только столько строк делает

Чем удалить неуникальные строки в файле?
тут еще какие-то способы обсуждались кроме указанных выше

mazzzer2 писал:

всем рейтинг поставил (правда я не понял вот это "sort file1.txt | uniq > file2.txt", в программировании не силен ) Петр, а тогда еще вопрос... а если файл больше, чем на 65536 строк? А то эксель только столько строк делает

Это простые команды в юниксе, которые за доли секунды сделают то, что тебе надо. Ограничения на количество строк в 65535 нет.

а.... понятно

вобщем, благодаря Сатирису нашел супер прогу EditPlus, с помощью нее сделал все за доли секунды =)
thx all

Если кавычки мешают то можно их перед этим удалить по всему файлу простым рэплэйсом на пустоту