Подскажите,как сделать

есть тхт файл в котором содержится дофига много кифраз,по одной на строку,среди них весьма много дублей,с помошью чего можно удалить все дубли,так чтоб фразы остались каждая оригинальная в единственном числе?
разные фразы могут состоять из одинаковых слов но стоящих в различном порядке,если фразы отличаются порядком слов,они тоже считаются оригинальными...

кто в курсе,подскажите пожалуйста,буду благодарен

попробуй скриптом , если я тебя правильно понял , в папку с кейверд файлом ложишь скрипт
unique.php

Код:

<?php /** * Путь к файлу на сервере * сделай для папки в которой лежит файл chmod 0777 */ $path = "/home/data/keywords.dat"; echo "Start...<br>"; $data = file($path); $new_data = array_unique ($data); $size  = sizeof($new_data); $f = fopen("new_keywords.dat","a"); for($counter=0;$counter<$size;$counter++) fwrite($f,$new_data[$counter]."\n"); fclose($f); echo "Complete"; exit; ?>

При условии что файл не большой , запускаешь скрипт и получаешь в этой же папке уже обработаный файл new_keywords.dat

спаибо,попробую так

господа, если дело происходит на сервере, то не стоит придумывать велосипед

Код:

sort -u input_file > output_file

Twister писал:

господа, если дело происходит на сервере, то не стоит придумывать велосипед Код: sort -u input_file > output_file

ваабще-то мне нужно на локальной машине это сделать

<?php

$fp = fopen("output.txt", "wt");
fputs($fp, join("", array_unique(file("input.txt"))));
fclose($fp);

?>

Mon$teR писал:

ваабще-то мне нужно на локальной машине это сделать

ну коли так то самое практичное
EditPlus, Tools>Sort, Remove duplicates

спасибо всем,попробую...

ну, варианты анологичны тому, что я тебе в аське на пхп написал - чем не подходит?

ещё раз сенкс,бро! =)
просто я думал может кто именно прогу подскажет,которая подобными фукциями обладает,чтоб на локалке её пустить...

PS: в твоей компетентности я ни разу не сомневался