Скрипт проверки строк на уникальность

Понадобилось проверить списочек кейвордов, есть скрипт для простой проверки на уникальность, то есть он выдает результат с уже удаленными повторяющимися строками, а мне нужно знать какие строки были не уникальными (дублированными).

Может кто встречал сервис, скрипт нужен для единоразовой проверки,заказывать не очень хочется

Код:

<? $input_file=file('input.txt'); // грузим файл с кеями $output_file="output.txt"; // сюда пишем отчищенный от дубликатов $dublicat_file="dublicat.txt"; // тут дубликаты $mas=array(); for($i=0;$i<count($input_file)-1;$i++){    for($z=($i+1);$z<count($input_file);$z++){    if (strcasecmp(trim($input_file[$i]), trim($input_file[$z])) == 0) {$mas[]=$input_file[$i];}}} $f=fopen($output_file,"w");fwrite($f,implode("",array_unique($input_file)));fclose($f); $f=fopen($dublicat_file,"w");fwrite($f,implode("",array_unique($mas)));fclose($f); ?>

Спасибо -=Faraon=-, +4 к рейтингу и респекты прилагаются

как все сложно-то... проще надо быть, проще

Код:

<? #зохавать в массив $a1=explode("\n",str_replace("\r",'',chop(file_get_contents("input.txt")))); #зосортировать sort($a1); #определить дубли $a2=array(); foreach($a1 as $n=>$v) { if ($a1[$n-1]==$a1[$n]) {$a2[]=$v;} } #зописать резалт $z=fopen("output.txt","w"); fputs($z,join("\n",array_unique($a2))); fclose($z); ?>

вот собственно и все, строки, которые были дублировоны записаны в output.txt

А если нужно локально, есть прога под винду - Text Duplicate Killer называется.

localhost писал:

как все сложно-то... проще надо быть, проще

Можно быстрее без сортировки...

Код:

<?php #зохавать в массив $a1=explode("\n",str_replace("\r",'',chop(file_get_contents("input.txt")))); $a2=array(); foreach($a1 as $v) { $a2[$v]=isset($a2[$v])?1:0; } #зописать резалт $z=fopen("output.txt","w"); fputs($z,join("\n",array_keys($a2,1))); fclose($z); ?>

сортировка как раз нужна, все строчки будут отсортированы и дубли будут находится следом друг за другом, а потом нужно проверять лишь равна предыдущая строчка текущей и если да, значит дубль

Ясное дело, что она нужна в Вашем алгоритме.
Только трудоёмкость сортировки в общем случае растёт в квадрате.
А потом ещё и монстр array_unique

а можно еще так приколоться.
$fp=fopen("output.txt","w");
foreach (array_count_values(file('input.txt')) as $n=>$k) {if($k>1) fwrite($fp,"$n\n") ;}
fclose($fp);

на самом деле, на больших файлах самый правильный вариант делать из шела sort, а потом построчную сверку строк.
В пхп все команды использующие массивы жрут уйму памяти (до 5 раз больше обьема самих данных в массиве).

bog писал:

а можно еще так приколоться.

Да. Это решение ещё лучьше. И далеко не прикол.

Бля а можно еще так

Код:

fwrite(fopen('uniq.txt',"w"),implode(' ',array_unique(explode("\r\n",file_get_contents('raw.txt')))));

охуеть в одну строку ) скобок может не хватать

dDan писал:

Бля а можно еще так Код: fwrite(fopen('uniq.txt',"w"),implode(' ',array_unique(explode("\r\n",file_get_contents('raw.txt'))))); охуеть в одну строку ) скобок может не хватать

Стартер вроде хотел другого:

Цитата:

то есть он выдает результат с уже удаленными повторяющимися строками, а мне нужно знать какие строки были не уникальными (дублированными).

Сорри видимо я не вчитался....