Скрипт обхода всех страниц сайта рекурсивно

Подскажите скрипт-бот, чтоб обойти все страницы сайта рекурсивно? Интересует только открывание страниц эмулируя браузер (можно без дотошной эмуляции, не обязательно быть похожим на десктопный) без каких либо действий над оными страницами.
wget вроде умеет рекурсивно, но он закачивать будет, а это лишнее..

wget можно в /dev/null направить, и пусть выкачивает...

wget -r --header="Accept: text/html" --user-agent="Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:21.0) Gecko/20100101 Firefox/21.0" --delete-after урл

Для краулинга мне httrack больше нравится.

httrack -p0 http://domain.com

Цитата:

pN priority mode: (* p3) (--priority[=N]) 0 just scan, don't save anything (for checking links)

и еще много интересных опций.