Решение по контролю посещаемости на сайтах
У меня другая идея. Почти на каждом моём дорвее (кроме самых старых) есть мини-CMS система, которая добавляет дорвею интересный функционал. В частности, эта система может записывать, кто приходит на дорвей. Так вот, роботы обычно не запрашивают никакие яваскрипты. Поэтому решение такое: на все страницы дора ставим хотя бы один javascript файл. CMS на дорвее записывает общий лог посещений, где учитывает все запросы ко всем файлам дорвея. Если есть запросы на javascript, такой хост в логе помечается как живой пользователь...