W necie krąży dużo sposobów na identyfikację robotów. Większość (wg moich obserwacji) sprowadza się do sprawdzania $_SERVER['HTTP_USER_AGENT'].
Znalazłem też takie cuś: http://www.develobert.info/2008/11/php-robot-check.html. Autor opiera się tylko na odwołaniach to robots.txt. Co sądzicie o takim podejściu?