Любому грамотному оптимизатору в своей профессиональной деятельности когда-либо доводилось анализировать лог-файлы для того, чтобы определить поведение поискового робота Googlebot. Однако мало кто представляет себе, насколько эффективным может оказаться этот подход для выявления нежелательных ботов, которые регулярно посещают сайт. Главная опасность таится в том, что эти роботы автоматически исполняют сценарий JavaScript, наводняя аналитику ложными данными, нанося вред ресурсу, незаконно копируя его контент и т.д.

Продолжение.