Groupon отключил индексацию Google ради SEO-науки

Директор по управлению продуктом Groupon Джин МакКенна (Gene McKenna) рассказал об экстремальном эксперименте, на который пошла его команда ради SEO-науки. Оптимизаторы компании всегда подозревали, что значительная доля прямого трафика на их сайт на самом деле является органическими переходами из поиска.

Сомнения SEO-специалистов Groupon в надёжности данных сервисов аналитики усилились в сентябре 2012 г. Тогда на фоне выхода iOS 6 программы-счётчики дали явный сбой. Многие сайты, по данным этих систем аналитики, вдруг резко потеряли львиную долю органического трафика и приобрели ровно столько же прямого.

«Браузеры далеко не всегда сообщают, откуда пользователи приходят на сайт. Если информация о предыдущем месте пребывания юзера в заголовке HTTP referrer отсутствует, трафик, как правило, списывается на канал «прямые заходы». При этом незнание, откуда пришли пользователи, вовсе не означает, что они действительно вбили URL и нажали на кнопку», — поясняет Джин МакКенна.

Неточность информации браузеров

Среди основных причин плохой осведомлённости браузеров об источниках трафика представитель Groupon называет:

• шифрование Google запросов, по которым пользователи переходят из органической выдачи на сайт, ради «повышения безопасности пользователей»;
• переход пользователей на сайт HTTP с сайта, защищённого протоколом HTTPS;
• установка юзерами режима приватности в браузерах.

В ходе экспериментов представители Groupon также установили, что на точность измерения браузером органического трафика оказывают влияние следующие факторы:

1. Выполняется ли запрос на самом сайте Google или в поисковой строке в браузере.

2. С какой операционной системой работает каждый конкретный пользователь.

Для того чтобы выяснить, какая доля прямого трафика на самом деле принадлежит органическим переходам, представители компании решили полностью деиндексировать свой сайт в Google на 6 часов.

Не пытайтесь повторить это дома!

Несмотря на то, что поисковик довольно быстро (примерно в течение суток) заново проиндексировал весь сайт, представители Groupon никому не советуют повторять этот потенциально опасный эксперимент. Но они это сделали ради SEO-науки, и получили ответ на свой вопрос.

В ходе эксперимента специалисты в течение часа в браузере отслеживали переходы из органического поиска и прямой трафик на каждую страницу по длинному урлу (типа www.groupon.com/local/san-francisco/restaurants). Короткие URL были исключены, поскольку в «прямоте» их трафика никто не сомневался.

Спустя пару часов после деиндексации в Google переходы из органического поиска снизились практически до нуля (Bing при этом никто не отключал). И в то же время прямой трафик на сайт упал на 60%.

Каким браузерам можно доверять

В ходе исследования также выяснилось, что веб-браузеры, за исключением IE, предоставляют более точную информацию по органическому трафику, чем мобильные. Десктопные Firefox, Chrome и Safari отнесли к прямому трафику всего 10—20% органического, в то время как погрешность мобильных браузеров составила в среднем 50%.