Почему новостные сайты заметили падение в графике статистики сканирования?

Руководитель отдела по борьбе с поисковым спамом Google Мэтт Каттс разместил у себя в Twitter сообщение, что многие новостные сайты недавно должны были заметить спад в статистике сканирования в Инструментах для веб-мастеров Google.

Для тех, кто его не заметил, Мэтт Каттс советует не беспокоиться. Недавно Google Новости начали поддерживать заголовок if-modified-since, что и является причиной изменений в сканировании. Мэтт также добавил, что статистика Google Новости стала намного эффективнее.

Барри Шварц проверил статистику для портала seroundtable.com и заметил, что она значительно снизилась в марте 2014 года:

Вот его твиты:

If you have a news site and it looks like Google is crawling less since ~3/7, don't worry. Google News added if-modified-since support then.

— Matt Cutts (@mattcutts) 8 апреля 2014

So it's just Google News doing smarter crawling now. More info about if-modified-since: http://t.co/1TrtFVnypD

— Matt Cutts (@mattcutts) 8 апреля 2014