Сколько поисковых роботов у Google? На такой вопрос пользователя Мэтт Каттс, глава отдела Google по борьбе со спамом, подготовил небольшой, но интересный видеоответ. По словам Каттса, необходимо понимать, что это не «поисковые роботы» в прямом смысле слова обходят веб. Данный процесс выполняется целым комплексом специальных машин в дата-центрах Google.
«Даже небольшое количество таких машин (даже 50) достаточно, чтобы справляться с большим объемом разнообразного контента», - отмечает Мэтт Каттс. Во-первых, потому что Google обходит веб порционно, каждые несколько дней. Во-вторых, машины работают параллельно, что позволяет быстрее индексировать контент.