Наш поисковый робот открывает страницу, анализирует ее содержание, актуализирует данные о ней в нашей БД. Мы не храним страницы в полном объеме и не предлагаем полнотекстовый поиск по всем страницам. Наш поисковый робот пытается собрать главную информацию на странице. Также, поисковый робот дает ориентировочную оценку качества каждой странице с постоянным набором критериев. Эта оценка понадобится для дальнейшего ранжирования страницы в поисковой выдаче, чтобы качественные страницы вверху списка.
Мы масштабувалы поискового робота на несколько (десятков) серверов, поэтому определить его по IP-адресу не всегда удастся. Наш поисковый робот передает при запросе следующий USER_AGENT, который можно получить на серверной стороне:
Mozilla/5.0 (compatible; search.com.ua_bot/1.0; +https://search.com.ua/about/bot)
Как видите, в текстовой строке агента пользователя (user_agent) есть ссылка на эту страницу с объяснением действия нашего робота.
На данном этапе мы не видим никакого смысла сканировать страницы дважды, проверяя их пидготованисть для работы как на малых мобильных экранах, так и на больших. Также, не видим смысла в двойной работе разработчиков, которые ранее готовили отдельную мобильную версию сайта. Например, m.site.com - знакомо, не так ли?
Убеждены, что с появлением Flex-box в CSS3, реализация адаптивности с изменением ширины блоков и их порядка более чем достаточно, для создания качественных адаптивных сайтов.
Так, если на страницах сайта нашим поисковым роботом найдено следующий META-тег и несколько CSS-файлов, то это означает, что разработчик пытался реализовать адаптивность на страницах.
<meta name="viewport" content="width=device-width, initial-scale=1.0">
или
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no">
Каким образом это ему удалось: различные Break-point в CSS и условное разделение макета на столбцы, или "резиновая" верстка с растяжением внутри главного контейнера или на весь экран на 100% ширины - это на самом деле не принципиально. Для нас вообще не важным фактором является отступления внутри блоков, меню, или контрольных элементов. Оставим это на усмотрение дизайнеров и верстальщиков шаблонов страниц. Самое главное - удобство сайта и его пригодность для просмотра на экранах любых размеров без эффекта верстка "сломалась" или "поплыла". Именно для этого обязательным фактором является наличие на странице META-тега viewport.
Способ 1: указать на странице следующий META-тег, который сделает страница не индексированной всеми работами без исключений:
<meta name="robots" content="noindex, nofollow">
Способ 2: указать в файле /robots.txt раздел или страницу, которые должны быть скрытыми:
User-agent: search.com.ua
Disallow: /admin/
Мы очень хотим, чтобы вверху нашей поисковой выдачи находились максимально качественные страницы, то есть те, которым наш поисковый робот поставил самую высокую оценку.
Считаем, что страницы с наивысшей оценкой были основательно обработаны при их разработке и наполнении, им уделили максимум внимания и потратили максимум ресурсов для повышения их качества.
Среди весомых критериев оценки страниц являются: скорость загрузки, количество слов, длина заголовка, наличие H1 на странице, наличие тега описания страницы и многое другое. Подробно с исчерпывающим перечнем критериев оценки можно ознакомиться на отдельной странице.