Наш пошуковий робот відкриває сторінку, аналізує її вміст, актуалізує дані про неї в нашій БД. Ми не зберігаємо сторінки в повному об'ємі і не пропонуємо повнотекстовий пошук по всіх сторінках. Наш пошуковий робот намагається зібрати головну інформацію на сторінці. Також, пошуковий робот дає орієнтовну оцінку якості кожній сторінці за сталим набором критеріїв. Ця оцінка знадобиться для подальшого ранжування сторінки в пошуковій видачі, щоб якісніші сторінки були вгорі списку.
Ми масштабували пошукового робота на кілька (десятків) серверів, тому визначити його за IP-адресою не завжди вдасться. Наш пошуковий робот передає при запиті наступний USER_AGENT, який можна отримати на серверній стороні:
Mozilla/5.0 (compatible; search.com.ua_bot/1.0; +https://search.com.ua/about/bot)
Як бачите, в текстовому рядку агента користувача (user_agent) є посилання на дану сторінку з поясненням дії нашого робота.
На даному етапі ми не бачимо жодного сенсу сканувати сторінки двічі, перевіряючи їх підготованість для роботи як на малих мобільних екранах, так і на великих. Також, не бачимо сенсу в подвійній роботі розробників, які раніше готували окрему мобільну версію сайту. Наприклад, m.site.com - знайомо, чи не так?
Переконані, що з появою Flex-box в CSS3, реалізація адаптивності зі зміною ширини блоків та їх порядку більш ніж достатня, для створення якісних адаптивних сайтів.
То ж, якщо на сторінках сайту нашим пошуковим роботом знайдено наступний META-тег та кілька CSS-файлів, то це означає, що розробник намагався реалізувати адаптивність на сторінках.
<meta name="viewport" content="width=device-width, initial-scale=1.0">
або
<meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1, user-scalable=no">
Яким чином це йому вдалося: різні Break-point в CSS та умовний поділ макету на стовпці, чи "гумова" верстка з розтягуванням всередині головного контейнеру або на ввесь екран на 100% ширини - це насправді не принципово. Для нас взагалі не важливим фактором є відступи всередині блоків, меню, чи контрольних елементів. Залишимо це на розсуд дизайнерів та верстальників шаблонів сторінок. Саме головне - зручність сайту та його придатність для перегляду на екранах будь-яких розмірів без ефекту, що верстка "зламалась" чи "поплила". Саме для цього обов'язковим фактором є наявність на сторінці META-тегу viewport.
Спосіб 1: вказати на сторінці наступний META-тег, який зробить сторінку не індексованою всіма роботами без виключень:
<meta name="robots" content="noindex, nofollow">
Спосіб 2: вказати в файлі /robots.txt розділ чи сторінки, які повинні бути прихованими:
User-agent: search.com.ua
Disallow: /admin/
Ми дуже хочемо, щоб вгорі нашої пошукової видачі знаходились максимально якісні сторінки, тобто ті, яким наш пошуковий робот поставив найвищу оцінку.
Вважаємо, що сторінки з найвищою оцінкою були ґрунтовно оброблені при їх розробці та наповненні, їм приділили максимум уваги та витратили максимум ресурсів для підвищення їх якості.
Серед вагомих критеріїв оцінювання сторінок є: швидкість завантаження, кількість слів, довжина заголовку, наявність H1 на сторінці, наявність тегу опису сторінки та багато іншого. Детально з вичерпним переліком критеріїв оцінювання можна ознайомитись на окремій сторінці.