Перш за все, періодичність перевірок Вашого сайту в хвилинах можна задати в robots.txt наступним правилом:
User-agent: search.com.ua
Crawl-delay: 10
або
User-agent: *
Crawl-delay: 10
Вважається, що сайти з дуже великою кількістю сторінок мають бути налаштованими на високе навантаження та високу відвідуваність, тому наш пошуковий робот відвідує їх частіше.
Поруч з частотою перевірки також стоїть і кількість сторінок, які перевіряються за 1 ітерацію. Логіка наступна: чим частіше перевіряються сайти, тим більший об'єм сторінок оброблюється.
Пропонуємо ознайомитись з таблицею, де зображено залежність періодичності перевірок від кількості сторінок сайту:
| Стор. на сайті | 1 | 2-100 | 101-500 | 501-1000 | 1001-10 000 | 10-50К | 50-100К | 100-250К | 250-500К | 500К- 1млн | >1млн |
| Частота (кожні N годин, або хвилин) | 24 год | 12 год | 9 год | 6 год | 3 год | 1.5 год | 1 год | 30 хв | 20хв | 15хв | 10хв |
| Сторінок за 1 перевірку | 1 | 2 | 3 | 4 | 5 | 7 | 10 | 15 | 20 | 30 | 40 |
| Макс. к-ть днів для перевірки | 1 | 25 | 63 | 63 | 250 | 447 | 417 | 348 | 348 | 348 | +∞ |
Зазначимо, що проіндексовані сторінки будуть оброблені повторно не раніше, ніж через місяць. Тобто, якщо на Вашому сайті виявлено всього 1 сторінку, це означає що наш робот буде перевіряти її раз на місяць, а не кожного дня. Максимальна частота в 24 години задана для того, щоб з моменту додавання нового сайту в нашу пошукову систему і до моменту появи сторінок в пошуковій видачі пройшло якомога менше часу.
В списку сторінок в розділі Сайти https://search.com.ua/sites Ви можете відправити сторінки на повторний аналіз, знищивши тим самим дані попереднього сканування.
Існує 2 способи додавання списку сторінок в нашу пошукову базу:
Як додавати Sitemap.xml в пошукову систему search.com.ua описано в окремій статті: https://search.com.ua/info/base/how-to-add
При додаванні сторінок в обох випадках враховуються правила в robots.txt. Перед додаванням карт сайту переконайтесь, що даний текстовий файл вже проаналізовано нашою пошуковою системою. Якщо robots.txt ще не було виявлено з моменту останньої перевірки сайту, або сайт було щойно додано, Ви можете додати вміст файлу robots.txt через спеціальну форму в розділі https://search.com.ua/sites.
У випадку, якщо наші пошукові роботи завдають незручностей Вашому сайту і перевіряють його сторінки занадто часто, Ви можете встановити правило в robots.txt, як було описано трохи вище, або ж звернутись до нашої підтримки з проханням зменшити частоту перевірок: info@search.com.ua .