Перш за все, періодичність перевірок Вашого сайту в хвилинах можна задати в robots.txt наступним правилом:
User-agent: *
Crawl-delay: 10
або
User-agent: search.com.ua
Crawl-delay: 10
Вважається, що сайти з дуже великою кількістю сторінок мають бути налаштованими на високе навантаження та високу відвідуваність, тому наш пошуковий робот відвідує їх частіше.
Поруч з частотою перевірки також стоїть і кількість сторінок, які перевіряються за 1 ітерацію. Логіка наступна: чим частіше перевіряються сайти, тим більший об'єм сторінок оброблюється.
Пропонуємо ознайомитись з таблицею, де зображено залежність періодичності перевірок від кількості сторінок сайту:
| Стор. на сайті | 1 | 2-100 | 101-500 | 501-1000 | 1001-10 000 | 10-50К | 50-100К | 100-250К | 250-500К | 500К-1млн | >1млн |
| Частота (кожні N годин, або хвилин) | 24 год | 12 год | 9 год | 6 год | 3 год | 2 год | 1 год | 30 хв | 20хв | 15хв | 10хв |
| Сторінок за 1 перевірку | 1 | 2 | 3 | 4 | 5 | 7 | 10 | 15 | 20 | 30 | 40 |
Є 2 виходи: почекати певну кількість часу, поки наші роботи знайдуть кілька нових сторінок Вашого сайту, або додати список сторінок, підготованих для індексації пошуковими роботами через XML-карти сайту.
Як додавати Sitemap.xml в пошукову систему search.com.ua описано в окремій статті: https://search.com.ua/info/base/how-to-add
У випадку, якщо наші пошукові роботи завдають незручностей Вашому сайту і перевіряють його сторінки занадто часто, Ви можете встановити правило в robots.txt, як було описано трохи вище, або ж звернутись до нашої підтримки з проханням зменшити частоту перевірок: info@search.com.ua .