Данный проект появился в отечественном сегменте Internet сначала в виде эксперимента. И все же, мы продолжили работу над улучшением поисковых алгоритмов и развернули масштабируемую систему сбора информации со страниц украинских сайтов. Пока, это поддомены зоны .UA и .УКР. Далее, будут проиндексированы популярные web-сайты в зонах .ORG и .COM, которыми обладают граждане Украины.
Но не все делается сразу. У нас еще очень много работы над улучшением индексации и поиска. Считаем, что лучше отточить индексацию на малом объеме данных и затем масштабировать успех.
Мы - группа энтузиастов-программистов с большим опытом работы с Big Data, в разработке высоко-нагруженных сайтов и по сбору разноплановых данных в Internet. Мы решили применить современные технологии обработки и хранения больших объемов текстовых данных и попробовать проиндексировать "живые" сайты в украинском сегменте. Забегая наперед, отметим, что мы не ставили целью сохранения абсолютно всех страниц и реализацию полнотекстового поиска по ним. Мы решили для начала ограничиться сбором и индексацией ключевых слов на страницах, так сказать, "научить" нашего поискового робота понимать о чем идет речь на этих страницах и на определенных сайтах.
В ходе наших экспериментов мы пришли к выводу: если на сайте размещено более 500 страниц, то скорее всего, повторяющиеся однотипные данные будут или товарами, или статьями новостей. Если выделения новостей в отдельный раздел поиска остается в перспективных планах, то с товарами мы определились сразу еще в начале создания проекта: отдельном поиска по товарам обязательно. Пока фильтр достаточно небогатый, поскольку мы сопротивляемся только на структурированные данные, имеющиеся на страницах с товарами, однако выборка и интеграция данных "на лету" показалась достаточно дружественной для пользователя. В планах - разработка JSON-фидов товаров с сайтов всех Internet-магазинов Украины, поскольку процесс сбора данных со страниц роботом более сложный и длительный, по сравнению с разбором заранее подготовленного файла.
Никто не ставит целью пытаться сделать поиск лучше, чем это удалось именитым и очень состоятельным компаниям. Есть отдельные моменты, которые хотелось бы учесть и дать Украинские действительно украинский поиск, ставя в ТОП-позиций именно отечественные сайты, отечественные товары, местные новости или услуги сограждан. Мы стремимся сделать простой поиск по понятным и прозрачным правилам ранжирования в поисковой выдаче. Мы хотим сделать поиск без засилья рекламы, или ссылок на запрещенные сайты.
Стремлений и мечтаний много, гораздо больше, чем наших возможностей, но мы не сдаемся!
Реклама вверху и внизу поисковой выдачи - не единственный способ монетизации наших усилий. Еще рано говорить о ценах размещения в рекламных местах выдачи. Следует тщательно исследовать поисковый трафик, переходы по ссылкам и возвращения к поиску. Еще очень много работы по нормализации ранжирование и упорядочению индексации. Но, однозначно, цены должны быть демократичными и доступными, чтобы украинские владельцы сайтов могли рекламировать свои товары и услуги как можно доступнее.
Мы не будем давать голословные обещания изменить Мир, или преодолеть глобальные проблемы человечества. Мы обещаем не усложнять жизнь разработчиков и владельцев сайтов, которым нужны конверсии и качественный и откровенно понятный поиск. Мы работаем над созданием максимально простого и понятного интерфейса для обработки размещенных данных: добавление сайтов, добавление их xml-карт или отдельных страниц, анализ страниц и сайтов и ключевых факторов их ранжирование. Не за горами базовая аналитика о переходах и поисковые фразы с графиками и другими интересными вещами.
Мы начинали с домена в зоне .NET.UA, позже стали использовать домен search.com.ua. Предыдущие владельцы домена также занимались поисковой системой. Пришлось узнать об истории доменного имени и о деятельности их дочернего продукта Sova еще в далеком 2004 году.
Заверим сразу: мы не имеем никакого отношения к предыдущим владельцам данного доменного имени, и к их опыту в создании отечественного поисковика.
Мы начали с нуля, использовали более современные технологии и масштабировали поискового робота на несколько (десятков) различных серверов.
Наши предшественники оперировали числом 70000 сайтов еще в далеком 2004 году. С тех пор утекло много воды, украинский сегмент Internet значительно вырос. Пока нам сложно прогнозировать точное количество "живых" web-сайтов, и надеемся преодолеть рубеж в 200 тыс. сайтов и более миллиарда страниц.
Надеяться мечтатели могут много, не так ли?
Есть такая идея: если Ваш сайт имеет более 1000 различных страниц, скорее всего, у Вас есть каталог товаров, или безграничный раздел новостей. Для первого случая мы предлагаем сформировать JSON-фиды на основе структурированных данных Schema.org и дать возможность нашему поисковику забирать их с определенной периодичностью. Для новостей Вы можете сформировать RSS-фид и поделиться им с нами, все новости удобно отображаются в отдельном разделе: https://search.com.ua/news .
Конечно же, мы любим структурированные данные и можем собрать информацию о товарах и новостях обычным поисковым роботом, но время, потраченное на такой длительный сбор и обработку информации будет временем, за которое ваши конкуренты уже продают свои товары или показывают свои новости первыми.
Для вопросов, пожеланий и предложений: info@search.com.ua.