Известно, что существующие системы поиска контента на сайтах основываются на особых алгоритмах. Однако, все они в той или иной степени отличаются друг от друга. Следует отметить, что есть и общие закономерности, которые присущи всем поисковым системам, в том числе и пензенской поисковой системе.
Довольно простая, но очень эффективная схема обнаружения и архивации веб-сайтов, может быть определена несколькими позициями. Загрузка страницы производиться с обработкой и сортировкой получаемой информации. Как правило, загружаемый программный код с выделением всех находящихся в нем интернет-ссылок, регистрируется в системе с указанием адреса, даты загрузки, заголовка и самого контента. Вторая позиция основана на принципе взаимных связей в сети и определяется путем многоуровневого сканирования, результатом, которого является выявление новых объектов информации, после чего они в конечной третьей стадии индексируются.
