Для, более сложных задач поиска, связанных, с определением целых сегментов текста, целесообразно использовать, поисковые Интернет - системы, в программный код которых, входит функция сканирования сети и сбор новых данных. В процессе сканирования, эта программа, исследует всю многоуровневую структуру веб-странички, фиксирует все находящиеся, на ней активные переходы (гиперссылки), а, в конечной стадии, производит индексацию с указанием адреса, даты загрузки, заголовка и непосредственно, самого контента.
Сколько поисковых систем, столько и поисковых механизмов, со своим сводом правил получения данных. Одни идут, от одной гиперссылки к другой, и там, в свою очередь обнаруживают все остальные переходы.
Другие, не берут во внимание гиперссылки с переходом на какой-нибудь графический или видео обьект. Правильно выбранная поисковая система будет залогом успешного поиска.
