Нужно написать программу строящую карту сайтов интернета (с возможностью разбиения на доменные зоны .ru, .com, .net и т.д.).
Есть потребность написать следующую программулинку кратко:
База данных MySQL (уже будет написана структура)
Таблица, в которой хранятся УРЛы, IP адреса сайтов.
Прога должна из этой таблицы хватать адрес, идти на него и строить карту сайта в другой таблице, со ссылкой на этоту запись. Если встречается новый УРЛ, то заносить его в таблицу с УРЛами.
Ессно ссылки должны вырываться отовсюду: картинки, флеши в т.ч..
Прога должна изначально быть работоспособной под линуха.
Также хочется в случае успешного решения этой задачи продолжить в подобном направлении, нужно другой прогой ходить по страницам из базы, выхватывать из них текст, при этом его особым образом парсить.
Жду ваших предложений
dr_dax@mail.ru или личка.