|
|
| Если это ваш первый визит, рекомендуем почитать справку по форуму. Для размещения своих сообщений необходимо зарегистрироваться. Для просмотра сообщений выберите раздел. |
 |
||
Нужно написать программу строящую карту сайтов
|
||
| Философия, технологии, алгоритмы! |
 |
|
|
Опции темы |
09.06.2009, 21:57
|
#1 |
|
Форумец
Сообщений: 411
Регистрация: 10.04.2004
Возраст: 46
 Не в сети
|
Нужно написать программу строящую карту сайтов
Нужно написать программу строящую карту сайтов интернета (с возможностью разбиения на доменные зоны .ru, .com, .net и т.д.).
Есть потребность написать следующую программулинку кратко: База данных MySQL (уже будет написана структура) Таблица, в которой хранятся УРЛы, IP адреса сайтов. Прога должна из этой таблицы хватать адрес, идти на него и строить карту сайта в другой таблице, со ссылкой на этоту запись. Если встречается новый УРЛ, то заносить его в таблицу с УРЛами. Ессно ссылки должны вырываться отовсюду: картинки, флеши в т.ч.. Прога должна изначально быть работоспособной под линуха. Также хочется в случае успешного решения этой задачи продолжить в подобном направлении, нужно другой прогой ходить по страницам из базы, выхватывать из них текст, при этом его особым образом парсить. Жду ваших предложений dr_dax@mail.ru или личка. |
|
|
10.06.2009, 07:32
|
#3 |
|
Форумец
Сообщений: 411
Регистрация: 10.04.2004
Возраст: 46
Не в сети
|
Вообще, речь не о поиске, как кажется на первый взгляд.
1. Я не говорил, что это нужно где-то постоянно хранить, к тому же на первоначальном этапе речь идет о рунете, а он на самом деле не такой уж большой. 2. Хранится будет на сервере, неслабом. 3. Если кто-то интересуется поисковыми технологиями, то в принципе может заняться этим направлением на некоторых условиях, все обсуждаемо. То что мы разработали можно использовать и для поиска в т.ч. причем не уступающего по качеству гуглям и яндексу, а местами превосходящий его. |
|
|
|
10.06.2009, 08:47
|
#4 | ||||
|
Форумец
![Аватар для ][irurg](https://a.bvf.ru/forum/customavatars/avatar22776_2.gif){kind=avatar}
|
Не ощущаете противоречий?
Цитата:
Цитата:
Цитата:
Цитата:
вообще технически задача решается просто - скачивается сайт и парсится регулярными выражениями. примерно так собирал недавно базу тех параметров автомобилей, поэтому сразу могу вам подсказать - нужен отличный канал, а также ответ на след вопросы - что будете делать с постоянно появляющимися сайтами?каждый день база будет терять актуальность - ссылки ведущие в никуда тоже будете вносить? или каждую проверять? - и главное - к чему этот пост? хотите предложить работу - озвучьте сумму |
||||
|
|
|
10.06.2009, 09:20
|
#6 |
|
Форумец
|
единственный приличный "самодельный" поисковик видел у МГУшников - http://www.nigma.ru
|
|
|
|
10.06.2009, 12:58
|
#7 | |
|
Форумец
Сообщений: 411
Регистрация: 10.04.2004
Возраст: 46
Не в сети
|
Для тех кто тормоз, еще раз пишу: Нужен программер который сделает то, что написано в первом посте. Если вы просто хотите по3,14здеть, то можете сделать это в другой теме.
Что я делаю и как, это мое личное дело, будь то поисковик или что-то другое. Но в данный момент речь идет не о поиске. Сумму озвучу, как только появится желающий, с ним побеседуем и посмотрим на его знания. Сумма будет адекватная поставленной задаче. Вообще задача эта несложная. ТЗ в процессе. Но кратко обрисовал вполне доходчиво. Если человек не понимает, зачем нужна база данных, то это плохо. Объясню - это универсальный способ связать между собой данные для разных программ. Цитата:
и тут скачать http://vrtp.ru/std/nnutils.zip ЗЫ канал у нас хороший 100 мегабит, можем до гигабита расширить. Вопрос не в железках, а в людях, желательно адекватных. |
|
|
|
|
10.06.2009, 13:58
|
#8 |
|
Fun-Da-Mental
Сообщений: 201
Регистрация: 08.04.2005
Не в сети
|
|
|
|
|
11.06.2009, 13:34
|
#10 | |
|
Форумец
Сообщений: 3,698
Регистрация: 02.08.2006
Не в сети
|
Цитата:
жгун! молодца! теперь вылезай из гаража и начинай грести деньги лопатой! |
|
|
|
|
11.06.2009, 14:15
|
#11 |
|
Форумец
Сообщений: 411
Регистрация: 10.04.2004
Возраст: 46
Не в сети
|
ГЫ я их гребу и не вылазия, так что тебе, умник, есть чему поучиться
 Да и не для денег все это делается. Человек судя по всему найден. Если будут просто интересующиеся и желающие заняться вышеобозначенным - велкам |
|
|
|
11.06.2009, 16:40
|
#13 | ||
|
Форумец
Сообщений: 3,698
Регистрация: 02.08.2006
Не в сети
|
Цитата:
2. деньги покажи 3. сампшелнах Цитата:
Поюзают какого-нить начинающего программиста забисплатна и успокаиваются. |
||
|
|
|
11.06.2009, 17:11
|
#14 |
|
Форумец
Сообщений: 411
Регистрация: 10.04.2004
Возраст: 46
Не в сети
|
В Воронеже нет ни одного человека, который бы сделал для меня качественную работу и не получил денег. И таких не будет.
svga, вы убого ограничены в своих суждениях и моровозрении. Хоть бы скачали по ссылке выше, посмотрели бы. Более продвинутые люди чем вы уже оценили. А вы так лаете не по теме. Напоминает мне собачую свадьбу, когда какие-то кобели @бутся, какие-то ждут своей очереди, а какие-то обречены просто наблюдать..... Ваше время, svga, никогда не наступит.... |
|
|
|
11.06.2009, 17:14
|
#15 | |
|
Форумец
Сообщений: 411
Регистрация: 10.04.2004
Возраст: 46
Не в сети
|
Цитата:
Если кто-то есть из учащихся ВГУ, то может заняться этой работой в рамках диплома или курсовой. Я организую что бы это продвинуть в университете. |
|
|
|
|
11.06.2009, 18:25
|
#16 | ||||
|
Форумец
Сообщений: 3,698
Регистрация: 02.08.2006
Не в сети
|
Цитата:
я - программист-практик, у которого хватает ума не выдавать публичные идиотизмы, вроде того что в рунете сайтов мало и можно их по пальцам пересчитать, про базы данных и про то что разработаны собственные продукты круче гугловских. Цитата:
Цитата:
Цитата:
|
||||
|
|
Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2026, Jelsoft Enterprises Ltd. Перевод: zCarot
Copyright ©2000 - 2026, Jelsoft Enterprises Ltd. Перевод: zCarot
Support by DrIQ & Netwind
