Большой Воронежский Форум

Если это ваш первый визит, рекомендуем почитать справку по форуму. Для размещения своих сообщений необходимо зарегистрироваться. Для просмотра сообщений выберите раздел.
Вернуться   Большой Воронежский Форум » Коммуникации и связь в Воронеже » » Коммуникации » Ростелеком
Ресурсы, ссылки, внутрисетевой траффик и пр.

telecomservice
freedom
Закрытая тема
 
Опции темы
Старый 13.04.2008, 23:52   #31   
Форумец
 
Аватар для Bizkit
 
Сообщений: 392
Регистрация: 30.08.2006
Возраст: 36

Bizkit вне форума Не в сети
Молодец, что сделал. Нужный ресурс!!!!! Только правда, проиндексируй побольше.
 
Старый 14.04.2008, 10:42   #32   
Форумец
 
Сообщений: 83
Регистрация: 16.11.2007

maks-0906 вне форума Не в сети
Цитата:
Сообщение от Bizkit
Молодец, что сделал. Нужный ресурс!!!!! Только правда, проиндексируй побольше.
Индексирую но это очень долго особенно если первый раз, щас индексирую "Твой Мир" уже 11 часов почти индексируется и 2 гига бд заняла, жуть короче, приходится жертвовать скоростью индексации чтобы потом запросы по такой огромной базе быстро проходили.
 
Старый 14.04.2008, 19:11   #33   
Out There
 
Аватар для Part!zan
 
Сообщений: 6,007
Регистрация: 13.12.2004
Возраст: 46

Part!zan вне форума Не в сети
Цитата:
Сообщение от maks-0906
2 гига бд заняла
Все сразу подумали, скока ж места занимают базы гугла...
 
Старый 14.04.2008, 19:17   #34   
Лягушь
 
Сообщений: 931
Регистрация: 15.07.2004
Возраст: 42

Absolum вне форума Не в сети
maks-0906: интересно, а распределённо можно индексить ?
 
Старый 14.04.2008, 20:04   #35   
9.2008 - ...
 
Аватар для GoR2
 
Сообщений: 3,892
Регистрация: 22.01.2006
Возраст: 32

GoR2 вне форума Не в сети
Цитата:
Сообщение от Part!zan
Все сразу подумали, скока ж места занимают базы гугла...
у него сотни тысяч серверов...
Миниатюры
Нажмите на изображение для увеличения
Название: 15.jpeg
Просмотров: 105
Размер:	142.5 Кб
ID:	258634   Нажмите на изображение для увеличения
Название: the_dalles_google_data_centre_1.jpg
Просмотров: 85
Размер:	98.3 Кб
ID:	258635  

 
Старый 14.04.2008, 20:28   #36   
Out There
 
Аватар для Part!zan
 
Сообщений: 6,007
Регистрация: 13.12.2004
Возраст: 46

Part!zan вне форума Не в сети
Цитата:
Сообщение от GoR2
у него сотни тысяч серверов...
Ты думаешь, я в этом сомневаюсь? Я просто прикинул общий объем, который занимают базы. Фактически, там хранится весь инет... Жуть...
 
Старый 14.04.2008, 21:45   #37   
не буду
 
Аватар для ру
 
Сообщений: 761
Регистрация: 15.12.2006
Записей в дневнике: 1

ру вне форума Не в сети
уже тормозит(
 
Старый 15.04.2008, 08:16   #38   
Форумец
 
Сообщений: 83
Регистрация: 16.11.2007

maks-0906 вне форума Не в сети
Цитата:
Сообщение от ру
уже тормозит(
Ночью ставлю сразуже несколько сайтов на индексацию может притормаживать, а вообще не должен, просто примерно в то время я сервер перезагружал вот у тебя и стормозило немного.
 
Старый 15.04.2008, 22:17   #39   
Форумец
 
Аватар для wargasm
 
Сообщений: 184
Регистрация: 28.11.2005

wargasm вне форума Не в сети
По поводу гугла:

Поисковая база веб-документов состоит из двух частей: 800 и 50 терабайт с уровнем компрессии 11% и 33%, соответственно. База Google Analytics тоже хранится в двух таблицах на 200 ТБ (14%) и 20 ТБ (29%).
Google Earth занимает 70,5 ТБ, из них 70 ТБ исходных изображений и 500 ГБ индекса. Система Google Base использует 2 ТБ, а социальная сеть Orkut — всего 9 ТБ места в базе данных.

з.ы. цифры на 2006ой год)

з.з.ы. все это лежит в кластерах на gfs (google file system), в СУБД Bigtable, разработанной гуглом.

UPD: это еше про youtube и gmail ничего не известно там я думаю не мало терабайт.
 
Старый 15.04.2008, 22:37   #40   
Форумец
 
Аватар для wargasm
 
Сообщений: 184
Регистрация: 28.11.2005

wargasm вне форума Не в сети
Кстате если посчитать примерно, то стандартный сервер с рейдом из 6ти винтов (возьмем по 500гб) это 6*500 ~ 3 терабайта данных.

800 терабайт это 266 серверов. Пусть данные сильно округленные, но всеже:

Цитата:
сотни тысяч серверов...
Это мега лол))))))
 
Старый 15.04.2008, 22:44   #41   
9.2008 - ...
 
Аватар для GoR2
 
Сообщений: 3,892
Регистрация: 22.01.2006
Возраст: 32

GoR2 вне форума Не в сети
Цитата:
Сообщение от wargasm
Кстате если посчитать примерно, то стандартный сервер с рейдом из 6ти винтов (возьмем по 500гб) это 6*500 ~ 3 терабайта данных.

800 терабайт это 266 серверов. Пусть данные сильно округленные, но всеже:



Это мега лол))))))
посмотри картинку которую я выкладывал, у гугла не один дата центр...

и винты там далеко не по 500гб, там стоят те которые едят минимум энергии, мало греются, и дёшевы ( все винты в google IDE ( данные 2007 год ))
 
Старый 15.04.2008, 22:46   #42   
Форумец
 
Аватар для wargasm
 
Сообщений: 184
Регистрация: 28.11.2005

wargasm вне форума Не в сети
Я тебе могу картинок каких угодно показать, я не вижу на картинке "сотни тысяч серверов", маааксимум это тысячи две серваков, если уже считать не только базы но и внутреннюю организацию. 2000 и 1000000 разница есть?)))
 
Старый 15.04.2008, 22:46   #43   
9.2008 - ...
 
Аватар для GoR2
 
Сообщений: 3,892
Регистрация: 22.01.2006
Возраст: 32

GoR2 вне форума Не в сети
в одной стойке 20 серверов = ~15 стоек?

там их гораздо больше, кстати gmail даёт каждому юзеру 6 гигов, да и вычислять мы на чём будем? не на всех же машинах забивать винты
 
Старый 15.04.2008, 22:49   #44   
9.2008 - ...
 
Аватар для GoR2
 
Сообщений: 3,892
Регистрация: 22.01.2006
Возраст: 32

GoR2 вне форума Не в сети
http://en.wikipedia.org/wiki/Google_platform

Цитата:
Though the numbers are not publicly known, some people estimate that Google maintains over 450,000 servers, arranged in racks located in clusters in cities around the world, with major centers in Mountain View, California; Virginia; Atlanta, Georgia; Dublin, Ireland; and new facilities constructed in The Dalles, Oregon and Saint-Ghislain, Belgium. In 2009 Google is planning one of its first sites in the upper midwest to open in Council Bluffs, Iowa close to abundant wind power resources for fulfilling green energy objectives and proximate to fiber optic communications links.

When an attempt to connect to Google is made, DNS servers resolves www.google.com to multiple IP Addresses which acts as a first level of load balancing by directing clients to different Google clusters (When a Domain name resolves to multiple IP Addresses, typical implementation of clients is to use the first IP Address for communication; The order of IP Addresses provided by DNS servers for a Domain name is typically done using Round Robin policy). Each Google cluster has thousands of servers, and upon connection to a cluster further load balancing is performed by hardware in the cluster, in order to send the queries to the least loaded Web Server. This makes Google one of the biggest and most complex known content delivery networks.

Racks are custom-made and contain 40 to 80 servers (20 to 40 1U servers on either side), while new servers are 2U Rackmount systems. Each rack has a switch. Servers are connected via a 100 Mbit/s Ethernet link to the local switch. Switches are connected to core gigabit switch using one or two gigabit uplinks.[
 
Старый 15.04.2008, 22:52   #45   
Форумец
 
Аватар для wargasm
 
Сообщений: 184
Регистрация: 28.11.2005

wargasm вне форума Не в сети
GoR2, иди учи матчасть, и не говори чушь))) 15 не 15, их там ровно столько сколько нужно, ты вообще видишь разницу между 1000 и 1000000?

з.ы. на гмеиле все юзеры забивают мыльники под 6гб?)))) если так, то я наверно единственный у кого всего метров 30.
 
Старый 15.04.2008, 22:57   #46   
9.2008 - ...
 
Аватар для GoR2
 
Сообщений: 3,892
Регистрация: 22.01.2006
Возраст: 32

GoR2 вне форума Не в сети
Цитата:
Сообщение от wargasm
GoR2, иди учи матчасть, и не говори чушь))) 15 не 15, их там ровно столько сколько нужно, ты вообще видишь разницу между 1000 и 1000000?

з.ы. на гмеиле все юзеры забивают мыльники под 6гб?)))) если так, то я наверно единственный у кого всего метров 30.
читай информацию по ссылкам
 
Старый 15.04.2008, 22:59   #47   
Форумец
 
Аватар для DIDJER
 
Сообщений: 387
Регистрация: 22.10.2006
Возраст: 37

DIDJER вне форума Не в сети
Это факт что резервирование свободного места под юзвера на почте только формальное, но я бы вернулся бы к теме поиска и вот что я тут надумал, написать скрипт который бы работал с базами разных там форумов и движков и в качестве ответа возврощал бы массив с результатом поиска (так завтравить сделать всех базы не локальные - неполучится да и незачем). Результаты затем объеденить, отсортеровать по релевантности и вывести - это уже скрипт на сайте поиска и тем самым мы получим самый эфективный (+ быстрый) поисковик (который не лезет туда куда не нужно) в качастве основы могу предложить модернезировать мой поисковик для сайта ответов.com
------------------------------------------------------------------------------------------------------------------------------------------------

Вот только уговорить бы всех установить его в дополнение своего сайта и + нет гарантий что админ сайта ручками не покавыряется и вручную повысит выходное число релевантности результата( это можно сделать ((( )
 
Старый 15.04.2008, 23:06   #48   
вЫкинг
 
Аватар для metallic
 
Сообщений: 2,691
Регистрация: 31.07.2004
Возраст: 38

metallic вне форума Не в сети
Цитата:
Сообщение от wargasm
Кстате если посчитать примерно, то стандартный сервер с рейдом из 6ти винтов (возьмем по 500гб) это 6*500 ~ 3 терабайта данных.
800 терабайт это 266 серверов. Пусть данные сильно округленные, но всеже:
Это мега лол))))))
математик блин
1. Ты считаешь напрямую, умножая объем, но там далеко не 0-вой рейд
2. 500 гигов это у обычных саташек, у SCSI и SAS винтов объем на порядок меньше, а скорее всего там даже винты fibre chanell
3. там вряд ли отдельные серваки, скорее всего одна большая СХД
 
Старый 15.04.2008, 23:09   #49   
9.2008 - ...
 
Аватар для GoR2
 
Сообщений: 3,892
Регистрация: 22.01.2006
Возраст: 32

GoR2 вне форума Не в сети
Цитата:
Сообщение от metallic
у SCSI и SAS винтов объем на порядок меньше, а скорее всего там даже винты fibre chanell
там обыкновенные IDE, в прошлом году мужик из Google в Москве рассказывал
 
Старый 15.04.2008, 23:14   #50   
Форумец
 
Аватар для DIDJER
 
Сообщений: 387
Регистрация: 22.10.2006
Возраст: 37

DIDJER вне форума Не в сети
ребят, а к какому результату должен привести ваш спор ? если есть какай то польза (например google поймёт что ошибалась и увеличит количество свободного места), то я наверно то же буду решать вопросы про БД и аппаратное обеспечение кластеров google
 
Старый 15.04.2008, 23:25   #51   
Форумец
 
Аватар для wargasm
 
Сообщений: 184
Регистрация: 28.11.2005

wargasm вне форума Не в сети
Цитата:
Сообщение от DIDJER
ребят, а к какому результату должен привести ваш спор ? если есть какай то польза (например google поймёт что ошибалась и увеличит количество свободного места), то я наверно то же буду решать вопросы про БД и аппаратное обеспечение кластеров google
)))

8 символов
 
Старый 15.04.2008, 23:28   #52   
Denny Crane
 
Аватар для sshsecurity
 
Сообщений: 9,428
Регистрация: 11.12.2006

sshsecurity вне форума Не в сети
Гы.. со словом "Любовь" всего 14 ссылок.. и то 12 битые)))
 
Старый 15.04.2008, 23:37   #53   
Форумец
 
Аватар для IncognitO
 
Сообщений: 1,378
Регистрация: 10.11.2005
Возраст: 37

IncognitO вне форума Не в сети
На БВФ зря натравил свою штуку, она усрется его индексировать, при том, что это бессмысленно, тут есть свой неплохой поиск.
 
Старый 16.04.2008, 14:21   #54   
Форумец
 
Сообщений: 83
Регистрация: 16.11.2007

maks-0906 вне форума Не в сети
Цитата:
Сообщение от IncognitO
На БВФ зря натравил свою штуку, она усрется его индексировать, при том, что это бессмысленно, тут есть свой неплохой поиск.
Гланый смысл поисковой системы чтобы пользователь вбив то, что он хочет найти это нашел, а на БВФ очень много инфы и т.п. А так почти на 1/3 (примерные дынные взятые из головы) сайтов есть свой поис, ну и смотри нужно тебе найти все по программированию, ты будешь лазить по всем сайтам и вбивать это или зайдешь на один зделаешь один поиск и будешь смотреть что тебе дано?
 
Старый 16.04.2008, 14:25   #55   
вЫкинг
 
Аватар для metallic
 
Сообщений: 2,691
Регистрация: 31.07.2004
Возраст: 38

metallic вне форума Не в сети
maks-0906, твой поисковик полезен если только в образовательных целях для тебя, реальный практический интерес он не представляет.
 
Старый 16.04.2008, 19:29   #56   
Out There
 
Аватар для Part!zan
 
Сообщений: 6,007
Регистрация: 13.12.2004
Возраст: 46

Part!zan вне форума Не в сети
metallic, было бы неплохо услышать аргументированное, а не голословное, высказывание.
 
Старый 16.04.2008, 19:38   #57   
НАРУТОманьяг
 
Аватар для Hustler
 
Сообщений: 213
Регистрация: 15.01.2008
Возраст: 35

Hustler вне форума Не в сети
Сейчас в качестве теста ввел слово "наруто" и как не странно фанклуб наруто не вышла ссылка...Хотя ты ж написал что должен "показываться" сайт alpha.vsi.ru/naruto/
 
Старый 16.04.2008, 19:45   #58   
VIP user
 
Аватар для Baphometh
 
Сообщений: 806
Регистрация: 11.11.2007

Baphometh вне форума Не в сети
Цитата:
Сообщение от Part!zan
metallic, было бы неплохо услышать аргументированное, а не голословное, высказывание.
аргумент этого высказывания - это webdot.ath.cx
 
Старый 16.04.2008, 21:05   #59   
Форумец
 
Сообщений: 83
Регистрация: 16.11.2007

maks-0906 вне форума Не в сети
Цитата:
Сообщение от Hustler
Сейчас в качестве теста ввел слово "наруто" и как не странно фанклуб наруто не вышла ссылка...Хотя ты ж написал что должен "показываться" сайт alpha.vsi.ru/naruto/
Вчера стер всю старую баззу были очень старые уже не куда не ведущие ссылки щас все индексируется заново крупные форумы уже проиндексировались щас индексируются все остальные много времени эт не займет до завтрошнего вечера все проиндексируется

сейчас уже в базе 49085 links и 1078246 Слов.
 
Старый 16.04.2008, 21:07   #60   
Форумец
 
Сообщений: 83
Регистрация: 16.11.2007

maks-0906 вне форума Не в сети
Цитата:
Сообщение от Baphometh
аргумент этого высказывания - это webdot.ath.cx
Он имел ввиду с чего было взято что этот ресурс не нужен. Кажется ты сам хотел поисковик открыть, а теперь считаешь данный ресурс не нужным?
 
Поиск в теме: 



Быстрый переход:

  Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения
BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.


Powered by vBulletin® Version 3.8.7
Copyright ©2000 - 2024, Jelsoft Enterprises Ltd. Перевод: zCarot
Support by DrIQ & Netwind