Распределенные вычисления...

[MadFish]

Посоветуйте, что использовать для организации распределенных вычислений. MPICH или OpenMPI? Может еще что есть? Основные критерии- кроссплатформенность и легкость в использовании.

[Spectator]

First, it is important to recognize how MPICH and OpenMPI are different, i.e. that they are designed to meet different needs. MPICH is supposed to be high-quality reference implementation of the latest MPI standard and the basis for derivative implementations to meet special purpose needs. OpenMPI targets the common case, both in terms of usage and network conduits.

http://stackoverflow.com/questions/2...ich-vs-openmpi

[потный]

Лец ми спик фром май харт ин инглиш

[MadFish]

А под андроид собрать MPICH реально? Есть тут гуру андроида?

[eXtruder]

http://hex.ro/wp/projects/personal-c...on-two-phones/
Только собирать, вероятно, надо под armv7. Ну и root-доступ.

[MadFish]

Сообщение от eXtruder

Ну и root-доступ.

Вот про это поподробнее если можно. Никак не въеду как я могу запустить демон mpd. Где, как и какие конфиги править? С андроидом знаком весьма поверхностно (JAVA + JNI мой потолок )

[eXtruder]

MadFish, Рутинг
Что такое Root для Android
Вроде как можно и без рута нативные бинарники запустить, но для этого их нужно правильно «опакечивать» в APK. В недрах Android — патченное ядро Linux с иной структурой каталогов. Если твой бинарник(mpd) откуда-то читает или пишет (логи), то ему потребуется указать переменные окружения указывающие на искомые каталоги. Гипотетически можно собрать и запустить пакеты работающие на RPi, не имеющие тяжелых(Xorg) и GNU-специфических зависимостей. Чтобы запустилось наверняка линковать надо статически, ну или динамически линковать только то, что ты сам собрал и используешь в нескольких бинарниках. В принципе, можно собрать один статический бинарник, содержащий целевую C-программу и все зависимости, в т.ч. mpich. Если таких бинарника будет два, то разделять общие либы они, соответственно, не будут — удвоенное потребление памяти.
Гуй на Java по идее можно приделать к обоим вариантам (с APK или без), сам гуй соответственно придется «опакечивать».
Android NDK

[Akad]

MadFish, а можно глупый вопрос (очень интересно) зачем распределённые вычисления на андроиде? Ведь это обычно что-то на арм с аккумом не большой величины. Просто когда говорят про распределённые вычисления как-то больше приходит на ум что-то типа линукс-кластера соединённого внутри минимум гигабитом, на котором уже вертится виртуалка.

[Spectator]

Сообщение от Akad

MadFish, а можно глупый вопрос (очень интересно) зачем распределённые вычисления на андроиде? Ведь это обычно что-то на арм с аккумом не большой величины. Просто когда говорят про распределённые вычисления как-то больше приходит на ум что-то типа линукс-кластера соединённого внутри минимум гигабитом, на котором уже вертится виртуалка.

А почему с гигабитом? Мы ищем самый близкий к степени числа 17 факториал чисел из промежутка 1..1000. Для ускорения разбиваем промежуток на десять частей, отправляем каждому из Android устройств ДВА числа - начало и конец промежутка. Каждое Android устройство на выходе выдает ОДНО число - ближайшее из полученного на входе промежутка.
ЗАЧЕМ для этого "минимум гигабит"? Четыре байта на выходе, восемь - на входе.
Грамотный IT-шник обязан понимать что никаких минимумов и максимумов без условий задачи попросту не может быть.
Android устройства хороши тем что их ОЧЕНЬ много, и они все 99% времени простаивают, лежа в кармане и на столе. Объединить их для решения одной задачи, требующей суперкомпьютера - задача крайне интересная. С условием того что мощность и количество таких устройств год от года растет, совокупная вычислительная мощность уже сегодня очень высокая. Суперкомпьютеры имеют серьезные недостатки - их мало и они заняты.

[Akad]

Spectator, в конце 90-х, начала 2000-х было много проектов работающих по такой схеме. Лекарство от рака искали, днк анализировали и пр. До сих пор есть куча всяких майнеров распределённых и т.д. Но в целом людям проще арендовать кластер на небольшой срок, чем зависеть от кучи пользователей - кто-то не вовремя выключил телефон, у кого-то инет отвалился и пр. Не говоря о том, что если пользовать современный телефон по полной, то он во-первых почти не будет от зарядки отключаться, а во-вторых будет сильно и постоянно нагрет. Что не шибко ему полезно. Хотя как академическая - такая задача безусловно интересна.

[MadFish]

Сообщение от Akad

MadFish, а можно глупый вопрос (очень интересно) зачем распределённые вычисления на андроиде? Ведь это обычно что-то на арм с аккумом не большой величины. Просто когда говорят про распределённые вычисления как-то больше приходит на ум что-то типа линукс-кластера соединённого внутри минимум гигабитом, на котором уже вертится виртуалка.

На линукс-кластере я уже поигрался. )))
На данном этапе задача академическая(пытаюсь прощупать существующие технологии распределенных вычислений и выбрать подходящую) . Прототип решает оптимизационную задачу генетическим алгоритмом на распределенной вычислительной системе.

[Spectator]

Сообщение от Akad

Spectator, в конце 90-х, начала 2000-х было много проектов работающих по такой схеме. Лекарство от рака искали, днк анализировали и пр. До сих пор есть куча всяких майнеров распределённых и т.д. Но в целом людям проще арендовать кластер на небольшой срок, чем зависеть от кучи пользователей - кто-то не вовремя выключил телефон, у кого-то инет отвалился и пр. Не говоря о том, что если пользовать современный телефон по полной, то он во-первых почти не будет от зарядки отключаться, а во-вторых будет сильно и постоянно нагрет. Что не шибко ему полезно. Хотя как академическая - такая задача безусловно интересна.

Телефон необязательно использовать на 100%, его можно нагружать ровно настолько, чтобы избегать перегрева.
Отваливающиеся пользователи - просто перераспределяются пакеты на других.
Сегодня это как раз не просто практически интересно, но и практически практикуется) Попробуйте мыслить современностью, тысячами устройств объединенных в распределенную сеть и внутриминутными сессиями обмена.
Страшно даже предположить что могло бы произойти, если бы все люди на Земле заканчивали своё размышление над проблемой на страхе что телефон перегреется)))

[silly]

Что-то я сомневаюсь, что библиотека, спроектированная в целях работы внутри локальной сети (в пределах одного помещения даже), будет адекватно работать при высокой латентности и постоянно теряющихся пакетах.

[MadFish]

Сообщение от silly

Что-то я сомневаюсь, что библиотека, спроектированная в целях работы внутри локальной сети (в пределах одного помещения даже)

Откуда такая информация????
Вот что читал я . Ошибок в проектировании не нашел.
https://www.opennet.ru/docs/RUS/mpic...ite/node9.html

[Akad]

Сообщение от silly

Что-то я сомневаюсь, что библиотека, спроектированная в целях работы внутри локальной сети (в пределах одного помещения даже), будет адекватно работать при высокой латентности и постоянно теряющихся пакетах.

При оптимизации, коею хочет внедрить (на сколько я понял), топикстартер, ноде будет передано минимум на вход/выход + отбой по таймауту. Если заоптимизить обработку результатов от нод, что бы хватало не шибко мощного компа - всё мей би, и локалка/не локалка здесь не причём. Скорее всего хватит даже 2g канала.
Другое дело, что надо найти... как бы это сказать... людей, которые на это подпишутся. Во-первых высаживание батареи+перегрев (для китайцев это смерть за несколько месяцев максимум), во-вторых попадос на трафик. На многих тарифах до сих пор ощутимо, в третьих - ПО мутного происхождения, требующая многих привилегий... Надо пользователю доказать, что это не вирус, который сольёт всех кошечек с телефона Биллу Гейтсу.

[Spectator]

Akad, я так очень аккуратно намекну что это не бизнес - инкубатор, а раздел, посвященный программированию. И навязывать своё мнение по этому поводу, если автор его не спрашивает, категорически не стоит.

[Шапокляк]

5 копеек по поводу андроида:
Теоретически, задача решаема. eXtruder верно отписал.
Практически, разряд батареи и ограничения dalvik помножат возможность применения на 0. Dalvik отдает почти все ресурсы приложению которое использует в данный момент экран. Остальные, либо замораживает, либо (service) ограничивает в ресурсах, с вероятностью принудительной остановки.
Единственный путь видится - live wallpaper.