Публикации по теме 'distributed-computing'


Запуск бета-версии MonkeyJS, JavaScript, веб-приложений и распределенных вычислений
Объединив маневренность Javascript и мощь Monkeys, бета-версия MonkeyJS демонстрирует простую в использовании реализацию машинного обучения. MonkeyJS - это среда и экосистема машинного обучения, основанная на Javascript, веб-технологиях и распределенных вычислениях. MonkeyJS специально создан для создания моделей с помощью Monkeys . Обезьяны? Ты шутишь, что ли? :-) Вы, наверное, слышали теорему о бесконечной обезьяне, суждение о том, что неограниченное количество обезьян, при..

Как масштабировать многопроцессорность Python до кластера с помощью одной строчки кода
TL; DR: В этом сообщении блога показано, как multiprocessing.Pool можно легко масштабировать с одного компьютера на кластер. Программы начинаются с малого. Будь то исследовательский анализ данных или построение модели машинного обучения, важно как можно быстрее заставить что-то простое работать. Однако со временем требования меняются, и некогда небольшие программы необходимо масштабировать, чтобы обрабатывать больше данных или использовать больше вычислительных ресурсов. К..

Вопросы по теме 'distributed-computing'

Файлы журналов в массово распределенных системах
Я много работаю в области grid-технологий и высокопроизводительных вычислений, и одна из самых больших проблем, с которыми мы сталкиваемся при работе с системой, распределенной по сотням (а в некоторых случаях и тысячам) серверов, - это анализ файлов...
1279 просмотров
schedule 19.10.2022

Как распределенные вычисления применимы к веб-разработке или программированию в целом?
Я собираюсь использовать Apache Hadoop, заголовки гласят: Проект Apache Hadoop разрабатывает программное обеспечение с открытым исходным кодом для надежных, масштабируемых распределенных вычислений. Я могу связать «масштабируемость» с...
1853 просмотров
schedule 10.03.2024

Распределение потоков Java по нескольким серверам?
Я довольно новичок в Java и мне очень нравится узнавать об этом. Я сделал программу, которая работает хорошо, но занимает немного больше времени, когда я добавляю больше данных для ее обработки. Я сделал его многопоточным, и это действительно сильно...
2783 просмотров

Что такое представление в алгоритме консенсуса Paxos?
Я вставил псевдокод для алгоритма paxos ниже, и мне было интересно, может ли кто-нибудь указать мне правильное направление. Я пытаюсь реализовать приведенный ниже алгоритм, но я не понимаю, что именно представляют собой «представления» ниже. Я знаю,...
930 просмотров

Общий заявленный V Messaging
Существует два архитектурных решения для достижения параллелизма: Несколько потоков с общим состоянием. Это требует замков блокировки кода и т.д. Модель обмена сообщениями. Сообщения помещаются в очереди, а затем обрабатываются одним потоком....
26 просмотров
schedule 07.02.2024

Сеть, кластер и виртуальные разделы
Я пытаюсь разработать распределенное приложение JBoss, и сегодня днем ​​я услышал, как некоторые коллеги говорили о теореме CAP и, в частности, о ее части "P" (разделение). Они говорили о том, как это применимо к различным типам разделов, а именно к...
94 просмотров

Как Storm управляет совместным использованием данных в кластерном режиме?
недавно я разрабатываю некоторые инструменты синхронизации для топологии шторма, но у меня все еще есть несколько вопросов об обмене данными в кластере шторма: Если компонент (носик/болт) сконфигурирован с более чем одним исполнителем на одного...
1124 просмотров
schedule 24.09.2022

Есть ли тайм-аут для исполнителя, чтобы зарегистрироваться в мастере Mesos?
У меня есть кластер mesos из 200 узлов, который может одновременно запускать около 2700 исполнителей. Около 10-20% моих исполнителей ПОТЕРЯНЫ в самом начале. Они идут только до извлечения tar-файла исполнителя. WARNING: Logging before...
993 просмотров

Развернуть список объектов JSON в DataFrame
У меня есть данные JSON в следующем формате: { "date": 100 "userId": 1 "data": [ { "timeStamp": 101, "reading": 1 }, { "timeStamp": 102, "reading": 2...
10388 просмотров

Совместное использование SSH-ключей на нескольких хостах
Я создаю службу, распределенную по нескольким машинам, которая регистрируется на других целевых машинах и выполняет действие (запись в файл, запуск сценария оболочки и т. д.). В настоящее время я настроил эту службу на использование имени...
524 просмотров

В чем разница между FAILED AND ERROR в состояниях искрового приложения
Я пытаюсь создать диаграмму состояний отправленного искрового приложения. Я и вроде потерялся, когда тогда приложение считается НЕ ПРОШЁТНЫМ. Состояния взяты отсюда:...
832 просмотров

Как показать изменения, сделанные одним экземпляром приложения Windows, в других экземплярах приложения
Вот мой сценарий: Мне нужно разработать приложение WPF на C#.NET с двумя основными пользователями: руководителем группы (TL) и техником по эксплуатации (OT). Это приложение будет работать на нескольких отдельных машинах в одной сети. Приложение...
28 просмотров
schedule 29.08.2022

Являются ли синхронизация и состояние гонки только для модели с общей памятью?
Являются ли концепции синхронизации и состояния гонки только для модели с общей памятью? В модели с распределенной памятью, когда процессы взаимодействуют способами, отличными от общей памяти, применяются ли условия синхронизации и гонки? Спасибо.
653 просмотров
schedule 08.11.2023

Как сделать dworkers для многопроцессорности?
Я работаю над распределенными кластерными вычислениями. Чтобы реализовать такую ​​систему, я пытаюсь использовать библиотеки python, которые являются dask.distriuted. Но есть проблема, заключающаяся в том, что dworkers не предназначены для...
59 просмотров

Как работает распределенная общая память при наличии кеша и регистров?
Недавно я прочитал несколько статей, описывающих DSM. Некоторые из них пытались обеспечить последовательную согласованность. Я понимаю, как работает алгоритм и как он использует обработчик ошибок страниц для его выполнения. Но меня озадачивает...
106 просмотров

Невозможно сохранить модель, используя model.save после multi_gpu_model в Keras
После обновления до Keras 2.0.9 я использовал утилиту multi_gpu_model , но не могу сохранить свои модели или лучшие веса, используя model.save('path') Ошибка, которую я получаю, TypeError: не удается замариновать объекты модуля Я...
6906 просмотров

какой конвейер используется для распределенной системы в CNTK?
Я новичок в Microsoft CNTK Google Tensorflow использовал grpc для связи с каждой машиной, но я не знаю, какой конвейер используется для распределенной системы в CNTK. Не могли бы вы сообщить мне? и не могли бы вы дать мне ссылку или сайт о...
52 просмотров

Как правильно обрабатывать исключение spark.sql.AnalysisException
Я использую Spark Dataset API для выполнения операций с JSON для извлечения определенных полей по мере необходимости. Однако, когда спецификация, которую я предоставляю, чтобы искра знала, какое поле извлекать, идет не так, как надо, искра...
1427 просмотров

Как эффективно добавлять объекты в распределенную очередь в hazelcast?
Добавление элементов в распределенную очередь в hazelcast происходит невероятно медленно (читай: 66 элементов в секунду; это нормально?), когда очередь хранится на узле, отличном от того, на котором выполняется код (и установлен в 0 в конфигурации...
719 просмотров

Могу ли я использовать TensorFlow для распределения обучения на разнородных машинах?
У меня две машины: у машины 1 есть графические процессоры, а у машины 2 только ЦП. Я хочу знать, могут ли эти две машины использовать многопрофильное обучение в TensorFlow, то есть во время распределенного обучения machine1 использует графические...
158 просмотров