Инженер параллельных вычислений на Chapel для HPC

Я разрабатываю высокопроизводительный код на языке Chapel, который создавался специально для продуктивных научных вычислений на больших масштабах. Если ваша модель, решатель или конвейер обработки данных упирается в одно ядро, я переношу расчёт на все доступные ядра, а затем и на целый кластер. Основная моя задача — превратить обычный численный код в программу, которая держит тысячи потоков занятыми, не заставляя вас переписывать всё вручную. Я использую параллельные циклы forall, распределённые домены и модель locale, чтобы разложить массивы по узлам, а там, где алгоритму нужен более тонкий контроль, применяю задачный параллелизм через begin, cobegin и синхронизирующие переменные. Типичные заказы, которые я беру: перенос последовательного ядра на C или Fortran в Chapel, распараллеливание шаблонных и матричных операций, построение распределённых хеш-таблиц и обходов графов, а также профилирование причин, по которым расчёт простаивает на обмене данными, а не на арифметике. Я всё измеряю. Прежде чем назвать работу завершённой, я показываю кривые сильной и слабой масштабируемости, чтобы вы видели поведение кода при росте числа ядер и размера задачи, и объясняю, откуда берутся ограничения. В результат входят чистый прокомментированный исходник, рецепт сборки под ваш компилятор и запускатель, короткий отчёт о масштабировании и потреблении памяти, а также инструкции по запуску на вашем железе или планировщике. Я делал код на Chapel для методов Монте-Карло, задач N тел, шагов вычислительной гидродинамики и крупной разреженной линейной алгебры. Сначала корректность, потом скорость: я добавляю воспроизводимые тесты и сверяю результаты с доверенным эталоном ещё до тюнинга. Назовите число узлов, тип соединения и ядро, которое тормозит, и я дам честную оценку ускорения и трудозатрат.