Розробник паралельних обчислень на Chapel для HPC

Я пишу високопродуктивний код мовою Chapel, яку створили саме для продуктивних наукових обчислень у великому масштабі. Якщо ваша модель, розв'язувач чи конвеєр обробки даних упирається в одне ядро, я переношу розрахунок на всі доступні ядра, а далі й на цілий кластер. Головне моє завдання — перетворити звичайний числовий код на програму, що тримає тисячі потоків завантаженими, не змушуючи вас переписувати все вручну. Я застосовую паралельні цикли forall, розподілені домени та модель locale, щоб розкласти масиви по вузлах, а там, де алгоритмові потрібен тонший контроль, використовую задачний паралелізм через begin, cobegin і синхронізаційні змінні. Типові замовлення, які я беру: перенесення послідовного ядра на C чи Fortran до Chapel, розпаралелювання шаблонних і матричних операцій, побудова розподілених хеш-таблиць та обходів графів, а також профілювання причин, чому розрахунок простоює на обміні даними, а не на арифметиці. Я все вимірюю. Перш ніж назвати роботу завершеною, я показую криві сильної та слабкої масштабованості, щоб ви бачили поведінку коду зі зростанням числа ядер і розміру задачі, і пояснюю, звідки беруться обмеження. У результат входять чистий прокоментований вихідний код, рецепт складання під ваш компілятор і запускач, короткий звіт про масштабування та споживання пам'яті, а також вказівки щодо запуску на вашому обладнанні чи планувальнику. Я робив код на Chapel для методів Монте-Карло, задач N тіл, кроків обчислювальної гідродинаміки та великої розрідженої лінійної алгебри. Спершу коректність, потім швидкість: я додаю відтворювані тести й звіряю результати з довіреним еталоном ще до тюнінгу. Назвіть кількість вузлів, тип з'єднання та ядро, що гальмує, і я дам чесну оцінку прискорення й трудовитрат.