
IaaS
イベント

マガジン
技術ブログ
こんにちは。慶應義塾大学大学院工学研究科人間・社会システム情報科学専攻の菱田快成です。私はIaaSチームのインターン生としてプライベートクラウド「Flava」におけるOpenStackを中心とした仮想...
1. はじめに こんにちは。電通総研の武田嵩史(たかふみ)です。 今回は、AWSが公開している Engineering Development Hub(EDH) を実際にデプロイして触ってみたので、その内容を紹介します。 EDHは以前 Scale-Out Computing on AWS(SOCA) という名称で公開されていたソリューションで、2026年4月からEngineering Development Hubという名称になりました。 AWSにはHPC環境を構築するための選択肢として、 AWS Batch や AWS ParallelCluster 、 AWS Parallel Computing Service(AWS PCS) などがあります。 そんな中でEDHはどのような位置付けなのか。 また、実際にデプロイするとどのような環境ができて、ユーザーはどのように利用するのか。 今回は実際にEDHを構築しながら確認してみました。 本記事は以下の流れとなっております。 はじめに AWSのHPC関連サービスとEDH EDHをデプロイしてみた EDHの基本機能を触ってみる 実際に触ってみた感想 2. AWSのHPC関連サービスとEDH まず、EDHについて紹介する前に、AWSでHPC環境を構築する際に利用できる代表的なサービス・ソリューションを簡単に整理してみます。 2.1 AWS Batch AWS Batch は、AWS上でバッチワークロードを実行するためのフルマネージドサービスです。 ジョブをキューへ投入すると、必要なコンピュートリソースをAWS Batchが自動的にプロビジョニングし、ジョブを実行します。 (引用元) AWS Batch (BlackBelt資料) EC2やAWS Fargateなどを計算リソースとして利用でき、利用者側でバッチ処理基盤そのものを構築・管理する負担を減らせる点が特徴です。 一方で、AWS Batchは独自スケジューラーを使ったコンテナ中心のジョブ実行基盤です。 そのため、 既存のHPCクラスタをそのままクラウドへ移行したい Slurmなど既存のジョブスケジューラを使いたい SSHログインして従来型のHPCクラスタとして利用したい といったケースでは、AWS ParallelClusterやAWS PCSなどが選択肢となってきます。 2.2 AWS ParallelCluster AWS ParallelCluster は、AWS上にHPCクラスタを構築・管理するオープンソースのツールです。 設定ファイルを定義してクラスタを作成すると、 Head Node Compute Node ジョブスケジューラ(Slurm) 共有ファイルシステム Auto Scaling など、HPCクラスタに必要なリソースをまとめて構築できます。 (引用元) AWS ParallelClusterではじめるクラウドHPC (BlackBelt資料) (ParallelClusterUIというGUIから環境を構築できる仕組みもあります。) ParallelClusterでは、主にSlurmを利用したHPCクラスタを比較的簡単に構築できます。 一方、IaaS基盤としての構築となるため、AWS全体の知識、NW・サーバに関する知識が必要となります。 オンプレミスHPCに近い構成をAWS上へ構築できるため、 「クラウド上に一般的なHPCクラスタを作りたい」 「商用(市販)ソフトウェアを使いたい」 というケースに適したサービスです。 2.3 AWS Parallel Computing Service(AWS PCS) AWS Parallel Computing Service(AWS PCS) は、Slurmを利用したHPC環境をAWS上で構築するためのマネージドサービスです。 AWS PCSではSlurmのコントロールプレーンをAWS側で管理し、EC2、ストレージ、ネットワークなどのAWSサービスと組み合わせてHPCクラスタを構築します。 ParallelClusterと比較すると、Slurm/クラスタ管理ノードの管理負荷をAWS側へ寄せられる点が大きな特徴です。 そのため、 「Slurmを使いたいが、スケジューラを含めたクラスタ管理の負担をできるだけ減らしたい」 「商用(市販)ソフトウェアを使いたい」 という場合に検討しやすいサービスです。 2.4 Engineering Development Hub(EDH) そして今回紹介するのが Engineering Development Hub(EDH) です。 EDHは、AWS BatchやAWS PCSのようなマネージドサービスではなく、AWS ParallelClusterに近しく、AWSサービスを組み合わせたHPCクラスタ環境構築のサービスです。 こちらもAWS ParallelClusterと同様に オープンソースソリューション です。 以前は Scale-Out Computing on AWS(SOCA) という名称で提供されていましたが、2026年4月にEngineering Development Hubへリブランディングされ、名称変更されました。 EDHとAWS ParallelClusterの違いは、EDHはHPCクラスタそのものだけではなく、その周辺に必要となる機能まで含めて構築できる点です。 EDHの主要な機能を以下に紹介します。 項目 EDHで提供される機能 EDH特有 HPCジョブ管理 OpenPBS、Slurm、IBM LSFなどを利用 - Compute ジョブに応じたEC2の動的プロビジョニング - GUI環境 Amazon DCVを利用したLinux / Windowsデスクトップ環境の利用/管理 - Webポータル ジョブ、デスクトップ、ファイルなどの管理 〇 認証 OpenLDAP / Microsoft Active Directory 〇 ストレージ EFS、FSx for Lustre、FSx for NetApp ONTAP - ライセンス FlexLMなどのネットワークライセンスとの連携 〇 コスト AWS Budgets / Cost Explorerなどとの連携 〇 分析 ジョブやクラスタ利用状況の可視化 〇 【凡例】 〇:EDH特有の機能 -:他AWS HPCサービスにも存在する機能 EDHはAWS ParallelClusterやPCSと異なるスケジューラー、OpenPBS、IBM LSFを扱うことができるという違いもありますが、Web UIを用いたジョブ管理やコスト管理、ジョブの利用状況可視化まで行えるものとなっております。 EDHは 「HPCクラスタ環境を作る」のみではなく、 「HPCクラスタ環境と周辺機能をまとめて作るもの」 といえます。 2.5. AWSのHPC関連サービスのまとめ まとめると以下のとおりです。 サービス 概要 主なジョブスケジューラー 計算実行基盤 AWS Batch バッチジョブを実行するための マネージドサービス 独自スケジューラー EC2, Fargate(コンテナ) AWS ParallelCluster AWS上にHPCクラスタを構築するための オープンソースツール Slurm EC2クラスタ AWS PCS Slurmを利用したHPC環境のための マネージドサービス Slurm EC2クラスタ EDH HPC環境だけでなく、Webポータルや仮想デスクトップ(VDI)なども含めたエンジニアリング環境を構築するための オープンソースツール OpenPBS, Slurm, IBM LSF EC2クラスタ では、このEDHを実際にAWS上へデプロイしていきたいと思います。 3. EDHをデプロイしてみた それでは実際にEDHをデプロイしてみます。インストールガイドは こちら 。 EDHのソースコード はGitHubで公開されています。 GitHubからソースコードをクローンしまして、EDHで用意されているインストーラを利用します。 installer/edh_installer.sh インストーラを実行すると、AWS環境やネットワーク、EDHで利用する各種設定を対話形式で指定していきます。 インストーラ画面 Python3.13が要件となるため、まずはPythonがインストールされることとなります。 Pythonインストール後、対話形式のインストーラが起動され、”デプロイするリージョン”、”新規リソース or 既存リソースを利用するのか”、”VPCのCIDRはどうするのか”、といった項目を入力します。 一通りの値を入力すると、裏側でCloudFormationが利用されてEDHに必要なAWSリソースが作成されます。 CloudFormation デプロイ後にAWS Management Consoleを確認すると、EC2をはじめ、EDHを構成するさまざまなAWSリソースが作成されていることが分かります。 EDHは1台のEC2上で動作するアプリケーションというより、複数のAWSサービスを組み合わせて1つの環境を作る構成になっています。ざっくりした構成図は以下のとおりです。(Ver.26.4.0版。 最新の構成は異なる場合がございます)。 このあたりは実際にデプロイしてみると、EDHの全体像がかなり掴みやすくなりました。 4. EDHの基本機能を触ってみる デプロイが完了したので、実際にEDHへログインしてみます。 4.1 Webポータル EDHにはWebポータルが用意されています。 ※本番環境だと証明書をインストールする必要がありますね。 ログインすると、ジョブや仮想デスクトップ、ファイルなどを管理するための画面が表示されます。 HPC環境というとSSHでログインしてコマンドを実行するイメージが強いですが、EDHではさまざまな操作をWebブラウザから行えるようになっています。 メニューを見てみると、 ファイルエクスプローラー ウェブターミナル 仮想デスクトップ 私のHPCジョブ(My HPC Jobの日本語訳だと思いますが…) クラスターメトリックス など、HPC環境を利用するための機能がメニューに並んでいます。 メニュー下部には、ユーザー管理、グループ管理など管理者メニューのようなものも並んでますね。 今回は、この中からジョブの実行と仮想デスクトップ周りを触っていきます。 4.2 ジョブの実行 それでは簡単なジョブを投入して、EDH上でジョブが実行できることを確認します。 EDHではWebポータル上からもジョブの投入が行えるため、Webポータルからジョブの実行を行ってみます。 メニューから”私のHPCジョブ”を選択します。 遷移後の画面で何もジョブが入っていないことが確認できます。 ”新しいジョブを開始する”を選択し、ジョブスクリプトを選択します。 ここで少し分かりづらいのが、ジョブスクリプトの選択方法です。 左から2つ目のEC2インスタンスのアイコンみたいなものを選択して、ジョブスクリプトを選択します。 その後、どのワークフローで実行するかを選択できますが、今回は特段アプリケーションはインストールしていないので、”Test Application”で進めていきます。アプリケーションインストールしている場合は、ここに各ワークロードを登録してユーザーに選択させるようにすることができます。 その後、ジョブを実行するために必要なパラメーターを埋める画面となるので、必要情報を入力します。 このあたりの設定詳細はEDHの管理画面からカスタマイズできるため、ユーザーと会話して必要な内容に変更する方が親切ですね。 各種条件を設定すると、ジョブ実行時にかかるマシンの費用(/1時間)を算出してくれるのは良いですね! 解析にどのくらいのコストがかかるのかが試算出来ます。 これでジョブを実行します。 ジョブを実行すると先ほどは空だったジョブリストに投入したジョブが表示されています。 しばらくすると、ジョブを実行するためのEC2インスタンスが起動し始めました。 ジョブが実行され、完了すると計算ノードも不要になるため、自動的に削除されます。 これにより計算を実行していないときには、不必要なEC2マシンの起動が防がれ、コストの最適化が図れます。 また、ジョブスケジューラーにはOpenPBSを利用しているため、ログインノードに接続して通常のPBSと同じようにジョブを投入することもできます。(デフォルトログインノードには”SOCA"の文字が残っていますね)。 qsub test_job.sh ジョブを投入すると、Queueにジョブが登録されます。 [edhadmin@ip-10-30-76-119 ~]$ qstat Job id Name User Time Use S Queue ---------------- ---------------- ---------------- -------- - ----- 1.ip-10-30-87-225 edh_test edhadmin 0 Q normal オンプレミスのHPC環境では計算ノードをあらかじめ用意しておくことが一般的ですが、EDHではAWSの特長を活かして、必要なタイミングで計算リソースを用意できます。 このあたりの細かな仕組みについては奥が深そうなので、もう少し詳しく見る必要がありそうです。 4.3 仮想デスクトップ では、続いて仮想デスクトップに移りたいと思います。 EDHにはWebポータルから仮想デスクトップ(VDI)を作成する機能もあります。 メニューから”仮想デスクトップ”へ移ります。今回は新しく仮想デスクトップマシンを作成してみます。 ”新しい仮想デスクトップを起動する”を選択します。 ここでも起動に必要なパラメーターを設定していきます。設定し終えたら”マイデスクトップを起動”を押下します。 仮想デスクトップマシンの起動が開始されました! 仮想デスクトップには Amazon DCV が利用されており、ブラウザやDCVクライアントからLinuxやWindows環境へ接続できます。 EC2を起動している最中に、(たしか)ユーザーデータを使用してAmazon DCVをインストールしています。 このあたりはゴールデンイメージを作成することで起動時間の短縮が図れそうですね。 仮想デスクトップマシンへも接続できました。 CAE用途で考えると、EDHのWebポータル上でプリポスト処理用のGUI環境を用意して、プリ処理を行う。出力したデータをWebポータルからHPC環境へ計算を流す、といった使い方もできそうです。 単純なHPCクラスタだけでなく、このようなユーザー環境までまとめて用意できるところがEDHの特徴だと感じました。 AWS ParallelClusterでもAmazon DCVをプリインストールするオプション選択などで仮想デスクトップ環境は準備できますが、GUIを用いてここまで柔軟に作成・管理できるのはEDHの強みではないかと思います。 5. 実際に触ってみた感想 今回初めてEDHをデプロイしてみましたが、最初に想像していたよりもかなり機能の多いソリューションでした。 触る前は、"OpenPBSにも対応したクラウドHPC構築サービス"というイメージを持っていました。 実際には、HPCクラスタだけではなく、 Webポータル 仮想デスクトップの管理・接続 ファイル管理 ユーザー管理 コスト管理 ジョブ実行管理 など、ユーザーが計算環境を利用するための機能が多数そろっています。 特にCAEのように、 プリ処理 → Solver実行 → ポスト処理 という一連の作業をクラウド上で行う環境を作る場合には、EDHをデプロイするだけでCAE環境構築ができることはかなり面白いと感じました。 一方、デフォルトでデプロイする場合、要件によっては不要な機能・サービスが作成されてしまうことがあります。機能が多くある反面、要件に従った構築を実施する場合には、綿密な設計が必要なところは注意点です。 ただ、AWSにはAWS Batch、AWS ParallelCluster、AWS PCSなどさまざまなHPC向けサービスがある中で、また少し違った位置付けのEDHが新たにリリース(正確にはリブランディング)されたのは大変嬉しいです! 実際に業務でEDHを活用していくとなると、単純にデプロイして終わりではなく、お客様環境に合わせた構成や商用ソルバーとの連携、ユーザーが使いやすい環境へのカスタマイズなど、いろいろと考えることが出てきます。 電通総研では、これまでHPC/CAE環境をAWS上で構築してきた知見もありますので、EDHの導入を検討されている方や、AWS上でのHPC/CAE環境について気になることがありましたら、ぜひお気軽に ご相談 ください。 次回はもう少し踏み込んだ応用編も書いてみたいと思います!最後までお読みいただきありがとうございました! 今回は以上となります。 私たちは一緒に働いてくれる仲間を募集しています! 電通総研 キャリア採用サイト 電通総研 新卒採用サイト 執筆: @takeda.takafumi レビュー: @miyazaki.hirotoshi ( Shodo で執筆されました )
こんにちは。LINEヤフーで、プライベートクラウドのネットワーク関連サービスを開発している清水です。現代の大規模なWebサービスにおいては、一つのモノリシックなアプリケーションだけで構成されることは少...












