Topics
    HPCクラウド
    Menu

    性能検証事例

    インターコネクト性能検証事例

    Intel MPI Benchmark (通称IMB)の pingpongベンチマークによるレイテンシー性能検証事例です。

    HPCCloud-MPIpingpong-1

    HPCCloud-MPIpingpong-2

    Lustre ファイルシステム性能検証事例

    AZUREにおけるLustreファイルシステム性能検証事例です。

    HPCCloud-Lustre1

    LustreとRAIDの比較

    計算ノード1台からの書き込み性能テストをddコマンドとfioツールを使用して測定しました。また、複数ノードからの書き込み性能テストも測定しました。fioツールを使用した性能検証では、レイテンシー・帯域幅・IOPSについて測定を行いました。

    使用したコマンドラインの例:

    dd
    dd oflag=direct if=/dev/zero of=<use DIR> bs=<data size> count=1024

    fio
    fio -filename=/home/fiotest -direct=1 -rw=randwrite -bs=<data size> -size=2G \
    -numjobs=<64 or 256> -runtime=<20 or 60> -group\_reporting \
    -name=fiotest >> fio256k.log

    1対1でのdd性能検証事例
    HPCCloud-MPIpingpong-3
    1:1でのfio(Latency (abrg ms))性能検証事例
    HPCCloud-MPIpingpong-4

    1:1でのfio(Bandwidth (abrg MB/sec))性能検証事例
    HPCCloud-MPIpingpong-5

    1:1でのfio(IOPS)性能検証事例
    HPCCloud-MPIpingpong-6

     

    アプリケーション性能検証事例

    流体計算性能検証事例

    流体計算性能検証事例として、姫野ベンチマークテスト、OpenFOAM®、FrontFlow/Blueの3種類を性能検証してみました。

    姫野ベンチマークテスト
    姫野ベンチマークは理化学研究所・情報基盤センター・センター長の姫野龍太郎様が非圧縮流体解析コードの性能評価のために考えたものでポアソン方程式解法をヤコビの反復法で解く場合に主要なループの処理速度を計るベンチマークプログラムです。HPCクラスタシステムの通信バンド幅に性能が大きく依存され、スケーラビリティを図る手段として有効なベンチマークプログラムです。

    Azureにおける性能検証事例(比較対象としてオンプレミスFDRとAWS10Gとの比較も検証した)
    HPCCloud-Himeno1

    HPCCloud-Himeno2

    OpenFOAM®
    オープンソースプログラムであるOpenFOAM®の歴史は、1989年まで遡ります。2004年にはHenry, MattijsらはOpenCFD社を立ち上げ、名前をOpenFOAM®と変え、全てのソースコードを完全オープン化しました。2012年米ESI社に買収され、OpenFOAM®ロゴもESI社の登録商標となりました。OpenFOAM®はGNU GPL(General Public License)に従って開発とバージョン管理が行われています。現在OpenFOAM®は欧米を中心に、世界中1000以上の企業と研究所・大学ユーザーがあるといわれています。日本でもこの数年自動車・機械・精密機器・建築等の分野でユーザーが急激に増加しています。日本ではオープンCAEシンポジウムというユーザー会を通じて実用事例と新機能開発結果が発表されています。

    AzureにおけるOpenFOAM®性能検証事例
    OpenFOAM®性能検証にあたって、川崎重工業・技術開発本部様の多大なるご協力をいただき、400万メッシュ規模の船体ハーフモデルデータをご提供いただきました。
    ・モデル名:船体ハーフモデル 400万セル
    ・ソルバ :simple 非圧縮 定常解析
    ・乱流モデル :k-εSST
    ・出力 船体抵抗値 (Cd値)

    ご提供頂いたデータの領域分割例(paraviewにより作図)
    HPCCloud-OpenFOAM1

    乱流エネルギーkの計算結果例(paraviewにより作図)
    HPCCloud-OpenFOAM2


    Azure上におけるOpenFOAM®実行時の並列数(Core数)と計算時間の検証結果
    ※比較対象としてオンプレミス1ノード(E5-2698V3(2.3GHz/16C) x 2 を16コアに間引き)の性能比較を行った

    HPCCloud-OpenFOAM4
    同じ並列数でもコア数・ノード数の選択により性能が異なる検証事例(Azure)
    HPCCloud-OpenFOAM5


    FrontFlow/Blue
    FrontFlow/blue は、非圧縮流体の非定常流動を高精度に予測可能なLarge Eddy Simulation(LES)に基づいた汎用流体解析コードです。形状適合性に優れた有限要素法による離散化を採用し、ファン/ポンプ等の流体機械や複雑形状周りの非定常乱流解析および流れから発生する騒音の予測が可能です。

    コードの主な特徴
    (1)基礎方程式
    3次元非定常非圧縮Navier-Stokes方程式。
    非定常流動を高精度に予測可能なLarge Eddy Simulation(LES)に基づいている。
    (2)離散化手法
    時間・空間ともに2次精度をもち、これにより高精度な非定常解析が可能である。
    (3)対応メッシュ
    要素タイプは8節点・6面体および4節点・4面体。移動・回転座標系/Oversetメッシュに対応することによりファン/ポンプ等の流体機械内の内部流れ解析が可能。
    (4)ベクトル/超並列計算
    ベクトル計算機およびスカラー型超並列計算機上で高速動作するように最適化されており、自動化された最適領域分割・統合処理を実装した領域分割法によって、数百万~1億節点の大規模超並列計算に対応する。
    (5)流体音響解析手法
    流体解析により音源を計算し、Lighthill の音響解析から導かれたCurleの式によって流れから発生する流体音を予測することができる。
    (6)キャビテーション流れ解析機能
    均質流体モデルにより液体体積率の時間発展を計算し、キャビテーションを伴う非定常流れを解析することができる。

    性能評価方法
    演算性能は以下の式で定義されます。
    演算性能(GFLOPS)=グリッド数から決まる演算量 / 1ステップの計算時間(秒)

    計算データについて
    キャビティ計算を行うベンチマーク問題を用いました。
    下図のような立方体の領域を各辺等分割した格子での計算を行います。分割数を変更することにより計算規模を変更します(検証はn=200とn=288)。
    HPCCloud-FFB1

    分割数 n の時、グリッド数、メモリ量、演算量は次式になります。
    グリッド数  M=n^3
    メモリ量      4K × M  (=4000×M)
    演算量       20k × M (=20000×M)

    検証に用いたデータ内容は以下の通りです。

    分割数nグリッド数メモリ量(Gbyte)演算量(FLOP)
    200800000030.517581.6384E+11
    2882388787288.989264.8922E+11


    Azureにおける性能検証事例
    n=200のとき
    HPCCloud-FFB2
    n=288のとき



    HPCCloud-FFB3
    Azureとオンプレミスとの比較検証(n=200で検証)
    HPCCloud-FFB4

    HPCCloud-FFB5

    第一原理計算性能検証事例

    第一原理計算のAWSとオンプレミスとの比較検証事例です。上段が小規模問題、下段が大規模問題の検証事例です。
    HPCCloud-Ab1

    HPCCloud-Ab2(L)

    気象解析アプリケーション性能検証事例

    AWSとFOCUSにおける気象解析アプリケーションの性能検証事例です。
    HPCCloud-wrf


    大容量高速ファイル転送機能検証事例

    HPCクラウドを利用するにあたって海外のDCを選択せざるを得ない場合、ファイル転送時間を考慮しなければなりません。3時間の計算を行うためにファイルの送受信で10時間以上もかけるのは本末転倒です。VTが開発したクラウドブローカ型ポータルソフトウエアには、大容量ファイルを高速で転送できる機能が組み込まれております。快適で最適なクラウド環境を実現するには、大容量ファイル転送も不可欠な検討項目です。HPCクラウドをVT自社で利用して初めてわかった事です。VTにお任せください。

    オレゴンのAWS←→VT(回線100Mbps)間でファイル転送。データサイズは2GB(2097152 bytes)。

     経過時間(s)速度(Mb/s)倍率
    VTSCPVTSCP
    ダウンロード291246556.266.658.5
    アップロード729422322.463.885.8

    HPCCloud-ssb

     

    VTは、自身でもHPCクラウドを利用するユーザの立場として様々な性能検証を行ってきました。落とし穴もたくさんあり、数多くの失敗を繰り返してきました。思ったほど性能が出ずチューニングに苦労したこともありました。大規模並列計算の性能検証ではその課金の加速度に青ざめた事もありました。もしお困りでしたら是非ご相談ください。ユーザの立場としての経験をもとに最適なご提案を差上げます。

    掲載事項は予告なく変更される場合がございます。