ULTRA200 & ULTRA40 Project
〜サイエンスを加速する力〜

本件のお問い合わせは,こちらまで!

このページの趣旨

ULTRA200(旧ULTRA40)プロジェクトは,PCなどの汎用品を組み合わせて高性能なIPルータおよび,アプリケーションサーバを開発するプロジェクトです.

ULTRA40では,ネットワークインターフェース 40GBASE-Rまたは,10GBASE-Rを積載したPCルータにて,処理性能最大100ギガビット毎秒を想定して開発をおこないました.しかし,2012.6に目標を達成したので,名称をULTRA200に変更し,処理性能最大200ギガビット毎秒程度を想定しています.なお,旧ULTRA40も併用しています.

このページでは,基幹部分の高性能なIP処理能力を有するIPルータ部と,その上で稼働するソフトウェアモジュールについての情報を公開しています.

開発中の機器

現在,ULTRA40 試作機として,「野川」と「大沢」が完成しています.これらは,何れもPC+汎用ハードウェア+パラメータ調整やソフトウェア開発により,実装してます.その心は,以下のように,進化の激しいハードウェア支援機能(NIC上のオフロードエンジンなど)を活用し,遅延等の性能はあきらめ,価格対帯域性能の高い機器を開発したいという方針にあります.

nobishiro

そこで,2種類の機器を開発し,ORC(後述)にて発表いたしました.デモ機は,幕張メッセ Interop 2012 「国際会議場」の2Fに動態展示してあります.会期終了後は,自然科学研究機構国立天文台の三鷹キャンパス(本部)内に展示してあります.

 

ULTRA40「野川」:ストレージアクセラレーションを主体に考えた機器

野川は,下図のような広帯域WAN(10ギガビット)かつ,ベストエフォート回線を跨いで,HPC演算ノードからの出力をストレージネットワークにてストレージへ書き出す際に生じる課題解決するため開発されました.

san

このような環境下でのストレージトラフィックに与える悪影響に対して,以下のような解決方法を提案しています.

  1. 超高速ストレージへのキャッシュ

  2. ストレージトラフィックの予測に基づく伝送制御

  3. TCP/UDPによる回線高効率伝送方式
    rx

これらの具現化するため,野川は誕生したのです.

nogawa 
野川1号機

野川は,SuperMicro社 X8DTU(Tylersburg)+ CentOS6.2 カスタムにて構成されており,16台のMicron m4 で構成したSSDストレージアレイを内蔵しています.SSDストレージアレイ上に,RAID 0ストライピングサイズ, EXT4ファイルシステムのパラメータチューニングにより,4GB/secの連続書き込み性能に特化したシステムになっています.搭載ネットワークI/Fは,ハードウェア上の制約により,最大でも,10GBase-R x 4 ポート,または,40GBase-R x 2ポートとなります.

ULTRA40 「大沢」:多機能IPルータの性能限界を考慮した機器

一方,大沢は,PCでIPルータを構成すればどの程度の帯域を処理できるのか?という事に挑戦した機器です.IXIAとSpirent社の計測器で計測したところ,バックプレーン容量は,約100Gbpsとなりました.

osawa osawa2

大沢1号機

以下に性能グラフを展開します.以下のように,IPルーティングでは,ジャンボフレームでなくても,双方向で概ね35Gbps以上の伝送が可能です.また,冷却機能を強化することで,双方向で53Gbps,つまり,実際には,その倍の106Gbps相当のIP伝送処理をPCが実施できることが実証されました.驚くべき点は,64byteのショートパケットでも,5Gbps=976Mpps程度のパケットをルーティングできる点にあります.

map1

一方で,大沢には,サービス妨害攻撃(UDPフラッド攻撃)機能が搭載されており,実際にトライフィックを計測したところ,IXIAとSpirent両計測器を同時につかって,計測することができました.その結果,約100Gbpsの攻撃能力がありました.要するに,10台あつめれば,1Tbpsと,Tier-1ISPに大変な負担を与えることが出来るくらいの性能を有しています.

なお,最終的な調査の結果,伝送遅延は,64バイトサイズで,約23.9マイクロ秒で,ジッダは,3.4マイクロ秒(偏差もほとんどなし)となっています.

すでにサイバー攻撃でも使えそうな兵器級の力を持っている感じです.

attack

 

大沢・野川の構成

ハードウェアは,SuperMicro社の X8DTU,CPU は,デュアルコアで X5690 (野川)または,X5550(大沢)です.
野川のSSDには,Micron Crucial の m4 SSD 512GB + RAIDでの安定化されたファームウェア(公式サイトで配布されています)をしようしています.NICは,Chelsio T4 または, Myricomを使用しています.

ORCを終えて

今回,インタロップ東京2012にて開催された Open Router Competition :ORCを中間目標に据えて,野川と大沢を投入しました.力至らず,残念ながら,受賞は逃し(さくらインターネット賞は,まっちゃんチームことまるたかさん)ましたが,SpirentやIXIAなどの正確な計測器による性能評価が出来た点は最大の成果とでした.

正直,PCの汎用性を生かせる環境が,100Gbpsを扱えるようになった点は驚きです.しかしながら,まだまだ帯域は絞り出せそうです.究極には,このようなバス上にショートサイズな伝送,多割り込みに強いカスタムカーネルまたは,OSを設計すれば,まだまだ,絞り出せると考えています.(おそらく,180Gbps程度が限界値と思われます.) または,究極のアイデアとしては,NICのDMA伝送をアシストする仕組みの搭載や,FPGAによる支援機構も検討する必要があると考えています.いろいろアイデアはおもいついていますので,また,ご報告します.

もちろん,この開発機器は,ORCが目標ではなく,HPC運用に耐えうる機器にしあげることが目標です.したがって,高速化と安定化の2トラック制でとりくむ予定です.

来年のORCといった趣の会には,今回と違う意味でのベクトルを保ちつつ,全く違った視点のルーターを投入しようとおもいます.

資料

 ORC発表&公開資料

作り方

 こちらへどうぞ


Masafumi OE, NAOJ, FUMI.ORG