3.3 グローバルコンピューティング関連
3.3.1 Gridによる世界戦略とブロードバンドコンピューティング技術
関口 智嗣委員1.Gridによる世界戦略
Grid(グリッド)とは分散した情報資源を統一的に扱うためのアクセス手段である。高速なネットワークの発展はこれまでWebというHTML文書へのアクセス手段を提供してきたが、どちらかというと静的に与えられたデータに対するアクセス技術であった。これに対して、Gridはネットワーク上の情報資源に対する高性能かつ柔軟なアクセス手段を提供することを目指している(図1)。ネットワーク上の情報資源とは、高性能コンピュータ、データアーカイブ、大規模センサーや観測装置、多種多様なソフトウエアと加えて遠隔地にいる仲間たちを含む。これらの情報資源を必要なときに必要な資源にアクセスし、自分の手元の端末を通して自由自在に操ることができるものである。
Gridによりできることの例として、
(1) 世界中のスーパーコンピュータを同時に複数台使用することでこれまで実現できなかった
超大規模計算を行ってみること(Metacomputing)
(By courtesy of Ian Foster)
図1 The Grid:The Web on Steroids
(2) 世界中のPCなどの余剰時間を使ってこれまでできなかった発見的計算を行ってみること
(Throughput computing, SETI@HOME)
(3) 席にいながらにして、遠隔地の共同研究者と同じ画面イメージ、同じ計算結果等を共有して高度な
コラボレーションを行うこと(Access Grid)(図2)
(4) 高エネルギー実験装置、実大規模3次元振動台、高感度望遠鏡等の超大型実験施設から得られるデータを
遠隔地からアクセス処理を行うことで大規模科学を遂行すること(Data Grid)(図3)
などが挙げられる。これらの技術を実現するためのソフトウェア、ハードウェアインフラストラクチャが求められている。
これらをまとめると、図4にあるように、超高速ネットワークで接続される多様な情報資源を統一的なユーザインタフェースで扱うために共通的なミドルウェアが必須の技術となってきている。上位へのAPIならびに下位とのプロトコルとAPIはミドルウェアをどのように構築するかという設計の根幹を担っている。すなわち、このミドルウェアを征するものがGrid技術を征すると言っても過言ではないだろう。しかしながら、このような大規模になったGrid技術においてはもはや単独のソフトウェアパッケージがすべてを支配することや、今からまったく新たにミドルウェアパッケージを作ることは困難である。
図2 ネットワークを使ったコラボレーション
図3 大容量データ処理の例(e-science)
図4 Gridミドルウェア
これらの標準化ならびに国際的協力関係の下、共同でGrid技術に関する情報交換を行うフォーラムが設置された(図5)。これまで、Grid Forumとして米国を中心に5回開催された(http://www.gridforum.org/)。この間、ヨーロッパにおいてeGridが立ち上がり、また2000年6月にAsia-PacificにおけるGridインフラとしてのApGrid(http://www.apgrid.org/)が立ち上がった。アジア太平洋地区においては欧米でのGridの立ち上がりとそれぞれに巨額な予算(数百万ドル以上)が手当てされ、その勢いはアジア太平洋の各国にもいずれかへの所属を迫るものであった。しかし、ApGridにより、アジア太平洋諸国は独自の国際学術ネットワークであるAPAN(図6)を中心にひとつのテストベッドを構築することとなった。こうして、米−欧−亜の3極体制を整えることにより、日本を含めたアジア・太平洋地区からのGridに対する技術発信を行う橋頭堡を築くことができた。これらはGlobal Grid Forumにおいて世界における統一的なGridインフラを議論し定めていく場へと繋がっている。
図5 Global Grid Forum History(by C. Catlett, ANL)
図6 ApGridとAPAN
2.Gridからブロードバンドへ
「国家産業技術戦略」において情報通信関連技術は「高機能で柔軟かつ安全な情報通信環境を活用して、時間や場所の制約を受けずに、必要とする情報・知識を誰もが自由自在に創造・流通・共有できる高度な情報通信社会」を目指すとある。具体的には、ネットワーク関連技術として、2010年までにアクセスサービスとして事業所:100Gbps級を目指し、高度コンピューティング関連技術として10Pflopsの演算能力ならびに1TBの主記憶、1PB(ペタバイト)級の大容量高速記憶装置が不可欠であるとされている。この目標値により、高性能計算技術(HPC)におけるコンピュータの演算速度・信頼性の向上、シミュレーション技術における多方面への応用、大容量・高速記憶装置の確立を目指すことが急務である。
ブロードバンドコンピューティング技術研究開発は現在の一般的なインターネットとではなくその1000倍以上の高速ブロードバンドネットワークを指向し大容量、高性能システム技術開発である。具体的には1PB級の大容量高速記憶システムを構築する。この実現方式としては複数のサイトに高性能ノードを設置しこれを高速ネットワークで接続した分散処理方式による。個々のサイトにおいてはコモディティであるPC技術を基本としたノードを実現する。これらのサイトをアクセスサービスとしての10Gbps級大容量高速ネットワークを用いた分散処理技術を開発することでペタバイト級の大容量記憶を実現する。
この大容量記憶システムは、いわゆるe-businessにおいて超高速検索エンジンの実現、これによる検索精度向上、金融ビジネスのリスク分散、データマイニングサービス他への応用が期待される。またe-Scienceにおいてはすでに超大容量データ処理(データ管理と分散処理)が必須でありポストゲノムサイエンスはもとより、高エネルギー物理、天文データ処理他での応用が期待されている。これらは、ペタバイト級のデータ処理を行うためのパイロットアプリケーションであり、現状民間におけるデータハウスの100倍を超えるシステムの実現はビジネス系ならびに科学技術系における応用分野の開拓が期待される。
このような大規模記憶システムは世界の標準がまだ確立しておらず、我が国が先行している光ネットワーク技術ならびにGridと呼ばれる分散コンピューティング技術においてデファクト標準の確立を目指していく。特に、標準化がソフトウエアとして実現されている分散コンピューティングのサイト技術において、本研究開発で実現されるハードウエアによる分散ノード構築技術は先駆的なものとなり、標準化戦略の遂行により世界的に市場をリードすることが可能となる。
これを産学官連携の体制においてサイトにおけるノード構築技術、サイト間の光ネットワーク技術、ストレージシステム構築技術の開発が求められている。3.具体的研究課題
3.1 実現イメージ(ハードウエア)(図7)
(1) ノード: PC+Diskのpairで構成
それぞれ、単独で高性能ノードかつ柔軟性のある再構成可能な計算ノードとして実現し、高性能PCの実現や、ビジネス用サーバへの技術転用を可能とする。
(2) サイト:ノード間を高速インタフェースで接続
次世代PC用標準インタフェース技術であるInfiniband等で接続したクラスタノードとして実現を目指す。高性能クラスタ構築技術はビジネスサーバ、インターネットサーバ、Web server farm として技術転用が可能となる。
(3) 中距離サイト:サイト間をDWDM技術により接続
Infiniband を次世代高速ネットワーク技術であるDWDM上に実現することで接続を行う。次世代の光インターコネクト技術、フォトニックネットワーク技術の開発を行う。
(4) 広域ファーミング:サイト間を高速ネットワーク技術により接続
インターネットに用いられるEthernetプロトコルを基本にして、SDH 等の高速通信基盤上の10Gbps, 40Gbps等のネットワーク技術を用いて、広域分散サイト間の接続を行うための技術開発を行う。
(5) 高信頼ディスクアレイ技術
単にドライブ数を増加して接続するだけでは信頼性の高いストレージの構築ができない。テープドライブへのバックアップも現実的に不可能だとすれば、大容量化を実現すると同時にRAID技術による高信頼化を実現する必要がある。同時に、高速インタフェースへの対応、設置床面積の節約のため小型化、低消費電力化が必須である。
図7 ブロードバンドコンピューティング
実現イメージ ― hardware ―
3.2 実現イメージ(ソフトウエア)(図8)
(1) Grid基盤技術
広域ネットワークの利用技術を促進するためのミドルウエアが Grid と称される。ブロードバンドコンピューティングにおいては高速ネットワークを基盤とした分散処理技術が基本であり、このためのGrid技術開発が必須である。しかし、Gridは世界でのデファクト標準化がGLOBAL GRID FORUMにおいて進行しており、その活動を通じた標準化への貢献を実現する。国内からも電総研(関口)、東工大(松岡)が運営委員(8名中の2名)としてチャネルを有している利点を活かす。
(2) Gridセキュリティ基盤
広域ネットワークの利用技術を促進するためのミドルウエアがGridと称される。広域分散環境における認証のためのセキュリティ技術が必要であり、IPv6、IP sec等の先進的インターネット技術をブロードバンドコンピューティングに導入する。
(3) データファーミング技術
大容量データは単なる生データとして保持するのではなく、関連づけられた意味を持たされたデータとして処理される。これを広域に分散させることと、それぞれのデータに対する処理を関連づける。このためのプロトコルの確立が必須で、今後の世界的標準化を目指す部分である。
(4) クラスタシステム技術
ブロードバンドコンピューティングのサイトにおけるノードはPCクラスタ技術である。このクラスタにおける負荷分散技術、高信頼化技術、開発環境等のシステム構築技術は即効性のある技術開発である。
図8 ブロードバンドコンピューティング
実現イメージ ― software ―
4.おわりに
Global Grid Forumを通じたGrid技術に関する世界戦略と、次のGridとその応用技術であるブロードバンドコンピューティングによるData Farmingについて概略を述べた。Gridは世界的に大きな技術潮流となっており、我が国も現時点での先進性とこれまでのポテンシャルを活かして大いに貢献することで、世界標準構築への参画を積極的に推進する必要がある。現時点で我々が持ちうるハイエンドコンピューティングの技術シーズとしてはGridとクラスタであることは疑いもない。また、こうした技術において先行してきた強みを活かし、国内のコンピュータベンダーを巻き込んだプロジェクトとして欧米に対抗する道筋を見つけだしていくことが必要である。