第2章　米国の政府支援ハイエンドコンピューティング研究開発動向

米国におけるハイエンドコンピューティング開発の主なトピックスは、既に報告書[2][3][4]にまとめられているので詳細はそちらを参照いただくとして、本報告書ではテラフロップス以上の処理能力を持つハイエンドマシンの開発状況全般について現時点での最新状況を報告することを狙いとする。また、Blue Book 2000[1]にあがっている主要開発テーマについては本報告書の付属資料２としてまとめて報告しているので、本節では主要なハイエンドコンピューティング開発に限定する。

本項では、1999年11月に公表されたTOP500 Supercomputer（http://www.top500.org/）で１位から３位を独占し、現在実用レベルで世界の最先端を行っているASCIマシンについて開発状況をまとめた。

DOEのASCI計画を簡単に表現すると、核兵器の開発、保管を行う上で、従来は実際に核爆発を伴う実験を通して確認をしてきた核爆発の威力とその影響、材料の強度、物性などを高性能コンピューティングシステムでシミュレーションしてしまおうというものである。そして、このようなシミュレーションで要求される大規模なコンピューティング能力を民間企業、大学が持っているの最先端の技術力をベースにして実現しようというものである。

ASCI計画の特徴は、DOE管轄のLos Alamos、Sandia、Lawrence Livermoreの３つのDefense Programs laboratoriesとUniversity of Illinois、 University of Chicago、California Institute of Technology、Stanford University、University of Utah の諸大学との連携（Academic Strategic Alliance Program（ASAP））があげられる。もう一つの特徴としては、プラットフォームはIBM、SGI、Intel等民間企業がその時点で持っている最先端技術を適用した市販品（COTS : commercial（commodity）-off-the-shelf）を使用し、かつその性能を最大限引き出すことが出来るようにソフトウエアも同時に開発している点である。

ソフトウエア関連の活動分野は問題解決環境(Problem Solving Environment（PSE）)、数値計算環境（Numerical Environment for Weapons Simulation（NEWS））、遠距離・分散コンピューティング（Distance Computing and Distributed Computing（DISCOM））、可視化（Visualization）、応用（Application）である。計画内容の詳細はASCIのWEBサイトを参照願いたい（http://www.llnl.gov/asci/index.html）。

DOEは、ASCI計画で達成したコンピューティング環境をASAP加盟の５大学の研究者にも一部開放し、ハイエンドコンピューティング分野のハードウエア、アプリケーションソフトウエア開発の便に供している。上記の各大学で開発されたアプリケーションは軍事機密には指定されていないため、非軍事の科学研究へも適用されている。

図2.1の開発ロードマップにあるように、2004年に100テラフロップスの計算能力達成がASCI計画の最終ゴールである。この最終ゴールに向けて、ASCI計画の中にPathForwardプログラムが新たに設けられ、1998年から2001年までの4年間で30テラフロップスマシンを実現するための大規模スケーラブルコンピュータシステム構築活動を始めている。このプロジェクトにはDECが256ノードのAlphaServer SMPのインターコネクト開発、IBMが100テラフロップスまでサポート可能な高速かつ低レイテンシのスケーラブルなスイッチング技術の開発、SGI/Crayが信号処理とインターコネクト技術の開発、SUNがハードウエア、ソフトウエア両面にわたる実行可能性の総合評価を行うといった分担で参加している。

図2.1　ASCI計画開発ロードマップ
（出典:P.H.Smith, PetaFLOPS Initiative（1999））

2000年３月時点で開発中のものおよび公募を締め切ったものを含めた各プラットフォームの概要を表2.5にまとめた。

2001年度予算では、2.3.6（2）に書いたように、1999年９月29日にRFP（Request for Proposal）を締め切ったLos Alamos研究所のASCI T30ハードウエア（30テラフロップスプラットフォーム）調達、Lawrence Livermore研究所の10テラフロップスプラットフォーム（ASCI White）改良の完成が計算結果を視覚化し理解を助けるVIEWS、改良されたソフトウエアを使ったプログラムコーディング開発が計画されている。

1999年11月に公表されたTOP500 Supercomputer では、ASCI Red、ASCI Blue Pacific、ASCI Blue Mountainが１位から３位を独占した（http://www.top500.org/）。

上に見たように、ASCI計画は2004年の100テラフロップス達成に向けて計画通り順調に進捗しており、1999年度予算のブルーブックでは、2007年迄には１ペタフロップスでの持続的処理が達成できるかも知れないと書かれている。

テラフロップスマシン、ペタフロップスマシン開発の位置づけを改めて図2.2に示す。ペタフロップスシステムの開発に関しては2.2節の表2.1に示したように既に1991年にイニシアチブが作られ、ASCI計画などと連動しながら、更に高度の技術レベルを目指すものとして進められて来たようである。ペタフロップスイニシアチブではペタフロップスシステムを実現するものとして、COTSクラスタ、超並列（MPP:Massively Parallel Processor）システムアーキテクチャ、ハイブリッドテクノロジーカスタムアーキテクチャ（後にHybrid Technology Multithreaded（HTMT）Architecture）の３方式を実現技術候補として検討が進められた。以下簡単にこれらの実現技術の内容を見ていく。表2.6に各方式の概要を示す。

**表2.5　ASCIプラットフォームの概要**
名称	Red	Blue Pacific	Blue Mountain	White	T30
設置研究所	Sandia	Lawrence　Livermore	Los Alamos	Lawrence Livermore	Los Alamos
メーカ	Intel	IBM	SGI	IBM	未定
使用MPU	9,536×PentiumⅡ Xeon	5,856×Power PC	Origin2000 MIPS R10000	8,192×Power3-Ⅱ	未定
目標性能	1.8Tflops メモリ606GB Disk容量40TB	3.1Tflops メモリ2.6TB Disk容量75TB	3.1Tflops メモリ2.5TB Disk容量75TB	10.2Tflops メモリ2.5TB Disk容量75TB	30+Tflops
実績	3.2Tflops (‘99/10月)	3.9Tflops (‘98/10月)	3.1 Tflops (‘98年)	----	----

図2.2　高性能コンピューティング開発の位置づけ
（出典:P.H.Smith, PetaFLOPS Initiative（1999））

**表2.6　ペタプロップス実現技術の比較**
主要項目	COTSクラスタ	超並列アーキテクチャ	HTMTアーキテクチャ
プロセッサ	3GHz　10Gflops	3GHz　10Gflops	150GHz　600Gflops
プロセッサ数	100,000	100,000	2,048
メモリ	32TB DRAM 40ns	32TB DRAM 40ns	16TB PIM-DRAM 80ns
相互接続	ハイパキューブ 20Gbps/ch	フレームスイッチ 128Gbps/ch	Data Vortex 500 Gbps/ch >10Pbps bijection bw
2次ストレージ	1PB　1ms	1PB　1ms	1PB　1μs
マルチプロセッサ方式	分散型 3レベルキャッシュ 1レベル DRAM	分散共有型	共有型 4階層
レイテンシ管理	ソフトウエア	Cache coherence protocol	Multithreaded /percolation

（出典:Thomas Sterling, Challenges to Petaflops（1999）を一部手直し）

代表的なものとしてはASCI Redの他に航空宇宙局（NASA : National Aeronautics and Space Administration）が支援している「ベオウルフ（Beowulf）」が知られている。このもとになっているのは、1994年にThomas SterlingとDon Beckerによって16個のIntel DX4プロセッサと10Mbit/s Ethernetで構成されたPCクラスタである。「ベオウルフ（Beowulf）」は、並列マシンの分類からすると、超並列マシンとワークステーションネットワークの中間に位置づけられるものであり、天体物理学分野に特化した専用システムである。最近の情報では10テラプロップスレベルの性能を実現し、更にアルゴリズムを改善することにより100倍スピードアップし、ペタフロップスを目指している。

PCクラスタは、PCの性能が格段に向上してきたことと、必要な能力をもったスーパーコンピュータを安価にスケーラブルに構成できる点が魅力となって大学を中心とした研究コミュニティーで、米国ばかりでなく全世界的に普及している。2000年３月には全米コンピュータ科学連合（National Computer Science alliance）は基礎研究用のPCネットワークをIBMのNetfinity PCサーバ256台で構成すると発表した。OSとしてLinuxを使い、計画されている演算性能は375ギガフロップスである。

我が国でも同様の研究プロジェクトが大学や研究機関で進められている。主要なプロジェクトとして次のものが知られている。

1）東京大学が中心となって推進している日本科学技術振興会未来開拓学術研究「計算科学」の中で「次世代並列計算機開発」があり、100テラフロップスオーダの処理能力を持つサブペタフロップスマシンの実現をその目標としている。

2）理化学研究所では専用のLSI（WINEチップ）を特別に開発し、それを2688個並列接続した分子動力学シミュレーション専用のWINE‐2システムを作ったが、そのピーク性能は50Tflops超を実現した（1999年）。今後は分子動力学シミュレーションだけでなく、電子状態のシミュレーションやゲノム系列の解析用の専用計算機を開発する提案をしており、目標性能を１ペタフロップスにおいている。

3）そのほか、技術研究組合　新情報処理開発機構（RWCP）、科学技術振興事業団ERATO 北野共生システムプロジェクトなどの研究機関や大学でも必要な性能を比較的安価にかつ容易に実現できるコンピューティング環境としての魅力からPCクラスタの研究開発、応用が盛んに行われている。

（2）超並列（MPP:Massively Parallel Processor）システムアーキテクチャ

代表例は、ASCI Blue、ASCI Whiteである。この延長線上であると考えられる１ペタフロップスマシンBlue Geneを5年後の2004年に実現すると発表した（1999年12月）。IBMは政府支援を受けずに独自の開発としている。Blue Geneは従来のシリコン技術を使い、「SMASH（Simple, Many and Self-Healing）」アーキテクチャと呼ぶ全く新しいアーキテクチャを採用する。１ペタフロップス級の性能を実現するために１ギガフロップの演算能力を持つCPU100万個を並列に接続し、800万以上のスレッドを同時実行可能にすると共に、プロセッサやスレッドのエラーの影響を自動的に修復する自己修復機能を持っている。PIM（Processor in Memory）も新技術として採用されている。完成時の最初の仕事はタンパク質の折り畳み構造の解明になる予定（http://www.ibm.com/news/1999/12/06.phtml）。

Blue Book 2000のHECC研究開発のトップで説明されている。ハイブリッドというその名の通り、超電導技術（超電導RSFQプロセッサ）、光インターコネクション技術、高速半導体技術や磁気記憶技術等の異種技術を組み合わせたものであり、国家安全局（NSA : National Security Agency）、航空宇宙局（NASA : National Aeronautics and Space Administration）、防衛高等研究庁（DARPA : Defense Advanced Research Projects Agency）などからのファンドを受け研究開発を行っている。開発のとりまとめ責任者はNASAジェット推進研究所のThomas Sterlingである（http://htmt.caltech.edu/）。

開発計画は2007年のシステム完成させるまで全５フェーズの計画となっているが、2000年２月の時点ではフェーズ３（1999年７月～2000年９月末）に入っており、700万ドルを使って実施した過去２年間の基礎検討結果を詳細にわたり更に検討の詰めを行っているようである。

PITAC報告書の中で、ペタプロップスレベルの性能を実現するのは、それ自体が目的ではなく、技術を発展推進するための原動力として認識すべきと主張している。このことに意を強くしてか、HTMTプログラムマネージャ達はファンドを更に増額してくれるのならば2004年にはプロトタイプのペタフロップスシステムを実現できるということをほのめかしている。

今までは超電導RSFQプロセッサを使うHTMTアーキテクチャがペタフロップスマシン実現の主流として見られていた。しかし、（2）で書いたように従来のシリコン技術によるMPPマシンの実現計画がでてきた以上は、システムに内在する極低温から常温にわたる300度の温度差を克服して、開発してきた個々の要素技術をいかにして組み上げるかといった相互接続、実装技術を確立することがペタフロップス級の性能を実現するために必要と思われる。

図2.3　HTMTアーキテクチャのブロックダイアグラム
（出典: Thomas Sterling, Larry Bergman;A Hybrid Technology Approach to Petaflops Computing（1999））

図2.4　HTMTシステムの完成予想図
（出典: Thomas Sterling, Larry Bergman;A Hybrid Technology Approach to Petaflops Computing（1999））

前項で紹介したのは、ASCI計画のように実際に稼働しているか、あるいは姿がある程度見えてきている次世代超高性能システムであった。本項ではさらなる性能向上を目指して研究が進められているトピックスを紹介する。

VLSIなど半導体デバイスの分野では、「半導体の性能と集積度は、18ヶ月ごとに2倍になる」というムーアの法則に従ってチップサイズ、配線を微細化する方向で性能向上を図ってきた。この延長で行くと、現状のサブミクロンオーダ（１ミリの１万分の１）からデカナノオーダ（１ミリの10万分の１）になるのも時間の問題となってきている。更に微細化が進めば、配線のスケールも原子サイズに近づき、デバイスの性能を支配する物理法則もミクロ世界の法則、つまり量子力学に従うものになるはずである。

このような状況も一つの契機となり、しかしミクロ世界の分野へは民間の研究投資もあまりつぎ込まれない基礎研究的性格が強いことから、米国政府は「21世紀に向けた情報技術：IT²」イニシアチブの中で革命的コンピューティング（Revolutionary computing）として生物コンピューティング、シングルエレクトロントランジスタ、量子コンピュータなどをあげ、これらは政府が支援すべきものとしている。NSFの2001年度予算要求説明書を読めば2.3節で紹介した2001年度に新たに創設された「国家ナノテクノロジーイニシアチブ」における材料プロセス、デバイス面の研究開発は量子コンピュータ製造プロセスを目標とした未来世代コンピューティング対応であると考えられる。

本項では未来世代コンピューティングを目指した研究例としてDARPAで推進されているUltraScale Computingを中心に最近の研究動向をごく簡単に紹介する。

この研究では従来の材料、プロセスにとらわれることなく、性能とコストパフォーマンスの良い先端的な計算技術を開発することが目的であるとされ、現在行っているのは既知の有望先端研究の評価および、それ以外の全く新規なものの探索と評価である。数値目標を表2.7に示す。（http://www.sainc.com/arpa/ultrascale/slides/note001.htm）

**表2.7　 UltraScale Computingの性能目標**
項目	性能目標
性能	1 Exaflops (= 1,000 Petaflops)以上
コンピューティングユニット数	10¹¹ processors 以上
素子の大きさ	原子間距離レベル
消費電力	10¹⁹ ops/joule 以下
複雑さ	手に負えない複雑さを扱うことができるようにする
賢さ	推量や創造性をもたせる

計算の新規モデルの研究と計算実行のための新規物理メカニズムの研究からなっており、取り上げられているテーマは前者では並列コンピューティング、群（swarm）コンピューティング、量子コンピューティング、後者ではDNAコンピューティング、細胞工学、神経ネットワークである。これらの研究は1996年から2000年までの５カ年計画となっている。

1）数万から数十万という非常に多くのプロセッシングユニットを使用するローエンド側では、並列計算のオーバヘッドの増加を抑えることの出来る新規のアーキテクチャを開発すること。

2）数百万プロセッサの場合では、新たに出現すると考えられる望ましい振る舞いを引き出すための言語、プロトコルおよびアルゴリズムの開発が必要になる。

3）更に複雑度が大きくなったケースでは、量子コンピューティングの可能性を評価するために量子状態の重ね合わせやエンタングルメントを探求する。

1）分子レベル：DNA分子のデータストレージ、プロセッシング用途の研究

2）単細胞機構：遺伝子構造操作によるパターン繰り返し、新規製造方法、直接計算の研究

3）多細胞レベル：電子回路と直接に信号をやりとりできる神経網の人工環境（試験管）あるいはシリコン上での作成

1985年にオックスフォード大学のDavid Deutschが考案した量子チューリングマシンをベースにして計算理論を研究する分野を量子コンピューティングという。

David Deutschの考案からおよそ10年後、1994年にAT&TのPeter Shorが量子コンピュータを用いれば整数の素因数分解が小さな誤り確率で高速に行えることを示した。

**表2.8　計算の新規モデルの概要**
研究テーマ	研究開発項目	2000年度目標
並列コンピューティング	Fixed Array, Adaptable Software Continuum Computer Architecture (CCA) (研究契約先:カリフォルニア工科大学)	100teraflop 性能を検証
群(swarm)コンピューティング	アモーファスコンピューティングプログラム可能材料開発技術、アルゴリズム、アーキテクチャ (研究契約先:マサチューセッツ工科大学)	100万素子のアモーファスアレーの検証
量子コンピューティング	量子コンピューティング用エンジンの基礎開発(研究契約先:カリフォルニア工科大学)	量子コンピューティングの実現度決定

**表2.9　計算実行のための新規物理メカニズムの概要**
研究テーマ	研究開発項目	2000年度目標
DNAコンピューティング	計算実行技術開発と軍事NP-hard問題解決戦略立案	軍事アプリケーションのDNAコンピューティングへのポーティング
細胞工学	計算実行および低コスト計算エレメント製造のための生物工学開発	低コスト計算エレメント製造の実証
神経ネットワーク	電子回路と直接相互作用する合成神経網の試験管培養	2細胞神経網とシリコンロジック間の計算の実証

量子コンピュータは複数個の電子、イオンなどの量子力学的状態（qubit）の重ね合わせを利用して並列計算を実行する。56 qubitの場合２⁵⁶（7.2057×10¹⁷）通りの計算を一度に処理してしまう。このことは桁数の大きい整数の因数分解は現状のスーパーコンピュータを使っても解読に非常に長い時間がかかるので安全だとしている暗号の信頼性を揺るがすことになり、国家安全保障上からも量子コンピューティングの研究がにわかに活発になってきている。

現時点での量子コンピューティング研究の状況は、アルゴリズム、誤り訂正理論研究、ゲート設計および基本的なデバイスを作成して動作原理確認を行っている段階であるが、大学、国立研究所および民間企業においても盛んに研究が行われているようである。WEBで公開されている代表的な研究機関を以下にあげておく。

QUICは（2）のDARPA Ultrascale Computing Programのファンドを受けているものでカリフォルニア工科大学、南カリフォルニア大学の共同プロジェクトである。

このプロジェクトもDARPAの支援を受けたもので、スタンフォード大学、カリフォルニア大学バークレー校、マサチューセッツ工科大学、IBMの共同で推進されている。

Quantum Cryptography、Quantum Teleportation、特定計算の指数関数的スピードアップが主テーマとなっている。

2000年度版ブルーブックに記載されている量子コンピューティング関係の研究動向を以下に記す。そのほかの新しい概念としてバイオコンピュータ技術、光コンピュータ技術というキーワードはでているが、その内容は記載されていない。[3]

国家安全局（NSA: National Security Agency）のサポートで、9つを超える数の大学と企業が研究を行っている。期待されている研究成果は以下の通り。

・古典的な情報通信理論の量子版を開発する。将来の量子コンピューティングの設計と評価に役立てる。

・「隠れたサブグループ（hidden subgroup）」問題を新しい量子アルゴリズムの設計に適用する。

・従来型コンピュータと量子コンピュータの間に位置するモデルで達成できる計算能力を研究する。

・光子間に量子論理ゲートを導入するために新しいパルスレーザー技術を検証する。

・コヒーレントな量子状態における少数イオンに対する操作を達成する。

・量子の重ね合わせ、もつれ、多重qubit操作の証拠を明らかにする。

将来の研究では1-qubitの操作を実証すること、原子を捕らえる光格子法を使って2-qubitの操作を達成する実験を行うこと、すでに達成されているよりもっと詳しく１揃いのqubitのダイナミクス（動力学）をシミュレートすることを計画している。

NASAの量子コンピューティングプロジェクトの最初のフェーズ（５年間）は1999年度に終了。実用的な量子コンピュータの開発には20年かそれ以上の年数の研究が必要かもしれないと見ている。

DOEのオークリッジ国立研究所（ORNL : Oak Ridge National Laboratory）は、量子コンピューティングと通信の分野の研究領域である量子テレポーテーションを研究する最先端の研究所を設立した。高出力の1,000兆分の１秒パルスレーザーを使ってシグナル発信機と発信されたシグナルが量子力学的にもつれ合った状態での実験を行っている。

NSAでは、基本的な保護モードとして量子物理学を使用するキー交換技法を採用することによって、攻撃に影響されることのない新しいクラスの暗号化について研究を行っている。最近の研究では47キロメートルの光ファイバー・ケーブル上でのキー交換実現の可能性を示した。

我が国においても、量子コンピューティングは電総研、理化学研究所、大学、日本電気、三菱電機の研究所などで活発に研究が行われており、これからの成果が期待できるのではないかと思われる。

[1] 2000年度版ブルーブックの和訳は下記のところで公開されている

[2] ペタフロップスマシン技術に関する調査研究　III,1999年3月

[3] ペタフロップスマシン技術に関する調査研究　II,1998年3月

[4] ペタフロップスマシン技術に関する調査研究　I,1997年3月

[5] Thomas Sterling, Paul Mesina and Paul H. Smith, ペタフロップスコンピュータ

西野哲朗、中国人郵便配達問題=コンピュータサイエンス最大の難関（講談社、1999）

David Deutsch , The Fabric of Reality : The Science of Parallel Universes-And Its Implications (Scholastic Paperbacks,1998)
A. ヘイ、R. アレン、ファインマン計算機科学（1999, 岩波書店）