IIJ 次世代モジュール型エコ・データセンター 実証実験サイトでは300台のサーバが全てOpenBSDで動いている(キリッ

何故かIIJの次世代データセンタの実験施設に招待されたので見学してきた。
Geekなページのあきみちさんや東工大の首藤先生などその方面で有名な方々が集っている中、どうして私が呼ばれたんだろうと思ったがどう考えてもOpenBSD枠ですね本当にありがとうございました。


◯お話を聞いた
・従来型のデータセンターの課題
建物の建築費用が高く、一度にまとめて広いフロアを建設しなければならず、建設にも一年単位の時間がかかるので需要に合わせた供給を行なうのが難しい。
この為、需要を見越して先行投資する事になるが、そうすると運用開始してすぐに利用率を100%にする事は難しい。埋まるまで商売苦しい><;


IT機器にかかる電力と同じかそれ以上の電力を冷却に費やしている。
また、IT機器の小型化・発熱量の増大に冷却システムが追いついておらず、42Uにぎっちりサーバを詰め込むような運用が難しい。
ラックスペースを浪費している。


・そうだ外気冷却型のコンテナにしよう
冷却に使うコンプレッサが最も電気を食う。
外気を用いて冷却すれば冷却にかかる電気消費を抑えられる。
コンテナ筐体を単に平積みで並べるだけにすれば建築コストも低減出来る。
従来型データセンターと違ってコンテナ単位で需要に応じて段階的に増設出来、建設にかかる期間も短い。
コンテナにシステムを詰め込んでトラックで運んできて現地に固定するだけ。置くだけなら半日。


・実験してみる
まずは実証実験を行ってみた。
実験用地・コンテナの開発はNLMエカル、電気空調設備は東芝、防災・消防設備は能美防災、ラック・分電盤は河村電器産業に頼んだ。
この実験は主に外気冷却型コンテナの冷却効率や電気効率を評価するもので、サーバで何かをするのはあまり重要でなく、熱を発していれば何でも良かった。本当はホットプレートでもよかったんだけど、流石に燃えそうだったので辞めた。
新品をラック全部埋めるだけ買う予算が無かったのでKSG(コンピュータのおっと)に頼んで中古をかき集めてもらった。
中古だったので全機種同じという訳に行かず、ラックによって熱量が偏らないように計算してバランスよくラックに配置するのが大変だった(!)。


データセンターの消費電力削減・外気冷却方式の普及促進の為、ASHRAE(米国暖房冷凍空調学会)は2008年にデータセンター内の温湿度条件を緩和した:
http://tc99.ashraetcs.org/documents/ASHRAE_Extended_Environmental_Envelope_Final_Aug_1_2008.pdf


この実験では外気冷却を利用しつつ、この2008年バージョンの推奨値規格に準拠する事を目指している。


外気を使うという事は、季節・時刻によって刻々と気温・湿度が変化するから、単純に外気をコンピュータに吹きつけるだけではASHRAEの温湿度条件に準拠出来ない。


夏期の気温・湿度が高い時は排気を循環させて冷却装置を用いて温度・湿度を下げる。これは普通のDCと同じ。
冬期の気温が低い時はいきなり全力で外気を吹きつけると結露するので程良く排気の温かい空気を混ぜる。
春・秋は外気を直接取り込む。
詳しくはASCIIの記事を参照:
http://ascii.jp/elem/000/000/500/500186/


電気利用効率の指標としてはPUEがある。
PUE=データセンタ全体の消費電力÷IT機器の消費電力
従来型のDCでは一般的に2.x程度、かなり努力して1.4x程度と言われている。
1.2以下は国内の商用サービスでは実現していない。


本実験では冬期の混合運転モードで実測Partial PUE(※配電盤・UPSを含まないPUE)1.07を達成。
通年1.1台を目指し夏期の循環運転モードを極力減らす努力を続けている。


・商用サービスに向けて
来年には商用サービス向けに建設し、IIJ GIO(クラウドサービス)のインフラとして運用を開始する。


OpenBSD
実験サーバのOSは全てOpenBSDをインストールしてある(!)
実験に使っている温湿度計はストロベリーリナックス社の製品で、全て実験サーバに接続されsensor deviceとして動いている(!!)
yuo先生の仕業。温湿度計のドライバ書いたのもyuoさん。
パネェ…


送信者 Aug 06, 2010 IIJ Container DC
全体像

送信者 Aug 06, 2010 IIJ Container DC
関係各社

送信者 Aug 06, 2010 IIJ Container DC
冷却システム

送信者 Aug 06, 2010 IIJ Container DC
後ろに並んでるのはクーラーの室外機とおんなじやつ

送信者 Aug 06, 2010 IIJ Container DC
ここから人が入って冷却システムのメンテナンスを行える

送信者 Aug 06, 2010 IIJ Container DC
コンテナと冷却システムのつなぎ目

送信者 Aug 06, 2010 IIJ Container DC
コンテナ入り口

送信者 Aug 06, 2010 IIJ Container DC
コンテナは土台とこれで固定されてる

送信者 Aug 06, 2010 IIJ Container DC
中は二重扉になってる

送信者 Aug 06, 2010 IIJ Container DC
LED照明だった

送信者 Aug 06, 2010 IIJ Container DC
配電盤。触ったら死ぬぞって言われた。

送信者 Aug 06, 2010 IIJ Container DC
これが例のUSB温湿度計らしい。

送信者 Aug 06, 2010 IIJ Container DC
排熱側のエリア。

送信者 Aug 06, 2010 IIJ Container DC
ちゃんとUSBに温湿度計が刺さってる。

送信者 Aug 06, 2010 IIJ Container DC
排熱用ファン…だったが、実は回さなくても風速が強いから十分排熱出来たらしい。

送信者 Aug 06, 2010 IIJ Container DC
外気冷却をフルで回すと最大風速11mにもなるらしく、その勢いだと万が一火災が起きても天井に付けた火災報知器は反応しない。排熱口にパイプを設置し、ここに火災報知器を設置。

送信者 Aug 06, 2010 IIJ Container DC
表側。

送信者 Aug 06, 2010 IIJ Container DC
サーバの機種がバラバラ。

送信者 Aug 06, 2010 IIJ Container DC
実は私、4Gなんです。

送信者 Aug 06, 2010 IIJ Container DC
みっちり詰め込まれる1Uサーバ達。

送信者 Aug 06, 2010 IIJ Container DC
外気が入ってくる所。この時は循環運転モードになってたからフルパワーじゃなかったっぽい。

送信者 Aug 06, 2010 IIJ Container DC
この白い子はどなた?自作??

関連記事:
[http://www.shudo.net/diary/2010aug.html#20100806:title]
[http://d.hatena.ne.jp/futsu-9/20100806/p1:title]
[http://blog.virtualtech.jp/itooon/427:title]
[http://www.iij.ad.jp/news/iijnews/2010/vol99.html:title]
[http://www.google.com/search?hl=ja&q=IIJ+%E3%82%B3%E3%83%B3%E3%83%86%E3%83%8A+%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%B3%E3%82%BF:title]