何故かIIJの次世代データセンタの実験施設に招待されたので見学してきた。
Geekなページのあきみちさんや東工大の首藤先生などその方面で有名な方々が集っている中、どうして私が呼ばれたんだろうと思ったがどう考えてもOpenBSD枠ですね本当にありがとうございました。
◯お話を聞いた
・従来型のデータセンターの課題
建物の建築費用が高く、一度にまとめて広いフロアを建設しなければならず、建設にも一年単位の時間がかかるので需要に合わせた供給を行なうのが難しい。
この為、需要を見越して先行投資する事になるが、そうすると運用開始してすぐに利用率を100%にする事は難しい。埋まるまで商売苦しい><;
IT機器にかかる電力と同じかそれ以上の電力を冷却に費やしている。
また、IT機器の小型化・発熱量の増大に冷却システムが追いついておらず、42Uにぎっちりサーバを詰め込むような運用が難しい。
ラックスペースを浪費している。
・そうだ外気冷却型のコンテナにしよう
冷却に使うコンプレッサが最も電気を食う。
外気を用いて冷却すれば冷却にかかる電気消費を抑えられる。
コンテナ筐体を単に平積みで並べるだけにすれば建築コストも低減出来る。
従来型データセンターと違ってコンテナ単位で需要に応じて段階的に増設出来、建設にかかる期間も短い。
コンテナにシステムを詰め込んでトラックで運んできて現地に固定するだけ。置くだけなら半日。
・実験してみる
まずは実証実験を行ってみた。
実験用地・コンテナの開発はNLMエカル、電気空調設備は東芝、防災・消防設備は能美防災、ラック・分電盤は河村電器産業に頼んだ。
この実験は主に外気冷却型コンテナの冷却効率や電気効率を評価するもので、サーバで何かをするのはあまり重要でなく、熱を発していれば何でも良かった。本当はホットプレートでもよかったんだけど、流石に燃えそうだったので辞めた。
新品をラック全部埋めるだけ買う予算が無かったのでKSG(コンピュータのおっと)に頼んで中古をかき集めてもらった。
中古だったので全機種同じという訳に行かず、ラックによって熱量が偏らないように計算してバランスよくラックに配置するのが大変だった(!)。
データセンターの消費電力削減・外気冷却方式の普及促進の為、ASHRAE(米国暖房冷凍空調学会)は2008年にデータセンター内の温湿度条件を緩和した:
http://tc99.ashraetcs.org/documents/ASHRAE_Extended_Environmental_Envelope_Final_Aug_1_2008.pdf
この実験では外気冷却を利用しつつ、この2008年バージョンの推奨値規格に準拠する事を目指している。
外気を使うという事は、季節・時刻によって刻々と気温・湿度が変化するから、単純に外気をコンピュータに吹きつけるだけではASHRAEの温湿度条件に準拠出来ない。
夏期の気温・湿度が高い時は排気を循環させて冷却装置を用いて温度・湿度を下げる。これは普通のDCと同じ。
冬期の気温が低い時はいきなり全力で外気を吹きつけると結露するので程良く排気の温かい空気を混ぜる。
春・秋は外気を直接取り込む。
詳しくはASCIIの記事を参照:
http://ascii.jp/elem/000/000/500/500186/
電気利用効率の指標としてはPUEがある。
PUE=データセンタ全体の消費電力÷IT機器の消費電力
従来型のDCでは一般的に2.x程度、かなり努力して1.4x程度と言われている。
1.2以下は国内の商用サービスでは実現していない。
本実験では冬期の混合運転モードで実測Partial PUE(※配電盤・UPSを含まないPUE)1.07を達成。
通年1.1台を目指し夏期の循環運転モードを極力減らす努力を続けている。
・商用サービスに向けて
来年には商用サービス向けに建設し、IIJ GIO(クラウドサービス)のインフラとして運用を開始する。
・OpenBSD
実験サーバのOSは全てOpenBSDをインストールしてある(!)
実験に使っている温湿度計はストロベリーリナックス社の製品で、全て実験サーバに接続されsensor deviceとして動いている(!!)
yuo先生の仕業。温湿度計のドライバ書いたのもyuoさん。
パネェ…
全体像
関係各社
冷却システム
後ろに並んでるのはクーラーの室外機とおんなじやつ
ここから人が入って冷却システムのメンテナンスを行える
コンテナと冷却システムのつなぎ目
コンテナ入り口
コンテナは土台とこれで固定されてる
中は二重扉になってる
LED照明だった
配電盤。触ったら死ぬぞって言われた。
これが例のUSB温湿度計らしい。
排熱側のエリア。
ちゃんとUSBに温湿度計が刺さってる。
排熱用ファン…だったが、実は回さなくても風速が強いから十分排熱出来たらしい。
外気冷却をフルで回すと最大風速11mにもなるらしく、その勢いだと万が一火災が起きても天井に付けた火災報知器は反応しない。排熱口にパイプを設置し、ここに火災報知器を設置。
表側。
サーバの機種がバラバラ。
実は私、4Gなんです。
みっちり詰め込まれる1Uサーバ達。
外気が入ってくる所。この時は循環運転モードになってたからフルパワーじゃなかったっぽい。
この白い子はどなた?自作??
関連記事:
[http://www.shudo.net/diary/2010aug.html#20100806:title]
[http://d.hatena.ne.jp/futsu-9/20100806/p1:title]
[http://blog.virtualtech.jp/itooon/427:title]
[http://www.iij.ad.jp/news/iijnews/2010/vol99.html:title]
[http://www.google.com/search?hl=ja&q=IIJ+%E3%82%B3%E3%83%B3%E3%83%86%E3%83%8A+%E3%83%87%E3%83%BC%E3%82%BF%E3%82%BB%E3%83%B3%E3%82%BF:title]