「クラウド大全」出ました!

クラウド大全という本の第10章を書かせて頂きました。

クラウド大全

クラウド大全

EC2の大家、id:rx7さんにも紹介して頂いております。

EC2, Force.com, AppEngine, Androidなど最近のクラウドについての話題が1冊で概観できる本になっておりますので、本屋で手に取って見て下さい。
僕は10章でHadoopの使い方等を書かせて頂きました。ここだけプログラマ寄り(超実践寄り)の内容になっていて、自分的には満足です(笑)

以下、目次です。

===== 第1部 クラウド入門 =====

第1章 今、何が起きているのか
1.1 クラウドは「コンピュータの集中」
1.2 データセンターの規模の経済
1.3 クラウド上のエコシステム
1.4 クラウドで主流に躍り出る分散処理

第2章 クラウド登場の背景と将来展望
2.1 クラウドコンピューティングが生まれた理由
2.2 ベンダーの取り組み
2.3 クラウドコンピューティングの行方

第3章 連携強まるモバイルとクラウド
3.1 クラウド連携に向かうモバイルの大きな動き
3.2 モバイルとクラウドで実現する世界
3.3 モバイルクラウドを手がける各社の戦略
3.4 モバイルクラウドの展望と課題


===== 第2部 サービスの詳細 =====

第4章 Amazon EC2
4.1 ITベンダーとしてのアマゾン
4.2 実録「ITproレコメンド」開発

第5章 Google App Engine
5.1 Google App Engineの特徴と魅力
5.2 GAEで作れるもの
5.3 データストアとDatastore API
5.4 エンタープライズ系アプリケーションとしての可能性
5.5 アプリケーションの紹介
5.6 利用上の課題・不安についての議論

第6章 Force.com
6.1 Force.comとは?
6.2 Force.comの構成要素と開発ツール
6.3 Force.comアプリケーション開発の実践例

第7章 Windows Azure
7.1 マイクロソフトのクラウド戦略「Software + Services」
7.2 Azure Services Platformの概要
7.3 Azure Services Platformのサービス
7.4 Windows Azure


===== 第3部 クラウドを支える技術 =====

第8章 3階層で見るクラウドの分散処理技術
8.1 クラウドの本質はスケーラビリティ
8.2 アプリケーションレイヤのスケーラビリティ
8.3 プラットフォームレイヤのスケーラビリティ
8.4 インフラストラクチャレイヤのスケーラビリティ

第9章 大規模分散処理基盤の開発
9.1 情報爆発――なぜクラウドが生まれているか?
9.2 技術開発競争
9.3 楽天の取り組み
9.4 情報爆発からイノベーションへ

第10章 Hadoopの導入と検証
10.1 Googleの基盤技術
10.2 Hadoopの概要とインストール
10.3 複数台でHadoopを動作させる
10.4 Amazon EC2/S3でHadoopを使う
10.5 大規模データ処理基盤ソフトの動向

製品紹介セミナー資料公開

「Extreme Search! 次世代検索エンジンSedueが実現する驚異のパフォーマンス」という題名でPFI初の製品紹介セミナーを行いました。

約50名の方にお越しいただきました、有難うございます。講演スライドは以下に公開しております。

是非、ご覧ください！

Jeff Dean’s Keynote @ WSDM2009

Google FellowのJeff DeanさんがWSDM 2009で発表したキーノートの資料が公開されています。

Googleの中身が相当詳しく書かれています。色々参考になったけれど、70億文書っていう数字(70M x 100)が少し気になった。意外と少ないなと。

約70億文書という事は、検索するだけならSSD100台ぐらいあれば良い。8個SATAのポート有るマザボ使えば、Google規模の検索を大体12台ぐらいで実現できる。価格にすると1000万かからない。半年後には半額。

Sedue SSDを使えばキャッシュなし通常クエリで約100q/秒で、キャッシュ工夫すれば少なく見積もっても10倍は行く。1000qp/秒。これで25億クエリ/月。

Googleが100億クエリ/月らしいので、代替50台ぐらい? あればまあ検索裁ける。キャッシュ頑張ればもっと減ると思う。まあクローリング・フィルタリング(どの70億ページを選ぶ?)・即時インデクシング・ランキング、そして一番重要なユーザー様を集める所はもちろん考えないといけない訳ですが。

精度は置いといて規模のマネっこは簡単そうなので、JH大航海の50億をちょっと分けて欲しい感じですねｗ

皮算用 & 釣り記事でした。

SSDを利用した検索エンジン

本日、SSDを利用した検索エンジンをリリースしました。

合わせて、Wikipediaの全言語2300万文書、約50GBのテキストを1台のSSDで検索するデモも公開しています。

4月にはPFIの製品紹介もかねた無料セミナーを行う予定ですので、ぜひお越しください。

このエンジンはライセンス提供・サービス運用・検索ASP提供などに活かして行きたいと思っています。と、ここまでが宣伝。

単純にHDDをSSDに変えるだけでは十分な性能が得られない事が分かったので、色々とSSDのデバイス特性に合わせた最適化が施されています。

それによって今回、10年前のGoogleが1台のPCに収まる技術が出来てしまった(1998年時点でのURL数が2600万)ので、じゃあ10年後(2018年)にはどうなってるか？と思いを馳せてみるとすっげえ楽しいです。

しかしほんと、ハードウェア屋さんには足を向けて寝れませんね。ソフトウェア屋さんとして、更に頑張って行きたいと思います。