Category Archives: クラウド大全

「クラウド大全」 第21回 (6月22日)

Posted on by 0 comment

参加者 沼田(読み手)、今井、青木(記)
範囲 pp. 323 – 335

第3部 クラウドを支える技術

第10章 Hadoopの導入と検証

  • 10.3 複数台でHadoopを動作させる
    • ノード構成
    • Hadoopのインストール
    • Hadoopの起動
    • 動作確認
    • ベンチマーク結果
  • 10.4 Amazon EC2/S3でHadoopを使う
  • 10.5 大規模データ処理基盤ソフトの動向

「クラウド大全」は今回で終了です。お疲れ様でした。
次回(6/25)からは「Google App Engine for Java[実践]クラウドシステム構築 (株)グルージェント著」です。

Category: クラウド大全

「クラウド大全」 第20回 (6月18日)

Posted on by 0 comment

参加者 青木(読み手)、渡辺、沼田、今井(記)
範囲 pp. 312 – 323

第3部 クラウドを支える技術

第10章 Hadoopの導入と検証

  • 10.2 Hadoopの概要とインストール
    • Hadoopのインストール (p.312 「サンプルプログラムを動かす」 ~)
      • p.313 リスト10.7
        mapが100%になる前にreduceの%が増えることはあるのだろうか

        あったような気がする。
        MapReduceの概念からはmapが終わらないとシャッフルできないのではないか?
        Combinerでもreduceしたときに増えるのでは?
      • p.315 リスト10.9
        hadoop dfs -rmrのrmr最後のrは何をあらわしているのだろう?
        → recursiveではないでしょうか。
    • HDFSのアーキテクチャ
      • p.316 l.3
        HFDSはHDFSの間違い
    • MapReduceの説明
  • 10.3 複数台でHadoopを動作させる
    • Hadoopのサーバ構成
      • p.323 図10.4
        マスターの左側、点線の上下に書かれているHDFSとMapReduceは逆。
Category: クラウド大全

「クラウド大全」 第19回 (6月15日)

参加者 今井(読み手)、青木、渡辺(記)
範囲 pp. 292 – 312

第3部 クラウドを支える技術

第9章 大規模分散処理基盤の開発

  • 9.3 楽天の取り組み
    • ROMA
  • 9.4 情報爆発からイノベーションへ
    • パワーシフト ~誰もがデータ処理する時代へ
    • ジャングル ~誰もがイノベーションを生み出す時代へ

第10章 Hadoopの導入と検証

  • 10.1 Googleの基盤技術
    • P304 l.22 「chubby」の読み方は?
      → ネットで検索したがWikipediaなどにも記載無し。?
      ”チャビーバニー”(Chubby bunny)というゲームがあるようなので「チャビー」が適当か?
  • 10.2 Hadoopの概要とインストール
    • Hadoopのインストール
Category: クラウド大全

「クラウド大全」 第18回 (6月11日)

Posted on by 0 comment

参加者 渡辺(読み手)、沼田、今井(記)
範囲 pp. 283 – 292

第3部 クラウドを支える技術

第9章 大規模分散処理基盤の開発

  • 9.3 楽天の取り組み
    • レコメンデーションとパーソナライズ
    • 大規模分散処理技術の開発
    • fairy
      • p.291 ワードカウントの例
        MapReduceではどうなっているのだろう?

        • MapReduceのmapがfairyの前のmap, reduceがgroup_byと後ろのmapに対応している?
        • group_byはMapReduceライブラリが行っている?
Category: クラウド大全

「クラウド大全」 第17回 (6月8日)

Posted on by 0 comment

参加者 青木(読み手)、渡辺、今井(記)
範囲 pp. 268 – 283

第3部 クラウドを支える技術

第9章 大規模分散処理基盤の開発

  • 9.2 技術開発競争
    • 分散高速データI/O
      • p.279 l.7 Lua の読み方は?
        → Wikipediaによると、「ルア」のようです。
    • 「エラー忘却型コンピューティング」と「結果一貫性」
    • 国内外で並行して進む開発
  • 9.3 楽天の取り組み
    • 楽天における開発の内製と楽天技術研究所
    • 楽天技術研究所の研究領域
    • 楽天スーパーDB
Category: クラウド大全

「クラウド大全」 第16回 (6月4日)

Posted on by 0 comment

参加者 今井(読み手)、青木、沼田(記)
範囲 pp. 250 – 268

第3部 クラウドを支える技術

第8章 3階層で見るクラウドの分散処理技術

  • 8.4 インフラストラクチャレイヤのスケーラビリティ
    • 仮想マシンのデプロイメント機能
      • テンプレートとクローンの違いは?クローンは仮想マシンだから変わっていくが、テンプレートはスナップショットということ?
    • Applogic
      • 図8.20内のアプライアンスの説明に脱字 内部構造的は→内部構造的

第9章 大規模分散処理基盤の開発

  • 9.1 情報爆発――なぜクラウドが生まれているか?
    • クラウドコンピューティング
    • 情報爆発
    • 集合知と巨大知
  • 9.2 技術開発競争
    • 大規模分散処理技術の誕生
    • 分散処理フレームワーク
Category: クラウド大全

「クラウド大全」 第15回 (6月1日)

Posted on by 0 comment

参加者 沼田(読み手)、今井、青木(記)
範囲 pp. 242 – 250

第3部 クラウドを支える技術

第8章 3階層で見るクラウドの分散処理技術

  • 8.3 プラットフォームレイヤのスケーラビリティ
    • オブジェクトコンテナの構成
    • 分散キャッシュのレプリケーション(オブジェクト同期)方式
      • p.245 「表8.1 分散キャッシュのレプリケーション方式の比較」でSync-Ack方式ではデータ保証が○となっているが、図8.13のノードBでは確実に変更を適用することが前提か
  • 8.4 インフラストラクチャレイヤのスケーラビリティ
    • OS仮想化とハードウェア仮想化
      • p.247 l.7 誤植
        インストールされていな状態→
        インストールされていない状態
    • ハードウェア仮想化の方式
Category: クラウド大全

「クラウド大全」 第14回 (5月28日)

Posted on by 0 comment

参加者 渡辺(読み手)、沼田(記)
範囲 pp. 230 – 242

第3部 クラウドを支える技術

第8章 3階層で見るクラウドの分散処理技術

  • 8.2 アプリケーションレイヤのスケーラビリティ
    • HDFSの概要
    • HBaseの概要
    • Hadoop MapReduceの概要
  • 8.3 プラットフォームレイヤのスケーラビリティ
    • 分散キャッシュ技術とは
    • オブジェクトコンテナのタイプとアクセスインタフェース
Category: クラウド大全

「クラウド大全」 第13回 (5月25日)

Posted on by 0 comment

参加者 青木(読み手)、沼田、今井(記)
範囲 pp. 212 – 230

第2部 サービスの詳細

第7章 Windows Azure

  • 7.4 Windows Azure
    • Windows Azureを構成する4要素 (p.212 「テーブル」~)
      • p.216
        ProductionやStagingにイメージを置いておくだけで(Runしていなくても)課金されるので注意。
      • p.216
        ProductionとStagingの機能的な違いは何だろう? Stagingでも外部からアクセスできないと動作確認できないだろうし。公開用URLかテスト用URLかの違い?
    • Windows Azureアプリケーションの構造
    • Windows Azureアプリケーションの開発とデバッグ

第3部 クラウドを支える技術

第8章 3階層で見るクラウドの分散処理技術

  • 8.1 クラウドの本質はスケーラビリティ
  • 8.2 アプリケーションレイヤのスケーラビリティ
    • Hadoopの設計思想
Category: クラウド大全

「クラウド大全」 第12回 (5月21日)

Posted on by 0 comment

参加者 今井(読み手)、青木、沼田(記)
範囲 pp. 191 – 212(図7.14まで)

第2部 サービスの詳細

第7章 Windows Azure

  • 7.1 マイクロソフトのクラウド戦略「Software + Services」
  • 7.2 Azure Services Platform の概要
  • 7.3 Azure Services Platform のサービス
    • .NET Services
    • SQL ServicesとSQL Data Service
    • Live Services
    • SharePoint ServicesとDynamics CRM Services
  • 7.4 Windows Azure
    • Windows Azureを構成する4要素
Category: クラウド大全