「ゼロから作るDeep Learning」第26回(6/19)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.269-285

8章 ディープラーニング

  • 8.5 ディープラーニングの未来
    • 8.5.4 Deep Q-Network (強化学習)
  • 8.6 まとめ

付録A Softmax-with-Lossレイヤの計算グラフ

  • A.1 順伝播
  • A.2 逆伝播
  • A.3 まとめ

読了

「ゼロから作るDeep Learning」第25回(6/16)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
範囲 pp.260 – 269

8章 ディープラーニング

  • 8.4 ディープラーニングの実用例
    • 8.4.1 物体検出
    • 8.4.2 セグメンテーション
    • 8.4.3 画像キャプション生成
  • 8.5 ディープラーニングの未来
    • 8.5.1 画像スタイル変換
    • 8.5.2 画像生成
    • 8.5.3 自動運転

 

「ゼロから作るDeep Learning」第24回(6/13)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
範囲 pp.252 – 260

8章 ディープラーニング

  • 8.2 ディープラーニングの小歴史
    • 8.2.4 ResNet
  • 8.3 ディープラーニングの高速化
    • 8.3.1 取り組むべき問題
    • 8.3.2 GPUによる高速化
    • 8.3.3 分散学習
    • 8.3.4 演算精度のビット削減

「ゼロから作るDeep Learning」第23回(6/9)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.241-252

8章 ディープラーニング

  • 8.1 ネットワークをより深く
    • 8.1.1 よりディープなネットワークへ
    • 8.1.2 さらに認識精度を高めるには
    • 8.1.3 層を深くすることのモチベーション
  • 8.2 ディープラーニングの小歴史
    • 8.2.1 ImageNet
    • 8.2.2 VGG
    • 8.2.3 GoogLeNet

「ゼロから作るDeep Learning」第22回(6/6)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
範囲 pp.229 – 239

7章 畳み込みニューラルネットワーク

  • 7.5 CNNの実装
    • p.231 SimpleConvNetクラス
      初期化時に高さしか見ていないのは高さと幅が一緒という前提がある?
  • 7.6 CNNの可視化
    • 7.6.1 1層目の重みの可視化
    • 7.6.2 階層構造による情報抽出
  • 7.7 代表的なCNN
    • 7.7.1 LeNet
    • 7.7.2 AlexNet
  • 7.8 まとめ

「ゼロから作るDeep Learning」第21回(6/2)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
範囲 pp.224 – 229

7章 畳み込みニューラルネットワーク

  • 7.4 Convolution/Poolingレイヤの実装
    • 7.4.3 Convolutionレイヤの実装
      • p.225 ページ中ほどのコード
        col1のshapeが(9, 75)なのはフィルタをかけた後の出力サイズ9とフィルタの要素数の総和75(3x5x5)なのでしょう。
    • 7.4.4 Poolingレイヤの実装

「ゼロから作るDeep Learning」第20回(5/30)

Posted on by 0 comment

参加者 沼田(読み手)、青木(記)
範囲 pp.208 – 224

7章 畳み込みニューラルネットワーク

  • 7.2 畳み込み層
    • 7.2.2 畳み込み演算
    • 7.2.3 パディング
    • 7.2.4 ストライド
    • 7.2.5 3次元データの畳み込み演算
    • 7.2.6 ブロックで考える
    • 7.2.7 バッチ処理
  • 7.3 プーリング層
    • 7.3.1 プーリング層の特徴
  • 7.4 Convolution/Poolingレイヤの実装
    • 7.4.1 4次元配列
    • 7.4.2 im2colによる展開

「ゼロから作るDeep Learning」第19回(5/26)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
範囲 pp.197 – 207

6章 学習に関するテクニック

  • 6.5 ハイパーパラメータの検証
    • 6.5.1 検証データ
    • 6.5.2 ハイパーパラメータの最適化
    • 6.5.3 ハイパーパラメータ最適化の実装
      • p.202 末尾
        ハイパーパラメータ(脱字)
  • 6.6 まとめ

7章 畳み込みニューラルネットワーク

  • 7.1 全体の構造
  • 7.2 畳み込み層
    • 7.2.1 全結合層の問題点
    • p.207 第三段落の2行目
      RBGはRGBの誤記?

「ゼロから作るDeep Learning」第18回(5/23)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.189-197

6章 学習に関するテクニック

  • 6.4 正則化
    • 6.4.1 過学習
    • 6.4.2 Weight decay
      • p.194 L1ノルム, L2ノルムについて少しだけ調べました。(Ref. ノルム, \(L^p\)空間)
        ノルムはベクトル空間における「距離」を与えるための数学の道具。
        \(L^pノルム = \sqrt[p]{|x_1|^p + |x_2|^p + \cdots + |x_n|^p}\)
        \(L^\inftyノルム\)は、\(p\rightarrow\infty\)に対する\(L^pノルム\)の極限で、\(\max\{|x_1|, |x_2|, \cdots, |x_n|\}\)と同値。
    • 6.4.3 Dropout

「ゼロから作るDeep Learning」第17回(5/19)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
範囲 pp.177 – 189

6章 学習に関するテクニック

  • 6.2 重みの初期値
    • 6.2.1 重みの初期値を0にする?
    • 6.2.2 隠れ層のアクティベーション分布
    • 6.2.3 ReLUの場合の重みの初期値
    • 6.2.4 MNISTデータセットによる重みの初期値の比較
      • 図6-14
        Xavierの初期値もゼロは突出しているのはなぜ?ゼロ以下ならゼロを出力する関数だから?
  • 6.3 Batch Normalization
    • 6.3.1 Batch Normalizationのアルゴリズム
    • 6.3.2 Batch Normalizationの評価