「ゼロから作るDeep Learning」第12回(4/25)

Posted on by 0 comment

参加者 沼田(読み手)、青木(記)
範囲 pp.123 – 135

5章 誤差逆伝播法

  • 5.1 計算グラフ
    • 5.1.1 計算グラフで解く
    • 5.1.2 局所的な計算
    • 51.3 なぜ計算グラフで解くのか?
    • 5.2 連鎖律
      • 5.2.1 計算グラフの逆伝播
      • 5.2.2 連鎖律とは
      • 5.2.3 連鎖律と計算グラフ
    • 5.3 逆伝播
      • 5.3.1 加算ノードの逆伝播
      • 5.3.2 乗算ノードの逆伝播

「ゼロから作るDeep Learning」第11回(4/21)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
範囲 pp.112 – 122

4章 ニューラルネットワークの学習

  • 4.5 学習アルゴリズムの実装
    • 4.5.1 2層ニューラルネットワークのクラス
    • 4.5.2 ミニバッチ学習の実装
    • 4.5.3 テストデータで評価
  • 4.6 まとめ

「ゼロから作るDeep Learning」第10回(4/18)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
範囲 pp.106 – 112

4章 ニューラルネットワークの学習

  • 4.4 勾配
    • 4.4.1 勾配法
    • 4.4.2 ニューラルネットワークに対する勾配

「ゼロから作るDeep Learning」第9回(4/14)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.97-106

4章 ニューラルネットワークの学習

  • 4.3 数値微分
    • 4.3.1 微分
      • p.98 中ほど
        10e-50は、0が50個ではなく49個だよね。(整数部含めて)
        中ほど以降の実行例や本文では1e-50になっているし、普通は整数部を1桁または0桁で書くことが多いと思うので、単に1×10-50 の10と混同して10e-50と書いてしまったのでしょう。
    • 4.3.2 数値微分の例
    • 4.3.3 偏微分
  • 4.4 勾配

「ゼロから作るDeep Learning」第8回(4/11)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
範囲 pp.87 – 97

4章 ニューラルネットワークの学習

  • 4.2 損失関数
    • 4.2.1 2乗和誤差
    • 4.2.2 交差エントロピー誤差
    • 4.2.3 ミニバッチ学習
    • 4.2.4 [バッチ対応版]交差エントロピー誤差の実装
    • 4.2.5 なぜ損失関数を設定するのか?

「ゼロから作るDeep Learning」第7回(4/7)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
範囲 pp.75 – 87

3章 ニューラルネットワーク

  • 3.6
    • 3.6.2 ニューラルネットワークの推論処理
    • 3.6.3 バッチ処理
      • p.80 rangeの例のあとにあるx[i:i+batch_n]の説明
        取り出されるのはi+batch_n-1番目では?
  • 3.7 まとめ

4章 ニューラルネットワークの学習

  • 4.1 データから学習する
    • 4.1.1 データ駆動
    • 4.1.2 訓練データとテストデータ

「ゼロから作るDeep Learning」第6回(4/4)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.64-75

3章 ニューラルネットワーク

  • 3.4 3層ニューラルネットワークの実装
    • 3.4.3 実装のまとめ
  • 3.5 出力層の設計
    • 3.5.1 恒等関数とソフトマックス関数
    • 3.5.2 ソフトマックス関数の実装上の注意
    • 3.5.3 ソフトマックス関数の特徴
    • 3.5.4 出力層のニューロンの数
  • 3.6 手書き数字認識
    • 3.6.1 MNISTデータセット

「ゼロから作るDeep Learning」第5回(3/31)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
範囲 pp.51-64

3章 ニューラルネットワーク

  • 3.2 活性化関数
    • 3.2.7 ReLU関数
  • 3.3 多次元配列の計算
    • 3.3.1 多次元配列
    • 3.3.2 行列の内積
    • 3.3.3 ニューラルネットワークの内積
  • 3.4 3層ニューラルネットワークの実装
    • 3.4.1 記号の確認
    • 3.4.2 各層における信号伝達の実装

「ゼロから作るDeep Learning」第4回(3/28)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
範囲 pp.39 – 51

3章 ニューラルネットワーク

  • 3.1 パーセプトロンからニューラルネットワークへ
    • 3.1.1 ニューラルネットワークの例
    • 3.1.2 パーセプトロンの復習
    • 3.1.3 活性化関数の登場
  • 3.2 活性化関数
    • 3.2.1 シグモイド関数
    • 3.2.2 ステップ関数の実装
    • 3.2.3 ステップ関数のグラフ
    • 3.2.4 シグモイド関数の実装
    • 3.2.5 シグモイド関数とステップ関数の比較
    • 3.2.6 非線形関数

「ゼロから作るDeep Learning」第3回(3/24)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.21-37

2章 パーセプトロン

  • 2.1 パーセプトロンとは
  • 2.2 単純な論理回路
    • 2.2.1 ANDゲート
    • 2.2.2 NANDゲートとORゲート
  • 2.3 パーセプトロンの実装
    • 2.3.1 簡単な実装
      • p.25 上のコードのelif
        数式から考えるとelifだけどプログラムコード的に考えるとelseでいいと思う。
    • 2.3.2 重みとバイアスの導入
    • 2.3.3 重みとバイアスによる実装
      • p.27 上のコード
        p.25のelif部分がelseになりました。
      • p.27 コード最下行のコメント
        重みはANDと一緒だけど?→変更されうる箇所は重みとバイアスだけという意味で。
  • 2.4 パーセプトロンの限界
    • 2.4.1 XORゲート
    • 2.4.2 線形と非線形
  • 2.5 多層パーセプトロン
    • 2.5.1 既存ゲートの組み合わせ
    • 2.5.2 XORゲートの実装
  • 2.6 NANDからコンピュータへ
  • 2.7 まとめ