Category Archives: 勉強会記録

「ゼロから作るDeep Learning ❷」第23回(10/19)

参加者 青木(読み手)、今井、沼田(記)
pp.292 – 304

7章 RNNによる文章生成

  • 7.2 seq2seq
    • 7.2.3 可変長の時系列データ
    • 7.2.4 足し算データセット
  • 7.3 seq2seqの実装
    • 7.3.1 Encoderクラス
    • 7.3.2 Decoderクラス(Decoderクラスのソースの次の段落まで)

「ゼロから作るDeep Learning ❷」第22回(10/16)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.277-292

7章 RNNによる文章生成

  • 7.1 言語モデルを使った文章生成
    • 7.1.1 RNNによる文章生成の手順
    • 7.1.2 文章生成の実装
    • 7.1.3 さらに良い文章へ
  • 7.2 seq2seq
    • 7.2.1 seq2seqの原理
    • 7.2.2 時系列データ変換用のトイ・プロブレム

「ゼロから作るDeep Learning ❷」第21回(10/12)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
pp.259 – 275

6章 ゲート付きRNN

  • 6.5 RNNLMのさらなる改善
    • 6.5.1 LSTMレイヤの多層化
    • 6.5.2 Dropoutによる過学習の抑制
    • 6.5.3 重み共有
    • 6.5.4 より良いRNNLMの実装
    • 6.5.5 最先端の研究へ
  • 6.6 まとめ

「ゼロから作るDeep Learning ❷」第20回(10/9)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
pp.249 – 259

6章 ゲート付きRNN

  • 6.3 LSTMの実装
  • 6.4 LSTMを使った言語モデル

「ゼロから作るDeep Learning ❷」第19回(10/2)

Posted on by 0 comment

参加者 沼田(読み手)、青木(記)
pp.233 – 249

6章 ゲート付きRNN

  • 6.2 勾配消失とLSTM
    • 6.2.1 LSTMのインタフェース
    • 6.2.2 LSTMのレイヤの組み立て
    • 6.2.3 outputゲート
    • 6.2.4 forgetゲート
    • 6.2.5 新しい記憶セル
    • 6.2.6 inputゲート
    • 6.2.7 LSTMの勾配の流れ
  • 6.3 LSTMの実装

「ゼロから作るDeep Learning ❷」第18回(9/28)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
pp.219 – 233

5章 リカレントニューラルネットワーク(RNN)

  • 5.5 RNNLMの学習と評価
    • 5.5.4 RNNLMのTrainerクラス
  • 5.6 まとめ

6章 ゲート付きRNN

  • 6.1 RNNの問題点
    • 6.1.1 RNNの復習
    • 6.1.2 勾配消失もしくは勾配爆発
    • 6.1.3 勾配消失もしくは勾配爆発の原因
    • 6.1.4 勾配爆発への対策

「ゼロから作るDeep Learning ❷」第17回(9/25)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.205-219

5章 リカレントニューラルネットワーク (RNN)

    • 5.4 時系列データを扱うレイヤの実装
      • 5.4.1 RNNLMの全体図
      • 5.4.2 Timeレイヤの実装
    • 5.5 RNNLMの学習と評価
      • 5.5.1 RNNLMの実装
      • 5.5.2 言語モデルの評価
      • 5.5.3 RNNLMの学習コード

「ゼロから作るDeep Learning ❷」第16回(9/21)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.188 – 205

5章 リカレントニューラルネットワーク(RNN)

  • 5.2 RNNとは
    • 5.2.4 Truncated BPTT
    • 5.2.5 Truncated BPTTのミニバッチ学習
  • 5.3 RNNの実装
    • 5.3.1 RNNレイヤの実装
    • 5.3.2 Time RNNレイヤの実装

「ゼロから作るDeep Learning ❷」第15回(9/18)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.175-188

5章 リカレントニューラルネットワーク (RNN)

    • 5.1 確率と言語モデル
      • 5.1.1 word2vecを確率の視点から眺める
      • 5.1.2 言語モデル
      • 5.1.3 CBOWモデルを言語モデルに?
    • 5.2 RNNとは
      • 5.2.1 循環するニューラルネットワーク
      • 5.2.2 ループの展開
      • 5.2.3 Backpropagation Through Time

「ゼロから作るDeep Learning ❷」第14回(9/14)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
範囲 pp.163 – 175

4章 word2vecの高速化

  • 4.3 改良版word2vecの学習
    • 4.3.2 CBOWモデルの学習コード
    • 4.3.3 CBOWモデルの評価
  • 4.4 word2vecに関する残りのテーマ
    • 4.4.1 word2vecを使ったアプリケーションの例
    • 4.4.2 単語ベクトルの評価方法
  • 4.5 まとめ

5章 リカレントニューラルネットワーク