Monthly Archives: 10月 2018

「ゼロから作るDeep Learning ❷」第23回(10/19)

参加者 青木(読み手)、今井、沼田(記)
pp.292 – 304

7章 RNNによる文章生成

  • 7.2 seq2seq
    • 7.2.3 可変長の時系列データ
    • 7.2.4 足し算データセット
  • 7.3 seq2seqの実装
    • 7.3.1 Encoderクラス
    • 7.3.2 Decoderクラス(Decoderクラスのソースの次の段落まで)

「ゼロから作るDeep Learning ❷」第22回(10/16)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.277-292

7章 RNNによる文章生成

  • 7.1 言語モデルを使った文章生成
    • 7.1.1 RNNによる文章生成の手順
    • 7.1.2 文章生成の実装
    • 7.1.3 さらに良い文章へ
  • 7.2 seq2seq
    • 7.2.1 seq2seqの原理
    • 7.2.2 時系列データ変換用のトイ・プロブレム

「ゼロから作るDeep Learning ❷」第21回(10/12)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
pp.259 – 275

6章 ゲート付きRNN

  • 6.5 RNNLMのさらなる改善
    • 6.5.1 LSTMレイヤの多層化
    • 6.5.2 Dropoutによる過学習の抑制
    • 6.5.3 重み共有
    • 6.5.4 より良いRNNLMの実装
    • 6.5.5 最先端の研究へ
  • 6.6 まとめ

「ゼロから作るDeep Learning ❷」第20回(10/9)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
pp.249 – 259

6章 ゲート付きRNN

  • 6.3 LSTMの実装
  • 6.4 LSTMを使った言語モデル

「ゼロから作るDeep Learning ❷」第19回(10/2)

Posted on by 0 comment

参加者 沼田(読み手)、青木(記)
pp.233 – 249

6章 ゲート付きRNN

  • 6.2 勾配消失とLSTM
    • 6.2.1 LSTMのインタフェース
    • 6.2.2 LSTMのレイヤの組み立て
    • 6.2.3 outputゲート
    • 6.2.4 forgetゲート
    • 6.2.5 新しい記憶セル
    • 6.2.6 inputゲート
    • 6.2.7 LSTMの勾配の流れ
  • 6.3 LSTMの実装