Monthly Archives: 10月 2018

「ゼロから作るDeep Learning ❷」第26回(10/30)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
pp.329 – 345

8章 Attention

  • 8.1.3 Decoderの改良(1)
  • 8.1.4 Decoderの改良(2)
  • 8.1.5 Decoderの改良(3)(p.345まで)

「ゼロから作るDeep Learning ❷」第25回(10/26)

参加者 青木(読み手)、今井、沼田(記)
pp.318 – 329

7章 RNNによる文章生成

  • 7.5 seq2seqを用いたアプリケーション
    • 7.5.1 チャットボット
    • 7.5.2 アルゴリズムの学習
    • 7.5.3 イメージキャプション
  • 7.6 まとめ

8章 Attention

  • 8.1 Attentionの仕組み
  • 8.1.1 seq2seqの問題点
  • 8.1.2 Encoderの改良

「ゼロから作るDeep Learning ❷」第24回(10/23)

Posted on by 0 comment

参加者 沼田(読み手)、青木(記)
pp.304 – 318

7章 RNNによる文章生成

  • 7.3 seq2seqの実装
    • 7.3.2 Decoderクラス(Decoderクラスのソースの次の段落から)
    • 7.3.3 Seq2seqクラス
    • 7.3.4 seq2seqの評価
  • 7.4 seq2seqの改良
    • 7.4.1 入力データの反転(Reverse)
    • 7.4.2 覗き見(Peeky)

「ゼロから作るDeep Learning ❷」第23回(10/19)

参加者 青木(読み手)、今井、沼田(記)
pp.292 – 304

7章 RNNによる文章生成

  • 7.2 seq2seq
    • 7.2.3 可変長の時系列データ
    • 7.2.4 足し算データセット
  • 7.3 seq2seqの実装
    • 7.3.1 Encoderクラス
    • 7.3.2 Decoderクラス(Decoderクラスのソースの次の段落まで)

「ゼロから作るDeep Learning ❷」第22回(10/16)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.277-292

7章 RNNによる文章生成

  • 7.1 言語モデルを使った文章生成
    • 7.1.1 RNNによる文章生成の手順
    • 7.1.2 文章生成の実装
    • 7.1.3 さらに良い文章へ
  • 7.2 seq2seq
    • 7.2.1 seq2seqの原理
    • 7.2.2 時系列データ変換用のトイ・プロブレム

「ゼロから作るDeep Learning ❷」第21回(10/12)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
pp.259 – 275

6章 ゲート付きRNN

  • 6.5 RNNLMのさらなる改善
    • 6.5.1 LSTMレイヤの多層化
    • 6.5.2 Dropoutによる過学習の抑制
    • 6.5.3 重み共有
    • 6.5.4 より良いRNNLMの実装
    • 6.5.5 最先端の研究へ
  • 6.6 まとめ

「ゼロから作るDeep Learning ❷」第20回(10/9)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
pp.249 – 259

6章 ゲート付きRNN

  • 6.3 LSTMの実装
  • 6.4 LSTMを使った言語モデル

「ゼロから作るDeep Learning ❷」第19回(10/2)

Posted on by 0 comment

参加者 沼田(読み手)、青木(記)
pp.233 – 249

6章 ゲート付きRNN

  • 6.2 勾配消失とLSTM
    • 6.2.1 LSTMのインタフェース
    • 6.2.2 LSTMのレイヤの組み立て
    • 6.2.3 outputゲート
    • 6.2.4 forgetゲート
    • 6.2.5 新しい記憶セル
    • 6.2.6 inputゲート
    • 6.2.7 LSTMの勾配の流れ
  • 6.3 LSTMの実装