Category Archives: ゼロから作るDeep Learning ❷

「ゼロから作るDeep Learning ❷」第30回(11/13)

参加者 青木(読み手)、今井、沼田(記)
pp.393 – 398

付録C GRU

  • C.1 GRUのインタフェース
  • C.2 GRUの計算グラフ

おわりに

読了

「ゼロから作るDeep Learning ❷」第29回(11/9)

Posted on by 0 comment

参加者 沼田(読み手)、青木(記)
pp.374 – 392

8章 Attention

  • 8.5 Attentionの応用
    • 8.5.3 Neural Turing Machine(NTM)
  • 8.6 まとめ

付録A sigmoid関数とtanh関数の微分

  • A.1 sigmoid関数
  • A.2 tanh関数
  • A.3 まとめ

付録B WordNetを動かす

  • B.1 NLTKのインストール
  • B.2 WordNetで同義語を得る
    • p.388 l.8 「それでは実際にWordNetを実際に」の「実際に」はどちらか不要。
  • B.3 WordNetと単語ネットワーク
  • B.4 WordNetによる意味の類似度

「ゼロから作るDeep Learning ❷」第28回(11/6)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.360 – 374

8章 Attention

  • 8.4 Attentionに関する残りのテーマ
    • 8.4.1 双方向RNN
    • 8.4.2 Attentionレイヤの使用方法
    • 8.4.3 seq2seqの深層化とskipコネクション
      • p.365 図8-33の下の段落の4行目
        DecoderのLSTMの隠れ状態←EncoderのLSTMの隠れ状態では?
  • 8.5 Attentionの応用
    • 8.5.1 Google Neural Machine Translation(GNMT)
    • 8.5.2 Transformer

「ゼロから作るDeep Learning ❷」第27回(11/2)

Posted on by 0 comment

参加者 沼田(読み手)、今井(記)
範囲 pp.346-360

8章 Attention

  • 8.1 Attentionの仕組み
    • 8.1.5 Decoderの改良③ (p.346~)
  • 8.2 Attention付きseq2seqの実装
    • 8.2.1 Encoderの実装
    • 8.2.2 Decoderの実装
    • 8.2.3 seq2seqの実装
  • 8.3 Attentionの評価
    • 8.3.1 日付フォーマットの変換問題
    • 8.3.2 Attention付きseq2seqの学習
      • p.357 l.3末尾
        3エポック目から → 2エポック目から
    • 8.3.3 Attentionの可視化

「ゼロから作るDeep Learning ❷」第26回(10/30)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
pp.329 – 345

8章 Attention

  • 8.1.3 Decoderの改良(1)
  • 8.1.4 Decoderの改良(2)
  • 8.1.5 Decoderの改良(3)(p.345まで)

「ゼロから作るDeep Learning ❷」第25回(10/26)

参加者 青木(読み手)、今井、沼田(記)
pp.318 – 329

7章 RNNによる文章生成

  • 7.5 seq2seqを用いたアプリケーション
    • 7.5.1 チャットボット
    • 7.5.2 アルゴリズムの学習
    • 7.5.3 イメージキャプション
  • 7.6 まとめ

8章 Attention

  • 8.1 Attentionの仕組み
  • 8.1.1 seq2seqの問題点
  • 8.1.2 Encoderの改良

「ゼロから作るDeep Learning ❷」第24回(10/23)

Posted on by 0 comment

参加者 沼田(読み手)、青木(記)
pp.304 – 318

7章 RNNによる文章生成

  • 7.3 seq2seqの実装
    • 7.3.2 Decoderクラス(Decoderクラスのソースの次の段落から)
    • 7.3.3 Seq2seqクラス
    • 7.3.4 seq2seqの評価
  • 7.4 seq2seqの改良
    • 7.4.1 入力データの反転(Reverse)
    • 7.4.2 覗き見(Peeky)

「ゼロから作るDeep Learning ❷」第23回(10/19)

参加者 青木(読み手)、今井、沼田(記)
pp.292 – 304

7章 RNNによる文章生成

  • 7.2 seq2seq
    • 7.2.3 可変長の時系列データ
    • 7.2.4 足し算データセット
  • 7.3 seq2seqの実装
    • 7.3.1 Encoderクラス
    • 7.3.2 Decoderクラス(Decoderクラスのソースの次の段落まで)

「ゼロから作るDeep Learning ❷」第22回(10/16)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.277-292

7章 RNNによる文章生成

  • 7.1 言語モデルを使った文章生成
    • 7.1.1 RNNによる文章生成の手順
    • 7.1.2 文章生成の実装
    • 7.1.3 さらに良い文章へ
  • 7.2 seq2seq
    • 7.2.1 seq2seqの原理
    • 7.2.2 時系列データ変換用のトイ・プロブレム

「ゼロから作るDeep Learning ❷」第21回(10/12)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
pp.259 – 275

6章 ゲート付きRNN

  • 6.5 RNNLMのさらなる改善
    • 6.5.1 LSTMレイヤの多層化
    • 6.5.2 Dropoutによる過学習の抑制
    • 6.5.3 重み共有
    • 6.5.4 より良いRNNLMの実装
    • 6.5.5 最先端の研究へ
  • 6.6 まとめ