Monthly Archives: 11月 2018

「ゼロから作るDeep Learning ❷」第30回(11/13)

参加者 青木(読み手)、今井、沼田(記)
pp.393 – 398

付録C GRU

  • C.1 GRUのインタフェース
  • C.2 GRUの計算グラフ

おわりに

読了

「ゼロから作るDeep Learning ❷」第29回(11/9)

Posted on by 0 comment

参加者 沼田(読み手)、青木(記)
pp.374 – 392

8章 Attention

  • 8.5 Attentionの応用
    • 8.5.3 Neural Turing Machine(NTM)
  • 8.6 まとめ

付録A sigmoid関数とtanh関数の微分

  • A.1 sigmoid関数
  • A.2 tanh関数
  • A.3 まとめ

付録B WordNetを動かす

  • B.1 NLTKのインストール
  • B.2 WordNetで同義語を得る
    • p.388 l.8 「それでは実際にWordNetを実際に」の「実際に」はどちらか不要。
  • B.3 WordNetと単語ネットワーク
  • B.4 WordNetによる意味の類似度

「ゼロから作るDeep Learning ❷」第28回(11/6)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.360 – 374

8章 Attention

  • 8.4 Attentionに関する残りのテーマ
    • 8.4.1 双方向RNN
    • 8.4.2 Attentionレイヤの使用方法
    • 8.4.3 seq2seqの深層化とskipコネクション
      • p.365 図8-33の下の段落の4行目
        DecoderのLSTMの隠れ状態←EncoderのLSTMの隠れ状態では?
  • 8.5 Attentionの応用
    • 8.5.1 Google Neural Machine Translation(GNMT)
    • 8.5.2 Transformer

「ゼロから作るDeep Learning ❷」第27回(11/2)

Posted on by 0 comment

参加者 沼田(読み手)、今井(記)
範囲 pp.346-360

8章 Attention

  • 8.1 Attentionの仕組み
    • 8.1.5 Decoderの改良③ (p.346~)
  • 8.2 Attention付きseq2seqの実装
    • 8.2.1 Encoderの実装
    • 8.2.2 Decoderの実装
    • 8.2.3 seq2seqの実装
  • 8.3 Attentionの評価
    • 8.3.1 日付フォーマットの変換問題
    • 8.3.2 Attention付きseq2seqの学習
      • p.357 l.3末尾
        3エポック目から → 2エポック目から
    • 8.3.3 Attentionの可視化