Monthly Archives: 9月 2018

「ゼロから作るDeep Learning ❷」第18回(9/28)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
pp.219 – 233

5章 リカレントニューラルネットワーク(RNN)

  • 5.5 RNNLMの学習と評価
    • 5.5.4 RNNLMのTrainerクラス
  • 5.6 まとめ

6章 ゲート付きRNN

  • 6.1 RNNの問題点
    • 6.1.1 RNNの復習
    • 6.1.2 勾配消失もしくは勾配爆発
    • 6.1.3 勾配消失もしくは勾配爆発の原因
    • 6.1.4 勾配爆発への対策

「ゼロから作るDeep Learning ❷」第17回(9/25)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.205-219

5章 リカレントニューラルネットワーク (RNN)

    • 5.4 時系列データを扱うレイヤの実装
      • 5.4.1 RNNLMの全体図
      • 5.4.2 Timeレイヤの実装
    • 5.5 RNNLMの学習と評価
      • 5.5.1 RNNLMの実装
      • 5.5.2 言語モデルの評価
      • 5.5.3 RNNLMの学習コード

「ゼロから作るDeep Learning ❷」第16回(9/21)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.188 – 205

5章 リカレントニューラルネットワーク(RNN)

  • 5.2 RNNとは
    • 5.2.4 Truncated BPTT
    • 5.2.5 Truncated BPTTのミニバッチ学習
  • 5.3 RNNの実装
    • 5.3.1 RNNレイヤの実装
    • 5.3.2 Time RNNレイヤの実装

「ゼロから作るDeep Learning ❷」第15回(9/18)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.175-188

5章 リカレントニューラルネットワーク (RNN)

    • 5.1 確率と言語モデル
      • 5.1.1 word2vecを確率の視点から眺める
      • 5.1.2 言語モデル
      • 5.1.3 CBOWモデルを言語モデルに?
    • 5.2 RNNとは
      • 5.2.1 循環するニューラルネットワーク
      • 5.2.2 ループの展開
      • 5.2.3 Backpropagation Through Time

「ゼロから作るDeep Learning ❷」第14回(9/14)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
範囲 pp.163 – 175

4章 word2vecの高速化

  • 4.3 改良版word2vecの学習
    • 4.3.2 CBOWモデルの学習コード
    • 4.3.3 CBOWモデルの評価
  • 4.4 word2vecに関する残りのテーマ
    • 4.4.1 word2vecを使ったアプリケーションの例
    • 4.4.2 単語ベクトルの評価方法
  • 4.5 まとめ

5章 リカレントニューラルネットワーク

「ゼロから作るDeep Learning ❷」第13回(9/11)

Posted on by 0 comment

参加者 青木(読み手)、今井(記)
範囲 pp.154-162

4章 word2vecの高速化

  • 4.2 word2vecの改良②
    • 4.2.6 Negative Samplingのサンプリング手法
      • p.156 dtype='<U7’の意味は?
        リトルエンディアン、ユニコード、7文字 でした。
    • 4.2.7 Negative Samplingの実装
  • 4.3 改良版word2vecの学習
    • 4.3.1 CBOWモデルの実装

「ゼロから作るDeep Learning ❷」第12回(9/7)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.142 – 154

4章 word2vecの高速化

  • 4.2 word2vecの改良②
    • 4.2.2 多値分類から二値分類へ
    • 4.2.3 シグモイド関数と交差エントロピー誤差
    • 4.2.4 多値分類から二値分類へ(実装編)
    • 4.2.5 Negative Sampling

「ゼロから作るDeep Learning ❷」第11回(9/4)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.126-142

3章 word2vec

  • 3.5 word2vecに関する補足
    • 3.5.3 カウントベース v.s. 推論ベース
  • 3.6 まとめ

4章 word2vecの高速化

  • 4.1 word2vecの改良①
    • 4.1.1 Embeddingレイヤ
    • 4.1.2 Embeddingレイヤの実装
      • p.136 最終行のコードのW,の意味
        タプルの個々の要素を取り出すときのunpackと同様に、リストでも要素数分変数を並べておけばそれぞれの要素が取り出せるようです。
        ,で終わっているのは要素数1のときに通常の代入かunpackかがわからなくなるので、1要素unpackのときはカンマをつけておく。
  • 4.2 word2vecの改良②
    • 4.2.1 中間層以降の計算の問題点