「ゼロから作るDeep Learning ❷」第16回(9/21)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.188 – 205

5章 リカレントニューラルネットワーク(RNN)

  • 5.2 RNNとは
    • 5.2.4 Truncated BPTT
    • 5.2.5 Truncated BPTTのミニバッチ学習
  • 5.3 RNNの実装
    • 5.3.1 RNNレイヤの実装
    • 5.3.2 Time RNNレイヤの実装

「ゼロから作るDeep Learning ❷」第15回(9/18)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.175-188

5章 リカレントニューラルネットワーク (RNN)

    • 5.1 確率と言語モデル
      • 5.1.1 word2vecを確率の視点から眺める
      • 5.1.2 言語モデル
      • 5.1.3 CBOWモデルを言語モデルに?
    • 5.2 RNNとは
      • 5.2.1 循環するニューラルネットワーク
      • 5.2.2 ループの展開
      • 5.2.3 Backpropagation Through Time

「ゼロから作るDeep Learning ❷」第14回(9/14)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
範囲 pp.163 – 175

4章 word2vecの高速化

  • 4.3 改良版word2vecの学習
    • 4.3.2 CBOWモデルの学習コード
    • 4.3.3 CBOWモデルの評価
  • 4.4 word2vecに関する残りのテーマ
    • 4.4.1 word2vecを使ったアプリケーションの例
    • 4.4.2 単語ベクトルの評価方法
  • 4.5 まとめ

5章 リカレントニューラルネットワーク

「ゼロから作るDeep Learning ❷」第13回(9/11)

Posted on by 0 comment

参加者 青木(読み手)、今井(記)
範囲 pp.154-162

4章 word2vecの高速化

  • 4.2 word2vecの改良②
    • 4.2.6 Negative Samplingのサンプリング手法
      • p.156 dtype='<U7’の意味は?
        リトルエンディアン、ユニコード、7文字 でした。
    • 4.2.7 Negative Samplingの実装
  • 4.3 改良版word2vecの学習
    • 4.3.1 CBOWモデルの実装

「ゼロから作るDeep Learning ❷」第12回(9/7)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.142 – 154

4章 word2vecの高速化

  • 4.2 word2vecの改良②
    • 4.2.2 多値分類から二値分類へ
    • 4.2.3 シグモイド関数と交差エントロピー誤差
    • 4.2.4 多値分類から二値分類へ(実装編)
    • 4.2.5 Negative Sampling

「ゼロから作るDeep Learning ❷」第11回(9/4)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.126-142

3章 word2vec

  • 3.5 word2vecに関する補足
    • 3.5.3 カウントベース v.s. 推論ベース
  • 3.6 まとめ

4章 word2vecの高速化

  • 4.1 word2vecの改良①
    • 4.1.1 Embeddingレイヤ
    • 4.1.2 Embeddingレイヤの実装
      • p.136 最終行のコードのW,の意味
        タプルの個々の要素を取り出すときのunpackと同様に、リストでも要素数分変数を並べておけばそれぞれの要素が取り出せるようです。
        ,で終わっているのは要素数1のときに通常の代入かunpackかがわからなくなるので、1要素unpackのときはカンマをつけておく。
  • 4.2 word2vecの改良②
    • 4.2.1 中間層以降の計算の問題点

「ゼロから作るDeep Learning ❷」第10回(8/31)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.114 – 126

3章 word2vec

  • 3.3 学習データの準備
    • 3.3.2 one-hot表現への変換
  • 3.4 CBOWモデルの実装
    • 3.4.1 学習コードの実装
  • 3.5 word2vecに関する補足
    • 3.5.1 CBOWモデルと確率
    • 3.5.2 skip-gramモデル

「ゼロから作るDeep Learning ❷」第9回(8/28)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.96-113

3章 word2vec

  • 3.1 推論ベースの手法とニューラルネットワーク
    • 3.1.3 ニューラスネットワークにおける単語の処理方法
  • 3.2 シンプルなword2vec
    • 3.2.1 CBOWモデルの推論処理
      • p.105 コード
        c0とc1は一つの行列でまとめて処理できないのだろうか。読み進めると何か理由がある?
    • 3.2.2 CBOWモデルの学習
    • 3.2.3 word2vecの重みと分散表現
  • 3.3 学習データの準備
    • 3.3.1 コンテキストとターゲット

「ゼロから作るDeep Learning ❷」第8回(8/24)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
範囲 pp.84 – 96

2章 自然言語と単語の分散表現

  • 2.4 カウントベースの手法の改善
    • 2.4.3 SVDによる次元削減
    • 2.4.4 PTBデータセット
    • 2.4.5 PTBデータセットでの評価
  • 2.5 まとめ

3章 word2vec

  • 3.1 推論ベースの手法とニューラルネットワーク
    • 3.1.1 カウントベースの手法の問題点
    • 3.1.2 推論ベースの手法の概要

「ゼロから作るDeep Learning ❷」第7回(8/21)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
pp.75 – 84

2章 自然言語と単語の分散表現

  • 2.3 カウントベースの手法
    • 2.3.6 類似単語のランキング表示(コードの下~)
  • 2.4 カウントベースの手法の改善
    • 2.4.1 相互情報量
    • 2.4.2 次元削減