Monthly Archives: 8月 2018

「ゼロから作るDeep Learning ❷」第10回(8/31)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.114 – 126

3章 word2vec

  • 3.3 学習データの準備
    • 3.3.2 one-hot表現への変換
  • 3.4 CBOWモデルの実装
    • 3.4.1 学習コードの実装
  • 3.5 word2vecに関する補足
    • 3.5.1 CBOWモデルと確率
    • 3.5.2 skip-gramモデル

「ゼロから作るDeep Learning ❷」第9回(8/28)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.96-113

3章 word2vec

  • 3.1 推論ベースの手法とニューラルネットワーク
    • 3.1.3 ニューラスネットワークにおける単語の処理方法
  • 3.2 シンプルなword2vec
    • 3.2.1 CBOWモデルの推論処理
      • p.105 コード
        c0とc1は一つの行列でまとめて処理できないのだろうか。読み進めると何か理由がある?
    • 3.2.2 CBOWモデルの学習
    • 3.2.3 word2vecの重みと分散表現
  • 3.3 学習データの準備
    • 3.3.1 コンテキストとターゲット

「ゼロから作るDeep Learning ❷」第8回(8/24)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
範囲 pp.84 – 96

2章 自然言語と単語の分散表現

  • 2.4 カウントベースの手法の改善
    • 2.4.3 SVDによる次元削減
    • 2.4.4 PTBデータセット
    • 2.4.5 PTBデータセットでの評価
  • 2.5 まとめ

3章 word2vec

  • 3.1 推論ベースの手法とニューラルネットワーク
    • 3.1.1 カウントベースの手法の問題点
    • 3.1.2 推論ベースの手法の概要

「ゼロから作るDeep Learning ❷」第7回(8/21)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
pp.75 – 84

2章 自然言語と単語の分散表現

  • 2.3 カウントベースの手法
    • 2.3.6 類似単語のランキング表示(コードの下~)
  • 2.4 カウントベースの手法の改善
    • 2.4.1 相互情報量
    • 2.4.2 次元削減

「ゼロから作るDeep Learning ❷」第6回(8/17)

Posted on by 0 comment

参加者 沼田(読み手)、今井(記)
範囲 pp.63-75

2章 自然言語と単語の分散表現

  • 2.3 カウントベースの手法
    • 2.3.1 Pythonによるコーパスの下準備
    • 2.3.2 単語の分散表現
    • 2.3.3 分布仮設
    • 2.3.4 共起行列
    • 2.3.5 ベクトル間の類似度
    • 2.3.6 類似単語のランキング表示 (p.75 コードの下まで)

「ゼロから作るDeep Learning ❷」第5回(8/14)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.46 – 63

1章 ニューラルネットワークの復習

  • 1.4 ニューラルネットワークで問題を解く
    • 1.4.3 学習用のソースコード(p.46烏~)
    • 1.4.4 Trainerクラス
  • 1.5 計算の高速化
    • 1.5.1 ビット制度
    • 1.5.2 GPU(CuPy)
  • 1.6 まとめ

2章 自然言語と単語の分散表現

  • 2.1 自然言語処理とは
    • 2.1.1単語の意味
  • 2.2 シソーラス
    • 2.2.1 WordNet
    • 2.2.2 シソーラスの問題点

「ゼロから作るDeep Learning ❷」第4回(8/10)

Posted on by 0 comment

参加者 沼田(読み手)、今井(記)
範囲 pp.34-46

1章 ニューラルネットワークの復習

  • 1.3 ニューラルネットワークの学習
    • 1.3.4 計算グラフ (p.34 蠍の下から)
    • 1.3.5 勾配の導出と逆伝播の実装
      • p.38 図1-30
        Cross Entropy ErrorからSoftmaxへ伝播する値は何?
        → 上から、– t1 / y1, – t2 / y2, – t3 / y3
    • 1.3.6 重みの更新
  • 1.4 ニューラルネットワークで問題を解く
    • 1.4.1 スパイラル・データセット
    • 1.4.2 ニューラルネットワークの実装
    • 1.4.3 学習用のソースコード (p.46 烏まで)

「ゼロから作るDeep Learning ❷」第3回(8/7)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
範囲 pp.20 – 34

1章 ニューラルネットワークの復習

  • 1.3 ニューラルネットワークの学習
    • 1.3.1 損失関数(ヒントの次から)
    • 1.3.2 微分と勾配
    • 1.3.3 チェインルール
    • 1.3.4 計算グラフ(注意まで)

「ゼロから作るDeep Learning ❷」第2回(8/3)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
pp.9 – 20

1章 ニューラルネットワークの復習

  • 1.2 ニューラルネットワークの推論
    • 1.2.1 ニューラルネットワークの推論の全体図(ヒントの次~)
    • 1.2.2 レイヤとしてのクラス化と順伝播の実装
  • 1.3 ニューラルネットワークの学習
    • 1.3.1 損失関数(ヒントまで)