Blog Archives

「ゼロから作るDeep Learning ❷」第23回(10/19)

参加者 青木(読み手)、今井、沼田(記)
pp.292 – 304

7章 RNNによる文章生成

  • 7.2 seq2seq
    • 7.2.3 可変長の時系列データ
    • 7.2.4 足し算データセット
  • 7.3 seq2seqの実装
    • 7.3.1 Encoderクラス
    • 7.3.2 Decoderクラス(Decoderクラスのソースの次の段落まで)

「ゼロから作るDeep Learning ❷」第20回(10/9)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
pp.249 – 259

6章 ゲート付きRNN

  • 6.3 LSTMの実装
  • 6.4 LSTMを使った言語モデル

「ゼロから作るDeep Learning ❷」第18回(9/28)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
pp.219 – 233

5章 リカレントニューラルネットワーク(RNN)

  • 5.5 RNNLMの学習と評価
    • 5.5.4 RNNLMのTrainerクラス
  • 5.6 まとめ

6章 ゲート付きRNN

  • 6.1 RNNの問題点
    • 6.1.1 RNNの復習
    • 6.1.2 勾配消失もしくは勾配爆発
    • 6.1.3 勾配消失もしくは勾配爆発の原因
    • 6.1.4 勾配爆発への対策

「ゼロから作るDeep Learning ❷」第16回(9/21)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.188 – 205

5章 リカレントニューラルネットワーク(RNN)

  • 5.2 RNNとは
    • 5.2.4 Truncated BPTT
    • 5.2.5 Truncated BPTTのミニバッチ学習
  • 5.3 RNNの実装
    • 5.3.1 RNNレイヤの実装
    • 5.3.2 Time RNNレイヤの実装

「ゼロから作るDeep Learning ❷」第12回(9/7)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.142 – 154

4章 word2vecの高速化

  • 4.2 word2vecの改良②
    • 4.2.2 多値分類から二値分類へ
    • 4.2.3 シグモイド関数と交差エントロピー誤差
    • 4.2.4 多値分類から二値分類へ(実装編)
    • 4.2.5 Negative Sampling

「ゼロから作るDeep Learning ❷」第10回(8/31)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.114 – 126

3章 word2vec

  • 3.3 学習データの準備
    • 3.3.2 one-hot表現への変換
  • 3.4 CBOWモデルの実装
    • 3.4.1 学習コードの実装
  • 3.5 word2vecに関する補足
    • 3.5.1 CBOWモデルと確率
    • 3.5.2 skip-gramモデル

「ゼロから作るDeep Learning ❷」第7回(8/21)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
pp.75 – 84

2章 自然言語と単語の分散表現

  • 2.3 カウントベースの手法
    • 2.3.6 類似単語のランキング表示(コードの下~)
  • 2.4 カウントベースの手法の改善
    • 2.4.1 相互情報量
    • 2.4.2 次元削減

「ゼロから作るDeep Learning ❷」第5回(8/14)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.46 – 63

1章 ニューラルネットワークの復習

  • 1.4 ニューラルネットワークで問題を解く
    • 1.4.3 学習用のソースコード(p.46烏~)
    • 1.4.4 Trainerクラス
  • 1.5 計算の高速化
    • 1.5.1 ビット制度
    • 1.5.2 GPU(CuPy)
  • 1.6 まとめ

2章 自然言語と単語の分散表現

  • 2.1 自然言語処理とは
    • 2.1.1単語の意味
  • 2.2 シソーラス
    • 2.2.1 WordNet
    • 2.2.2 シソーラスの問題点

「ゼロから作るDeep Learning ❷」第2回(8/3)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
pp.9 – 20

1章 ニューラルネットワークの復習

  • 1.2 ニューラルネットワークの推論
    • 1.2.1 ニューラルネットワークの推論の全体図(ヒントの次~)
    • 1.2.2 レイヤとしてのクラス化と順伝播の実装
  • 1.3 ニューラルネットワークの学習
    • 1.3.1 損失関数(ヒントまで)

「エンジニアリング組織論への招待」第22回(7/3)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
範囲 pp.292 – 301

Chapter 5 技術組織の力学とアーキテクチャ

  • 5.6 組織設計とアーキテクチャ
    • 取引コストとアーキテクチャ
    • 逆コンウェイ作戦
      • p.294 この章の下から4行目
        …「逆コンウェイ作戦(Inverse Conway Maneuver)」呼びます。(脱字)
      • p.294 この章の最後の文
        係り結びが???
    • マイクロサービスアーキテクチャ
    • マイクロサービス化を行う時期の難しさ
    • エンジニアリング・カンパニー

読了