Blog Archives

「ゼロから作るDeep Learning ❷」第29回(11/9)

Posted on by 0 comment

参加者 沼田(読み手)、青木(記)
pp.374 – 392

8章 Attention

  • 8.5 Attentionの応用
    • 8.5.3 Neural Turing Machine(NTM)
  • 8.6 まとめ

付録A sigmoid関数とtanh関数の微分

  • A.1 sigmoid関数
  • A.2 tanh関数
  • A.3 まとめ

付録B WordNetを動かす

  • B.1 NLTKのインストール
  • B.2 WordNetで同義語を得る
    • p.388 l.8 「それでは実際にWordNetを実際に」の「実際に」はどちらか不要。
  • B.3 WordNetと単語ネットワーク
  • B.4 WordNetによる意味の類似度

「ゼロから作るDeep Learning ❷」第26回(10/30)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
pp.329 – 345

8章 Attention

  • 8.1.3 Decoderの改良(1)
  • 8.1.4 Decoderの改良(2)
  • 8.1.5 Decoderの改良(3)(p.345まで)

「ゼロから作るDeep Learning ❷」第24回(10/23)

Posted on by 0 comment

参加者 沼田(読み手)、青木(記)
pp.304 – 318

7章 RNNによる文章生成

  • 7.3 seq2seqの実装
    • 7.3.2 Decoderクラス(Decoderクラスのソースの次の段落から)
    • 7.3.3 Seq2seqクラス
    • 7.3.4 seq2seqの評価
  • 7.4 seq2seqの改良
    • 7.4.1 入力データの反転(Reverse)
    • 7.4.2 覗き見(Peeky)

「ゼロから作るDeep Learning ❷」第21回(10/12)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
pp.259 – 275

6章 ゲート付きRNN

  • 6.5 RNNLMのさらなる改善
    • 6.5.1 LSTMレイヤの多層化
    • 6.5.2 Dropoutによる過学習の抑制
    • 6.5.3 重み共有
    • 6.5.4 より良いRNNLMの実装
    • 6.5.5 最先端の研究へ
  • 6.6 まとめ

「ゼロから作るDeep Learning ❷」第19回(10/2)

Posted on by 0 comment

参加者 沼田(読み手)、青木(記)
pp.233 – 249

6章 ゲート付きRNN

  • 6.2 勾配消失とLSTM
    • 6.2.1 LSTMのインタフェース
    • 6.2.2 LSTMのレイヤの組み立て
    • 6.2.3 outputゲート
    • 6.2.4 forgetゲート
    • 6.2.5 新しい記憶セル
    • 6.2.6 inputゲート
    • 6.2.7 LSTMの勾配の流れ
  • 6.3 LSTMの実装

「ゼロから作るDeep Learning ❷」第14回(9/14)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
範囲 pp.163 – 175

4章 word2vecの高速化

  • 4.3 改良版word2vecの学習
    • 4.3.2 CBOWモデルの学習コード
    • 4.3.3 CBOWモデルの評価
  • 4.4 word2vecに関する残りのテーマ
    • 4.4.1 word2vecを使ったアプリケーションの例
    • 4.4.2 単語ベクトルの評価方法
  • 4.5 まとめ

5章 リカレントニューラルネットワーク

「ゼロから作るDeep Learning ❷」第8回(8/24)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
範囲 pp.84 – 96

2章 自然言語と単語の分散表現

  • 2.4 カウントベースの手法の改善
    • 2.4.3 SVDによる次元削減
    • 2.4.4 PTBデータセット
    • 2.4.5 PTBデータセットでの評価
  • 2.5 まとめ

3章 word2vec

  • 3.1 推論ベースの手法とニューラルネットワーク
    • 3.1.1 カウントベースの手法の問題点
    • 3.1.2 推論ベースの手法の概要

「ゼロから作るDeep Learning ❷」第3回(8/7)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
範囲 pp.20 – 34

1章 ニューラルネットワークの復習

  • 1.3 ニューラルネットワークの学習
    • 1.3.1 損失関数(ヒントの次から)
    • 1.3.2 微分と勾配
    • 1.3.3 チェインルール
    • 1.3.4 計算グラフ(注意まで)

「エンジニアリング組織論への招待」第19回(6/26)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
範囲 pp.256 – 270

Chapter 5 技術組織の力学とアーキテクチャ

  • 5.3 技術的負債の正体
    • 技術的負債は「見ることができない」
    • 理想システムの追加工数との差による表現
      • p.259 図のシステムS’の「CC(S’+e1,e)=35」は「CC(S’+e1,e2)=35」の誤り、同様に「CC(S’+e1+e2,e)=40」は「CC(S’+e1+e2,e3)=40」の誤り。
    • 見えてしまえば「技術的負債」ではない
      • p.263 下から10行目 「メリットも、なぜする」のは余分。
    • 技術的負債に光を当てる(「非機能要件の可視化」の手前まで)
      • p.266 表の循環的複雑度の区切りが間違い?10を超えて30未満の複雑度の場合はどうなるのか。
      • p.267 下から11行目「当該モジュールを依存している」は「当該モジュールに依存している」の誤り?

「エンジニアリング組織論への招待」第16回(6/15)

Posted on by 0 comment

参加者 今井(読み手)、沼田、青木(記)
範囲 pp.213 – 229

Chapter 4 学習するチームと不確実性マネジメント

  • 4.3 要求の作り方とマーケット不安
    • スケジュール不安とマーケット不安の対称性(ユーザーストーリーの作り方~)
    • マーケット不安はいつ削減できるか
      • p.217 下から2行目 価値の高低とリスクの高低のマトリクスの説明で、やってもよいのは「価値が低く、高リスクなもの」は誤りで正しくは「価値が低く、低リスクなもの」
  • 4.4 スクラムと不安に向き合う振り返り
    • 不安に向き合うフレームワークとしてのスクラム
    • どこに向かって、どのように振り返るか
    • 不安を知りチームマスタリーを得る

Chapter 5 技術組織の力学とアーキテクチャ

  • 5.1 何が技術組織の”生産性”を下げるのか
    • 生産性という言葉の難しさ