Blog Archives

「エンジニアの知的生産術」第3回(12/4)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.25 – 38

第1章 新しいことを学ぶには

  • 情報収集の3つの方法
    • 片っ端から
      • 写経というテクニック
      • 数学
      • 時間を区切ろう
      • 写経は補助輪
        • p.27 第2段落1~2行目
          …写経を続ければ…(衍字)
      • 再び写経を必要とするとき
  • 抽象とは何か
    • 抽象・abstract
    • モデル・模型
    • モジュール
      • 相互作用を制限する
      • 重要でない部分を隠す=重要な部分を抜き出す
    • モデル・ビュー・コントローラ
    • パターンの発見
    • デザインパターン
    • Column  パターンに名前を付けること
    • なぜ抽象化が必要か
      • パターンの発見による一般化

「エンジニアの知的生産術」第1回(11/27)

参加者 今井(読み手)、沼田(記)
pp.i – 9

表紙

見返し

著者略歴

はじめに

第1章 新しいことを学ぶには

  • 学びのサイクル
    • 情報収集
    • モデル化・抽象化
    • 実践・検証
  • サイクルを回す原動力:やる気
    • 生徒としての学びと大学からの学びの違い
      • 教科書が与えられる
      • 学ぶ時間はどれくらいあるか?
      • 学ぶお金は誰が出すのか?
      • 逆風

「ゼロから作るDeep Learning ❷」第30回(11/13)

参加者 青木(読み手)、今井、沼田(記)
pp.393 – 398

付録C GRU

  • C.1 GRUのインタフェース
  • C.2 GRUの計算グラフ

おわりに

読了

「ゼロから作るDeep Learning ❷」第28回(11/6)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.360 – 374

8章 Attention

  • 8.4 Attentionに関する残りのテーマ
    • 8.4.1 双方向RNN
    • 8.4.2 Attentionレイヤの使用方法
    • 8.4.3 seq2seqの深層化とskipコネクション
      • p.365 図8-33の下の段落の4行目
        DecoderのLSTMの隠れ状態←EncoderのLSTMの隠れ状態では?
  • 8.5 Attentionの応用
    • 8.5.1 Google Neural Machine Translation(GNMT)
    • 8.5.2 Transformer

「ゼロから作るDeep Learning ❷」第25回(10/26)

参加者 青木(読み手)、今井、沼田(記)
pp.318 – 329

7章 RNNによる文章生成

  • 7.5 seq2seqを用いたアプリケーション
    • 7.5.1 チャットボット
    • 7.5.2 アルゴリズムの学習
    • 7.5.3 イメージキャプション
  • 7.6 まとめ

8章 Attention

  • 8.1 Attentionの仕組み
  • 8.1.1 seq2seqの問題点
  • 8.1.2 Encoderの改良

「ゼロから作るDeep Learning ❷」第23回(10/19)

参加者 青木(読み手)、今井、沼田(記)
pp.292 – 304

7章 RNNによる文章生成

  • 7.2 seq2seq
    • 7.2.3 可変長の時系列データ
    • 7.2.4 足し算データセット
  • 7.3 seq2seqの実装
    • 7.3.1 Encoderクラス
    • 7.3.2 Decoderクラス(Decoderクラスのソースの次の段落まで)

「ゼロから作るDeep Learning ❷」第20回(10/9)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
pp.249 – 259

6章 ゲート付きRNN

  • 6.3 LSTMの実装
  • 6.4 LSTMを使った言語モデル

「ゼロから作るDeep Learning ❷」第18回(9/28)

Posted on by 0 comment

参加者 青木(読み手)、今井、沼田(記)
pp.219 – 233

5章 リカレントニューラルネットワーク(RNN)

  • 5.5 RNNLMの学習と評価
    • 5.5.4 RNNLMのTrainerクラス
  • 5.6 まとめ

6章 ゲート付きRNN

  • 6.1 RNNの問題点
    • 6.1.1 RNNの復習
    • 6.1.2 勾配消失もしくは勾配爆発
    • 6.1.3 勾配消失もしくは勾配爆発の原因
    • 6.1.4 勾配爆発への対策

「ゼロから作るDeep Learning ❷」第16回(9/21)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.188 – 205

5章 リカレントニューラルネットワーク(RNN)

  • 5.2 RNNとは
    • 5.2.4 Truncated BPTT
    • 5.2.5 Truncated BPTTのミニバッチ学習
  • 5.3 RNNの実装
    • 5.3.1 RNNレイヤの実装
    • 5.3.2 Time RNNレイヤの実装

「ゼロから作るDeep Learning ❷」第12回(9/7)

Posted on by 0 comment

参加者 今井(読み手)、沼田(記)
pp.142 – 154

4章 word2vecの高速化

  • 4.2 word2vecの改良②
    • 4.2.2 多値分類から二値分類へ
    • 4.2.3 シグモイド関数と交差エントロピー誤差
    • 4.2.4 多値分類から二値分類へ(実装編)
    • 4.2.5 Negative Sampling