Blog Archives

「ゼロから作るDeep Learning ❷」第22回(10/16)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.277-292

7章 RNNによる文章生成

  • 7.1 言語モデルを使った文章生成
    • 7.1.1 RNNによる文章生成の手順
    • 7.1.2 文章生成の実装
    • 7.1.3 さらに良い文章へ
  • 7.2 seq2seq
    • 7.2.1 seq2seqの原理
    • 7.2.2 時系列データ変換用のトイ・プロブレム

「ゼロから作るDeep Learning ❷」第17回(9/25)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.205-219

5章 リカレントニューラルネットワーク (RNN)

    • 5.4 時系列データを扱うレイヤの実装
      • 5.4.1 RNNLMの全体図
      • 5.4.2 Timeレイヤの実装
    • 5.5 RNNLMの学習と評価
      • 5.5.1 RNNLMの実装
      • 5.5.2 言語モデルの評価
      • 5.5.3 RNNLMの学習コード

「ゼロから作るDeep Learning ❷」第15回(9/18)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.175-188

5章 リカレントニューラルネットワーク (RNN)

    • 5.1 確率と言語モデル
      • 5.1.1 word2vecを確率の視点から眺める
      • 5.1.2 言語モデル
      • 5.1.3 CBOWモデルを言語モデルに?
    • 5.2 RNNとは
      • 5.2.1 循環するニューラルネットワーク
      • 5.2.2 ループの展開
      • 5.2.3 Backpropagation Through Time

「ゼロから作るDeep Learning ❷」第13回(9/11)

Posted on by 0 comment

参加者 青木(読み手)、今井(記)
範囲 pp.154-162

4章 word2vecの高速化

  • 4.2 word2vecの改良②
    • 4.2.6 Negative Samplingのサンプリング手法
      • p.156 dtype='<U7’の意味は?
        リトルエンディアン、ユニコード、7文字 でした。
    • 4.2.7 Negative Samplingの実装
  • 4.3 改良版word2vecの学習
    • 4.3.1 CBOWモデルの実装

「ゼロから作るDeep Learning ❷」第11回(9/4)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.126-142

3章 word2vec

  • 3.5 word2vecに関する補足
    • 3.5.3 カウントベース v.s. 推論ベース
  • 3.6 まとめ

4章 word2vecの高速化

  • 4.1 word2vecの改良①
    • 4.1.1 Embeddingレイヤ
    • 4.1.2 Embeddingレイヤの実装
      • p.136 最終行のコードのW,の意味
        タプルの個々の要素を取り出すときのunpackと同様に、リストでも要素数分変数を並べておけばそれぞれの要素が取り出せるようです。
        ,で終わっているのは要素数1のときに通常の代入かunpackかがわからなくなるので、1要素unpackのときはカンマをつけておく。
  • 4.2 word2vecの改良②
    • 4.2.1 中間層以降の計算の問題点

「ゼロから作るDeep Learning ❷」第9回(8/28)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.96-113

3章 word2vec

  • 3.1 推論ベースの手法とニューラルネットワーク
    • 3.1.3 ニューラスネットワークにおける単語の処理方法
  • 3.2 シンプルなword2vec
    • 3.2.1 CBOWモデルの推論処理
      • p.105 コード
        c0とc1は一つの行列でまとめて処理できないのだろうか。読み進めると何か理由がある?
    • 3.2.2 CBOWモデルの学習
    • 3.2.3 word2vecの重みと分散表現
  • 3.3 学習データの準備
    • 3.3.1 コンテキストとターゲット

「ゼロから作るDeep Learning ❷」第6回(8/17)

Posted on by 0 comment

参加者 沼田(読み手)、今井(記)
範囲 pp.63-75

2章 自然言語と単語の分散表現

  • 2.3 カウントベースの手法
    • 2.3.1 Pythonによるコーパスの下準備
    • 2.3.2 単語の分散表現
    • 2.3.3 分布仮設
    • 2.3.4 共起行列
    • 2.3.5 ベクトル間の類似度
    • 2.3.6 類似単語のランキング表示 (p.75 コードの下まで)

「ゼロから作るDeep Learning ❷」第4回(8/10)

Posted on by 0 comment

参加者 沼田(読み手)、今井(記)
範囲 pp.34-46

1章 ニューラルネットワークの復習

  • 1.3 ニューラルネットワークの学習
    • 1.3.4 計算グラフ (p.34 蠍の下から)
    • 1.3.5 勾配の導出と逆伝播の実装
      • p.38 図1-30
        Cross Entropy ErrorからSoftmaxへ伝播する値は何?
        → 上から、– t1 / y1, – t2 / y2, – t3 / y3
    • 1.3.6 重みの更新
  • 1.4 ニューラルネットワークで問題を解く
    • 1.4.1 スパイラル・データセット
    • 1.4.2 ニューラルネットワークの実装
    • 1.4.3 学習用のソースコード (p.46 烏まで)

「ゼロから作るDeep Learning ❷」第1回(7/31)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 表紙、裏表紙、著者紹介、pp.i-xvii、pp.1-9

表紙
裏表紙
著者紹介
まえがき
目次

1章 ニューラルネットワークの復習

  • 1.1 数学とPythonの復習
    • 1.1.1 ベクトルと行列
    • 1.1.2 行列の要素ごとの演算
    • 1.1.3 ブロードキャスト
    • 1.1.4 ベクトルの内積と行列の積
    • 1.1.5 行列の形状チェック
  • 1.2 ニューラルネットワークの推論
    • 1.2.1 ニューラルネットワークの推論の全体図 (p.9 ヒントまで)

「エンジニアリング組織論への招待」第21回(7/3)

Posted on by 0 comment

参加者 青木(読み手)、沼田、今井(記)
範囲 pp.281-291

Chapter 5 技術組織の力学とアーキテクチャ

  • 5.4. 取引コストと技術組織
    • 社内における取引コスト (p.281 「管理会計の罠」から)
    • 機能横断チームの重要性
  • 5.5. 目標管理と透明性
    • 誤解された目標管理
    • 抜け落ちたセルフコントロール
    • OKRによる目標の透明化
    • 透明性と情報公開