Blog Archives

「エンジニアの知的生産術」第4回(12/6)

Posted on by 0 comment

参加者 沼田(読み手)、今井(記)
範囲 pp.39-55

第1章 新しいことを学ぶには

  • どうやって抽象化するか
    • 比較して学ぶ
      • p.42 図
        [C]は比較する「視点」で、[D]は比較「対象」だと思うので、③で[C]と[D]、「視点」と「対象」を比較するのはおかしくないか?
        → ③で[B]と[D]を比較して、④で[B]—[D]間に視点[E]があるとすっきりする。
    • 歴史から学ぶ
    • パターン本から学ぶ
  • 検証
    • 作って検証
    • 試験で検証
    • 検証の難しい分野
  • まとめ

第2章 やる気を出すには

  • やる気が出ない人の65%はタスクを1つに絞れていない
    • 絞るためにまず全体像を把握しよう
    • Getting Things Done:まずすべて集める
    • 全部集めて、そのあとで処理する
    • とうやってタスクを1つ選ぶのか

「エンジニアの知的生産術」第2回(11/29)

Posted on by 0 comment

参加者 沼田(読み手)、今井(記)
範囲 pp.10-25

第1章 新しいことを学ぶには

  • サイクルを回す原動力:やる気
    • やる気を維持するには?
    • 大学に入りなおすべき?
    • 良い参考書を見つけるコツ
    • 紙の参考書を選ぶコツ
  • 情報収集の3つの方法
    • 知りたいところから
    • 知りたいところから学ぶための前提条件
    • 大雑把に

「ゼロから作るDeep Learning ❷」第27回(11/2)

Posted on by 0 comment

参加者 沼田(読み手)、今井(記)
範囲 pp.346-360

8章 Attention

  • 8.1 Attentionの仕組み
    • 8.1.5 Decoderの改良③ (p.346~)
  • 8.2 Attention付きseq2seqの実装
    • 8.2.1 Encoderの実装
    • 8.2.2 Decoderの実装
    • 8.2.3 seq2seqの実装
  • 8.3 Attentionの評価
    • 8.3.1 日付フォーマットの変換問題
    • 8.3.2 Attention付きseq2seqの学習
      • p.357 l.3末尾
        3エポック目から → 2エポック目から
    • 8.3.3 Attentionの可視化

「ゼロから作るDeep Learning ❷」第22回(10/16)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.277-292

7章 RNNによる文章生成

  • 7.1 言語モデルを使った文章生成
    • 7.1.1 RNNによる文章生成の手順
    • 7.1.2 文章生成の実装
    • 7.1.3 さらに良い文章へ
  • 7.2 seq2seq
    • 7.2.1 seq2seqの原理
    • 7.2.2 時系列データ変換用のトイ・プロブレム

「ゼロから作るDeep Learning ❷」第17回(9/25)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.205-219

5章 リカレントニューラルネットワーク (RNN)

    • 5.4 時系列データを扱うレイヤの実装
      • 5.4.1 RNNLMの全体図
      • 5.4.2 Timeレイヤの実装
    • 5.5 RNNLMの学習と評価
      • 5.5.1 RNNLMの実装
      • 5.5.2 言語モデルの評価
      • 5.5.3 RNNLMの学習コード

「ゼロから作るDeep Learning ❷」第15回(9/18)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.175-188

5章 リカレントニューラルネットワーク (RNN)

    • 5.1 確率と言語モデル
      • 5.1.1 word2vecを確率の視点から眺める
      • 5.1.2 言語モデル
      • 5.1.3 CBOWモデルを言語モデルに?
    • 5.2 RNNとは
      • 5.2.1 循環するニューラルネットワーク
      • 5.2.2 ループの展開
      • 5.2.3 Backpropagation Through Time

「ゼロから作るDeep Learning ❷」第13回(9/11)

Posted on by 0 comment

参加者 青木(読み手)、今井(記)
範囲 pp.154-162

4章 word2vecの高速化

  • 4.2 word2vecの改良②
    • 4.2.6 Negative Samplingのサンプリング手法
      • p.156 dtype='<U7’の意味は?
        リトルエンディアン、ユニコード、7文字 でした。
    • 4.2.7 Negative Samplingの実装
  • 4.3 改良版word2vecの学習
    • 4.3.1 CBOWモデルの実装

「ゼロから作るDeep Learning ❷」第11回(9/4)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.126-142

3章 word2vec

  • 3.5 word2vecに関する補足
    • 3.5.3 カウントベース v.s. 推論ベース
  • 3.6 まとめ

4章 word2vecの高速化

  • 4.1 word2vecの改良①
    • 4.1.1 Embeddingレイヤ
    • 4.1.2 Embeddingレイヤの実装
      • p.136 最終行のコードのW,の意味
        タプルの個々の要素を取り出すときのunpackと同様に、リストでも要素数分変数を並べておけばそれぞれの要素が取り出せるようです。
        ,で終わっているのは要素数1のときに通常の代入かunpackかがわからなくなるので、1要素unpackのときはカンマをつけておく。
  • 4.2 word2vecの改良②
    • 4.2.1 中間層以降の計算の問題点

「ゼロから作るDeep Learning ❷」第9回(8/28)

Posted on by 0 comment

参加者 沼田(読み手)、青木、今井(記)
範囲 pp.96-113

3章 word2vec

  • 3.1 推論ベースの手法とニューラルネットワーク
    • 3.1.3 ニューラスネットワークにおける単語の処理方法
  • 3.2 シンプルなword2vec
    • 3.2.1 CBOWモデルの推論処理
      • p.105 コード
        c0とc1は一つの行列でまとめて処理できないのだろうか。読み進めると何か理由がある?
    • 3.2.2 CBOWモデルの学習
    • 3.2.3 word2vecの重みと分散表現
  • 3.3 学習データの準備
    • 3.3.1 コンテキストとターゲット

「ゼロから作るDeep Learning ❷」第6回(8/17)

Posted on by 0 comment

参加者 沼田(読み手)、今井(記)
範囲 pp.63-75

2章 自然言語と単語の分散表現

  • 2.3 カウントベースの手法
    • 2.3.1 Pythonによるコーパスの下準備
    • 2.3.2 単語の分散表現
    • 2.3.3 分布仮設
    • 2.3.4 共起行列
    • 2.3.5 ベクトル間の類似度
    • 2.3.6 類似単語のランキング表示 (p.75 コードの下まで)