ホーム > 和書 > 工学 > 電気電子工学 > 機械学習・深層学習 目次 1 必要な数学的知識 2 文書および単語の数学的表現 3 クラスタリング 4 分類 5 系列ラベリング 6 実験の仕方など 著者等紹介 奥村学 [オクムラマナブ] 1984年東京工業大学工学部情報工学科卒業。1989年東京工業大学大学院博士課程修了(情報工学専攻)、工学博士。1989年東京工業大学助手。1992年北陸先端科学技術大学院大学助教授。2000年東京工業大学助教授。2007年東京工業大学准教授。2009年東京工業大学教授 高村大也 [タカムラヒロヤ] 1997年東京大学工学部計数工学科卒業。2000年東京大学大学院工学系研究科修士課程修了(計数工学専攻)。2003年奈良先端科学技術大学院大学情報科学研究科博士課程修了(自然言語処理学専攻)、博士(工学)。2003年東京工業大学助手。2007年東京工業大学助教。2010年東京工業大学准教授(本データはこの書籍が刊行された当時に掲載されていたものです) ※書籍に掲載されている著者及び編者、訳者、監修者、イラストレーターなどの紹介情報です。
多項モデル ベルヌーイ分布ではなく、多項分布を仮定する方法。 多変数ベルヌーイモデルでは単語が文書内に出現したか否かだけを考慮。多項モデルでは、文書内の単語の生起回数を考慮するという違いがある。 同様に一部のパラメータが0になることで予測がおかしくなるので、パラメータにディリクレ分布を仮定してMAP推定を用いることもできる。 4. 3 サポートベクトルマシン(SVM) 線形二値分類器。分類平面を求め、区切る。 分離平面が存在した場合、訓練データを分類できる分離平面は複数存在するが、分離平面から一番近いデータがどちらのクラスからもなるべく遠い位置で分けるように定める(マージン最大化)。 厳密制約下では例外的な事例に対応できない。そこで、制約を少し緩める(緩和制約下のSVMモデル)。 4. 4 カーネル法 SVMで重要なのは結局内積の形。 内積だけを用いて計算をすれば良い(カーネル法)。 カーネル関数を用いる。何種類かある。 カーネル関数を用いると計算量の増加を抑えることができ、非線形の分類が可能となる。 4. 『言語処理のための機械学習入門』｜感想・レビュー - 読書メーター. 5 対数線形モデル 素性表現を拡張して事例とラベルの組に対して素性を定義する。 Why not register and get more from Qiita? We will deliver articles that match you By following users and tags, you can catch up information on technical fields that you are interested in as a whole you can read useful information later efficiently By "stocking" the articles you like, you can search right away Sign up Login
4 連続確率変数 連続確率分布の例 正規分布(ガウス分布) ディレクレ分布 各値が互いに近い場合、比較的高い確率を持ち、各値が離れている(偏っている)場合には非常に低い確率を持つ分布。 最大事後確率推定(MAP推定)でパラメータがとる確率分布として仮定されることがある。 p(\boldsymbol{x};\alpha) = \frac{1}{\int \prod_i x_i^{\alpha_i-1}d\boldsymbol{x}} \prod_{i} x_i^{\alpha_i-1} 1. 5 パラメータ推定法 データが与えられ、このデータに従う確率分布を求めたい。何も手がかりがないと定式化できないので、大抵は何らかの確率分布を仮定する。離散確率分布ならベルヌーイ分布や多項分布、連続確率分布なら正規分布やポアソン分布などなど。これらの分布にはパラメータがあるので、確率分布が学習するデータにもっともフィットするように、パラメータを調整する必要がある。これがパラメータ推定。 (補足)コメントにて、$P$と$p$の違いが分かりにくいというご指摘をいただきましたので、補足します。ここの章では、尤度を$P(D)$で、仮定する確率関数(ポアソン分布、ベルヌーイ分布等)を$p(\boldsymbol{x})$で表しています。 1. 5. 1. i. d. と尤度 i. Amazon.co.jp: 言語処理のための機械学習入門 (自然言語処理シリーズ) : 高村 大也, 学, 奥村: Japanese Books. とは独立に同一の確率分布に従うデータ。つまり、サンプルデータ$D= { x^{(1)}, ・・・, x^{(N)}}$の生成確率$P(D)$(尤度)は確率分布関数$p$を用いて P(D) = \prod_{x^{(i)}\in D} p(x^{(i)}) と書ける。 $p(x^{(i)})$にベルヌーイ分布や多項分布などを仮定する。この時点ではまだパラメータが残っている。(ベルヌーイ分布の$p$、正規分布の$\sigma$、ポアソン分布の$\mu$など) $P(D)$が最大となるようにパラメーターを決めたい。 積の形は扱いにくいので対数を取る。(対数尤度) 1. 2. 最尤推定 対数尤度が最も高くなるようにパラメータを決定。 対数尤度$\log P(D) = \sum_x n_x\log p(x)$を最大化。 ここで$n_x$は$x$がD中で出現した回数を表す。 1. 3 最大事後確率推定(MAP推定) 最尤推定で、パラメータが事前にどんな値をとりやすいか分かっている場合の方法。 事前確率も考慮し、$\log P(D) = \log P(\boldsymbol{p}) + \sum_x n_x\log p(x)$を最大化。 ディリクレ分布を事前分布に仮定すると、最尤推定の場合と比較して、各パラメータの値が少しずつマイルドになる(互いに近づきあう) 最尤推定・MAP推定は4章.
3 緩和制約下のSVMモデル 4. 4 関数距離 4. 5 多値分類器への拡張 4. 4 カーネル法 4. 5 対数線形モデル 4. 1 素性表現の拡張と対数線形モデルの導入 4. 2 対数線形モデルの学習 4. 6 素性選択 4. 1 自己相互情報量 4. 2 情報利得 4. 7 この章のまとめ 章末問題 5. 系列ラベリング 5. 1 準備 5. 2 隠れマルコフモデル 5. 1 HMMの導入 5. 2 パラメータ推定 5. 3 HMMの推論 5. 3 通常の分類器の逐次適用 5. 4 条件付確率場 5. 1 条件付確率場の導入 5. 2 条件付確率場の学習 5. 5 チャンキングへの適用の仕方 5. 6 この章のまとめ 章末問題 6. 実験の仕方など 6. 1 プログラムとデータの入手 6. 2 分類問題の実験の仕方 6. 1 データの分け方と交差検定 6. 2 多クラスと複数ラベル 6. 3 評価指標 6. 1 分類正解率 6. 2 精度と再現率 6. 3 精度と再現率の統合 6. 4 多クラスデータを用いる場合の実験設定 6. 5 評価指標の平均 6. 6 チャンキングの評価指標 6. 4 検定 6. 5 この章のまとめ 章末問題 付録 A. 1 初歩的事項 A. 2 logsumexp A. 3 カルーシュ・クーン・タッカー(KKT)条件 A. 4 ウェブから入手可能なデータセット 引用・参考文献 章末問題解答 索引 amazonレビュー 掲載日:2020/06/18 「自然言語処理」27巻第2号(2020年6月)
2 ナイーブベイズ分類器 $P(c|d)$を求めたい。 $P(c|d)$とは、文書$d$の場合、クラスがcである確率を意味する。すなわち、クラスが$c^{(1)}, c^{(2)}, c^{(3)}$の3種類あった場合に、$P(c^{(1)}|d)$, $P(c^{(2)}|d)$, $P(c^{(3)}|d)$をそれぞれ求め、文書dは確率が一番大きかったクラスに分類されることになる。 ベイズの定理より、 $$ P(c|d) = \frac{P(c)P(d|c)}{P(d)} $$ この値が最大となるクラスcを求めるわけだが、分母のP(d)はクラスcに依存しないので、$P(c)P(d|c)$を最大にするようなcを求めれば良い。 $P(d|c)$は容易には計算できないので、文書dに簡単化したモデルを仮定して$P(d|c)$の値を求める 4.
全て表示 ネタバレ データの取得中にエラーが発生しました 感想・レビューがありません 新着 参加予定 検討中 さんが ネタバレ 本を登録 あらすじ・内容 詳細を見る コメント() 読 み 込 み 中 … / 読 み 込 み 中 … 最初 前 次 最後 読 み 込 み 中 … 言語処理のための機械学習入門 (自然言語処理シリーズ) の 評価 49 % 感想・レビュー 27 件