自然言語処理における機械学習の利用について理解するため,その基礎的な考え方を伝えることを目的としている。広大な同分野の中から厳選された必須知識が記述されており,論文や解説書を手に取る前にぜひ目を通したい一冊である。 1. 必要な数学的知識 1. 1 準備と本書における約束事 1. 2 最適化問題 1. 2. 1 凸集合と凸関数 1. 2 凸計画問題 1. 3 等式制約付凸計画問題 1. 4 不等式制約付凸計画問題 1. 3 確率 1. 3. 1 期待値,平均,分散 1. 2 結合確率と条件付き確率 1. 3 独立性 1. 4 代表的な離散確率分布 1. 4 連続確率変数 1. 4. 1 平均,分散 1. 2 連続確率分布の例 1. 5 パラメータ推定法 1. 5. 1 i. i. d. と尤度 1. 2 最尤推定 1. 3 最大事後確率推定 1. 6 情報理論 1. 6. 1 エントロピー 1. 2 カルバック・ライブラー・ダイバージェンス 1. 3 ジェンセン・シャノン・ダイバージェンス 1. 4 自己相互情報量 1. 5 相互情報量 1. 7 この章のまとめ 章末問題 2. 文書および単語の数学的表現 2. 1 タイプ,トークン 2. 2 nグラム 2. 1 単語nグラム 2. 2 文字nグラム 2. 3 文書,文のベクトル表現 2. 1 文書のベクトル表現 2. 2 文のベクトル表現 2. 4 文書に対する前処理とデータスパースネス問題 2. 1 文書に対する前処理 2. 2 日本語の前処理 2. 3 データスパースネス問題 2. 5 単語のベクトル表現 2. 1 単語トークンの文脈ベクトル表現 2. 2 単語タイプの文脈ベクトル表現 2. [WIP]「言語処理のための機械学習入門」"超"まとめ - Qiita. 6 文書や単語の確率分布による表現 2. 7 この章のまとめ 章末問題 3. クラスタリング 3. 1 準備 3. 2 凝集型クラスタリング 3. 3 k-平均法 3. 4 混合正規分布によるクラスタリング 3. 5 EMアルゴリズム 3. 6 クラスタリングにおける問題点や注意点 3. 7 この章のまとめ 章末問題 4. 分類 4. 1 準備 4. 2 ナイーブベイズ分類器 4. 1 多変数ベルヌーイモデル 4. 2 多項モデル 4. 3 サポートベクトルマシン 4. 1 マージン最大化 4. 2 厳密制約下のSVMモデル 4.
0. 言語処理のための機械学習入門 / 奥村 学【監修】/高村 大也【著】 - 紀伊國屋書店ウェブストア｜オンライン書店｜本、雑誌の通販、電子書籍ストア. 背景 勉強会で、1年かけて「 言語処理のための機械学習入門 」を読んだので、復習も兼ねて、個人的に振り返りを行いました。その際のメモになります。 細かいところまでは書けませんので、大雑把に要点だけになります。詳しくは本をお読みください。あくまでレジュメ、あるいは目次的なものとしてお考え下さい。 間違いがある場合は優しくご指摘ください。 第1版は間違いも多いので、出来る限り、最新版のご購入をおすすめします。 1. 必要な数学知識 基本的な数学知識について説明されている。 大学1年生レベルの解析・統計の知識に自信がある人は読み飛ばして良い。 1. 2 最適化問題 ある制約のもとで関数を最大化・最小化した場合の変数値や関数値を求める問題。 言語処理の場合、多くは凸計画問題となる。 解析的に解けない場合は数値解法もある。 数値解法として、最急勾配法、ニュートン法などが紹介されている。 最適化問題を解く方法として有名な、ラグランジュ乗数法の説明がある。この後も何度も出てくるので重要! とりあえずやり方だけ覚えておくだけでもOKだと思う。 1.
多項モデル ベルヌーイ分布ではなく、多項分布を仮定する方法。 多変数ベルヌーイモデルでは単語が文書内に出現したか否かだけを考慮。多項モデルでは、文書内の単語の生起回数を考慮するという違いがある。 同様に一部のパラメータが0になることで予測がおかしくなるので、パラメータにディリクレ分布を仮定してMAP推定を用いることもできる。 4. Amazon.co.jp: 言語処理のための機械学習入門 (自然言語処理シリーズ) : 高村 大也, 学, 奥村: Japanese Books. 3 サポートベクトルマシン(SVM) 線形二値分類器。分類平面を求め、区切る。 分離平面が存在した場合、訓練データを分類できる分離平面は複数存在するが、分離平面から一番近いデータがどちらのクラスからもなるべく遠い位置で分けるように定める(マージン最大化)。 厳密制約下では例外的な事例に対応できない。そこで、制約を少し緩める(緩和制約下のSVMモデル)。 4. 4 カーネル法 SVMで重要なのは結局内積の形。 内積だけを用いて計算をすれば良い(カーネル法)。 カーネル関数を用いる。何種類かある。 カーネル関数を用いると計算量の増加を抑えることができ、非線形の分類が可能となる。 4. 5 対数線形モデル 素性表現を拡張して事例とラベルの組に対して素性を定義する。 Why not register and get more from Qiita? We will deliver articles that match you By following users and tags, you can catch up information on technical fields that you are interested in as a whole you can read useful information later efficiently By "stocking" the articles you like, you can search right away Sign up Login
分類で出てくるので重要! 1. 2, 1. 3の補足 最尤推定の簡単な例(本書とは無関係) (例)あるコインを5回投げたとして、裏、表、裏、表、表と出ました。このコインの表が出る確率をpとして、pを推定せよ。 (解答例)単純に考えて、5回投げて3回表が出るのだから、$p = 3/5$である。これを最尤推定を用いて推定する。尤度$P(D)$は P(D) &= (1 - p) \times p \times (1-p) \times p \times p \\ &= p^3(1-p)^2 $P(D) = p^3(1-p)^2$が0から1の間で最大となるpを求めれば良い。 そのまま微分すると$dP(D)/dp = p^2(5p^2 - 8p + 3)$ 計算が大変なので対数をとれば$log(P(D)) = 3logp + 2log(1-p)$となり、計算がしやすくなる。 2. 文書および単語の数学的表現 基本的に読み物。 語句の定義や言語処理に関する説明なので難しい数式はない章。 勉強会では唯一1回で終わった章。 3. クラスタリング 3. 2 凝集型クラスタリング ボトムアップクラスタリングとも言われる。 もっとも似ている事例同士を同じクラスタとする。 類似度を測る方法 単連結法 完全連結法 重心法 3. 3 k-平均法 みんな大好きk-means 大雑把な流れ 3つにクラスタリングしたいのであれば、最初に適当に3点(クラスタの代表点)とって、各事例がどのクラスタに属するかを決める。(類似度が最も近い代表点のクラスタに属するとする) クラスタの代表点を再計算する(重心をとるなど) 再度各事例がどのクラスタに属するかを計算する。 何回かやるとクラスタに変化がなくなるのでクラスタリング終わり。 最初の代表点の取り方によって結果が変わりうる。 3. 4 混合正規分布によるクラスタリング k-平均法では、事例が属するクラスタは定まっていた。しかし、クラスタの中間付近に存在するような事例においては、代表点との微妙な距離の違いでどちらかに分けられてしまう。混合正規分布によるクラスタリングでは、確率的に所属するクラスタを決める。 例えば、ある事例はAというクラスタに20%の確率で属し、Bというクラスタに80%の確率で属する・・など。 3. 5 EMアルゴリズム (追記予定) 4. 分類 クラスタリングはどんなクラスタができるかは事前にはわからない。 分類はあらかじめ決まったグループ(クラス)に分けることを分類(classification, categorization)と呼ぶ。クラスタリングと分類は異なる意味なので注意する。 例) 単語を名詞・動詞・形容詞などの品詞に分類する ここでの目的はデータから自動的に分類気を構築する方法。 つまり、ラベル付きデータ D = {(d (1), c (1)), (d (2), c (2)), ・・・, (d (|D|), c (|D|))} が与えられている必要がある。(教師付き学習) 一方、クラスタリングのようにラベルなしデータを用いて行う学習を教師無し学習とよぶ。 4.
ホーム > 和書 > 工学 > 電気電子工学 > 機械学習・深層学習 目次 1 必要な数学的知識 2 文書および単語の数学的表現 3 クラスタリング 4 分類 5 系列ラベリング 6 実験の仕方など 著者等紹介 奥村学 [オクムラマナブ] 1984年東京工業大学工学部情報工学科卒業。1989年東京工業大学大学院博士課程修了(情報工学専攻)、工学博士。1989年東京工業大学助手。1992年北陸先端科学技術大学院大学助教授。2000年東京工業大学助教授。2007年東京工業大学准教授。2009年東京工業大学教授 高村大也 [タカムラヒロヤ] 1997年東京大学工学部計数工学科卒業。2000年東京大学大学院工学系研究科修士課程修了(計数工学専攻)。2003年奈良先端科学技術大学院大学情報科学研究科博士課程修了(自然言語処理学専攻)、博士(工学)。2003年東京工業大学助手。2007年東京工業大学助教。2010年東京工業大学准教授(本データはこの書籍が刊行された当時に掲載されていたものです) ※書籍に掲載されている著者及び編者、訳者、監修者、イラストレーターなどの紹介情報です。
4 連続確率変数 連続確率分布の例 正規分布(ガウス分布) ディレクレ分布 各値が互いに近い場合、比較的高い確率を持ち、各値が離れている(偏っている)場合には非常に低い確率を持つ分布。 最大事後確率推定(MAP推定)でパラメータがとる確率分布として仮定されることがある。 p(\boldsymbol{x};\alpha) = \frac{1}{\int \prod_i x_i^{\alpha_i-1}d\boldsymbol{x}} \prod_{i} x_i^{\alpha_i-1} 1. 5 パラメータ推定法 データが与えられ、このデータに従う確率分布を求めたい。何も手がかりがないと定式化できないので、大抵は何らかの確率分布を仮定する。離散確率分布ならベルヌーイ分布や多項分布、連続確率分布なら正規分布やポアソン分布などなど。これらの分布にはパラメータがあるので、確率分布が学習するデータにもっともフィットするように、パラメータを調整する必要がある。これがパラメータ推定。 (補足)コメントにて、$P$と$p$の違いが分かりにくいというご指摘をいただきましたので、補足します。ここの章では、尤度を$P(D)$で、仮定する確率関数(ポアソン分布、ベルヌーイ分布等)を$p(\boldsymbol{x})$で表しています。 1. 5. 1. i. d. と尤度 i. とは独立に同一の確率分布に従うデータ。つまり、サンプルデータ$D= { x^{(1)}, ・・・, x^{(N)}}$の生成確率$P(D)$(尤度)は確率分布関数$p$を用いて P(D) = \prod_{x^{(i)}\in D} p(x^{(i)}) と書ける。 $p(x^{(i)})$にベルヌーイ分布や多項分布などを仮定する。この時点ではまだパラメータが残っている。(ベルヌーイ分布の$p$、正規分布の$\sigma$、ポアソン分布の$\mu$など) $P(D)$が最大となるようにパラメーターを決めたい。 積の形は扱いにくいので対数を取る。(対数尤度) 1. 2. 最尤推定 対数尤度が最も高くなるようにパラメータを決定。 対数尤度$\log P(D) = \sum_x n_x\log p(x)$を最大化。 ここで$n_x$は$x$がD中で出現した回数を表す。 1. 3 最大事後確率推定(MAP推定) 最尤推定で、パラメータが事前にどんな値をとりやすいか分かっている場合の方法。 事前確率も考慮し、$\log P(D) = \log P(\boldsymbol{p}) + \sum_x n_x\log p(x)$を最大化。 ディリクレ分布を事前分布に仮定すると、最尤推定の場合と比較して、各パラメータの値が少しずつマイルドになる(互いに近づきあう) 最尤推定・MAP推定は4章.
3 緩和制約下のSVMモデル 4. 4 関数距離 4. 5 多値分類器への拡張 4. 4 カーネル法 4. 5 対数線形モデル 4. 1 素性表現の拡張と対数線形モデルの導入 4. 2 対数線形モデルの学習 4. 6 素性選択 4. 1 自己相互情報量 4. 2 情報利得 4. 7 この章のまとめ 章末問題 5. 系列ラベリング 5. 1 準備 5. 2 隠れマルコフモデル 5. 1 HMMの導入 5. 2 パラメータ推定 5. 3 HMMの推論 5. 3 通常の分類器の逐次適用 5. 4 条件付確率場 5. 1 条件付確率場の導入 5. 2 条件付確率場の学習 5. 5 チャンキングへの適用の仕方 5. 6 この章のまとめ 章末問題 6. 実験の仕方など 6. 1 プログラムとデータの入手 6. 2 分類問題の実験の仕方 6. 1 データの分け方と交差検定 6. 2 多クラスと複数ラベル 6. 3 評価指標 6. 1 分類正解率 6. 2 精度と再現率 6. 3 精度と再現率の統合 6. 4 多クラスデータを用いる場合の実験設定 6. 5 評価指標の平均 6. 6 チャンキングの評価指標 6. 4 検定 6. 5 この章のまとめ 章末問題 付録 A. 1 初歩的事項 A. 2 logsumexp A. 3 カルーシュ・クーン・タッカー(KKT)条件 A. 4 ウェブから入手可能なデータセット 引用・参考文献 章末問題解答 索引 amazonレビュー 掲載日:2020/06/18 「自然言語処理」27巻第2号(2020年6月)
緊張のBIG終了後… 緑色 見事に設定変更が濃厚となりました。 MEMO ツインドラゴンは設定変更後の初回BIG終了後の1/2で龍玉ランプが変化します 設定変更後の龍玉ランプの変化確率 変化有り 50% 変化無し 設定変更が濃厚になったとはいえ、この台が高設定に上げられているとは限りません。 ここからが大切な設定推測になるのですが…相変わらず友達の台は大連チャン中です。 次に当たったのは85GでREG、サイドランプは青色。 1発目のREGで奇数示唆は幸先悪しです。 しかしここから、ハナ連がはじまります。 72GでBIG、スイカ1回。 77GでBIG、スイカ2回。 7GでBIG、レトロサウンド。 このハナ連で持ちコインは一気に1000枚オーバー。 もしかして高設定? ツイン ドラゴン ハナハナ 設定 6.8. そんな甘い夢も一瞬で終わりました。 次に当たったのは462GでBIG。 スイカこそ2回落ちましたが、いきなりのハマりに心が折れました…。 REGも当たらないし、このBIGの持ちコインがノマれたらヤメよう…。 そんな気持ちでペシペシ打っていきます。 するとここからまたもや怒涛のハナ連が始まります。 71GでBIG。 85GでBIG、スイカ2回、レトロサウンド、龍玉黄色。 34GでBIG。 少しハマって173GでBIG。 86GでBIG。 40GでBIG、龍玉黄色。 1GでBIG。 62GでREG、サイドランプは黄色。 115GでBIG。 少しハマって175GでBIG。 23GでREG、サイドランプは青色。 79GでBIG。 86GでBIG、スイカ1回。 65GでBIG、スイカ1回、龍玉緑色。 108GでBIG、スイカ3回。 174GでBIG。 114GでBIG、スイカ2回。 少しハマって185GでBIG、スイカ2回。 あの~、BIGしか当たらないんですけど…。 BIG21回に対してREG3回。 持ちコインは一気に3000枚オーバーなのですが。 こんなのはじめて~♪♪♪ ゆーとる場合か! 3000G回した時点でこんなデータになりました。 3000G BIG 23回(1/130) REG 6回(1/500) 合算 29回(1/111) ベル 417回(1/7. 19) スイカ 15回(1/36) BIG龍玉 5回(1/4. 6) ハナハナを打つ上で、REGは結構大事にする派です。 ただいまのREG確率は1/500。 設定6ならあと3回、設定5ならあと2回のREGが足りません。 BIGがひた走っている展開は不安でしたが、よくよく計算してみるとたった3回のREGが足りないだけでした。 それと、REGのサイドランプが奇数よりだったこともあってヤメることを考えましたが、ハイビスカスがご機嫌で当たっているなら続行してみましょう。 ということで、ペシペシ打っていくのです。 ツインドラゴンハナハナ実践記後半戦 ここにきて、右隣の友達の台が急に失速し始めました。 しかし、相変わらず絶好調に落ちているBIG中のスイカ群。 友達は高設定を確信してぶん回しています。 そんな友達を横目に、コンスタントにボーナスを当てている台。 それは左隣の台でした。 朝一でモミモミしていたその台は、設定が変わったかのように大連チャンしています。 横目でちらちら見ていると、めちゃくちゃ落ちているBIG中のスイカに加え、めちゃくちゃ変わるBIG終了後の龍玉ランプ。 REGもしっかりついてきていて文句なしの展開です。 出玉もあっという間に越されてしまいました。 もしかしてそっち?
屋根裏から怪しすぎる物音が深夜に鳴り響き、その後「チューチュー」という鳴き声がして少し安心したけどちょっと困った だちょう です。 さて、今回は… ツインドラゴンハナハナ アプリ いよいよ最後の設定、最強設定…! 設定6 こちらを10000G×50回。合計50万Gシミュレーションとなります。 その他の設定の50万Gシミュレーション結果はこちらとなってます↓↓↓ 今回は最強設定なので、 BIG後の龍玉だけではなく、REG後の龍玉点灯率も別で 7200 回ほど施行 してみました。 果たしてレインボーはどのくらいの割合で発生するのでしょうか? まずは メーカー発表値の 設定6ボーナス確率&以前の華の設定6参考値 がこちら↓↓↓ BIG…1/232 REG…1/331 ボーナス合算…1/136 レトロサウンド発生率…1/8. 00 REG中のサイドランプ点滅色 青…24. 80% 黄…24. 80% 緑…24. 80% 赤…24. 80% 虹…0. 78% BIG中のスイカ…1/32. 53 いつも思っていたんですけど、設定6のREG中サイドランプの解析値って、0. 02%足りないんですよねw この欠けた0. 02%ってどこにハマるのでしょうか? そして次がアプリ設定6を50万G回したシミュレーション結果です。 BIG…1/233. 75 REG…1/326. 37 ボーナス合算…1/136. 20 レトロサウンド発生率…851/7084(1/8. 32) BIG中のチェリー…1/50. 28 BIG中のスイカ…1/31. 59 ※BIG中のスイカはBIG15892回での確率です BIG後の龍玉点灯色…別表参照 REG後の龍玉点灯色…別表参照 REG中のサイドランプ点滅色 青…416(27. 15%) 黄…369(24. 09%) 緑…417(27. 22%) 赤…326(21. 28%) 虹…4(0. ツイン ドラゴン ハナハナ 設定 6.7. 26%) 通常時の小役 リプレイ…1/7. 28 ベル…1/7. 38 スイカ…1/163. 93 チェリー…1/48. 25 通常時の小役(重複) リプレイ…1/50000 ベル…1/62500 スイカ…1/38462 チェリーBIG…1/4808 チェリーREG…1/7463 チェリー重複合算…1/2924 総投資金…¥511000(50枚貸し) 平均投資(10000G)…¥10220 差枚…+186371枚 機械割…112.
そんな風に思うのは自然の流れです。 モミモミ状態が続く友達が頑張っているのだから、自分も頑張ろう! そんなこんなで気づけば時刻は閉店1時間前。 先に上がった友達を見送って、居残りで打ち続けてきました。 最後のボーナスは680GハマってBIG。 その後、416G回したところでこの日の実践を終了することに。 ジェットカウンターに流したコインは4000枚オーバーの大勝利! 2台並びで高設定とはまさかの出来事でした。 そして、その並びであった高設定の中に、友達の台が入っていなかったのは悲しい出来事でした。 今度飯おごるからね~と友達に連絡しつつ、程よい疲れとともに家路につくのでした。 ツインドラゴンハナハナ実践データ ボーナス確率 総プレイ数 7650G 39回(1/196. 15) 17回(1/450. 00) 56回(1/136. 61) 通常時の小役確率 1076回(1/7. 11) BIG中のスイカ 23回(1/40. 70) BIG終了後の龍玉ランプ 青色 0回(1/39. 00) 黄色 4回(1/9. 75) 2回(1/19. 50) 赤色 1回(1/39. ツイン ドラゴン ハナハナ 設定 6.5. 00) 虹色 0回(0/39. 00) REG終了後の龍玉ランプ 0回(0/17. 00) レトロサウンドBGM変化 2回(1/10. 00) 0回(0/9. 00) REG中のサイドランプ 6回(1/2. 83) 2回(1/8. 50) 5回(1/3. 40) 4回(1/4. 25) 奇数示唆 11回(1/1. 55) 偶数示唆 獲得コイン 4332枚 収支 75, 000銭 最終データ 8696G 47回(1/185. 02) 20回(1/434. 80) 67回(1/129.
0 緑・赤・虹合算… 1/285. 7 全色合算… 1/124. 1 まず 寒色と暖色の差が無い という点。 設定6だから均等…なのかは分かりませんけど、寒色も暖色も同じ扱いで良いと思います。 そしてパネル点滅だった時代の機種と比べてみると… 過去の華のREG後パネル点滅発生率 上(設定3以上)…1/169. 49 上下(設定5以上)…1/500. 00 パネル点滅合算…1/126. 58 分かりますか? 設定3以上・設定5以上・全色累計の確率が、 龍玉もパネフラも似たような数値になっている という点です。 龍玉は6確であるレインボーの振り分けがある分、青~赤までが若干確率が悪いといったところでしょうか? 【ツインドラゴンハナハナ】こぜ6のハナハナと友達から引き継げるハナハナで迷った結果 | パチスロ実践ブログ「激アツ」. 他の設定はまだサンプルが少ないですけど、やはり昔のパネフラと似たような確率になってます。 と、いうわけで設定6の50万Gシミュレーション結果でした。 まあ設定6なんて設置率は最も低いので参考になるかどうかは微妙ですけどね。 112%って昔は大したことがないスペックでしたけど、今だとこれだけ楽しい華になるんだなとw 次のアプリシミュレーション記事は、各設定50万Gを終えての最高差枚ランキングとワースト差枚ランキングを中心に、様々な数値を見比べてみようと思ってます。 …いつやるかは未定ですけど、近いうちに出来るように努力しますw ↓各機種まとめ記事はこちら↓ にほんブログ村 ↑↑↑↑↑↑↑ ランキング参加中 いつも貢献ありがとうございます それではまた
50) REG 9回(1/405. 56) 合算 29回(1/125. 86) 打ち始める前に、いったん店内を見て回ります。 すると、1台のこぜ6のグレキンを発見しました。 BIG25・REG27で合算確率が約1/100の台です。 急いでこの台をキープして友達に報告します。 自分:めっちゃいいグレキン空いてるんですけど? 友達:その台、気になってたけど…。 自分:これなら間違いなく設定5以上はあるんじゃない? 友達:めっちゃ出てたし、俺もそう思う…。 設定4くらいかな~なんて思う友達の台、間違いなく高設定だと思えるグレキン。 どちらか迷うことなく私が選んだ台は 友達の台 でした。 せっかくのお誘いですしね。 ツインドラゴンハナハナ実践記 こぜ6の台を捨ててまで選んだ友情のツインドラゴン。 なんとか勝利の報告をしてさらに喜んでもらいたいところです。 初当たりはペシペシ打つこと投資500枚。 突然のハマりに驚きましたが、このボーナスはBIGでした。 ここからBIGオンリーで6ハナ連。 頭上にはあっという間にドル箱1つをGETです。 その後は、300GハマりでBIG。 ここからまたREG4回の5ハナ連で、ドル箱は2つ目に突入します。 ハマって連チャンハマって連チャン。 ハマらなければコインはもっと増えるのに…。 そんなことを思っているとまたハマり。 271GでBIGを引いた後、REG1回の3ハナ連。 だんだんハナ連が少なくなってきているのは気のせいでしょうか? 時刻は閉店2時間前。 そろそろヤメ時を考え始める時間です。 ハナ連後のハマりを覚悟してペシペシ打っていくと。 次に当たったのは164G・BIGでした。 ここからハナ連するぞと考えていると。 4ハナ連 ホントにしちゃうのね♪ 頭上のドル箱は4箱目に突入! このままの調子で閉店までいってくれればな… 閉店し、ジェットカウンターにコインを流します。 流したコインはドル箱2つの1101枚。 そうなんです。 最後の最後に611Gハマってしまいました。 そして当たらず… またまた作動した閉店タイマー。 閉店間際の大ハマりに、時間を戻したいと思いながら家路につくのでした。 ツインドラゴンハナハナ実践データ 3070G 14回(1/219. 29) 6回(1/511. 67) 20回(1/153. 【ツインドラゴンハナハナ】超BIG先行型でスイカが悪いけどベルが抜群に良いツインドラゴンハナハナを打った結果 | パチスロ実践ブログ「激アツ」. 50) 通常時の小役確率 ベル 393回(1/7.