こんにちは,米国データサイエンティストのかめ( @usdatascientist)です. 統計講座も第27回まできました.30回は超えますね,確実に 前回までは推測統計の"推定"について話を進めてきましたが,今回から "検定" を扱っていきます. (推定と検定については こちらの記事 で概要を書いております) まず検定について話をする前にこれだけ言わせてください... "検定"こそが統計学を学ぶ一番のモチベーションであり,統計学理論において最も重要な役割を果たしている分野である つまり,今までの統計学講座もこの"検定"を学ぶための準備だと思ってください. (それは言い過ぎ?でも,それくらい重要な分野なんです) じゃぁ,"検定"でどんなことができるのか?そのやり方について今回は詳細に解説していきます. (今回は理論的な話ばかりになってしまいますが,次回以降実際にPythonを使って検定をやっていくのでお楽しみに!) 検定ってなに? 簡単にいうと「ある物事の想定に対して標本観察によりその想定が矛盾するのかどうかを調べること」です. うさぎ 具体例で見ていきましょう! 例えばある工場で製品を作っていて,ある一定の確率で不良品が生産されてしまうとしましょう. この不良品が出てしまう確率を下げるべく,工場の製造過程を変更することを考えます. この変更が実際に効果があるのかどうかを判断するのに役立つのが"検定"です. 変更前と変更後の製品の標本をとってみて,もし変更後の方が不良品がでる確率が少なければ,「この変更は正解だった」と言え,工場の生産過程を新しくすることができそうです. 仮にそれぞれ100個の製品の標本を取ったとき,変更前の過程で生産された製品100個のうち不良品が5個で,変更後の不良品が4個だったとしましょう. 帰無仮説 対立仮説 なぜ. 確かに今回の標本では改善が見られますが,これを見て実際に「よし,工場の生産過程を変えよう!」って思えますか? じゃぁこれが変更後の不良品が3個だったら?2個だったら?2個だったら生産過程を新しくしてもよさそうですよね. このような判断が必要な場面で出てくるのが検定です.つまり検定は 意思決定を左右する非常に重要な役割を果たす わけです. では,どのように検定を使うのか? まず,「変更前と変更後では不良品が出る確率は変わらない」という「想定」をします. この想定の元,標本から計算した不良品率(比率ですね!)を見た時にありえない(=想定が正しいとは言い難い)数字が出た場合,「想定が間違ってるんじゃない?」と言えるわけです.つまりこの場合,「変更前と変更後で不良品が出る確率が違う」ということが言えるわけですね.これを応用して,生産過程を変更するかどうかを判断できるわけです.
1. 比率の差の検定 先ほどの例はまさにこれですね.ある工場の製造過程変更前と後で不良品率(比率)に差があるかを検定によって調べたのでした. 他にも, マーケティングのある施策によってダイレクトメールから自社サイトにアクセスする割合は変わったかどうか 日本の30代男性の既婚率と米国の30代男性の既婚率とでは差があるのか などなど,様々な例が考えられます. 2. 連関の検定 カテゴリ変数の相関のことを 連関(association) と言います. (相関については 第11回 あたりで詳しく解説しています) 例えば「Pythonを勉強してる人ほどRを勉強しているのか」などです. Pythonを勉強しているか否かは2値のカテゴリ変数です.同様に,Rを勉強しているか否かも2値のカテゴリ変数ですよね. カテゴリ変数の場合は 第11回 で解説した相関は計算できません.相関ではなく連関とよび,それを計算する手法があります.(今後の講座で扱っていきます.) この連関の有無を検定によって調べることができます. 仮説検定の中でもよく使われる検定 です.使用する統計量がカイ二乗(\(\chi^2\))統計量をベースにしているものが多いため, カイ二乗検定 と言われたりもします.この辺りは今後の講座で詳しく解説していきます! 3. 平均値差の検定 平均に差があるのかを検定します.比率の差の検定があったら,平均の差の検定もありそうですよね! 例えば 工場Aと工場Bの製品の誤差の平均は等しいのか 東京都と大阪府の小学生の1日の平均勉強時間は等しいのか 試薬Aと試薬Bで効果は等しいのか などです. 経営情報システム 「統計」問題14年分の傾向分析と全キーワード その４【仮説検定】 - とりあえず診断士になるソクラテス. 平均値差の検定にはt分布を用いるので, t検定(Student's t-test) とも呼ばれます.こちらもよくビジネスやサイエンスの現場で本当によく使う検定です. (t分布については 前回の記事 で詳しく解説してます.) (また講座で詳しくやりますが,)t検定は それぞれの群の分散が正しいことを前提 にしています. なので,場合によっては「分散が正しいと言えるのか」という検定をあらかじめ行う必要があったりします.(分散が異なる場合は高度な検定手法が必要になりますが,本講座では扱いません.) 4. 分散の検定 二つの母集団の分散が異なっているかどうかを検定します. 統計学の理論では 「二つの母集団の分散が正しいことを仮定する」ケースが多い です.先ほどのt検定もその一つです.
672 80. 336 151. 6721 0. 0000 4. 237 8 0. 530 164. 909 16. 491 ※薄黄色は先ほどの同質性の検定の部分です。 この表の ( 水準間の平方和)と ( 共通の傾きの回帰直線からの残差平方和)の平均平方を比較することで、水準間の変動がランダムな変動より有意に大きいかを評価します。 今回の架空データでは p < 0. 001 で水準間に有意な変動があるようでした。 (追記) SAS の Output の Type II または III を見ると F (1, 1)=53. 64, p<0. 0001 で薬剤(TRT01AN)の主効果が有意だったことが分かります。Type X 平方和は、共分散分析モデルの要因・共変量(TRT01AN、BASE)を分解して、要因別の主効果の有無を評価したもの。 ※ Type II, III 平方和の計算は省略します。平方和の違いはいつかまとめたい。 ※ Type I 平方和のTRT01ANは次のとおり。要否別で備忘録として。 調整平均(LS mean:Least Square mean) 共分散分析と一緒に調整平均の差とその信頼 区間 を示すこともありますので、備忘録がてらメモします。 今回の架空データを Excel のLINEST関数で実行した結果がこちらです: また、共変量(BASE)の平均は19. 545だったため、調整平均は以下となります。 水準毎の調整平均 調整平均の差とその信頼 区間 これを通常の平均と比べると下表のとおりです。 評価項目 A薬 B薬 差 (B-A) 95%信頼 区間 Y CHG の平均 -6. 000 -9. 833 -3. 833 -8. 9349 1. 2682 Y CHG の調整平均(LS mean) -6. 323 -9. 564 -3. 240 -4. 2608 -2. 帰無仮説 対立仮説 p値. 2202 今回の架空データでは、通常の平均の差の信頼 区間 は0を挟むのに対し、調整平均では信頼 区間 の幅が狭まり、0を挟まなくなったことが分かります(信頼 区間 下限でもB薬の方が効果を示している)。 Rでの実行: library(tidyverse) library(car) #-- サンプルデータ ADS <- ( TRT01AN=c(0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1), BASE=c(21, 15, 18, 16, 26, 25, 22, 21, 16, 17, 18), AVAL=c(14, 13, 13, 12, 14, 10, 10, 9, 10, 10, 11)) ADS$CHG <- ADS$AVAL - ADS$BASE ADS$TRT01AF <- relevel(factor(ifelse(ADS$TRT01AN==0, "A薬", "B薬")), ref="A薬") #-- 水準毎の回帰分析 ADS.
夏といえば、やっぱり「そうめん」。でも、いつも同じ味付けで食べていたら、さすがに飽きちゃうかも。というわけで今回、編集部が選ぶ"そうめんアレンジ"をご紹介します!めんつゆに飽きたら試してみて! 夏といえば、やっぱり「そうめん」。暑い日にキンと冷えたつゆにつけて食べる、ツルリと喉ごしの良いそうめんは格別ですよね。 でも、いくらおいしいからといって、毎回同じ味付けで食べていたらさすがに飽きちゃうかも。最近は パスタ風やラーメン風にそうめんをアレンジできる商品 も充実しているけれど、さらに" 意外性 "というスパイスも加えたい。そんなわけで今回えん食べ編集部では、スタッフの総力(2名)をあげて「 めんつゆ以外でそうめんに合う、身近かつ意外な食材 」を探してみました! めんつゆとはちょっと距離を置いてみる 用意したのは、スープやレトルト食品、お惣菜、コーヒー、アイス、牛乳…などなど。しょっぱいものから甘いものまで、スーパーでピンときたものを片っ端から買い揃えてみました。 そんな中、とりわけ「 これはみなさんに発表しても恥じない 」とスタッフが判断した"そうめんアレンジ"トップ3を以下、ご紹介します!
めんたいマヨ そうめんに市販のパスタソースはどれも合うだろうと思っていましたが、実際その通りでした。トマト系からクリーム系まで何種類か試してみましたが、 断トツそうめんとの相性がよかったのが「めんたいマヨ」 でした。ちなみに私、このパスタソースは初めて食べました。写真のそうめんに乗っている海苔は、パスタソースに付いています。 普通の明太子ソースとも食べ比べましたが、どうもマヨネーズがそうめんに絡むことによっておいしさが倍増しているようです。たらこや明太子系は合うだろうなと思ってはいたのですが、今回あれこれ試した中で「めんたいマヨ」がそうめんとベストマッチングという結果は、ちょっと意外でした。マヨネーズ、偉大です。マヨラーじゃないけど、今回の仕事ぶりには感服しました。 どうですか、麺つゆ以外でもそうめん食べたくなりました? どれもスーパーはもちろん、コンビニでも買えるようなものばかりなので、気になるものを試してみてください。 ただしオリーブオイル&バルサミコ酢以外でよろしく! 書いた人:椿あきら 猫の下僕をしているライターです。猫と暮らすようになってから、断然家飲み派になりました。著書に『オリンピックと自衛隊 1964-2020』(並木書房)。 Twitter: @nananatsubaki 過去記事も読む
執筆・撮影:白央篤司 郷土料理がメインテーマのフードライター。雑誌『栄養と料理』、『ホットペッパー』、農水省広報誌などで執筆。著書に「にっぽんのおにぎり」(理論社)「ジャパめし。」(集英社)など。 facebook: ブログ: 独酌日記 過去記事も読む