1. 自然言語処理のための Deep Learning 東京工業大学 奥村・高村研究室 D1 菊池悠太 @kiyukuta at 2013/09/11 Deep Learning for Natural Language Processing 13年9月28日土曜日 2. 3. 2つのモチベーション - NLPでニューラルネットを - 言語の意味的な特徴を NN→多層×→pretraining→breakthrough!! 焦って早口過ぎてたら 教えて下さい A yet another brief introduction to neural networks networks-26023639 4. Neural networkベースの話 RBMとか苦しい 5. for NLP 6. Deep Learning概要 Neural Networkふんわり Deepへの難しさ Pretrainingの光 Stacked Autoencoder, DBN 7. 8. 9. Unsupervised Representation Learning 生データ 特徴抽出 学習器- 特徴抽出器 - 人手設計 答え! 答え! Deep Learning 従来 10. 結論からいうと Deep Learningとは 良い初期値を(手に入れる方法を) 手に入れた 多層Neural Networkです 11. ⽣生画像から階層毎に階層的な特徴を ラベル無しデータから教師なしで学習 12. 生画像 高次な特徴は,より低次な特徴 の組み合わせで表現 13. = = = 低次レベルの特徴は共有可能 将来のタスクが未知でも 起こる世界は今と同じ 14. 15. A yet another brief introduction to Neural Networks 菊池 悠太 16. Neural Network 入力層x 隠れ層z 出力層y 17. 生データ,抽出した素性 予測 18. 例えば,手書き数字認識 784次元 10次元 MNIST (28*28の画像) 3!! [0. 05, 0. 40, 0. 自然言語処理（NLP）で注目を集めているHuggingFaceのTransformers - Qiita. 15, 0. 05] 10次元の確率分布 (左から,入力画像が, 0である確率, 1である確率... 9である確率) 28*28= 784次元の数値ベクトル 19. Neuron 隠れユニットjの 入力層に対する重み W1 隠れユニットj 20.
最後に 2021年はGPT-3をはじめとした自然言語処理分野の発展が期待されている年であり、今後もGPT-3の動向を見守っていき、機会があれば触れていきたいと思います。 ※2021年1月にはGPT-3に近い性能の言語モデルをオープンソースで目指す「GPT-Neo」の記事 ※9 が掲載されていました。
3 BERTのファインチューニング 単純にタスクごとに入力するだけ。 出力のうち $C$は識別タスク(Ex. 感情分析) に使われ、 $T_i$はトークンレベルのタスク(Ex. Q&A) に使われる。 ファインチューニングは事前学習よりも学習が軽く、 どのタスクもCloud TPUを1個使用すれば1時間以内 で終わった。(GPU1個でも2~3時間程度) ( ただし、事前学習にはTPU4つ使用でも4日もかかる。) 他のファインチューニングの例は以下の図のようになる。 1. 4 実験 ここからはBERTがSoTAを叩き出した11個のNLPタスクに対しての結果を記す。 1. 4. 1 GLUE GLUEベンチマーク( G eneral L anguage U nderstanding E valuation) [Wang, A. (2019)] とは8つの自然言語理解タスクを1つにまとめたものである。最終スコアは8つの平均をとる。 こちら で現在のSoTAモデルなどが確認できる。今回用いたデータセットの内訳は以下。 データセット タイプ 概要 MNLI 推論 前提文と仮説文が含意/矛盾/中立のいずれか判定 QQP 類似判定 2つの疑問文が意味的に同じか否かを判別 QNLI 文と質問のペアが渡され、文に答えが含まれるか否かを判定 SST-2 1文分類 文のポジ/ネガの感情分析 CoLA 文が文法的に正しいか否かを判別 STS-B 2文が意味的にどれだけ類似しているかをスコア1~5で判別 MRPC 2文が意味的に同じか否かを判別 RTE 2文が含意しているか否かを判定 結果は以下。 $\mathrm{BERT_{BASE}}$および$\mathrm{BERT_{LARGE}}$いずれもそれまでのSoTAモデルであるOpenAI GPTをはるかに凌駕しており、平均で $\mathrm{BERT_{BASE}}$は4. ディープラーニング・自然言語処理編1 | データサイエンス基礎講座2020 | インプレスアカデミー. 5%のゲイン、$\mathrm{BERT_{LARGE}}$は7. 0%もゲイン が得られた。 1. 2 SQuAD v1. 1 SQuAD( S tanford Qu estion A nswering D ataset) v1. 1 [Rajpurkar (2016)] はQ&Aタスクで、質問文と答えを含む文章が渡され、答えがどこにあるかを予測するもの。 この時、SQuADの前にTriviaQAデータセットでファインチューニングしたのちにSQuADにファインチューニングした。 アンサンブルでF1スコアにて1.
現在は第3次AIブームと呼ばれ、その主役は、ディープラーニング(深層学習)です。 ディープラーニングは、学習によって自動で特徴量を抽出できるため、大量のデータを入力さえすれば、勝手に賢くなると思われています。 そこで、一時は、大量の会話データを入力すれば、自動で会話できるようになるかと思われていましたが、実際は、そうはなりませんでした。 それでは、なぜ、ディープラーニングは、会話、自然言語処理に対応できないのでしょう?
1. 概要 近年、ディープラーニングの自然言語処理分野の研究が盛んに行われており、その技術を利用したサービスは多様なものがあります。 当社も昨年2020年にPhroneCore(プロネコア)という自然言語処理技術を利用したソリューションを発表しました。PhroneCoreは、最新の自然言語処理技術「BERT」を用いて、少ない学習データでも高精度の文書理解が可能です。また、文書の知識を半自動化する「知識グラフ」を活用することで人と同じように文章の関係性や意図を理解することができます。PhroneCoreを利用することで、バックオフィス業務に必要となる「文書分類」「知識抽出」「機械読解」「文書生成」「自動要約」などさまざまな言語理解が可能な各種AI機能を備えており、幅広いバックオフィス業務の効率化を実現することが可能です ※1 。 図:PhroneCore(プロネコア)のソフトウエア構成図 こうした中、2020年に「GPT-3(Generative Pre-Training-3、以下GPT-3)」が登場し自然言語処理分野に大きな衝撃を与えました。さらに、日本でもLINE社が日本語の自然言語処理モデルをGPT-3レベルで開発するというニュース ※2 がありました。 そこで、本コラムでは数ある自然言語処理分野の中からGPT-3についてご紹介したいと思います。 2.
AIが人間の問いに応答するには、まず質問の言葉の意味を理解しなければなりません。その際に必要とされるのが自然言語処理という技術ですが、「形態素解析」はその自然言語処理技術における最も基礎的な部分を担っています。 すでに歴史が長く、様々な場面で使われる形態素解析とは具体的にどのような技術なのでしょうか。また、身近な活用事例にはどのような事例があるのでしょうか。 この記事では、形態素解析の基礎的な知識や代表的なツール、日本語と英語の解析の違いなどを中心に紹介します。 形態素解析とは?
お母さんにだけ非常に反抗的な子どもに手を焼いていませんか?ADHDタイプの発達障害・グレーゾーンの小・中学生の反抗的な態度には注意が必要です。一般的な反抗期とは何が違うのか?お母さんにだけ反抗的になる原因や対処法をご紹介します。 【目次】 1.発達障害・グレーゾーンの小・中学生の反抗的態度、このまま様子見でいいの? 子どもが 小学校高学年から中学生 に差し掛かると避けて通れないもの。それは 反抗期 です。 これまで素直でかわいかった我が子の口から吐き出される暴言、お母さんには耐えがたいですよね。 反抗期の親子関係についてお悩みのお母さんは、たくさんいらっしゃいます!パステル総研では、そんなお母さんたちを救うべく、これまでに様々な情報を発信してきました。 今回は、お母さんだけに反抗的な男の子のお話です。 Aさんは、 注意欠陥多動性障害 ( ADHD)の特性 のある 小学4年生の息子さん のことで悩んでいました。 ・お母さんだけに反抗的な態度 ・乱暴で挑発的な言葉・暴言 ・何かにつけて意地悪で執念深い ・お父さんの前では素直 他のお母さんに相談しても 『反抗期の時期が終われば問題なくなるよ!』『ウチもあるある〜』 と言われてしまい、スッキリしません。 お父さんに至っては 『オレも昔はそうだったし』 とか 『これからもっとエスカレートするかもな』 と、 どこか他人事 です 「よく聞く反抗期にしては、私にだけ、暴言や反抗的な態度がひどすぎる!」 「物を壊して家の中がめちゃくちゃ!私も精神的に限界…!」 息子さんのこのような態度は、成長の過程で時間が経てば、本当に改善するのでしょうか? [B!] 中学受験生、反抗期？反抗性挑戦障害？コミュニケーションの悪癖緩和はサピックスのテストより大事！ - もしかして発達グレー研究所～凸凹ハートの幸せを考えるブログ by QOLT. 答えはNOです! 何も対策をしないまま、Aさんと息子さんの辛い状況を長引かせると、 さらに悪化し改善させるのが困難 になります。 状況の改善のためには、 今すぐ対策を講じて実践 することが必要なのです! ▼大人気▼発達グレーゾーンを卒業する方法が分かります 2.よく聞く反抗期とは違う!すぐに対処すべき理由 Aさんの息子さんのような反抗的な態度と、子どもの成長過程での反抗期とは、どこが違うのでしょうか? 実は、Aさんの息子さんのような、ADHDタイプの子どもの反抗的な態度は、放っておくと 「反抗挑戦性障害」 という、 発達障害の二次障害になってしまう可能性 があります。 反抗挑戦性障害 とは、9~10歳未満の子どもに見られることの多い障害で、症状は 「かんしゃくを起こしたり、イライラしやすい」 、 「権威ある人や大人と口論したり、規則を破る」 、 「執念深い」 の3つに分けられます。 子どもが発達障害の二次障害になってしまうと、 専門的な対応が必要になり、改善するまでの時間がさらに長くかかります。 しかし、反抗的な態度も、子どもによってさまざま。男の子と女の子でも違ってきます。ですから、 専門家に相談しないと反抗期との見極めが難しい のが現状です。 ここで重要になってくるのが、 お母さんの気づきの力。 お子さんと接した時に「あれ?」と思った瞬間を見逃さないでほしいのです。例えばAさんの場合は、息子さんの態度や表情に "怖さが湧き上がった" そうです。 そんな息子さんに対して、今までのAさんはどんな対応していたのでしょうか?
」 「でさー、謝りに行ったのに態度なってないとか意味不明!」 「そうなんだ~、謝りに行ったのに態度なってないとか言われたんだ。 他には? 」 このようにして、 子どもが話すことにはすべて共感 して、促して吐き出させてあげましょう。 そのうちカッカしていた子どもも落ち着いてきます。 ここはいい機会だから正しいことを教えなきゃ! と思われるかもしれませんが、それは不要です。 中学生なら話をしているうちに、どうしたらよかったか お母さんが教えなくても自分で答えを見つけられる ものです。 お子さんを信じてお母さんは話を聞いてあげるだけでいいのです。 ◆中学生を大人だと思って尊重する 子どもも中学生ともなればしっかり自分の考えもあります。 その考えがお母さんからみていかがなものかとか、世の中を知らない甘いものだったとしても、お母さんの考えを押し付けたり、こうしなさいと命令したりはしません。 中学生に対しては、大人に話をするように 相手の考えを尊重 することが必要です。 もしお母さんと違う考えを話されたとき、こんな相槌はどうでしょうか。 「なるほどねー。そんな考えもあるのか」 その相槌のあと、お子さんが何か話をしたらその後に、 「どうしてそう思うの?」 とか、質問を挟んでみてください。 質問の後は 「へえー、そうなんだ」 とそのまま聞きます。十分話を聞いた後でなら、お母さんの想いを伝えてもいいと思います。 子どもとフラットな関係で話ができれば、お子さんの視野だけでなくお母さんの視野も広がることがありますよ!
グレーゾーン 中学校生活のリアル 発達障害 更新日: 2021-03-21 「ライフスキル」とは日常生活に必要なスキルのこと。発達障害・グレーゾーンの子どもはライフスキルが身に付けにくいです。そのまま大人になると様々なトラブルにあうことも。家族がフォローしやすい中学卒業を目安に、楽しく身につける方法をお伝えします。 【目次】 1 発達障害・グレーゾーンの子どもに必要な「ライフスキル」とは? 「ライフスキル」 とは何かご存知ですか?「ライフスキル」とは、 日常生活で必要となるスキル のことです。「生活スキル」というとわかりやすいですね。 小学校でも、 ・何時に起きましたか? ・朝ごはんを食べましたか? ・歯みがきをしましたか? ・何時に寝ましたか? ・ハンカチやティッシュは持っていますか? ・爪は短く切っていますか? という風に、生活習慣を確認する機会がありますよね?これらは 基本的なライフスキル です。 多くの子は、 小さい頃からのくらしの中で、ライフスキルを自然に身につけます。 しかし発達障害・グレーゾーンの子どもには、ライフスキルを 身につけることが難しい 場面があります。 例えば ・朝起きるのがつらい ・時間の管理や調整がむずかしい ・お金をすぐに使ってしまう ・身だしなみが整えられない ・整理整頓が苦手 ・忘れ物が多い ・夜になっても眠れない などがあります。これらの苦手な場面は、中学卒業くらいまでは家族のフォローもあって、さほど問題になりません。 しかし、お子さんが 高校生になるとどうでしょうか? 高校生になると、 1人での活動が増えていきます。 友だちと買い物をしたり遊んだり、アルバイトも始めて、好きなようにお金を使うこともできます。 このように、子どもの活動範囲が広がると、 家族のフォローが届きにくく なってしまいます。 この頃から、ライフスキル不足が原因で ・お金を使いすぎて、金銭トラブルを抱えてしまう ・電車やバスなどの交通機関をうまく使えない ・怪しい勧誘にのってしまう ・片付けや掃除ができず、ご近所トラブルに発展する などのトラブルにあい、 日常生活に支障 が出るようになってしまいます。 このようなトラブルが重なると、外出することが嫌になって 不登校 になったり、家にひきこもるなど、 自立した生活がさらに難しく なります。 そうならないように、家族のフォローがしやすい 中学卒業までに 、ライフスキルを身につけることが重要なのです。 また、ライフスキルを身につけると ・安定した生活を送れる ・本来の力を発揮できる ・将来の夢が広がる こんなふうに、お子さんに 発達障害・グレーゾーンがあっても、 大活躍できる場が広がる のです!