最近ディープラーニングという言葉をニュースや新聞で目にする機会が増えてきたのではないでしょうか。ディープラーニングとは、コンピュータ機械学習の一種です。 今後は様々な分野での活用が期待されています。当記事では、ディープラーニングの仕組みから具体的な活用事例まで、ディープラーニングについて幅広く解説します。 ディープラーニングとは?
自然言語処理とディープラーニングの関係 2. 自然言語処理の限界 1.
文ごとに長さが異なるのを扱うアプローチ 138. Recursiveな方は途中のphraseやsentenceに おける単語ベクトルも保存 139. 具体例の説明が重くなりすぎたかも... 140. 141. (Word|Phrase|Sentence|Document) Recursive Autoencoder一強 他の枠組みは? どうする? よりよい単語の表現 意味?? Compositional Semanticsという タスク自体は,deep learning 以外でも最近盛ん 142. 既存タスクへの応用 単語類似度,分類,構造学習... 要約,翻訳,推薦,... ? - 学習された単語のembeddingを追加素性に使う 他の方法は? 143. おわり 13年9月28日土曜日
5ポイントのゲイン 、 シングルモデルでもF1スコアにて1. 3ポイントのゲイン が得られた。特筆すべきは BERTのシングルがアンサンブルのSoTAを上回った ということ。 1. 3 SQuAD v2. 0 SQuAD v2. 0はSQuAD v1. 1に「答えが存在しない」という選択肢を加えたもの。 答えが存在するか否かは[CLS]トークンを用いて判別。 こちらではTriviaQAデータセットは用いなかった。 F1スコアにてSoTAモデルよりも5. 1ポイントのゲイン が得られた。 1. 4 SWAG SWAG(Situations With Adversarial Generations) [Zellers, R. (2018)] は常識的な推論を行うタスクで、与えられた文に続く文としてもっともらしいものを4つの選択肢から選ぶというもの。 与えられた文と選択肢の文をペアとして、[CLS]トークンを用いてスコアを算出する。 $\mathrm{BERT_{LARGE}}$がSoTAモデルよりも8. 3%も精度が向上した。 1. 5 アブレーションスタディ BERTを構成するものたちの相関性などをみるためにいくつかアブレーション(部分部分で見ていくような実験のこと。)を行なった。 1. 5. 自然言語処理 ディープラーニング python. 1 事前学習タスクによる影響 BERTが学んだ文の両方向性がどれだけ重要かを確かめるために、ここでは次のような事前学習タスクについて評価していく。 1. NSPなし: MLMのみで事前学習 2. LTR & NSPなし: MLMではなく、通常使われるLeft-to-Right(左から右の方向)の言語モデルでのみ事前学習 これらによる結果は以下。 ここからわかるのは次の3つ。 NSPが無いとQNLI, MNLIおよびSQuADにてかなり悪化 ($\mathrm{BERT_{BASE}}$ vs NoNSP) MLMの両方向性がない(=通常のLM)だと、MRPCおよびSQuADにてかなり悪化 (NoNSP vs LTR&NoNSP) BiLSTMによる両方向性があるとSQuADでスコア向上ができるが、GLUEでは伸びない。 (LTR&NoNSP vs LTR&NoNSP+BiLSTM) 1. 2 モデルサイズによる影響 BERTモデルの構造のうち次の3つについて考える。 層の数 $L$ 隠れ層のサイズ $H$ アテンションヘッドの数 $A$ これらの値を変えながら、言語モデルタスクを含む4つのタスクで精度を見ると、以下のようになった。 この結果から言えることは主に次の2つのことが言える。 1.
1. 概要 近年、ディープラーニングの自然言語処理分野の研究が盛んに行われており、その技術を利用したサービスは多様なものがあります。 当社も昨年2020年にPhroneCore(プロネコア)という自然言語処理技術を利用したソリューションを発表しました。PhroneCoreは、最新の自然言語処理技術「BERT」を用いて、少ない学習データでも高精度の文書理解が可能です。また、文書の知識を半自動化する「知識グラフ」を活用することで人と同じように文章の関係性や意図を理解することができます。PhroneCoreを利用することで、バックオフィス業務に必要となる「文書分類」「知識抽出」「機械読解」「文書生成」「自動要約」などさまざまな言語理解が可能な各種AI機能を備えており、幅広いバックオフィス業務の効率化を実現することが可能です ※1 。 図:PhroneCore(プロネコア)のソフトウエア構成図 こうした中、2020年に「GPT-3(Generative Pre-Training-3、以下GPT-3)」が登場し自然言語処理分野に大きな衝撃を与えました。さらに、日本でもLINE社が日本語の自然言語処理モデルをGPT-3レベルで開発するというニュース ※2 がありました。 そこで、本コラムでは数ある自然言語処理分野の中からGPT-3についてご紹介したいと思います。 2.
身近な自然言語処理(NLP) 「自然言語を処理する」ということ一体どういうことなのでしょうか? 日々の生活でも取り入れられて、知らない間に私たちの生活を便利にしてくれている自然言語処理(NLP)について以下をはじめ様々なものがあります。 日本語入力の際のかな文字変換 機械翻訳 対話システム 検索エンジン 等々 3. 自然言語処理の流れ 以上のような技術を実現するのが自然言語処理で、まずは処理するための「前処理」というものを見ていきます。 はじめに、解析するための「元のデータ」が必要になり、このときできるだけ多くの高品質なデータを収集すると、後の処理が楽になるとともに、最終的に出来上がるモデルの品質が高くなります。 データの収集を終えたら、必要な部分を取り出したり不要なデータを削除したりします。 3-1. 自然言語処理（NLP）で注目を集めているHuggingFaceのTransformers - Qiita. 自然言語処理のための前処理 3-1-1. コーパス 近年、コンピュータの記憶容量や処理能力が向上し、ネットワークを介してデータを交換・収集することが容易になりました。 その為、実際の録音やテキストなどを収集し、そのデータを解析することによって、言語がどのように使われているかを調べたり、そこから知識を抽出したりといったことが広く行われています。 このように、言語の使用方法を記録・蓄積した文書集合(自然言語処理の分野ではコーパスと呼ぶ)が必要になります。 3-1-2. 辞書 日本語テキストを単語に分割し、ある日本語に対する「表層形」「原形」「品詞」「読み」などを付与するなど何らかの目的を持って集められた、コンピュータ処理が可能なように電子的に情報が構造化された語句のリストである辞書も必要です。 3-1-3. 形態素解析 テキストを言語を構成する最小単位である単語を切り出す技術(形態素解析)も必要になります。 単語は言語を構成する最小単位で、文書や文を1単位として扱うよりも正確に内容を捉えられ、文字を1単位として扱うよりも意味のある情報を得られるというメリットがあるため、自然言語処理では、多くの場合、単語を1つの単位として扱っています。 英語テキストを扱う場合、基本的に単語と単語の間はスペースで区切られているため、簡単なプログラムでスペースを検出するだけで文を単語に分割できるのですが、日本語テキストでは通常、単語と単語の間にスペースを挿入しないため、文を単語に分割する処理が容易ではありません。 つまり、形態素解析は、日本語の自然言語処理の最初のステップとして不可欠であり、与えられたテキストを単語に分割する前処理として非常に重要な役割を果たしています。 3-1-4.
観念してLogoVistaでそろえる いちばん現実的なのはこれかもしれません。 三大英和辞典のうち2つ(ランダムハウス英和大辞典を除く) 研究社 リーダーズ 第3版+リーダーズプラス 研究社 新編英和活用大辞典 大修館 ジーニアス英和辞典 第5版 メリアム・ウェブスター英英辞典 大修館 明鏡国語辞典 第二版 岩波 岩波国語辞典 第七版 三省堂 新明解国語辞典 第七版 ここまでそろいます。あとは、 ランダムハウスを何とかする くらいです(ジャパンナレッジかアプリですけど)。 ただし、ご存じのようにLogoVistaの専用辞書ソフトはEBWin4と比べると、とことん使いにくい。これ、 できるだけ早くLogoVistaさんに要望書を出してみたい と思っています。 2.
『新明解国語辞典 第八版 』の特色 深い思索の産物としての シャープな語釈 現代日本語の精緻な意味分析から成り、言い換えや単なる用字の説明にとどまらない、語の本質に迫る語釈。 これらに向き合うことが「言葉によって考えを深める」ための第一歩となります。 実感あふれる 豊富な用例 どんな語と結びつき、どんな場面で使われるのかを示し、時に巧まざるユーモアをかもし出すほどに生き生きとした用例。 ニュアンスを理解し、また文章作成や表現の工夫の際にも役立ちます。 UPDATE! アクセント辞典を上回る 9万を超えるアクセント表示 実態に即した定評ある通用アクセント表示を、新たなルールで全面的に見直しました。 日本語をより深く理解するための 「文法」欄がさらに充実 最新の文法研究に基づき、さらに詳しくわかりやすく解説しました。 漢字の書き分けがわかる 「表記」欄を全面見直し 貴重な歴史的情報も含めて全面的に見直しました。 学習辞典として高い評価 を得ている内容の拡充 「運用」欄で、言葉を効果的に使うための情報を具体的に提示。「かぞえ方」欄を拡充し、巻末付録には「数字の読み方」を新設しました。 新語・新項目を大幅増補し、 総収録項目数7万9, 000 時代とともに変容する社会の変化を正確かつ厳密にとらえ、約1, 500語の新語・新項目を追加しました。 より 読みやすく、引きやすい 紙面に改良 語義番号のスタイル変更 ページ番号の書体変更 語釈の見やすさ追求 ルビを見やすく
アプリ アプリ辞書は複数のメーカーが展開していますが、代表格は LogoVista と 物書堂 です。両方をあわせると、ここまでそろいます。 三大英和辞典すべて(ランダムハウスは物書堂、他はLogoVista) 研究社 リーダーズ 第3版+リーダーズプラス(LogoVista、物書堂) 研究社 新編英和活用大辞典(LogoVista) 大修館 ジーニアス英和辞典 第5版(LogoVista、物書堂) 三省堂 ウィズダム英和辞典 第4版(物書堂) 旺文社 ロイヤル英文法(LogoVista) 大修館 明鏡国語辞典 第二版(LogoVista) 岩波 岩波国語辞典 第七版(LogoVista) 三省堂 新明解国語辞典 第七版(LogoVista、物書堂) 三省堂 三省堂国語辞典 第七版(物書堂) 日本語シソーラス 第二版(LogoVista、物書堂) その他 といっても、ご覧のようにLogoVistaのラインアップはPC版とほとんど同じなので、わざわざアプリに向かう必要はなさそうです(アプリ版のLogoVistaはまだあまり試していません)。 ウィズダムは、書籍を買えばオンライン版をPCで使えます。 Macの方は、クリップボード経由でiOS上の操作できるそうなので(検索も、検索結果のコピペも? )、その場合はアプリに向かうという選択肢もありそうです。 ■ 最後に、 ご協力のお願い です。 上でも書いたように、LogoVista辞書ソフトに関する要望書を作り始めようと思います。 よろしければ、どんなことでもいいので、LogoVista専用辞書ソフト(またはLogoVista辞書の全般について)「 ここは使いにくい 」「 ここは何とかしてほしい 」と思っていることがあれば、コメント欄に書いていただけますか?
前回のブログで語彙の本を執筆していることはご報告いたしましたが、 難解語句の説明 ( 語釈 と言います) は本当に難しいですね。 以前のブログでも、語釈について触れたような記憶がありますが ( ブログは読み返さないため忘れております…) 。 分からない語句を調べて、 その分からない語句を上回るレベルの言葉で語釈が書かれていること って、アルアルですよね。あれはどうにかならないものかと思います。 たとえば、皆さんなら「 二律背反 (にりつはいはん)」という言葉を小学生 (=中学受験生レベル) にも分かるように説明するとしたら、どのように表記しますか?
それではと、相手の辞書をどう思っているか尋ねました。 山本さんが「これを言いたいということがありまして……」と紹介したのは水谷さんの論文。「目は能く物を見るけれども、しかも自らを見ることは出来ない。鏡中に認める目は、目そのものの影に過ぎない。言語は外界を写すけれども、言語をもって言語を語り尽すことが出来ようか」という文を引き、「非常にかっこいい。しびれますよね。これは語釈を考えるときに避けて通れないところです」と話しました。「科学の岩国」と呼び、語釈にも科学的な割り切りがあるといいます。その一方で新明解は不可能に近いことがあってもできる限り言葉を尽くしていこうという姿勢なのです。 水谷先生の言葉はこちらにあるとのこと。 (ありがとうございます!)
10)によれば、分綴の大原則は、分割したときの読みやすさで、それは発音のしやすさと語の認識のしやすさを考慮しているという。語の認識については語構成を考慮に入れるということだが、発音については、さらに、文字とその音価に対する配慮と音節構造に対する配慮がなされるという。(p. 95-114) [4] 『大言海』の接尾語「め」「す」の解説は以下の通り。(漢字の字体は原文のママ) ○め(接尾)〔羣(ムレ)ノ約カト云フ〕(一)人ノ稱呼ニ添ヘテ罵ル語。奴〈略〉(ニ)鳥ノ稱呼ニ添ヘテ云フ語。卽チ、スズめ(雀)、ツバクラめ(燕)、カモめ(鷗)、小ガラめ、ナドノ如シ。〔第四巻、p. 568〕 ○す(接尾)〔美稱〕禽蟲ノ名ノ下ニ添フル語。(萩(ハギ)、荻(オギ)、薄(ススキ)ノ、きノ如シ)「ウグヒす」ホトトギす」キギす」カラす」キリギリす」ギず」モず」ミミず」又、「メす」ヲす」カケす」モ此類ナルベシ。〔第二巻、p. 例解新国語辞典 第九版. 876〕 ※原文ママ ちなみに、『言海』では、「かもめ(鷗)」「すずめ(雀)」「つばめ(燕)」の「め」について、それぞれの見出しの「め」の前に切れ目のハイフンが入るが、「め」の解釈は分かれ、共通する接尾語という認定はない。「うぐいす(鶯)」「からす(烏)」「きりぎりす(螽斯)」の「す」については、語構成の切れ目はなく、接尾語の説明もない。 ▶「来たるべき辞書のために」は月2回(第1、3水曜日)の更新です。次回は2021年1月6日(水)、新シリーズスタート、今野教授の担当です。