クリスマスイブの夜は男三人しかいないオフィスで関数型言語の素晴らしさについて語っていた西鳥羽です。こんにちは。 昨日のPFIセミナーで「Deep Learningと自然言語処理」というタイトルで発表させていただきました。以下がその時の資料です。 この辺りに興味を持たれた方は今度の1月20日に「NIPS 2014 読み会」 もどうぞ。残り枠数少ないので申し込みはお早めに。 本当はBoltzmann Machine, Deep Belief Network, Auto Encoder, Stacked Auto EncoderなどのDeep Learningの歴史的なところも説明したかったのですが端折ってしまいました。Deep Learningそのものの説明も含めて以下の資料が参考になります。 その他、人工知能学会誌の<連載解説>深層学習はオススメです その他、自然言語処理に置けるDeep Learningなどは以下も参考になりました。 補足として資料内で参照していた論文です。 Collobert, et al. 2011(資料中2013としていましたが2011の間違いでした): 「Natural Language Processing (Almost) from Scratch」 Qi, et al. 2014(資料中2013としていましたが2014の間違いでした): 「Deep Learning for Character-Based Information Extraction」 Mikolov, et al. 2013:「Efficient Estimation of Word Representations in Vector Space」 Zhou, et al. 2013: 「Bilingual Word Embeddings for Phrase-Based Machine Translation」 Socher, et al. 自然言語処理のためのDeep Learning. 2013: 「Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank」 Wann, Manning 2013: 「Effect of Non-linear Deep Architecture in Sequence Labeling」 Le, et al.
その他 「意味」の問題 「ちょっとこの部屋暑いね」という発話は、単にこの部屋が暑いという事実を表明している文であるとシステムは解析しますが、人間であれば、この発話を聞いて、「発話主が不快である」「部屋の窓を開けると涼しくなる」「冷房をつければ涼しくなる」といった推論を経て、「エアコンでも付けようか」と提案するなど、いわゆる人間味のある行動を取ることができます。 これには、「夏には窓を開けたり、冷房をつけると涼しくなる」という常識など、発話以外に大量の知識および推論が必要となってきます。 これらの知識や常識をコンピュータでどのように表現・処理するかは、自然言語処理のみならず人工知能の分野における長年の問題の1つです。
自然言語処理とディープラーニングの関係 2. 自然言語処理の限界 1.
オミータです。 ツイッター で人工知能のことや他媒体で書いている記事など を紹介していますので、人工知能のことをもっと知りたい方などは 気軽に @omiita_atiimo をフォローしてください! 2018年10月に登場して、 自然言語処理でもとうとう人間を超える精度を叩き出した ことで大きな話題となったBERT。それ以降、XLNetやALBERT、DistillBERTなどBERTをベースにしたモデルが次々と登場してはSoTAを更新し続けています。その結果、 GLUEベンチマークでは人間の能力が12位 (2020年5月4日時点)に位置しています。BERTは登場してまだ1年半程度であるにもかかわらず、 被引用数は2020年5月4日現在で4809 にも及びます。驚異的です。この記事ではそんなBERTの論文を徹底的に解説していきたいと思います。BERTの理解には Transformer [Vaswani, A. (2017)] を理解しているととても簡単です。Transformerに関しての記事は拙著の 解説記事 をどうぞ。BERTは公式による TensorFlow の実装とPyTorchを使用している方には HuggingFace による実装がありますのでそちらも参照してみてください。 読んで少しでも何か学べたと思えたら 「いいね」 や 「コメント」 をもらえるとこれからの励みになります!よろしくお願いします! 流れ: - 忙しい方へ - 論文解説 - まとめと所感 - 参考 原論文: BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. et al. (2018) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding, Devlin, J. (2018) 0. 絶対に超えられないディープラーニング（深層学習）の限界 – AIに意識を・・・ 汎用人工知能に心を・・・ ロボマインド・プロジェクト. 忙しい方へ BERTは TransformerのEncoder を使ったモデルだよ。 あらゆるNLPタスクに ファインチューニング可能なモデル だから話題になったよ。 事前学習として MLM (=Masked Language Modeling)と NSP (Next Sentence Prediction)を学習させることで爆発的に精度向上したよ。 事前学習には 長い文章を含むデータセット を用いたよ。 11個のタスクで圧倒的SoTA を当時叩き出したよ。 1.
1. 自然言語処理のための Deep Learning 東京工業大学 奥村・高村研究室 D1 菊池悠太 @kiyukuta at 2013/09/11 Deep Learning for Natural Language Processing 13年9月28日土曜日 2. 3. 2つのモチベーション - NLPでニューラルネットを - 言語の意味的な特徴を NN→多層×→pretraining→breakthrough!! 焦って早口過ぎてたら 教えて下さい A yet another brief introduction to neural networks networks-26023639 4. Neural networkベースの話 RBMとか苦しい 5. for NLP 6. Deep Learning概要 Neural Networkふんわり Deepへの難しさ Pretrainingの光 Stacked Autoencoder, DBN 7. 8. 9. Unsupervised Representation Learning 生データ 特徴抽出 学習器- 特徴抽出器 - 人手設計 答え! 答え! Deep Learning 従来 10. 結論からいうと Deep Learningとは 良い初期値を(手に入れる方法を) 手に入れた 多層Neural Networkです 11. ⽣生画像から階層毎に階層的な特徴を ラベル無しデータから教師なしで学習 12. 生画像 高次な特徴は,より低次な特徴 の組み合わせで表現 13. = = = 低次レベルの特徴は共有可能 将来のタスクが未知でも 起こる世界は今と同じ 14. 15. A yet another brief introduction to Neural Networks 菊池 悠太 16. Neural Network 入力層x 隠れ層z 出力層y 17. 生データ,抽出した素性 予測 18. 例えば,手書き数字認識 784次元 10次元 MNIST (28*28の画像) 3!! [0. 05, 0. 40, 0. 自然言語処理 ディープラーニング. 15, 0. 05] 10次元の確率分布 (左から,入力画像が, 0である確率, 1である確率... 9である確率) 28*28= 784次元の数値ベクトル 19. Neuron 隠れユニットjの 入力層に対する重み W1 隠れユニットj 20.
巨大なデータセットと巨大なネットワーク 前述した通り、GPT-3は約45TBの大規模なテキストデータを事前学習します。これは、GPT-3の前バージョンであるGPT-2の事前学習に使用されるテキストデータが40GBであることを考えると約1100倍以上になります。また、GPT-3では約1750億個のパラメータが存在しますが、これはGPT-2のパラメータが約15億個に対して約117倍以上になります。このように、GPT-3はGPT-2と比較して、いかに大きなデータセットを使用して大量のパラメータで事前学習しているかということが分かります。 4.
ゆきぽよがみやぞんに告白したのがきっかけ! ゆきぽよがみやぞんに告白したのがきっかけで交際に発展したと噂されています。ゆきぽよは「本当に結婚したいです。こういうハッピーな人と毎日いっしょに過ごせたら」と本気で求婚していました。 一方で、みやぞんはまんざらではなかった様子で、さんまさんを通じて連絡先を交換しています。サッカー女子日本代表の丸山桂里奈さんとバイきんぐの小峠英二さんを加えた4人で食事に行って交流を深めていたことを公表しました。 ゆきぽよは、みやぞんの誕生日が近かったので、『パジャマ』をプレゼントして結婚アピールしていたようですね。 ゆきぽよのような美女に求婚されるチャンスなんでめったにありませんので、みやぞんも結婚に前向きだと思われます。みやぞんとゆきぽよが付き合っているかについて徹底リサーチしましたので、次章で詳しく解説していきます! みちょぱとゆきぽよ似てるけど違いは？どっちが人気なのか調べてみた！ | Your life is irreplaceable!. みやぞんとゆきぽよは結局付き合ってるの? みやぞんとゆきぽよは互いに異性として意識しているようですが、付き合っているとの情報までは確認できませんでした。みやぞんは『世界の果てまでイッテQ』の海外ロケが多いため、ゆきぽよとなかなか食事に行く時間が取れないと話していました。 互いに人気絶頂なので一緒にいる時間が確保できないのかもしれません。みやぞんがゆきぽよにLINEしたところ既読スルーされたというエピソードもありましたが、ゆきぽよの未読が100件以上あり見逃してしまったようです。 カップルになっているならテレビでカミングアウトする可能性も考えられますので、今のところは付き合う前の友達関係だと思われます。今後の二人の動向には要チェックですね♪ みやぞんの歴代彼女まとめ! みやぞんの歴代彼女を知りたい人は必見!ここでは、みやぞんの歴代彼女について詳しくご紹介します。 みやぞんの彼女1、高校時代の一般女性 Related article / 関連記事
86 ID:t8LVXf7NO >>59 ゆきぽよは売名に頼るまでもなく、既に有名人じゃん >>62 まだ「名前は知ってるけどみちょぱと見分けがつかん」ってレベルでしょ もっとバラエティーに進出したいんだよきっと 64 名無しさん@恐縮です 2019/02/08(金) 06:48:52. 83 ID:niTLdQsI0 どこで有名やねん アンニョンハセヨ~アイミョン >>62 いやいや まだ売名に頼った方がいい程度の無名タレントよ 売名ならどうとも思わないけど ガチで惚れてるなら引くわ 68 名無しさん@恐縮です 2019/02/09(土) 04:28:37. 14 ID:pfMT8z4C0 ゆきぽよ みちょぱ あいみょん はあちゅう うぜえ >>9 わかる でもあの笑顔に惹かれる SNSで発信するほど口が軽いならヤリたくねーな 71 名無しさん@恐縮です 2019/02/09(土) 11:52:48. 11 ID:RctHAEWa0 72 名無しさん@恐縮です 2019/02/09(土) 17:38:41. 31 ID:vrqJCJfP0 >>69 あたまおかしい 74 名無しさん@恐縮です 2019/02/10(日) 06:56:56. 57 ID:R6cd/7C30 ゆきぽよやっぱりフィリピンのハーフだったんだな ロンドンハーツの清楚風も可愛かったが普段ギャルにしてるのはハーフ隠しもあるのかな 75 名無しさん@恐縮です 2019/02/10(日) 20:01:28. 70 ID:n+Fa4Cv70 ずっと浜田ブリトニーだと思ってたw 76 名無しさん@恐縮です 2019/02/11(月) 07:15:48. 49 ID:ClL/HTz30 みやぞんって既婚だと思ってたけど、独身だったんだ? 下積み時代から支えてる奥さんがいると思ってたけど、別の人と勘違いしてた 78 名無しさん@恐縮です 2019/02/11(月) 07:22:11. 16 ID:82F3UDd20 みやぞんはピュアなやつだから、もっと引っ張らないとダメだよ。もっと頑張りましょう。 79 名無しさん@恐縮です 2019/02/11(月) 07:29:00. 55 ID:LZOr2BtO0 ゆきぽよ白ギャルだった頃めちゃくちゃ可愛かった 何故こんな仕上がりになったんだ 80 名無しさん@恐縮です 2019/02/11(月) 07:29:32.
18 ID:7zUX+Elu0 おはたい彼氏 39 名無しさん@恐縮です 2019/02/07(木) 11:29:50. 40 ID:zMhfjFpA0 特に売りがない芸能人女は大変だな 40 名無しさん@恐縮です 2019/02/07(木) 11:31:41. 00 ID:5frbqP730 今現在彼氏いるのにウケルw >>21 富士夫の悪口はよせ どうでもいいヤツらだが最終的にはみやぞんが捨てられて終わるんやろねぇ この手の話で上手くいったのきいたことがないな みやゾンモテるでしょ 45 名無しさん@恐縮です 2019/02/07(木) 11:54:23. 14 ID:g1nVnSgl0 小峠大変だったなw こうして 日本に 朝鮮人が増えていく 日本人は子供を作るな少子化にして絶滅しろというのが 朝鮮人総理安倍晋三とその仲間の朝鮮人自民党議員の狙いです。 47 名無しさん@恐縮です 2019/02/07(木) 11:57:44. 63 ID:FxeEEAqy0 みやぞんはよゆきぽよはらましなはれ >>27 あのまんチラは超恥ずかしいだろうな 49 名無しさん@恐縮です 2019/02/07(木) 12:33:09. 42 ID:Wk357l7s0 >>2 おとなになるまで日本人のつもりで生きてきたから 腐らなかった 国籍で差別してはいけないという例 逆に言うと大概の在日は腐ってるってことだが >>35 ルージンはツルゲーネフだろ >4 子作りが先かも。 ゆきぽよはルックスはギャル系最上位だがなぁ。 みやぞんは売名か見極めたいってのはあるだろうな。 絵に書いたような売名行為だな 54 名無しさん@恐縮です 2019/02/07(木) 13:42:37. 83 ID:+Nv43CyS0 ゆきぽよは誰とでも寝そうだね 売名ウゼーんだよボケ 57 名無しさん@恐縮です 2019/02/07(木) 16:07:46. 61 ID:JXU8KkqW0 ブルゾン→みやぞん→次どうぞ。 ガチのガチなら裏でやるでしょ みやぞん使った売名だと誰もが思ってるぞ 60 名無しさん@恐縮です 2019/02/07(木) 22:13:20. 21 ID:kVJq8DMq0 >>35 ありがとう 61 名無しさん@恐縮です 2019/02/08(金) 06:25:44. 66 ID:VewLSCSE0 62 名無しさん@恐縮です 2019/02/08(金) 06:31:37.