情報処理学会 第249回自然言語処理研究会 参加募集
●日時: 2021年7月27日(火)，28日(水)
●会場: オンライン (Zoom, 12:50頃～)
＊質疑応答にDoryというツールを利用します。
●参加申込:
参加を希望される方は情報処理学会マイページから参加申込をお願いいたします（当日でも申込可能）．非会員の方もマイページを開設してお申し込みください．参加申込をしていただくと，会場のURL情報や研究報告のダウンロード方法を記載したメールをお送りします．参加費無料の研究会登録会員/ジュニア会員も，URLの取得と参加者数の把握のため，マイページより参加申込をしてくださいますようお願いいたします．
※ 参加申込を7/14から開始いたしました。
情報処理学会個人会員 / 準登録（個人）の方
https://www.ipsj.or.jp/member/event_moshikomi.html#hdg3 (マイページの、会員メニューの「イベント一覧・申し込み」に第249回のNL研がございますので、それを選べば参加申し込みができるようになっているはずです。)
情報処理学会へ入会し，会員価格で参加したい方
https://www.ipsj.or.jp/member/event_moshikomi.html#hdg1
非会員のまま参加したい方※賛助会員としてお申込みの方もこちらからご登録お願いします。
https://www.ipsj.or.jp/member/event_moshikomi.html#hdg2
●参加費:
NL研究会登録者：無料
情報処理学会ジュニア会員：無料
情報処理学会正会員、賛助会員、名誉会員：1,500円
情報処理学会学生会員：500円
情報処理学会非会員（一般）：2,500円
情報処理学会非会員（学生）：2,500円
●懇親会:
7/27（火曜）18:00より、オンラインで行う予定です。Gatherを利用する予定です。
研究会登録の返信メールに記載されている、一日目の質疑応答用サイトに、当日、懇親会会場のURLを記載します。
研究会ともども、ふるってご参加ください。
●問い合わせ先:
古宮嘉那子(東京農工大, kkomiya(at)go.tuat.ac.jp)
===============================
プログラム
1日目 7月27日(火)
[13:00 – 13:05] オープニング
[13:05 – 14:35] 深層学習の根拠・性能調査 (3件)
[14:35 – 14:55] 休憩
[14:55 – 17:05] 深層学習１ (4件)
[17:05 – 17:10] 中締めのあいさつ
[18:00 – ] 懇親会
2日目 7月28日(水)
[10:30 – 12:30] 機械学習・データ構築 (4件)
[12:30 – 13:30] 昼食休憩
[13:30 – 14:30] 招待講演
[14:30 – 14:50] 休憩
[14:50 – 15:50] 深層学習２ (2件)
[15:50 – 16:05] 表彰式・クロージング
1日目 7月27日(火)
[13:05 – 14:35] 深層学習の根拠・性能調査 (3件)
(1) 深層学習による文書の話題分類の判断根拠に提示に関する一考察
〇 為栗 敦生, 中村 鴻介, 高橋 良颯, 山口 実靖 (工学院大学)
深層学習は文書分類等の自然言語処理にて活用され，Self-Attentionなどが大きな成果をあげている．一方で深層学習による分類は，分類精度は高いがその判断根拠を人間が理解することが困難であるとの指摘がされている．本稿では，テーマが定められたニュース記事群のテーマによる分類のタスクに着目し，深層学習による分類の判断根拠の提示手法について考察する．具体的には，LSTM Attentionにより記事分類を行い，高い精度で分類をできることを示す．そして，Attention値や既存の判断根拠提示手法Smooth-gradに着目し，自然言語記事分類の判断根拠提示手法について考察する．そして，これらに着目することにより判断根拠を提示できることを示す．
(2) 大規模言語モデルの語彙的関係知識推定における日英間の比較調査
〇 阿部 香央莉, 北山 晃太郎 (東北大学), 松田 耕史 (理化学研究所), 吉川 将司 (東北大学), 乾 健太郎 (東北大学/理化学研究所)
近年各種タスクで最高性能を発揮している大規模言語モデル（LM）に対して、その内部にどのような語彙知識（上位下位・反義など）が蓄えられているかを調査する研究が盛んに行われている。しかし、これらの研究では基本的に英語を対象にした結果が報告されていることが多い。そこで、本研究では英語・日本語LM双方における語彙間知識推定の結果を比較し、既存研究で報告されている現象が英語と類型的特徴の大きく異なる日本語において観察されるのか検証する。
(3) 事前学習済み言語モデルにおける否定の理解能力の調査
〇 田代 真生, 上垣外 英剛, 船越 孝太郎 (東京工業大学), 高村 大也 (産業技術総合研究所), 奥村 学 (東京工業大学)
近年，事前学習済み言語モデルは自然言語処理の様々なタスクにおいて性能の大きな向上に貢献している．その一例として，事前学習済み言語モデル内の事実知識が1．大量のラベルなしコーパスから獲得可能である， 2．柔軟な取り出しが可能である という利点をファクトチェックに利用したものや常識推論タスクに利用したものが挙げられる．一方で事前学習済み言語モデルからの事実知識の取り出しにおける課題を指摘する研究も存在しており，その一つに否定の理解能力のなさを指摘したものが挙げられる．事前学習済み言語モデルにおける否定の理解能力に関しては疑問が残っており，KassnerらやEttingerの研究で事前学習済み言語モデルが否定を考慮せずにマスクド言語モデルを解いている可能性が示唆されているのに対し，Talmorらの研究では否定語の予測が可能であり事前学習済み言語モデルが否定を理解している可能性が示された．そこで本研究では，これらの実験条件の違いを考慮し否定が事前学習済み言語モデルの出力に変化を与える条件を探ることで，事前学習済み言語モデルにおける否定の理解において 1．知識の想起が絡むか，2．モデルのパラメータ量や学習データ量 の条件が影響を与えることを確認した．本研究は事前学習済み言語モデルにおける否定の理解に影響を与える条件を調べることで，既存の相反する研究結果に対して一貫した説明を提供しており，否定を理解可能なモデルの将来的な作成を支援すると考えられる．
[14:55 – 17:05] 深層学習１ (4件)
(4) 複数の補助教師データセットを用いた固有表現抽出の学習手法
〇 市川 智也 (同志社大学), 渡邊 大貴 (富士通株式会社), 田村 晃裕 (同志社大学), 岩倉 友哉 , 馬 春鵬 (富士通株式会社), 加藤 恒夫 (同志社大学)
化学分野の固有表現抽出（NER）は，化学分野のデータ解析を行う上で重要であり，近年は，ニューラルネットワークに基づくモデルが盛んに研究されている．その中で，NER対象の教師データに加えて，別の教師データを補助データとして学習時に用いるマルチタスク学習により，NERモデルの性能が改善することが報告されている．しかし，従来研究では補助データとして1種類の教師データしか用いていない．そこで本研究では，7種類の化学/科学技術分野のNERデータセットを補助データとして活用する固有表現抽出の学習手法を検討する．具体的には，補助データ毎にメインモデルの再学習を順次行う方法と，エポック毎に補助データとして使用する教師データの種類を変える方法の2種類の学習手法を提案する．実験の結果，提案手法は従来手法に比べて，F値が向上することを確認した．
(5) 文位置を考慮した国会会議録の要約
〇 有田 智也, 松井 くにお (金沢工業大学)
政党のマニフェストと政治家の発言に齟齬がないかを確かめるためには，議会での発言を確認する必要がある．議会での発言は会議録として一般に公開されているが，文章量が多く読みづらいという問題がある．そこで本研究では, 1文から12文でなりたっている議員の質問への回答文を文ベクトルに変換し，文ベクトルに文位置の情報を加算することで得られた，文位置情報が考慮された文ベクトルをニューラルネットワークで学習し，抽出型要約を作成するモデルを提案する．提案手法を評価するために，議員の発言を1から3文の場合は1文に，4から5文の場合は2文に，6文上の場合は3文で要約したデータを自作し，ROUGEスコアによる評価を行った．実験の結果文位置情報を付与することで，ROUGE-1において0.39から0.42に，ROUGE-2において0.26から0.29に，ROUGE-lにおいて0.28から0.30に改善された．
(6) BERTを用いたweb文書からの用語検索
〇 池内 省吾 (龍谷大学), 南條 浩輝 (京都大学), 馬 青 (龍谷大学)
具体的な事物や概念などについての説明テキストから，それを表す語（用語）を見つけだす用語検索について述べる．説明テキストに関連するWebページを取得し，質問応答などで用いられるBERTに基づいてwebページ中からの用語検索を行う方法について述べる．
(7) 日本語 SentenceBERT の構築とその評価
〇 芝山 直希 (茨城大学), 新納 浩幸 (茨城大学)
我々は日本語 SentenceBERT の構築を行っている。京都大学で公開されている含意関係認識のデータセット JSNLI と 6種類の日本語 BERT（京大版 BERT、Stockmark 社版 BERT、SentencePiece 版 BERT、東北大版 BERT、NICT 版 BERT、Laboro 社版 BERT）を用いて、6つの SentenceBERT を構築した。またそれらを独自の評価法（クラス内分散とクラス間分散の比を用いた評価と k-NN による文の感情分析による評価）により評価した。結果、東北大版 BERT から構築した SentenceBERT とNICT 版 BERT から構築した SentenceBERT が同程度に性能が高かった。
2日目 7月28日(水)
[10:30 – 12:30] 機械学習・データ構築 (4件)
(8) 事例ベース推論を行うニューラルモデルの説明性とハブ現象の関係
〇佐藤 俊 (東北大), 大内 啓樹 (奈良先端大), 塙 一晃, 佐々木 翔大 (理化学研究所/東北大), 乾 健太郎 (東北大/理化学研究所)
ニューラルネットワークを用いたモデルによって，画像処理や自然言語処理の各タスクにおける予測性能は飛躍的に向上した.一方で，「モデルがなぜそのような予測をしたのか」を理解することは，人間にとって極めて困難であることが指摘されている. そのような状況で，k 近傍法のような，学習事例との類似度にもとづいて予測を行うモデルは，貢献度の高い学習事例を提示することが容易であり，機械学習の専門知識を持たないユーザにとってもモデルの挙動を直感的に理解可能な場合が少なくない. しかし，k近傍法においては，同じ訓練事例が複数の評価事例の近傍事例として過度に重複して出現する「ハブ」と呼ばれる現象が観測されており，この現象が「事例に基づくモデルの予測の説明」に与える影響は明らかになっていない．本研究では，画像や言語データを用いた分類問題において，ニューラルネットワーク上でのk近傍法における「ハブ」現象が，「事例に基づくモデルの予測の説明」に悪影響を与えることを定量的に示した．
(9) 確率的潜在意味スケーリング
持橋 大地 (統計数理研究所)
テキストをある極性(たとえば右派-左派、肯定-否定など)に従った尺度で連続的に測り、その時間変化を観察したい、という場面は様々な分野で存在する。従来このために、政治学方法論の分野で開発されたLSS(潜在意味スケーリング、Watanabe 2020)という方法がRパッケージと共に世界的に使われてきたが、LSSは古典的なベクトル空間モデルに基づいており、様々なヒューリスティックを含むことや、結果にノイズが非常に大きいという問題があった。これに対し、本研究ではLSSを項目反応理論(IRT)に基づく確率モデルとして捉える、PLSS(確率的潜在意味スケーリング)を提案する。PLSSでは現代的な単語埋め込みを使用することができ、テキストの潜在的な極性はIRTのθとしてモデル化され、適応的なGauss-Hermite積分によって積分消去することでパラメータが計算される。さらに、事前にキーワードから分析の対象となるテキストだけを統計的に抽出するために、背景付きトピックモデルおよび文書ベクトルを用いた確率的な方法を提案する。公開されている Young and Soroka (2012)の尺度データで実験を行い、PLSSがLSSより非常によくテキストの潜在的な尺度を計算できること、およびより分析に適した尺度で単語の極性を計算できることを示す。
(10) 予算項目に関連する議論を対応づけるBudget Argument Mining のデータセット構築
木村 泰知, 永渕 景祐 (小樽商科大学), 乙武 北斗 (福岡大学), 佐々木 稔 (茨城大学)
本稿では，NTCIR16 QA Lab-PoliInfo-3のサブタスクである Budget Argument Mining のデータセット構築について述べる． Budget Argument Miningは，国，あるいは，自治体の予算審議の事項と議会における議論を対応づけることを目的としている．従来のArgument Mining との違いは，単一文書内の議論構造ではなく，複数文書にまたがる議論構造を予算という観点から分析する点にある．特に，構造化されている予算審議の情報と構造化されていない議会会議録の発言文を対象として，予算項目を軸に議論を対応づけることは，新たな取り組みといえる．本タスクでは，予算審議の情報（予算項目，金額，管轄省庁・部局名など）が与えられたときに，議会会議録に含まれる政治家の発言（金額表現を含む発言）と対応づけ，３つの議論ラベル「Claim（主張）」「Premise（根拠）」「その他」を付与する．本稿では，データセット構築に向けた，データ形式の設計，アノテーションの方法，および，結果について述べる．
(11) 間接的な応答と直接的な応答の対からなる対話コーパスの構築
〇 高山 隼矢 (大阪大学), 梶原 智之 (愛媛大学), 荒瀬 由紀 (大阪大学)
人間は対話においてしばしば相手の質問や発話に対して間接的な応答をする．例えば，予約サービスにおいてユーザがオペレータに対して「あまり予算がないのですが」と応答した場合，オペレータはその応答には間接的に「もっと安い店を提示してください」という意図が含まれていると解釈することができる．大規模な対話コーパスを学習したニューラル対話モデルは流暢な応答を生成する能力を持つが，間接的な応答に焦点を当てたコーパスは存在せず，モデルが人間と同様に間接的な応答を扱うことができるかどうかは明らかではない．本研究では既存の対話コーパスである MultiWoZ を拡張し，間接的な応答と直接的な応答のペアからなる7万件規模の対話履歴付きパラレルコーパスを構築した．また，ユーザーからの入力発話を事前により直接的な発話に変換することで対話応答生成の性能が向上することを確認した．
[13:30 – 14:30] 招待講演 (1件)
(12) 実世界における対話システム
吉野 幸一郎 (理化学研究所)
近年の深層学習技術などの進展から、ヒューマンインタフェースとして言語を用いる対話システムへの期待が高まっている。こうした対話システムを実世界で用いようとする場合、実世界の事物を認識して対話の共通基盤として用いることができるかが大きな問題となる。具体的には、ユーザと同じ空間で動作をすることが期待される対話ロボットなどの場合、実世界における事物の認識と、ロボットが持つ知識、対話中の言語で表現された概念のそれぞれを対応づけて用いる必要がある。本講演ではこうした実世界で動作する対話ロボットの取り組みについて紹介し、今後必要な研究の取り組みについて議論する。
[14:50 – 15:50] 深層学習２ (2件)
(13)特許ドメイン特化型BERTによるSDGs関連特許技術の「見える化」
前原 義明, 久々宇 篤志, 長部 喜幸 (日本特許情報機構)
特許文献で事前学習を行ったBERTと、独自収集したSDGs関連特許のコーパスで、特許文献の技術が該当するSDGsを判定する分類器を訓練した。また、訓練したBERTモデルで、2020年に公開された日本国公開特許公報のマクロ解析を行い、我が国におけるSDGs関連特許技術の「見える化」を行った。
(14)令和２年度特許出願技術動向調査 －機械翻訳－
齊藤 貴孝 (特許庁)
「もう英語学習は要らなくなるかもしれない」そうした記事を見かけるようになった。その背景としては、ニューラルネットワーク技術を活用した、ニューラル機械翻訳と呼ばれる方式が2014年に登場し、その後、性能が格段に向上したことが挙げられる。本調査では、この2014年を挟む期間における機械翻訳に関する特許出願技術動向を調査し、国内外の技術動向、日本及び外国の技術競争力の状況と今後の展望を明らかにすることを目的として、本技術に関する特許や研究開発論文などの解析を行い、今後、取り組むべき課題や方向性について提言を行った。
===============================
●研究会幹事団
主査：
関根 聡 理化学研究所
幹事：
内海 慶 株式会社デンソーアイティーラボラトリ
内田 ゆず 北海学園大学
木村 泰知 小樽商科大学
古宮 嘉那子 東京農工大学
笹野 遼平 名古屋大学
須藤 克仁 奈良先端科学技術大学院大学
横野 光 富士通株式会社
吉野 幸一郎 理化学研究所
運営委員：
石垣 達也 産業技術総合研究所
江原 遥 東京学芸大学
大内 啓樹 奈良先端科学技術大学院大学
亀甲 博貴 京都大学
小林 暁雄 農業・食品産業技術総合研究機構
斉藤 いつみ 日本電信電話株式会社
佐々木 稔 茨城大学
渋木 英潔 株式会社BESNA研究所
田中 リベカ お茶の水女子大学
田村 晃裕 同志社大学
成松 宏美 日本電信電話株式会社
西田 京介 日本電信電話株式会社
羽鳥 潤 株式会社 Preferred Networks
増村 亮 日本電信電話株式会社
松林 優一郎 東北大学
馬緤 美穂 ヤフー株式会社
水本 智也 フューチャー株式会社
三輪 誠 豊田工業大学
森田 一 富士通株式会社
谷中 瞳 東京大学
吉川 克正 東京海上ホールディングス株式会社
吉永 直樹 東京大学 生産技術研究所
鷲尾 光樹 東京大学
情報処理学会 自然言語処理研究会 (NL) 