NL-NLC連催 参加募集

日程:2010年7月22(木), 23日(金)

会場: 東北大学 青葉山キャンパス
   電子情報システム・応物系1号館(D10) 4階451号室
   交通アクセス情報:http://www.eng.tohoku.ac.jp/map/?menu=access
   キャンパスマップ:http://www.eng.tohoku.ac.jp/map/?menu=campus&area=d&build=10

参加費: 無料
予稿集: 研究会会員は無料です

照会先:
 *会場に関する問い合わせ先:

  乾 健太郎 (東北大学)
  E-mail: inui (at) ecei.tohoku.ac.jp

 *研究会に関する問い合わせ先:

  自然言語処理研究会幹事
  船越孝太郎((株)ホンダ・リサーチ・インスティチュート・ジャパン)
  E-mail: funakoshi (at) jp.honda-ri.com

  言語理解とコミュニケーション研究会幹事
  村上 浩司(奈良先端大)
  E-mail: kmurakami (at) is.naist.jp

研究報告のペーパーレス化:
本研究会はペーパーレスでの開催となり,印刷した研究報告の配布を行いませ
ん.また,特許出願の公知日(研究報告の公開日)が従来より1週間早まります
ので,ご留意ください.

[自然言語処理研究会にご登録されている方]
研究会発表の研究報告が研究会当日1週間前より電子図書館で閲覧できます.事
前に研究報告PDFをご自分のPCにダウンロードし研究会にご持参ください.ある
いは印刷してご持参ください.

■本会電子図書館
※ご利用にはBookPark上でユーザ登録(無料)が必要です.
http://www.bookpark.ne.jp/ipsj/
研究会 自然言語処理(NL)をチェックしてください.
登録まで最大3日かかりますのでご留意ください.

■NII電子図書館(現在試行運用中です)
※ご利用にはユーザ登録が必要です.
http://ipsj.ixsq.nii.ac.jp/ej/

[自然言語処理研究会にご登録のない方]
当日研究会にUSBメモリの読めるPCをご持参ください.研究会会場にて,USBメ
モリからコピーすることで研究報告PDFを閲覧することができます.または,
無線LANを利用して研究報告PDFをダウンロードすることができます.

プログラム:
————————————————————
NL&NLC連催研究会(発表件数12件)

7月22日(木)  13:30 ~ 17:30
 [13:30-15:00] 文章解析・生成 (3件)
 [15:15-16:15] 招待講演   
 [16:30-17:30] 単語共起    (2件)

7月23日(金)  10:30 ~ 15:30
 [10:30-12:00] 文分析・解析  (3件)
 [13:30-15:30] 対話・談話   (4件)

————————————————————

※ 質疑応答メモ

当日参加できなかった方に研究会の雰囲気を少しでもお伝えするために,有
志による当日の質疑応答のメモを載せています.ただし,必ずしも完全なも
のではありません.お問い合わせいただいても答えかねる場合もありますの
で,その点ご了承ください.

NL&NLC研究会 7月22日(木)   13:30 ~ 17:30

[13:30-15:00] 文章解析・生成  (3件)

座長:乾健太郎(東北大)

1.英文契約書評価支援システムの開発 (NL)
 ○待井君吉,横田毅((株)日立製作所日立研究所),
  尾花充,後藤仁一郎((株)日立製作所電力システム社日立事業所)

 重要語の有無や設計パラメータの大きさ等を評価し、英文契約書から要注意箇
 所を抽出するシステムを開発した。

Q: ルールを作るのにどれくらいの案件を見ながら,どれくらいの時間をかけ
てやったのか.
A: 1年くらいかけている.

Q: その結果どのくらいのルールができて今の精度が実現できたのか.
A: ルールの数は1200くらい.

Q: 最後の評価は closed test なのか.
A: 1回目は案件3件についてのルールを適用して,その3件以外のものでテスト
した.2回目はテストに使った案件からのルールも適用して,もう一回テスト
したので,2回目については closed test に近い.

Q: 適合率4.5%はかなり低いが,実際このルールを使うときにはストレスがた
まるのではないか.実際に使った感覚はどうか.
A: 実際に使ってもらっているが,契約書を最初から全部読むよりも,システ
ムが出したものから削っていった方が効率が良い.実際にどれくらい時間効率
が上がるかははかっていない.契約担当者からみると評判はよい.

Q: 30%が漏れてしまうのは問題はないのか.
A: 最後は契約担当者が全部チェックするので,最終的には漏れはない.

Q: ヒアリングをしたときにいろいろなノウハウを活用しているが,実際どの
ように使うのか.
A: 回答書の自動作成を検討していて,回答文を書きやすくするのに使ってい
る.経験の浅い担当者の場合にノウハウが活用できる.

Q: 要注意箇所は文単位でやっているのか,フレーズや単語レベルでやってい
るのか.
A: ケースバイケース.今回は単語ベースで要注意単語を見つけるアプローチ
でやっているが,その単語を含む文もとりあえず抽出している.マーキングす
るのは単語単位だが,抜き出すのは文単位までやっている.

Q: 契約書と回答書がたくさんあれば,そこから学習できるのでは.
A: そのようなアプローチも試みている.SVMなどで学習して似たような文を出
すようなことはできる.

Q: どっちがうまくいくのか.
A: SVM による方法はまだ結果がでていない.

Q: 編集のインタフェースは表示のインタフェースとは違うのか.編集しやす
くする工夫はあるのか.
A: 編集インタフェースはルール作成用.特に工夫はしていない.

Q: 要注意箇所というのは,今まであまりなかった概念.要注意箇所の定義は
何か.本質的にドメインに依存しないでできることなのか,かなり依存するも
のなのか.
A: 要注意箇所とは,自社の標準と異なるもの,自社が受けられないもの.か
なりドメインに依存する.

Q: 自社製品が変わってくると,それによって変わってくるのか?
A: はい.

Q: 入力としてどういう製品を扱っているか(仕様表)を与える必要があるの
では.
A: 現在の仕様をヒアリングで聞いた,というやりかた.明示的に仕様を与え
ることはしていない.

Q: 曖昧な表現などはルールに入らないのか.
A: 曖昧性のあるものは全て列挙して入れている.

2.地方議会会議録における政治的カテゴリの自動推定手法の提案 (NLC)
 ○乙武北斗(福岡大),渋木英潔(横浜国大),木村泰知(小樽商科大),高丸圭一(宇都宮共和大),
  森 辰則(横浜国大)

 本論文では,地方議会会議録における議員の各発言がどの政治的カテゴリに属
 するかを推測する手法を提案する.議員発言の政治的カテゴリを推測する問題
 は,1つのアイテムに0個以上のカテゴリを付与する多重ラベリングによるテ
 キスト分類問題とみなすことができる.我々は,会議録の特徴を考慮して,Ca
 scadingの考え方に基づく分類器の連結と,対象テキストをサブテキストに一
 度分解しての判定を行うことで,精度の向上を図る.

Q: キーワードに対してカテゴリを割り当て,キーワードが複数あったら複数
のカテゴリを割り当てるという方針なのであれば,コーパスを作った時の知識が
あれば,キーワードとカテゴリの対応表を使うことで文脈などに関係なくキーワ
ードベースでカテゴリ推定ができるのではないか.
A: そういうことができると思ったが,実際はなかなかうまくいかない.キー
ワードとカテゴリを対応付けるという作業をやっているが,対応関係が今のと
ころ不十分.重複するカテゴリや,まれにしか現れないカテゴリがある.完璧
なカテゴリ体系が作れた場合はそのような方法が可能と思われる.

Q: つまり,カテゴリを自動推定するというよりは,きれいなコーパス,オン
トロジを作る研究と考えればいいのか.
A: その結果,カテゴリが自動推定できる,ということ.

Q: カテゴリを人間が付与する時,カテゴリがどう定義されているかが問題と
なるが,カテゴリ表には定義が含まれているのか.
A: そういった定義はない.このカテゴリは,委員会体系から持ってきたもの.
作業者がカテゴリ名とテキストをみて,カテゴリを付与していくという作業を
行っている.

C: カテゴリの定義をまずきちっとすることが,この研究ではまず重要なこと
なのではないか.

Q: 2人でカテゴリをふっているが,一致率はどれくらいか.
A: 8割程度.カテゴリが含まれていれば正解としている.

Q: ふつうはアノテーションをするときはインストラクションがあるが,カテ
ゴリの表を見せているだけなのか.
A: はい.

Q: スパンの一致率は計算しているか?
A: 以前計算したが,今日はデータを持っていない.

Q: 使う方がどういう観点でカテゴリを見るかを意識しながらデザインした方
が,使う方としてはうれしい.そういう観点でカテゴリを見直してはどうか.
A: 現在は一部の市の委員会体系から作っているので,それを全体に広げてい
くことを考えている.その過程でそのようなことを考えていきたい.

Q: 文ごとに判断しているが,それによって判断ができなくなることはないの
か.
A: 適合率の低下が少し見られる.ただ,分解することで多くのカテゴリを提
示することになるので,再現率の向上が大きくなり,全体としてF値が上がっ
ている.

C: 現象ごとに細かく分析した方がよい.

3.情報信憑性判断のための直接調停要約の自動生成手法 (NLC)
 ○中野正寛,渋木英潔,宮崎林太郎,石下円香,金子浩一,永井隆広,森辰則(横浜国大)

 本稿では、ウェブ上の情報信憑性に関する利用者の判断を支援するための直接
 調停要約の自動生成手法を提案する。直接調停要約とは、対立しているように
 みえる二つの言明が実は共存可能である場合に、共存可能となる状況を簡潔に
 説明している文章をウェブ文書から見つける要約であり、提案手法は、着目言
 明との関連性、公平性、特徴語の密度に基づいて直接調停要約を生成する。既
 存の要約手法と比較して、提案手法が調停要約に適した要約を生成できたこと
 を確認した。

Q: 評価極性の話では極性の反転が起こることが問題となるが,どのように反
映されているのか.
A: 否定語が付いた場合は極性を反転させて処理している.

Q: 対義語の辞書を使う話があったが,どれくらいの規模のものを使っていて,
それで十分であったか?
A: 対義語の辞書はウェブで公開されているものを暫定的に使っていて,数百
のオーダー.十分という保証は全くない.別の辞書を検討している段階.

Q: 実際のウェブ検索では,調停要約ができる事例がどれくらいあるのか.
A: 最初にありそうな例を持ってきてしまっているので,実際の検索でどれく
らいということは言えないが,今回の6つのうち5つは実際に出てきた.
C: そのあたりも定量的に調べるとよい.

Q: あるものをいいと思っているひとと悪いと思っている人がいる場合を想定
してはどうか.例えばタレントが好きとか嫌いとか.調停要約の対象となる表
現が取りやすい.
A: はい.

[15:15-16:15] 招待講演

4.Discourse processing and citation processing for searching the scientific literature
 ○Simone Teufel (Cambridge University, Computer Science Laboratory)

When scientists read an article under time pressure, they use various
signals in the article (some visual, some linguistic, some other) to
infer where the information currently most important to them is likely
to be found. An automation of this process would bring many advantages
for summarisation and search. My past research has been on which of
these signals might be both useful and automatable. Some signals used
are very sophisticated, whereas others (such as the location of a
piece of information) are not. The most interesting signals, but also
the most difficult ones to recognise, turn out to be the linguistic
indicators. What is also remarkable is the role that citations play in
the interpretation process: I claim that the relevance of a citation
to a search task is often closely connected to the rhetorical function
that the citation plays in the article, and that recognition of
citation function is technically feasible.

Q: 特許文書に適用してはどうか.明示的な構造があるので,修辞構造を解析
しやすいのではないか.
A: やっていない.論文では個人の考えが表現されるが,特許文書でそれがど
のようになるのかが問題.化学と計算言語学でも違う.

Q: どのようなオーサリングツールを考えているのか.
A: 修士論文を書くためのシステムを検討している.データを集めていて,そ
れをクラスタリングすることで,似た修辞構造のものを提示することができる.
また,どのように文献を引用すべきかを教育するアプリケーションも考えてい
る.曖昧性なく引用するようにさせるなど.

Q: この研究での sentiment は,主観性とどう関係しているか.
A: もちろん重要な関係がある.実際,客観的なテキストをどのようにはじく
かが結構難しい.

Q: 実際のアプリケーションを考えた時にどういうカテゴリを設定するか,粒
度をどうするかが問題だが,どう考えているか.
A: 非常に重要な問題である.自動付与の場合では否定的カテゴリは精度がよ
く,議論の部分はとても難しい.肯定的および否定的カテゴリのみを使ったア
プリケーションを実験している.

[16:30-17:30] 単語共起    (2件)

座長:金山博(日本IBM)

5.特徴的部分文字列と共起情報を用いた固有表現の詳細ラベル付与 (NL)
 ○小林のぞみ,松尾義博,菊井玄一郎(NTTサイバースペース研究所)

 固有表現を構成する文字列と文書全体から抽出した情報を用いて,固有表現に
 詳細なクラスラベルを付与する手法を検討し評価した結果について報告する.

Q: この粒度でNERをやることで,どういうアプリケーションで有用なのか.
A: 具体例として,店舗の名前を獲得したかったのだが,元のカテゴリでは複
数のカテゴリにまたがっていた.そのため,詳細化する必要があった.

Q: この問題はWSDとも考えられる.そのように考えるとNERとして解くのとど
ちらがいいと考えているか.
A: WSDは一番下のレベルの曖昧性を解いていると考えられる.NERは途中レベ
ルでそれを解いていると考えられる.

Q: 今回13クラスにしているが,それ以外のものは無視したのか.例えば飲む
ヤクルトとか.
A: 今回は含めていない.IREXでLocationかOrganizationになるものだけ.

6.単語と単語ペアの統合有害度に基づく特徴量生成手法の提案 (NLC)
 ○柳原正,池田和史,服部 元,松本一則,滝嶋康弘(KDDI研)

 トピックに関連するuni-gramから動的にbi-gramを生成し、判定精度を向上す
 るFeature Inductionと呼ばれる手法が存在する。本研究ではbi-gramのよう
 に「単語が隣接していなければならない」という制約を緩和し、非隣接の単語か
 ら構成される単語の組み合わせ(word assortments)の構築を提案する。実験
 の結果、bi-gramよりもword assortmentsの方が平均的に精度向上に貢献で
 きたことを確認した。

Q: 誰にとって有害・無害という定義なのか
A: ラベル付けはサイト運営者によって決めている.アダルト関係,個人情報,
他サイトへの誘導など.

Q: 例えば性的記述を含むテキストでも,よい性教育のテキストである可能性
もある.有害・無害の定義をもう少し検討した方がよいのでは.
A: 検討したい.

Q: 単純なモデル(単語を素性にした2次多項式カーネルSVMなど)と比較した
らどうか.
A: 最初SVMでやってみたが,データが大きすぎてうまくいかなかった.なので,
まず今回のモデルで実験を始めた.

Q: 候補をある程度出してからより精度の高いモデルでフィルタリングすると
いう方法も考えられるのでは.
A: その通り.

Q: Bigram の品詞のパターンは?
A: 今回は名詞を使っている.動詞や形容詞も試したが,名詞が一番効果が高
かった.

Q: Bigram で効いたものの例を見せてほしい.
A: 形態素辞書に一語として登録すべきもの(家庭内暴力,出会い目的,など)
が多かった.

NL&NLC研究会 7月23日(金)   10:30 ~ 15:30

[10:30-12:00] 文分析・解析  (3件)

座長:那須川哲哉(日本IBM)

7.折り返し翻訳文と対象言語翻訳文の精度不一致要因の分析 (NL)
 ○宮部真衣,吉野孝(和歌山大学)

 機械翻訳を介したコミュニケーションでは,翻訳精度が低い場合,十分な相互
 理解ができない可能性が高い.現在,母語のみを用いて自分の発言がどのよう
 に伝わっているのかを把握するための手法として,折り返し翻訳が用いられて
 いる.対象言語翻訳文と折り返し翻訳文の精度の同等性に関する検証を行った
 結果,対象言語翻訳文と折り返し翻訳文の精度不一致が発生するケースが見ら
 れた.そこで本研究では,対象言語翻訳を原言語へ再翻訳した際に発生する精
 度の不一 致の要因を,実例に基づいて分類する.

Q: ここで得られた分析結果を具体的にどう使うのか.
A: こういう問題が発生しうるとうことが今まで分かっていなかったので,コ
ミュニケーションで実際に問題が発生しうることを知らせること.それ以上の
アプリケーションはまだ検討段階.

Q: ウェブテキストでは口語体と書き言葉が混じっている.コミュニケーショ
ンを対象にしているのなら,口語体に注目して分析した方がよいのでは.
A: 一応コミュニケーションを対象に考えているが,その他のテキストも想定
しているので,口語体以外も分析している.
C: 両方やる場合でも,分けて分析すべきでは.

C: 語順が近い言語と遠い言語で傾向が違うと考えられるので,言語毎に分け
て分析した方がよい.

Q: 精度不一致が予測できるとよりよい.結果を見てみると,全く同じ結果が
返ってくる時が多いように思われるが.
A: 確かにそういう場合が多い.

Q: 全く結果が同じ時にどれくらい不一致が起きるかを調べてみてはどうか.
A: やってみたい.

Q: 機械翻訳評価では自動評価がされることが多いが,この研究ではやらない
のか.
A: BLEU を測ってみたが,主観評価とあまり一致しなかったので今回は使わな
かった.

C: 主観評価を一つの指標でやっているが,自然さも測ったらどうか.

Q: 今回いくつかのシステムを使っているが,順方向と逆方向で同じシステム
を使っているのか.
A: はい.

Q: 第一種の誤りがおきやすいのは,両方向の翻訳が同じ手法やリソースを使っ
ている場合と考えられないか.
A: 別のシステムを使った実験もしたが,同じシステムを使った場合とあまり
傾向が変わらなかった.詳細な分析はしていないので今後検討したい.

C: 日→英→中→日など,第3の言語にもう一回翻訳したら,いくつかの原因が
消せるかもしれない.

8.接続節における要求表現:並列節と補足節 (NL)
 ○大森晃(東京理科大学工学部第二部経営工学科)

 最終的には日本語ウェブページからの要求抽出を目指している.本研究では,
 それに向けて,文から要求を抽出するための言語学的基礎論を整えていく一環
 として,複文における接続節(特に並列節と補足節)における要求表現の可否
 や,要求を表現し得る接続節はどのような場合に要求を表現するかに関する言
 語学的知識を明らかにする.

Q: できたらやってほしいという場合と,すぐやってもらわないと困るという
区別がつくとありがたい.例えば,音声だと韻律情報が使えるが,テキストだ
けから要求度を得るアイディアを教えてほしい.
A: 並列節と補足節ではそういうことはないが,副詞節や条件節が付いていれ
ば,条件などは取ることができる.テキストからだとそれくらいしかできない
のではないか.
C: テキストだけでできる分析をやってもらえると,非常にニーズは高いと思
われる.

Q: 「~ようだ」などが実際は要求なのにそれが伝わらないということもある
のでは.
A: そういうこともありうるし,以前はそれも含めていたが,あくまでも推量
なので「要求」の概念に合わないので外している.

Q: 否定表現がついているが要求が残っているような表現もあるのでは.
A: 例えば「質問すべきではない」は「質問してほしくない」という要求を表
していると考えられる.

9.新聞記事中の文が因果関係を含むか否かの判定 (NLC)
 ○坂地泰紀,増山繁,酒井浩之(豊橋技科大)

 本論文では,新聞記事中の文が因果関係を含むか否かの判定を行う手法を提案
 する.手がかり表現を伴う因果関係に限定し,有無の判定を行う.例えば,手
 がかり表現「から」は因果関係以外に,出発する位置を表す意味があり,「京
 都から大阪」などには因果関係は含まれない.このような因果関係を示す手が
 かり表現が含まれていても,因果関係以外の意味であるものを除くために,本
 手法を提案する.

Q: 日本語語彙体系では精度向上し,ワードネットでは精度低下している.オ
ントロジの性質が現れているようだが考えられる原因は何か.
A: 意味クラスの数がワードネットの方がずっと多い.データスパースネスの
問題では.

Q: 事態と事態の因果関係を考えているのか.
A: 分離が難しかったので,理由と行動結果も含めている.

Q: 一般的事態も個別的事態も含めているのか.
A: はい.
C: 分けて分析した方がよい.

Q: データは一人で作ったのか.一致度など測った方がよい.
A: はい.今後は5人で作業をする予定.

Q: 手掛かり表現ごとに誤り分析を見せてほしい.
A: 「を背景に」「を受け」など,事件記事とスポーツ記事で使われ方が違う
など,分野によって傾向が違うものがある.

Q: 手掛かり表現はどうやって選んだのか.
A: 300文書から人手で抽出した.出現数が多く手掛かりとなるものを選んだ.

Q: 語彙体系の階層は使ったのか.
A: 下から3階層目だけ使っている.
C: 階層的情報も使うとよいのでは.格フレーム獲得の研究などでそのような
手法がある.

[13:30-15:30] 対話・談話   (4件)

座長:船越孝太郎(HRI-JP)

10.対話ロボットのための話題外発話の聞き流し機構の構築 (NLC)
 ○高岡充,上平拓弥,関口芳廣,西崎博光(山梨大)

 対話ロボットが話題に無関係な人間の発話を聞き流す機構を構築した.まず,
 人間が話題に無関係な発話を聞き流す場面を調査し,その結果を元に,話題に
 無関係な発話を聞き流す機構をモデル化し,作成した.実際にこの機能を対話
 ロボットに搭載し,大変効果があることを確かめた.

Q: 聞き流しの定義は?
A: カードゲームと関係ない,例えば雑談など,話題外の発話について受理し
ないということ.ロボットの処理として無視するということ.

Q: 最初の実験の設定がよくわからなかった.
A: ニュースは全部で4つあり,A, B のみ事前に質問を教えて,C, D は教えな
いということ.質問は全部のニュースについて行う.

Q: 最初の実験でグループを分けた理由は?
A: ニュースの内容による個別的条件が影響しないようにした.

Q: 非常に単純な表現パターンしか扱っていないが,なぜ有限状態文法でなく
統計言語モデルを使ったのか?
A: ガベージ単語の数が多いため,有限状態文法のままでは命令発話であっても
ガベージ発話として認識されてしまうことが多かった.そこで,統計言語モデル
を選択し,命令発話のパターンの教示データ量を増やすことで問題を解決した.

Q: 統計文法の学習で,それぞれどれくらいの分量を学習させたのか.
A: 左側は20×6で全部で120文,右側は3×回数.

Q: ガベージ単語は学習していないのか.
A: 辞書として加えただけで,統計的学習はしていない.

11.あいづちコーパスの設計と評価 (NLC)
 ○大野誠寛,神谷優貴,松原茂樹(名大)

 本発表では、優れた応答性を備えた車内音声対話システムの実現を目指し、あ
 いづちコーパスの設計と評価について述べる。既存の車内対話データに対して
 、あいづち生成に適した位置にオフライン環境でタグ付けすることにより、あ
 いづち生成機構を開発する上で,実践的に利用可能なデータを作成した。タグ
 付け実験を実施し,本設計によって、高い安定性と自然さを備えたあいづちコ
 ーパスを構築できることを確認した。

Q: あいづちの既存研究との関係は?
A: 独立してやっている.既存研究でもコーパスでもゆれが大きいのが問題と
なっていたので,今回このような研究をやっている.

Q: 既存システムは試したのか?既存システムの性能が十分よいのであればそれ
を使えばよいのでは.
A: 今後協力を検討したい.

Q: 既存研究との違いは,離散化させてより安定性を追求しているということか.
A: はい.

Q: タイミングの良し悪しは,あいづちの大きさや声質などにも依存すると思う.
今回は特定のシステム・音声を使ったときに安定したということだが,それを変
えたときの検証はしていないか.
A: 検証はしていない.今後やってみたい.

Q: ユーザ側からすると,コマンド入力の確認などにあいづちを使いたいが,
そのような使い方は想定しているか.
A: 現在は考えていない.内容を理解してあいづちを打つ場合と相手の発話を
促すあいづちがあるが,この研究では後者を想定している.

Q: 対象がドライバーの車内対話だが,それ特有のあいづちのタイミングなど
はあるのか.
A: 基本的には既存研究での知見と同じような分析が得られている.車内対話
特有のあいづちというのはあまりない.

Q: 人によってぶれがあるはずだが,それが内容によるものなのか,人の傾向
なのか,分析しているか.
A: まだ分析できていないが,今後やりたいことの一つ.複数の人(10人,20
人)でデータをとって,あいづちの網羅性や,絶対打つあいづち・うたなくて
もよいあいづちなどの分析をしたい.

Q: 一致率測定に kappa を使っているが,なぜ3人以上の kappa 統計量を使わ
ないのか.
A: よく使われている指標があれば教えてほしい.また,2人のものと3人以上
の kappa 値が比較できるのかどうかわからない.
C: 比較できないはず.ただ,安定性を見たいのであれば3人以上の kappa 値
を見た方がよい.

12.投稿履歴と文体の類似判定を利用したQ&Aサイトにおけるなりすましユーザの検出 (NLC)
 石川尚季,渡辺靖彦,西村涼,○梅本顕嗣,岡田至弘(龍谷大),村田真樹(鳥取大)

 複数のユーザアカウントを用いて他人になりすまし、コミュニティサイトでの
 評価や議論を操作しようとするユーザを、その投稿履歴と文体の類似判定を利
 用して検出する方法を提案する。

Q: 今回の方法で検出できた数は,投稿全体のどれくらいの割合か.
A: 20件検出できて,最終的に14件があやしいと判定した.

Q: 機械学習を使っているので,閾値を変えて実験してはどうか.
A: 閾値を変えた実験も行った.怪しい人はどの閾値でもだいたい残る.ただ
し,閾値を下げていくと投稿回数が少ない人(10件くらい)が落ち始めて,非
常に怪しい人だけが残ってくる.また,今回はどういうやり方をしているのか
を分析するために始めたので,数を絞るようにした.

Q: どの素性が効いているか.
A: s3とs4が有効だった.

Q: 本当になりすましかどうかの確証(正解データ)がないのが問題.それを
見破るような方法(なりすましを指摘して反応を見るなど)はないか.それが
ないと推測の域を出ない.
A: 今回の発表ではないが,回答の方でなりすましと見られるケースが実際に
あり,なりすましを指摘された直後だけ反応が変わった事例があった.また,
過去のデータなので今からそのデータはとれないということ,そのようなこと
をするとデータがゆがんでしまうこと,などの問題があるため,パッシブにや
るようにしている.正解データがないのは非常に難しい問題だが,状況証拠を
積み上げて,分析結果や研究成果を見てもらうしかない.

13.3つの異なる種類の音声認識器を利用した照応解析 (NLC)
 ○嶋田和孝,棚町範子,遠藤勉(九工大)

 複数の異なるタイプの音声認識器を併用し,ユーザからの命令発話を認識し,
 照応解析を行う手法の提案と評価を行う.

Q: 照応先の単語は命令認識に出てこないが,大語彙音声認識に出てくるもの,
ということか.
A: そういうこと.

Q: 中規模認識器が出す結果には参照先になるような単語は入っていないので
はないか.
A: 中規模認識器は分野特有の名詞を認識するために使っている.

Q: 中規模認識器にもさきほどの例(コーラとか)のような単語は出てくるの
か.
A: 分野特有のモデルなのでそういう語彙は全部入っている.

Q: 大語彙認識器の言語モデルは何から学習しているのか.
A: 公開されているJulius用の言語モデルをそのまま使っている.ウェブから
学習しているはず.

Q: 発話の文分割は人手でやっているのか.一文の中に命令と非命令が入って
いる場合はどうするのか.
A: 現在はそういう場合はないと想定している.

Q: 普通の照応解析では言語的構造を使うが,今回は一番よく聴き取れたもの
を選んでいるということか.
A: はい.選択制約などはこれから入れる予定.ただ,そもそも語彙にない単
語は影響が大きいので,そこから手を付けた.

Q: 中規模認識器の作り方は?
A: 中規模認識器は単語さえ認識されればよいので,ナイーブな文法で実装し
ている.ここの改良(言語モデルを入れるなど)を現在考えている.

Q: 実験で使われたコーパスは自然なものなのか.実際の人間の会話から取っ
たのか,機械相手の会話なのか.
A: 機械との対話を想定して作ったもの.人間の会話で本当にこうなるかどう
かは確かに疑問.ただし,機械相手だとある程度きれいに話してくれると期待
している.

Q: 仮想対話ということは,自分で作ったということか.
A: 学生などに作ってもらった.