国内チャットボット市場は2022年度に100億円規模まで拡大すると予想されており、市場は活況となっています。
問い合わせに対する自動応答率を高めるため、AI学習によるチューニングを組み合わせた包括的なサービスを提供するベンダーや、導入企業の担当者がチューニングできるツールを提供するベンダーも増えてきている中で、”いかにチャットボットの精度を上げていくか”について様々な手法が研究されてきています。
今回は、チャットボットの精度を向上する上で重要となる、”教師データ※の質が回答精度に及ぼす影響”について調査しました。
※本記事ではFAQ型チャットボットに事前登録するQ&Aのセットをチャットボットにおける「教師データ」と表しています
チャットボットには、「チャットボットって LINEとWEBでどう違うの？」でもお伝えしたように、大きく分けるとFAQ型（一問一答型）と、シナリオ型（ルール型）の2つの種類があります。
問い合わせの自動対応で利用される場面では、回答範囲の広さが求められるためAIを活用しているFAQ型（一問一答型）のチャットボットの活用が進んでいます。しかし、AIチャットボットと言っても自動で学習するわけではないため、人による「チューニング作業」が必要になります。
「チューニング」とは、FAQ型のチャットボットに学習させる教師データの追加・修正を行う作業のことを指します。
チューニングは長期間必要
その過程で教師データの”質”にばらつきが生じる。
チューニングにおけるメイン作業は、チャットボットが答えられなかった質問を分析し、どのように回答すべきか人が判別し、教師データを編集することです。
この作業を続けることで、回答精度は向上しある程度安定しますが、キャンペーンの実施やサービス内容の変更などの外部要因により、ユーザーからの問い合わせ内容は日々変化する可能性があります。そのため、変化にあわせたチューニングを定期的に行う必要があり、作業はどうしても長期化してしまいます。
チューニング作業が長期化することで発生する可能性があるのが、教師データに追加するデータの”微妙な表現の違い”です。
これが発生すると、教師データの質にばらつきが生じてしまいます。
微妙な表現の違いとは、例えば「返品はできますか？」と「返品したい」のような、ほとんど同じ表現で意味も同じであるが、末尾表現が違うといったものです。複数の担当者が編集を行う場合は特に、この違いが発生しやすくなります。
さらに例を出すと、Aさんは教師データに敬語表現の文をいつも登録している一方で、Bさんは体言止めを多用した文をいつも登録している、という状況です。極端な例ですが、この場合、ユーザーから敬語表現で質問を受けたときにAさんが登録したFAQデータが反応しやすくなるという可能性があります。
【検証】教師データの質のばらつきは回答精度に影響を与える？
チャットボットに投入する教師データは何でも良いというわけではなく、一定のルールで揃えられた状態が理想です。
しかし、チューニングを複数人で行う場合や、長期間に渡り行う場合には、どうしてもばらつきが生じてしまいます。
では、実際に教師データの質にばらつきが生じるとどのような影響があるのでしょうか。
教師データの質のばらつき（特に末尾表現のばらつき）を抑える処理を機械的に行い、実際のチャットボットへ投入して精度の比較を行いました。
検証内容
複数人の担当者が作成し、末尾表現のばらつきがある教師データAに対し、末尾表現を一定のルールで機械的に統一したものを教師データBとしてチャットボットに投入し、同一期間でABテストを行った。利用者は一般ユーザーで、検証する指標は正解率※とした。
※チャットボットにおけるAIの精度を測る一指標
結果
- 機械的な置き換えのみで正解率が向上
- 教師データの質のばらつきは回答精度に悪影響を与えていた
結果、末尾表現のばらつきを抑える処理のみで正解率が約6ポイント向上しました。
リリース後1年以上が経過していたテナントであり、日々のチューニングでは正解率が向上しにくいフェーズになっていた中で、機械的な処理だけで大幅に指標が改善したことには驚きました。
今後はこの処理機能を教師データ作成におけるチェッカーやフォーマッタの役割で導入していくことを検討しています。
まとめ
今回は、機械学習型チャットボットの教師データにおける表現のばらつきが回答精度に及ぼす影響についての調査結果をご紹介しました。
内容を以下にまとめます。
- 機械学習型のチャットボットにおけるチューニングの過程では、教師データの表現のばらつきが生じる
- 教師データの表現のばらつきはチャットボットの回答精度に悪影響を及ぼす
- 教師データの表現を機械的に統一し、ばらつきを抑える処理を行うことで回答精度は向上する可能性がある。
執筆：田島 努
