開く
目次
第3章
R-CCSの有人サポート業務へのAskDonaの導入効果
R-CCSの有人サポート業務へのAskDonaの導入効果
生成AIチャット「AskDona」の導入は、利用者の自己解決を促進するだけでなく、「富岳」サポートサイトにおける有人サポートの動向にも明確な変化をもたらした。本章では、従来、サポート担当者が人手で対応していたフォーム作成による問い合わせ（チケット）の発行数がAskDona導入後にどう変化したかを分析し、その導入効果を考察する。ここで言う「チケット」とは、利用者が問い合わせシステムを通じて発行する、個別の問い合わせ件数を指す。
本章のデータを評価する上で、「富岳」の利用者数が2022年度から約1割増加しているという利用者増のトレンドを念頭に置く必要がある。通常、利用者数が増えれば、それに比例して問い合わせ件数も増加することが想定される。また、「富岳」の利用には研究プロジェクトの開始時期などに伴う季節性もあるため、単純な月次推移だけでなく、前年同月との比較が、導入効果を測る上でより客観的な指標となる。この利用者数の推移は、図3に示す。「富岳」は2021年3月9日から共用を開始し、全ノード(158,976ノード)を課題採択された利用者に提供している。
3.1 有人対応チケット数の推移
AskDona導入による最も直接的な効果は、有人対応チケット数の変化に現れている。本節では、まず長期的な傾向を四半期ごとの推移（図3.1-1）で示し、次いで前年同月比（図3.1-2）でその変化を詳細に分析する。
図3.1-1は、2022年Q2（4月-6月）以降の新規チケット発行数の四半期推移をカテゴリ別に示したものである。AskDonaは、特に「質問」カテゴリの問い合わせに対する一次対応を担う。図を見ると、2024年7月にAskDonaを導入した後も、「質問」チケット数は四半期あたり200件未満で安定して推移していた。しかし、2025年2月に質問フォーム（チケット作成）をAskDona経由に変更して以降、チケット数に大きな変化が見られた。2025年Q1（1月〜3月）の「質問」チケット数は約120件で、前年同期比で約40％減少し、2025年Q2は約100件で、前年同期比で約53％の減少となった。
図3.1-1 新規チケット発行数の四半期推移
この減少傾向をより詳細に分析するため、質問カテゴリのチケット数を前年同月比で示したものが図3.1-2である。導入直後の併用期間（2024年7月〜12月）においては、削減効果は限定的であり、前年同月比で微減から微増の範囲で推移した。これは、多くの利用者が従来の有人サポートを選択したためと考えられ、新しいツールが提示されても、利用者の行動変容には一定の時間を要することを示している。
チケット作成をAskDona経由に変更した2025年2月以降、チケット数が明確に減少した。具体的には、2025年2月は前年同月比で約42%減、3月は約51%減、そして4月には約61%減と削減効果がみられた。
図3.1-2 有人問い合わせ件数と前年同月比増減率の推移
3.2 対応時間と効率からみる有人と生成AIの役割分担
AskDonaの導入は、3.1節で示した有人対応の「件数」削減だけでなく、問い合わせ対応の「効率」にも変化をもたらした。本節では、具体的な問い合わせ事例を基に、AskDonaが対応時間をどのように短縮し、サポート業務の効率化に貢献するかを示す。
AskDonaは、特に過去に回答例がある質問や、マニュアル等の文書に記載されている情報を探索するタイプの問い合わせにおいて、その効果を最大限に発揮する。以下の事例は、こうした問い合わせにおけるAskDonaの時間短縮効果を具体的に示すものである。
事例：AskDonaによる時間短縮が期待される問い合わせ例
「富岳」に関連する質問
質問 | バッチジョブ投入時に cannot execute binary file のエラーが出て実行できません。 コンパイル済みのC言語プログラムとスクリプトを添付します。 原因と、ディレクトリ設定に関する注意点を教えていただけますか？ |
対応時間：回答まで要した時間： 約4時間
有人対応回答例 | 【1】Exec format error の原因 富岳ではログインノード（x86_64）と計算ノード（A64FX）でCPUアーキテクチャが異なるため、互換性のないバイナリを実行すると Exec format error が発生します。 ログインノードの /bin/gcc などでビルドされた実行ファイルは、計算ノードでは動作しません。 対応策： 計算ノード用バイナリは、下記のように fccpx を使ってビルドしてください。 計算ノード用バイナリは、下記のように fccpx を使ってビルドしてください。 fccpx in.c 【2】使用可能ディレクトリについて 以下のディレクトリが使用可能です：
容量・パフォーマンスの観点から、データディレクトリの利用を推奨します。 |
対応時間：回答まで要した時間：約5秒
回答 | 考えられる原因 バッチジョブ投入時に "cannot execute binary file" というエラーが発生する場合、以下の原因が考えられます。 実行ファイルのアーキテクチャの不一致: 計算ノード（A64FX）上でx86_64バイナリが実行されている可能性があります。富岳の計算ノードで実行するためのバイナリは、適切なコンパイラを使用して作成する必要があります [1]。 カレントディレクトリの問題: ジョブ投入時のカレントディレクトリにグループデータ領域パスが含まれていない場合、エラーが発生することがあります [1]。 コンパイルコマンドの誤り: ジョブスクリプト内でコンパイルを行う場合、ログインノード用のクロスコンパイラではなく、計算ノード用のネイティブコンパイラを使用する必要があります [1]。 ディレクトリ設定に関する注意点 データ領域からのジョブ投入: ジョブは、ジョブ投入時に指定するグループのデータ領域から投入する必要があります。カレントディレクトリがデータ領域に含まれていない場合、エラーが発生します [1]。 データ領域の場所は、accountd -E コマンドで確認できます [1]。 データ領域外からジョブを投入する場合は、--no-check-directory オプションを指定する必要があります [1]。 ホーム領域の制限: ホーム領域の容量には制限（20GiB、200,000 i-node）があります。データの出力先をホーム領域にしている場合は、データ領域を使用するように変更してください [1]。 その他の注意点 コンパイラ: 計算ノード上でコンパイルを行う場合、FCCpx ではなく FCC として実行してください [1]。 リソースグループ: 投入権限がないリソースグループにジョブを投入しようとすると、エラーが発生します。利用可能なリソースグループを確認してください [1]。 参考文献 [1] 富岳サポートサイト記事.csv 追加で、ジョブ投入時の具体的なディレクトリ設定や、使用しているコンパイラの種類について詳しく教えていただけますでしょうか？ |
この事例が示すように、従来であれば担当者が調査し回答を作成するまでに約4時間を要していた問い合わせに対し、AskDonaはわずか数秒で情報網羅性の高い回答を生成できる。
このような定型的な、あるいは情報探索が中心となる問い合わせをAskDonaがリアルタイムに解決することで、利用者は迅速に回答を得られるようになった。同時に、サポート担当者は問い合わせ対応の負荷軽減にもつながり、RAGデータソースにない情報に関する問い合わせや、個別の利用状況に応じた複雑な判断が求められる、より高度な問い合わせ対応に注力することが可能となり総合的に問い合わせ対応の軽減につながっている。
3.3 ユーザーからのフィードバック評価
サポート品質を評価する上で、ユーザーからのフィードバックは重要な指標である。ここでは、チケット対応（有人対応）とAskDonaそれぞれで収集されたフィードバックについて説明する。
まず、チケット対応では、解決・終了時に満足度サーベイを送信している。図3.3-1に示す通り、AskDona導入期間中（2024年7月〜2025年5月）の顧客満足度（Satisfaction score）は97.5%と非常に高い水準を維持した。これは、AskDona導入後も有人サポートが高いレベルで提供され続けていることを示している。（作成されたチケット総数に対してユーザーがフィードバック評価を行った割合は37.4%であった。）
図3.3-1 チケット対応における顧客満足度とフィードバックの内訳
次に、AskDonaチャットボットが質問単位で収集するユーザーフィードバック「いいね」および「よくない」の状況を図3.3-2に示す。
図3.3-2 チケット対応における顧客満足度とフィードバックの内訳
次に、AskDonaチャットボットが質問単位で収集するユーザーフィードバック「いいね」および「よくない」の状況を図3.3-2に示す。
2024年7月9日から2025年5月までの総回答済み質問数7434件に対するAskDona個別の評価である。この期間で「いいね」が116件、「よくない」が77件であった。総回答済み質問数7434件に対して、このフィードバック件数（合計193件）は全体の約2.6%にあたる。フィードバックの母数は限定的であるものの、このデータはAskDonaの回答品質に対するユーザーからの直接的な評価を反映している。
2024年7月のリリース時においては、ユーザーに「Bad」評価をしてもらうことでRAGデータソースに不足している情報を特定しようと試み、富岳の利用者への周知も行った。しかし、結果としてフィードバックが提供される割合は低く、フィードバック機能を活用した「RAGデータ不足」の特定は困難だと判断した。その事実も踏まえ、チャット履歴を自動分析してRAGのデータソースに情報がないため回答を提供できなかった質問と回答のペアを特定する「RAGデータ不足分析機能」を当社が開発した。
生成AIチャット「AskDona」の導入は、利用者の自己解決を促進するだけでなく、「富岳」サポートサイトにおける有人サポートの動向にも明確な変化をもたらした。本章では、従来、サポート担当者が人手で対応していたフォーム作成による問い合わせ（チケット）の発行数がAskDona導入後にどう変化したかを分析し、その導入効果を考察する。ここで言う「チケット」とは、利用者が問い合わせシステムを通じて発行する、個別の問い合わせ件数を指す。
本章のデータを評価する上で、「富岳」の利用者数が2022年度から約1割増加しているという利用者増のトレンドを念頭に置く必要がある。通常、利用者数が増えれば、それに比例して問い合わせ件数も増加することが想定される。また、「富岳」の利用には研究プロジェクトの開始時期などに伴う季節性もあるため、単純な月次推移だけでなく、前年同月との比較が、導入効果を測る上でより客観的な指標となる。この利用者数の推移は、図3に示す。「富岳」は2021年3月9日から共用を開始し、全ノード(158,976ノード)を課題採択された利用者に提供している。
3.1 有人対応チケット数の推移
AskDona導入による最も直接的な効果は、有人対応チケット数の変化に現れている。本節では、まず長期的な傾向を四半期ごとの推移（図3.1-1）で示し、次いで前年同月比（図3.1-2）でその変化を詳細に分析する。
図3.1-1は、2022年Q2（4月-6月）以降の新規チケット発行数の四半期推移をカテゴリ別に示したものである。AskDonaは、特に「質問」カテゴリの問い合わせに対する一次対応を担う。図を見ると、2024年7月にAskDonaを導入した後も、「質問」チケット数は四半期あたり200件未満で安定して推移していた。しかし、2025年2月に質問フォーム（チケット作成）をAskDona経由に変更して以降、チケット数に大きな変化が見られた。2025年Q1（1月〜3月）の「質問」チケット数は約120件で、前年同期比で約40％減少し、2025年Q2は約100件で、前年同期比で約53％の減少となった。
図3.1-1 新規チケット発行数の四半期推移
この減少傾向をより詳細に分析するため、質問カテゴリのチケット数を前年同月比で示したものが図3.1-2である。導入直後の併用期間（2024年7月〜12月）においては、削減効果は限定的であり、前年同月比で微減から微増の範囲で推移した。これは、多くの利用者が従来の有人サポートを選択したためと考えられ、新しいツールが提示されても、利用者の行動変容には一定の時間を要することを示している。
チケット作成をAskDona経由に変更した2025年2月以降、チケット数が明確に減少した。具体的には、2025年2月は前年同月比で約42%減、3月は約51%減、そして4月には約61%減と削減効果がみられた。
図3.1-2 有人問い合わせ件数と前年同月比増減率の推移
3.2 対応時間と効率からみる有人と生成AIの役割分担
AskDonaの導入は、3.1節で示した有人対応の「件数」削減だけでなく、問い合わせ対応の「効率」にも変化をもたらした。本節では、具体的な問い合わせ事例を基に、AskDonaが対応時間をどのように短縮し、サポート業務の効率化に貢献するかを示す。
AskDonaは、特に過去に回答例がある質問や、マニュアル等の文書に記載されている情報を探索するタイプの問い合わせにおいて、その効果を最大限に発揮する。以下の事例は、こうした問い合わせにおけるAskDonaの時間短縮効果を具体的に示すものである。
事例：AskDonaによる時間短縮が期待される問い合わせ例
「富岳」に関連する質問
質問 | バッチジョブ投入時に cannot execute binary file のエラーが出て実行できません。 コンパイル済みのC言語プログラムとスクリプトを添付します。 原因と、ディレクトリ設定に関する注意点を教えていただけますか？ |
対応時間：回答まで要した時間： 約4時間
有人対応回答例 | 【1】Exec format error の原因 富岳ではログインノード（x86_64）と計算ノード（A64FX）でCPUアーキテクチャが異なるため、互換性のないバイナリを実行すると Exec format error が発生します。 ログインノードの /bin/gcc などでビルドされた実行ファイルは、計算ノードでは動作しません。 対応策： 計算ノード用バイナリは、下記のように fccpx を使ってビルドしてください。 計算ノード用バイナリは、下記のように fccpx を使ってビルドしてください。 fccpx in.c 【2】使用可能ディレクトリについて 以下のディレクトリが使用可能です：
容量・パフォーマンスの観点から、データディレクトリの利用を推奨します。 |
対応時間：回答まで要した時間：約5秒
回答 | 考えられる原因 バッチジョブ投入時に "cannot execute binary file" というエラーが発生する場合、以下の原因が考えられます。 実行ファイルのアーキテクチャの不一致: 計算ノード（A64FX）上でx86_64バイナリが実行されている可能性があります。富岳の計算ノードで実行するためのバイナリは、適切なコンパイラを使用して作成する必要があります [1]。 カレントディレクトリの問題: ジョブ投入時のカレントディレクトリにグループデータ領域パスが含まれていない場合、エラーが発生することがあります [1]。 コンパイルコマンドの誤り: ジョブスクリプト内でコンパイルを行う場合、ログインノード用のクロスコンパイラではなく、計算ノード用のネイティブコンパイラを使用する必要があります [1]。 ディレクトリ設定に関する注意点 データ領域からのジョブ投入: ジョブは、ジョブ投入時に指定するグループのデータ領域から投入する必要があります。カレントディレクトリがデータ領域に含まれていない場合、エラーが発生します [1]。 データ領域の場所は、accountd -E コマンドで確認できます [1]。 データ領域外からジョブを投入する場合は、--no-check-directory オプションを指定する必要があります [1]。 ホーム領域の制限: ホーム領域の容量には制限（20GiB、200,000 i-node）があります。データの出力先をホーム領域にしている場合は、データ領域を使用するように変更してください [1]。 その他の注意点 コンパイラ: 計算ノード上でコンパイルを行う場合、FCCpx ではなく FCC として実行してください [1]。 リソースグループ: 投入権限がないリソースグループにジョブを投入しようとすると、エラーが発生します。利用可能なリソースグループを確認してください [1]。 参考文献 [1] 富岳サポートサイト記事.csv 追加で、ジョブ投入時の具体的なディレクトリ設定や、使用しているコンパイラの種類について詳しく教えていただけますでしょうか？ |
この事例が示すように、従来であれば担当者が調査し回答を作成するまでに約4時間を要していた問い合わせに対し、AskDonaはわずか数秒で情報網羅性の高い回答を生成できる。
このような定型的な、あるいは情報探索が中心となる問い合わせをAskDonaがリアルタイムに解決することで、利用者は迅速に回答を得られるようになった。同時に、サポート担当者は問い合わせ対応の負荷軽減にもつながり、RAGデータソースにない情報に関する問い合わせや、個別の利用状況に応じた複雑な判断が求められる、より高度な問い合わせ対応に注力することが可能となり総合的に問い合わせ対応の軽減につながっている。
3.3 ユーザーからのフィードバック評価
サポート品質を評価する上で、ユーザーからのフィードバックは重要な指標である。ここでは、チケット対応（有人対応）とAskDonaそれぞれで収集されたフィードバックについて説明する。
まず、チケット対応では、解決・終了時に満足度サーベイを送信している。図3.3-1に示す通り、AskDona導入期間中（2024年7月〜2025年5月）の顧客満足度（Satisfaction score）は97.5%と非常に高い水準を維持した。これは、AskDona導入後も有人サポートが高いレベルで提供され続けていることを示している。（作成されたチケット総数に対してユーザーがフィードバック評価を行った割合は37.4%であった。）
図3.3-1 チケット対応における顧客満足度とフィードバックの内訳
次に、AskDonaチャットボットが質問単位で収集するユーザーフィードバック「いいね」および「よくない」の状況を図3.3-2に示す。
図3.3-2 チケット対応における顧客満足度とフィードバックの内訳
次に、AskDonaチャットボットが質問単位で収集するユーザーフィードバック「いいね」および「よくない」の状況を図3.3-2に示す。
2024年7月9日から2025年5月までの総回答済み質問数7434件に対するAskDona個別の評価である。この期間で「いいね」が116件、「よくない」が77件であった。総回答済み質問数7434件に対して、このフィードバック件数（合計193件）は全体の約2.6%にあたる。フィードバックの母数は限定的であるものの、このデータはAskDonaの回答品質に対するユーザーからの直接的な評価を反映している。
2024年7月のリリース時においては、ユーザーに「Bad」評価をしてもらうことでRAGデータソースに不足している情報を特定しようと試み、富岳の利用者への周知も行った。しかし、結果としてフィードバックが提供される割合は低く、フィードバック機能を活用した「RAGデータ不足」の特定は困難だと判断した。その事実も踏まえ、チャット履歴を自動分析してRAGのデータソースに情報がないため回答を提供できなかった質問と回答のペアを特定する「RAGデータ不足分析機能」を当社が開発した。
レポートリスト