こんにちは、クラウドサインで CRE（Customer Reliability Engineer）をしている藤谷です。
CRE チームでは、CS（カスタマーサクセス）や営業などビジネス部門からの技術的な問い合わせに日々対応しています。
クラウドサインでビジネス部門からの問い合わせを受ける際は「エンジニアへの質問」という Slack ワークフローを使い、CRE が調査・回答するプロセスになっています。
このプロセスに対して、これまで AI を導入して以下の改善を進めてきました。以下のとおり過去の記事でも紹介しました。
改善を進める中で、以下の課題が未解決だったため、AI を使って解決できないか検討しました。
- 社内のナレッジが多すぎて、問い合わせ時に目的の情報が見つけにくい
- 見つけられずに CRE へのエスカレーションに発展
- CRE は同じような調査を繰り返す
そこで 「エンジニアへの質問」ワークフローに、クラウドサインについて何でも答えてくれる AI による自動回答機能を導入 しました。
この AI は、既存ナレッジに記載の内容であればクラウドサインに関する多くの質問に回答できます。
先日 kunihikot さんが構築した社内ナレッジ検索システム「Deborah」の API を活用しています。
さらに、問い合わせがクローズしたあとはワークフロー内で AI がナレッジ化用の文章を生成し、社内ナレッジへ反映するフローに変更しました。
Deborah は社内ナレッジを参照しているため、前述の課題解決へつながり、AI 回答精度向上→自己解決促進という改善サイクルが期待できます。
本記事では、その実装経緯と効果について紹介します。
なぜ自己解決の機会が必要だったのか
問い合わせする人とCRE、双方が抱える課題
私たち CRE チームでは、ビジネス部門から「エンジニアへの質問」という Slack ワークフローを通じて技術的な問い合わせを受け付けています。
以下のような課題がありました。
- 問い合わせする人が社内のナレッジを見つけられない/見つけたとしても理解しづらい
- CRE が同じような調査を繰り返す（過去問い合わせを再度調査するなど非効率）
- ナレッジの蓄積が属人的
- 問い合わせが完了しても、その問い合わせ内容がナレッジ化されなかったり、タイミングや粒度にばらつきがある
- 結果、同じような問い合わせが繰り返し発生
AI自動回答で解決したかった3つのこと
Deborah の API 連携機能を活用すれば、Slack ワークフローのカスタムアクションとして AI 自動回答を組み込むことができます。
これが実現できれば以下のような改善サイクルが期待できます。
- 問い合わせした人が自己解決できる機会の創出
- CRE の調査効率向上（AI 回答を参考情報として活用）
- AI によるナレッジ化文章生成で社内ナレッジ拡充
- ナレッジ拡充→AI 精度向上→自己解決促進
実装内容の詳細
SlackワークフローにDeborah APIを組み込み
Deborah の API を使って、Slack ワークフローのカスタムアクションとして AI 自動回答機能「Deborah へ問い合わせ」を実装しました。
実装後のワークフローの流れ
- 問い合わせ投稿：CS・営業が「エンジニアへの質問」ワークフローで質問を投稿
- AI 自動回答：Deborah API が社内ナレッジを検索し、スレッド内で AI 回答を提示
- 自己解決判断：問い合わせした人自身が AI 回答で解決できるかを判断
- CRE 対応
- AI の回答で解決できた場合：念のため、AI の回答をチェック
- AI の回答で解決できなかった場合：従来通り CRE が調査・回答
- ナレッジ化
サンプルとしてこの仕組みを使った「1. 問い合わせ投稿」と「2. AI 自動回答」をお見せします。
- 問い合わせ投稿
- AI 自動回答 スマートフォンからでも署名できるかという問い合わせに対して、クラウドサインヘルプセンターなどの参考 URL を提示してくれたうえで丁寧に解説してくれます。
技術的なポイント
Deborah は Dify で構築されており、chat-messages API エンドポイントが公開されています。この API を活用して、Slack ワークフローから直接ナレッジを検索できるようにしました。
実装は Slack の Deno SDK を使用して構築しました。
- 問い合わせが投稿されると、Slack ワークフローが Deborah の API を呼び出し
- API レスポンスをスレッド内に自動投稿
Dify の API を活用することで、既存の Deborah の機能をそのまま Slack 内で利用できました。 これにより Slack 内で完結する効果的な自動回答システムを実現できました。
品質担保の仕組み
この仕組みはまだ新しく、回答品質の保証ができないため、問い合わせした人が AI 回答で自己解決できた場合でも、念のため CRE が回答内容の妥当性を担保するフローを設けました。
- 自己解決報告：問い合わせした人から「AI 回答で解決しました」の報告
- CRE による内容確認：AI 回答が正確かどうかを CRE が軽く確認
- 必要に応じて補足：不足があれば追加情報を提供
以下のような流れ（スタンプを押して起動するワークフロー）で、自己解決時のチェックを自動化しています。
※以下は前述の「3. 自己解決判断：問い合わせした人自身が AI 回答で解決できるかを判断」に該当します。
1. 自己解決できた場合は Slack スタンプ「AI で解決」を押してもらう
2. 問い合わせした人には待ってもらい、CRE が調査
3. CRE が確認したら確認完了のお知らせがされる
上記のように Slack スタンプを押してもらいワークフローを使うことで、効率的なやりとりを実現しています。 まだ導入したばかりなので、今後 AI の回答精度が向上すれば、このチェック工程も簡素化予定です。
ナレッジ拡充の自動化で改善サイクルを構築
さらに、AI で自己解決できなかった場合のナレッジ化文章の作成も自動化しました。
AIがナレッジ化文章を生成
- CRE が調査・回答完了
- AI がナレッジ化文章案を自動生成：問い合わせ内容と CRE の回答を Slack スレッドを自動要約したうえで、社内ナレッジ（esa）への記載用文章案を作成
- CRE が内容をチェック・精査
- 手動で社内ナレッジに反映
社内ナレッジは、Markdown 形式で記載されているので、以下のように AI からのナレッジ文章も Markdown 形式で提案されます。 またどの社内ナレッジに反映すべきかについても、URL を提示してくれます。
自己解決促進の改善サイクル
この仕組みにより、以下の改善サイクルが完成しました。
- 問い合わせ増加→社内ナレッジ拡充（AI 支援）
- ナレッジ拡充→Deborah の回答精度向上
- AI 回答精度向上→自己解決促進→問い合わせ減少
つまり、Deborah の活用と信頼度向上により、ビジネス部門の方の自己解決が進みます。結果として、CRE への問い合わせ自体を減らせるようになります。
実際の効果と課題
自己解決の機会は確実に生まれている
導入してからまだ短期間ですが、問い合わせした人からは以下のような反応がありました。
ポジティブなフィードバックがある一方で、AI 回答が的外れだったり、社内ナレッジの情報が古かったり、そもそもナレッジにない場合も少なくありません。 これは Deborah の開発チームとも調整し改善を予定しております。 ただし、たとえ完璧な回答でなくても、問い合わせした人が「自分で調べる手がかり」を得られることで、自己解決の機会は確実に増えています。
CREの調査も効率化された
CRE 側にとっても、AI 回答を参考情報として活用できるため調査が効率化されました。
- 社内ナレッジに記載されている関連する過去事例の把握が迅速
- 調査の方向性が定まりやすい
- 回答の一貫性も向上
今後の展望とまとめ
既存の Deborah API を活用して「エンジニアへの質問」Slack ワークフローに AI 自動回答を組み込むことで、問い合わせの自己解決促進と CRE の調査効率化を同時に実現できました。
現在は社内ナレッジ用の文章のみが AI から生成されます。今後はクラウドサイン ヘルプセンターも改善ループに含め、お客様向けにも使いやすいヘルプセンターを整備していきたいと考えています。
引き続き、改善をします。
他にも AI の活用事例ができましたらまた紹介します。同じような課題をお持ちの方にもこの記事を参考にしていただけたら幸いです。
