これは Livesense Advent Calendar 2023 DAY 8 の記事です。
こんにちは。株式会社リブセンスの村山です。 LETという社内の知見共有を目的としたチームを運営しています。 LETの詳細については以下の記事をご覧ください。
今年の6月にLETが「ChatGPTにまつわるサービス開発や社内での活用事例を共有する会」を企画しました。 社内活動の取り組み共有として、ChatGPT会でどのようなことがあったのかを共有します！ よければ最後まで見ていってください。
下準備
事前に話す内容を決めるため、参加者がChatGPT会について求めるものについてアンケートを行いました。 結果的に、導入経緯や背景を知りたいという方からChatGPTについて理解を深めたい方まで様々な理解度の方がいることがわかりました。 なので
- そもそもChatGPTとは
- プロダクト導入エピソード
- 開発のエピソード
このように段々と詳細に進んでいく流れになりました。
当日の様子
ここからは当日の様子です。
そもそもChatGPTとは
OpenAIについての説明から始まり
- そもそもGPTとは何か
- ChatGPTとは
- BetterChatGPTとは、なぜ導入しようと思ったのか
- GPTの進化の行方
といった話をしていただきました。 自身としても理解が曖昧なところがあり、改めて勉強になりました。
また「なぜBetterChatGPTを使えるようにしたのか」が非常に印象深かったです。 6月の当時は、GPTのやれることが増えている一方で、GPT-4の利用などにwaitlistが必要でで新しい機能が出てもすぐに使えるようになるとは限りませんでした。誰かが使えるようになったら素早く社内に展開できる状況を作ることで
- 機会の平等
- 格差を無くしたい
という思いが語られてグッときました。 ちなみに、12月の今では、新機能も多くの人がすぐに利用できるようになっていたりしています。時代の流れは早いですね。
BetterChatGPTが社内に導入されてからGPTに触れる機会は格段に増えました。 様々な場面で助かっている声を多方面から聞きます。
今では機能が豊富な ChatGPT Enterpriseが出てきたことや、
リブセンスにはGithub Copilotが導入されたりと
この半年でも様々な変化がありましたが BetterChatGPTのコスパが良さや用途の違いがあるため、まだまだ頼りにさせていただく機会は多いでしょう。
プロダクト導入にまつわるエピソード
プロダクト導入エピソードでは転職会議とbatonnへの導入事例が紹介されました。
転職会議
転職会議ではChatGPTのAPIを用いて大量に保有する企業の口コミを要約する機能をリリースしています。 プロダクト導入の詳細については以下のブログに載っていますのでご覧ください。
ChatGPT会のなかでブログに無かった話では
- 料金試算エピソード
- 導入してどのような効果が得られたか
といった話がありました。
- イニシャルコストは数十万ほどで特に問題にならない
- 更新頻度の観点でも継続的にかかるコストは微小
とのことで、コストはあまり気にならなかったそうです。
また、運用前後でコストのギャップは特になかったそうです。 転職会議のAPI運用方法だと実装側で利用量をコントロールできる範囲が大きいためコストが試算が想像通りになりやすいのだと思いました。
導入効果についてはA/Bテストで測定したそうです。 顕著に効果があったのは口コミ投稿数で、1.1〜1.2倍に増えたそうです。
長期的なメディアの価値向上に繋がる可能性を実感したので、今後も機能拡充を進めていく予定とのことでした。
batonn
batonnにもChatGPT APIが活用されています。
batonnでは面接の内容を文字起こししています。 全文が長くなりすぎるため、当初から要約をする狙いはありましたが、技術的なハードルが高いという問題がありました。 ですが、ChatGPTのAPIが出たことで要約機能の実装に踏み出すことができたとのことでした。
batonnから提供したい重要な体験の一つとして「面接の内容をポイントを絞って確認できる」というものがあり、要約機能が実現したことでより強く訴求できるようになったとのことです。 結果として数多くの利用トライアルの申し込みに繋がったとのことでした。
batonnではプロンプトチューニングにも工夫があり、そちらの話もありました。
- 採用面接っぽいワーディングが使われるようにする
- ChatGPTへの性格付けを工夫して要約の方向性をコントロールする
こういった取り組みをすることで要約の精度向上をしているそうです。 膨大なパターンの中から方向性を絞るために、プロンプトを工夫していくことが大切で、 ChatGPT APIを誰でも実行できる環境を構築し、ひたすらプロンプトチューニングすることで高い要約精度に仕上がったとのことでした。 12月の現在も引き続き、要約機能のブラッシュアップを続けています。
batonnは社内でも活用しています。録画や文字起こしだけでも引き継ぎや見直しでとても便利ですが、要約機能があることでスキマ時間も活用できるため利便性の向上はとても実感できます。 batonn、転職会議どちらも利便性の向上を狙ってChatGPTを導入し、その結果が何かしらの良い結果を生んでいることがわかりました。
開発のエピソード
最後にはbatonnの要約機能開発エピソードを通して、どんな実装なのか、どのような工夫をしたのかの話を伺いました。
APIが遅い問題
前提としてbatonnで要約を行うパターンは複数あるのですが、その1つとしてユーザーが指定したテキストの範囲を要約する機能があります。
実装をしていた当時はAPIのレスポンスが返ってくるまで時間が長く、ユーザーがブラウザからAPIを実行した場合、その間は他のことができなくなる懸念がありました。 なので、Queue/Workerを用いることでAPIとChatGPTの処理時間を分離することで対応をしたそうです。 SQSを使ったことでリトライ処理も容易に実装できたため、不安定なAPIでも比較的安定して使えたそうです。
無限にリクエストができてしまう
転職会議の時にも話があったように、APIのコスト単体で見れば高いというわけでは無いのですが、API実行トリガーが無数にある場合は結果的に莫大なコストになってしまう可能性もあり、それを防ぐための工夫をbatonnでは様々施しているようでした。
まとめ
以上がChatGPT会の内容でした。 昨今のAI台頭から興味のある人がとても増えた影響からか、エンジニアに限らず様々な業種の方が参加してくれました。 その中には 自分のプロダクトにも導入してみたい！ GPTを活用して業務コストを下げることができないか気になる と言った目的を持って参加してくださる方もいました。 GPTをはじめとした技術革新が続いています。今後も各事業部での活用事例の共有を続けていきたいと思います。
LETではLivesenseEngineeringWayにおける「ヤバイ武器」を集める、作る、配る、をテーマに掲げて社内の知見共有活動を行っています。
- リブセンス自体に興味を持ってくれた
- 社内の知見共有に携わりたい
という方がいらっしゃいましたら、是非以下のリンクからご応募ください。
