アーカイブ動画

画像生成AIを活用したサービス開発で直面した課題とは

FastLabel株式会社
エンジニアリングマネージャー 風見 亮氏

最初に登壇したのは、FastLabelエンジニアリングマネージャーの風見亮氏だ。風見氏はエンジニアリングマネージャーとして、MLOps関連機能の開発を主導。さらに、アノテーション代行サービスのテクニカルサポート部門の責任者も務めている。前職ではWebアプリケーションのエンジニアとして、エンタープライズ向けシステムの上流から下流まで携わっていた。

FastLabelは、AIを開発するためのSaaS型プラットフォーム「FastLabel」の提供や、データ収集、アノテーション代行、コンサルティングサービスなどの事業を展開している。社員数は約50人。契約社員などを含めると、総勢80人弱のベンチャー企業である。

FastLabelは今年6月、画像生成AIを活用したサービスのα版をリリースした。同社の画像生成AI機能は、画像生成AIを開発したい企業向けに、教師データ作成からファインチューニング（既存の学習済みモデルの重みの一部もしくは全体を再学習させ、特徴量抽出器として利用する手法）までを一気通貫して支援するソリューションだ。

「デフォルトで外部に公開されている生成AIのAPI、ファインチューニングしたモデルが使えるようになっている」と風見氏。データ管理モジュールとも連携している。特徴はプラットフォーム上で、学習から画像生成モデルの作成までできることだ。

開発はスムーズに進まず、いくつもの重い課題にぶつかったと、風見氏は明かす。第一の課題は、「技術的にまだ不安定」だったことだと指摘する。

「派生技術がすぐに登場するなど、世の中的にも試行錯誤の段階でした」（風見氏）

第二の課題は、「価値を提供できるサービスになるかどうかの予測が難しい」こと。第三の課題は、「規約倫理面での不安」だ。どこまで利用していいのか、作成した画像はどうなるのかなど、不透明さが気になった。第四の課題は、開発者が個人的に触っている程度で、「社内的にもあまり知見がない」ことだという。

FastLabelではこれらの課題に対して解決策を打ち出し、機能リリースへと繋げた。第一の課題「技術的にもまだ不安定」に対しては、早く小さく出すことを行った。新しいものをずっと追い求めたり、成熟したりするのを待っていてはきりがないからだ。

シナリオを決め打ちして壊す前提で、既存のAPIやAWSのJumpstartを活用して作り込みすぎず、効率的に開発を進めた。第二の課題「価値を提供できるサービスになるかの予測が難しい」については、ユーザーと一緒に進めることで解決を図った。

「α版をリリースしつつ、興味を持ってくれたユーザーの無償トライアルを提供。フィードバックをもらって、ブラッシュアップしていく戦略で進めています」（風見氏）

第三の課題「規約や倫理面での不安」については、同社単体はもちろん、協力企業や団体と一緒に進めている。新たに設立された日本画像生成AIコンソーシアム（JIGAC）に参画し、収集時の規約などを整備している。

第四の課題「社内的にもあまり知見がない」については、MLエンジニアにも積極的に参画してもらい、同社技術研究部門であるAILabのエンジニアと情報交換。有効活用できるケースの肌感覚を掴んでいる途上だという。

これらの課題解決から得られたTipsの一つは、初期は公開されているAPIやモデルを利用してみること。次に一つの対象パターンを変えて生成する方がうまくいく可能性が高いことだ。「例えばいろんな種類の画像を大量に学習させると、あまりうまくいかないことが多い」と、風見氏は言う。

また、欲しいパターンが決まっていれば、Inpaintingも有効となる。Inpaintingとは画像のある範囲を指定して、そこのみをAIで上書きする手法である。同じポーズで画像を生成する場合は、ControlNetの活用も試みている。

今後は、ユーザーが欲しいデータを簡単に生成できるアノテーションデータも一緒に生成や定量的なモデルの評価指標の作成、LLM（大規模言語モデル）への対応などに取り組んでいきたいと考えていると、風見氏は語る。

「プロダクトを考える開発者としては、今後もひるむことなく戦略を立てて、チャレンジしていくことが大切だと思っています」（風見氏）

LLMアプリケーションの安定性を高めるための精度評価・改善

株式会社LayerX
事業部執行役員（AI・LLM事業）　中村 龍矢氏

続いて登壇したのは、LayerXで事業部執行役員を務める中村龍矢氏だ。中村氏は現在、LayerXの事業部執行役員として、LLM、プライバシーテック領域を担当している。大学時代にデータサイエンスと出会い、機械学習エンジニアとしてニュースアプリ「Gunosy」の推薦システムの開発に携わった後、セキュリティ研究者に転身。セキュリティ関連の論文を書いてきた経験を持つ。

LayerXは、3つの事業を展開しているスタートアップである。同社では2023年11月にAI・LLM事業部を新設し、企業や行政におけるAIやLLMを用いた業務効率化・データ活用支援に取り組んでいる。

手前味噌ながらと前置きしながら、中村氏はLayerXの強みを「バズワード」的な技術を現実的に評価・改善し、お客さまの「ペイン」に集中して事業に活かせること、そしてBtoC出身者で構成される「使いやすいサービスのこだわり」があることだと語る。

例えば、Beyond PoCさせるLLM活用については、LayerXではブロックチェーンやプライバシーテックなどの新技術活用に取り組む中で、PoCの先に進めないことをたくさん経験してきた。

その苦い経験から得られたことの一つは技術だけではなく、問題設定も新しいものとして考えないこと。新しいもの同士の掛け合わせだと非常に難しくなる。そこでPoCの先に進むために、技術の新しさにつられないように、課題は既存業務の明確な課題を対象にすることである。

もう一つはPoCと受託開発を重ねてゼロから作らないこと。機動力がなくなるからだ。そこで受託開発ではなく、汎用的なプロダクトに落とし込んでいくことが重要であると中村氏は強調する。

「ChatGPTやAzureのAPIをそのまま使うだけでは精度が安定せず、本番業務に耐えられることは少ない。より強い精度改善をすることで、実現できるユースケースが広がるのです」（中村氏）

そのためには、Beyond PoCしやすいユースケースの選定が必要となる。その観点として中村氏が挙げたのは、次の2点である。

1点目は、LLMに期待する正しいアウトプットが明確に定義できること、つまり「正解が明確な業務か」だ。答えが定まらなければ、精度評価できないからだ。2点目は、「正解に至るプロセスが明確な業務か」どうかである。

「職人芸や第六感的な業務は難しい」と中村氏は指摘する。この2点が揃っているユースケースであれば、改善のサイクルが回しやすく、粘り強く精度改善ができると考えられる。

では具体的な評価改善をどうすればよいのか。中村氏が示したのが以下図のような評価指標だ。一番シンプルなのが「完全一致」。だが、これではちょっとした表記揺れもNGになってしまう。次の「単語の部分一致」は、古典的な機械学習と自然言語処理の領域のルールとして便利に使えるのではと、中村氏は言う。

精度の改善においては、採点の後のうまくいかない箇所の原因を突き止める方が重要になる。一般的なLLMのユースケースにおける原因箇所パターンは次のような図で表すことができる。

「④のLLM処理のところに目が行きがちだが、他に原因があることも疑うこと」と中村氏。

まずは前処理での欠損・毀損である。PDFやdocxからテキストを抜き出す際に、重要な情報が抜けたり単語、文章が崩れたりすることがある。

「例えば、縦割りの学術論文などでは、段落の順番が人間の読む順番と異なることがあります」（中村氏）

②が検索での欠損だ。基本的にコンテキストサイズに限界がある。そこでインプットのテキストを分割したチャンクの検索で、必要なチャンクが選ばれないことがあるのだ。

③は結果をまとめる際の欠損・毀損。Langchainのmap_reduceやrefineで、チャンクごとの結果を合体する過程で欠損することもある。「この場合は、途中の結果を確認することが大事」と中村氏は強調する。

この3つがどれも当てはまらなかったら、初めてLLM処理を見ることをお勧めするという。

LLMの自由度と制御性のバランスを取るための技術を紹介

LINE株式会社
Data Scienceセンター NLP Foundation Devチーム
シニアエンジニア　山崎 天氏

最後に登壇したのは、LINEの山崎天氏だ。山崎氏は東京大学で自然言語処理を研究する相澤研究室で修士を修了後、2021年にLINE株式会社（現：LINEヤフー株式会社）に入社。

同年6月より、NLPチームに所属し、対話システムユニットチームのディレクターを務めている。また、LLM応用活用やLLM基礎開発にも従事している。

生成AIは、制御性と自由度という2つの性質によって分かれる。制御性が高いシステムとは、ルールやテンプレートベースで実装しているもの。一方の自由度の高いシステムとは、ユーザーの自由な入力に対して、ニュアンスを汲み取り、自由な応答を返してくれるシステムである。このようなシステムはGPTとプロンプティングで実装できる。

「これらのシステムにはメリット、デメリットがある」と、山崎氏は語る。制御性の高いシステムはスマートスピーカーが決まり切った答えを返すように、ユーザーエクスペリエンスが悪い。また、創造性のあるタスクは難しいというデメリットがある。

自由度の高いシステムはユーザーエクスペリエンスが良く、創造性のあるタスクが解ける。とはいえ、制御性の高いシステムにもメリットがある。例えば、開発やデバッグが容易であることや、説明性が高いこと、タスク達成が保証できること」と山崎氏。

一方の自由度の高いシステムは、開発・デバッグが難解で説明性が低い、タスク達成が保証できないというデメリットがある。つまり両者はトレードオフの関係であり、「要件に応じてバランス調整するのが理想」と山崎氏は話す。

LLMを活用したアプリケーション開発の課題は、話が逸れてタスクが達成できなかったり、言ってはいけないことを言ってしまったりすることである。そこで山崎氏は、「自由奔放なLLMを制御するための考え方と技術」の解説を行った。

制御のカギとなるのは、タスクの細分化だ。山崎氏は今年9月13日に開催されたイベント「SIGDIAL 2023」に登壇したOpenAIのRyan Lowe氏の講演を紹介。今までは一つのAPIコールですべてのタスクを解いてしまう一気通貫な方法で、ChatGPTのWebUIなどはこの仕組みを採用している。

一方、最近トレンドになっているのが、ChatGPTをモジュールとして活用し、1つずつ中身を分業。各タスクはシンプルにすることで、精度や制御性を向上させる。

「LangChainなど、最近のライブラリはこの機能を提供しています」（山崎氏）

続いて、Lowe氏の講演より次のような発言も紹介した。

「複雑なタスクにおいて、LLMで一度推論するだけでは信頼できる結果を得ることは難しい。しかし、シンプルなタスクならLLMは信頼できる。（対話を含む）あらゆる言語アプリケーションにおいて、LLMはパーツとして使用されていくだろう」

LINEのNLPチームでは、どうタスクを細分化したのか。山崎氏は「前処理と後処理に分けて、LLMを制御するという方法を採用した」と語る。2021年頃から試行錯誤して、得た結果だという。

前処理が担当するのは、期待する出力を得るための積極的な制御。特徴は文脈となる情報をプロンプトに入れ込むこと。だが、期待通り出力されない可能性もある。そのため「このような出力をしてほしいという実装を入れ込むことが重要になる」と山崎氏は言う。

一方の後処理が担当するのは、出力されてしまったものをなんとかする消極的な制御だ。特徴は確実に適用されてほしいルールを実装することと、生成失敗時の処理が難しいことである。

「例えばフィルタリングでNGワードにひっかかった際の処理など、考えることが多くなります」（山崎氏）

このような処理をすることで、自然な対話ができるようになる。具体的な雑談対話システムの概要については、以下の図を参照してほしい。

登壇者3人によるパネルディスカッション

3人のセッション後は風見氏がファシリテータを務め、パネルディスカッションが実施された。

●これまでの経験やスキルを活かせた場面は？

風見：今の職場ではユーザーの方との関係性があり、ある程度やり取りできる土壌があります。ユーザーを巻き込みながらやれることで、経験と勇気を持つことができました。

中村：アルゴリズム改善などは、機械学習やデータ周りを触っていた経験が生かせると思います。私は元々ブロックチェーンに携わっていたこともあり、生成AIは当時のブロックチェーンが話題になったときに近い気がします。

つまり変化が激しく、グローバル。いかに最前線でやっている人から情報を取るか。私はDiscordやTelegramなどのコミュニティに入って、海外のエンジニアと意見交換をして情報を収集しています。

山崎：私は社会に出てまだ3年目。ずっとLLMに携わってきました。純粋に携わり続けられていることがありがたいですね。LLMはUI/UXと相性が良いので、Web系の知識が生かせる時代になっていると思います。

どういう風にLLMの出力を見せるかでユーザーに直接影響を与えられる。LLMはシステム自体の便利さというより、ユーザーとの直接接点であるUI/UXをどう改善していくかで評価が決まっていくと考えています。

●プロンプトエンジニアリングの身に付け方

風見：作法的なことが世の中に知見として溜まってきて、こういう風にするといいよというプラクティスも少しずつ積み上がっています。それを少しずつ身につけている感じですね。

中村：プロンプトエンジニアリングは英語を使うことが多いのですが、あくまでもLLMがシミュレーションしている言語なので、英語で出したものと精度が異なってくる。

例えば同じ意味の文章でも人間だとこういう順番でやるのが自然なのに、LLMだとこの単語とこの代名詞を近づけた方が精度は出やすいことがあるので、その辺のルールを探索しています。

山崎：アテンションを考えることが大事だと思います。プロンプトの最初の部分と最後の部分が重視されていて、真ん中の部分は捨てられがちになっていて、それによってQAの精度が変わるという論文を読みました。なので、私は最初や最後の方に大事なことを入れてプロンプトを書くようにしています。

パネルディスカッションでは、参加者からの質問に答える場面もあった。

Q．プロンプトの自動最適化をプロダクトに取り入れていたり、もしくは検討していたりする部分はあるのか？

山崎：1個1個のタスクを小さくしてLLMに入れるようにしています。例えば応答を生成するという大きなタスクであれば、知識を使う応答を生成するというように、プロンプトを適用する範囲は小さくするようにする。自動最適化にはまだ取り組めていません。

中村：プロンプトは最適化をするには最適化の空間を作ることが必要だと思います。なんらかの空間に落として最適化する研究があったのでは。

Q．最適なプロンプトはモデルによって微妙に変わると思うが、製品として複数のモデルをリリースするとしたら、それぞれのモデルでチューニングする必要があるのか？

山崎：指示を正確に書くことの方が大事だと思います。技術はどんどん変わるので、それに伴いプロンプトの書き方も変わっていきます。PDCAを回していくしかないと思います。

●日頃の情報収集、何をしている？

風見：X（旧Twitter）や国内外の関連サイトを見て情報収集することが多いですね。たまに社内の研究をやっている人と成果共有会を開くなど、相互に情報交換しています。

山崎：ほぼ同じです。Xで最新の情報を発信するアカウントがあるのでフォローしています。社内のLLM研究者たちに紹介してもらうこともあります。学会に積極的に参加し、LLMアンソロジーという論文サイトをチェックしています。

最近、Discordで推しのグループがあって、AITuberが流行りつつあります。技術のキャッチアップスピードが速いので、それもチェックしています。

中村：「LayerX AI・LLM Newsletter」というメルマガでLLMに関する情報もキュレーションして毎週必ず発信しているので、チェックしてもらえるとうれしいです。

●生成AI活用×今後の展望は？

風見：まだ使い倒せていない技術はどんどんチャレンジしていきたいです。とはいえ、サービスとしてローンチする際は、リスクも気をつけながらトライしたいと思います。

中村：LLMの活用が具体化してきており、より良いユースケースが見つかるところまでいきたいと思っています。

風見：注目している技術はありますか。

中村：マルチモーダルですね。ビジネスでどう活用されるのか注目しています。

山崎：私もマルチモーダルには注目しています。あとはファクトチェック、有害表現をどう防いでいくかという技術ですね。

FastLabel株式会社
https://fastlabel.ai/corporate

FastLabel株式会社の採用情報
https://fastlabel.ai/career