サイオステクノロジー（Tech.Lab） の技術ブログ
全672件
こんにちは、サイオステクノロジーの遠藤です。 今回は、Azureのプロンプトフローを利用して生成AIコンテンツを評価する方法について確認していきます。 どのように生成AIコンテンツの評価を行っていますか？ 突然ですが、みなさんは生成AIアプリケーションの評価をどのように行っていますか？ 個人的には、生成AIアプリを作って「いい感じに動けばOK！」という状態でも良いのかなと思ったりしますが、実際にアプリを評価しようとすると、その難しさに気づかされます。 この評価の難しさについて理解を深めるため、AIを使用しないアプリとAIを使用するアプリを比較しながら確認していきたいと思います。 生成AIを使用しないアプリケーションの場合 まず、生成AIを使用しないアプリケーション、つまりデータベースに登録された情報をもとに、Pythonアプリがデータを取得して出力するようなケースを考えます。 例えば、ユーザーが「ふじりんごの親品種は？」という質問をした場合、アプリケーションはデータベースから事前に登録された情報を検索し、正しい答えとして「国光、デリシャス」と返すでしょう。 このアプリが正しく動作しているかを評価するには、事前に想定していた出力と実際の出力が一致しているかを確認します。一致していれば正しく動作しており、異なる答えが返ってくれば何らかの問題があると判断できます。 生成AIを使用するアプリケーションの場合 次に、同じ質問を生成AIを用いたアプリケーションに投げた場合を考えてみます。 予想される出力の一例として、従来と同様に「国光とデリシャス」と返ってくることが考えられます。この場合、評価方法としては、出力が「国光とデリシャス」ならOK、「ジョナゴールド」ならNG、というように単純な一致判定が可能です。 しかし、生成AIは多様な回答を生成するため、次のような別のパターンが考えられます。 パターン1 ：「国光とデリシャス」とシンプルに正しい答えを返す。 → これは従来の評価方法でも正しく判定できます。 パターン2 ：「国光とデリシャス。国光は日本で古くから栽培されていた品種で、デリシャスはアメリカ原産のりんごです」といった説明が付与される。 → 想定していた出力とは異なるものの、正しい情報が含まれているため、評価方法を工夫する必要があります。 パターン3 ：「ふじりんごの親品種の一つである国光は、紅玉の親でもあります」といった、質問の意図から少し外れた情報を返す。 → これは情報としては正しいものの、求めている回答とは異なるため、プロンプトを調整し、「親品種のみを答えてください」と指示を追加することで、より適切な出力を得られるようにできます。 このように、生成AIを用いたアプリケーションでは、単純な「想定された答えと一致するかどうか」だけでなく、「回答の妥当性」や「情報の過不足」なども考慮しながら評価を行う必要があります。 生成AIアプリケーションの評価の難しさ ここまでの例で見たように、生成AIを用いたアプリケーションは確率分布を利用して新しいコンテンツを生成するため、どのような出力がなされるかを正確に予測することが困難です。 また、先ほどの例では「ふじりんごの親品種は？」という固定された入力に対して出力のバリエーションを考えましたが、生成AIアプリケーションは一般に「多様な入力を受け付ける」ことを前提とするケースが多くなります。そのため、入力のパターンが増えれば増えるほど、出力結果の予測はさらに難しくなります。 その結果、**「A = Bのときにアプリケーションは正しく動作している」**という従来のルールベースの評価方法が適用しづらくなります。たとえば、出力が「国光とデリシャス」なら正しいが、「国光とデリシャス（国光は日本発祥）」と補足説明が入ると間違いと判定される、という評価方法では、生成AIの柔軟な出力を適切に判断できません。 生成AIコンテンツの評価方法 では、どのようにして生成AIコンテンツを評価すればよいのでしょうか？ さまざまな手法が考えられていますが、そのうちの一つに**「生成AIを使って出力を評価する」**という方法があります。 つまり、生成AIが生成した出力を別の生成AIを用いて評価することで、従来の「単純な一致判定」ではなく、「内容の妥当性」や「説明の適切さ」 などを考慮した評価を行うことが可能になります。 このアプローチを簡単に実現できるのが、「プロンプトフロー」というツールです。 プロンプトフローとは？ プロンプトフロー（Prompt Flow）は、Azureが提供している生成AIのプロンプト開発・評価・管理を効率化するためのツールです。複数のプロンプトやデータ処理のステップを視覚的に組み合わせ、ワークフローとして設計・実行できる点が特徴です。作成できるワークフローとしては以下のようなものがあります。 標準フロー : 標準フローは一般的なアプリケーション開発用に設計されており、LLM ベースのアプリケーションを開発するための幅広い組み込みツールを使ってフローを作成できます。 さまざまなドメインのアプリケーションを開発できる柔軟性と汎用性を備えています。 チャット フロー : チャット フローは会話型アプリケーション開発用に調整され、標準フローの機能に基づいて構築されており、チャットの入力/出力とチャット履歴管理の高度なサポートを提供します。 ネイティブ会話モードと組み込み機能により、会話コンテキストの中でシームレスにアプリケーションの開発とデバッグを行うことができます。 評価フロー : 評価フローは評価シナリオ用に設計されており、以前のフロー実行の出力を入力として受け取るフローを作成できます。 このフローの種類を使って以前の実行結果のパフォーマンスを評価し、関連するメトリックを出力できるので、モデルやアプリケーションの評価と改善が容易になります。 プロンプトフローの最大の特徴は「ノード」と言われる処理の単位の流れをグラフィカルに表示し、フローの流れを追える点にあります。例えば以下の画像の例では、inputノードでアプリの入力を受け取り、LLMノードで入力された質問を処理し、それをpythonできれいな形に整形して最終的にアプリケーションの出力として吐き出している様子が表現されています。 公式サイト : Azure Machine Learning プロンプト フローとは プロンプトフローを利用してアプリを作成する ではさっそくプロンプトフローを利用して評価を行う対象であるチャットアプリを作成してみましょう。プロンプトフローはAzure AI FoundryまたはAzure Machine Learning Studio上で構築することが可能です。今回はAzure AI Foundryを利用してプロンプトフローを利用する方法について確認していきます。 まず最初に、Azure AI Foundryを作成していきます。MarketplaceでAzure AI Foundryと検索し、手順に沿ってAzure AI Foundryを作成しましょう。 リソースが出来たら、「Launch Azure AI Foundry」をクリックします。 クリックすると、Azure AI Foundry 管理センターが表示されます。「新しいプロジェクト」をクリックします。そうするとポップアップでプロジェクト名が求められるので入力します。 完了後、プロジェクト画面に遷移します。遷移後の左のタブの「プロンプトフロー」を選択することでプロンプトフローを利用することが出来ます。 画面が遷移したら、「作成」をクリックします。 そうするとポップアップが表示されるので「チャットフロー」を選択します。 フォルダー名でフローの名前を決めます。今回は評価のときにわかりやすいように「Flow-created-for-blog」という名前にしました。 そうするとプロンプトフローの画面が表示されます。画像の①で各ノードに対する入力値や、出力の設定を行います。そして①に定義されたノード同士の関係が②に表示されています。今回作成したチャットフローは作成した段階でチャット履歴と質問を入力として受け付け、それをLLMで処理し、解答として出力するというフローが完成していて、すでに使うことができるものになっています。この画面からこのフローを動かすこともできるので早速チャットとして動かしてみましょう。動かすためには③の「コンピュータセッションの開始」をクリックします。 コンピュータセッションの開始が出来たら、①のLLMノードの接続先の設定を行います。私は接続先としてAzure Open AIのリソースを利用して設定を行いました。もし接続先として何も表示されない場合は②の管理センターからこのプロジェクトに対するAzure Open AIのモデルの紐づけや新しく作成といった設定を行うことが出来ます。設定が完了したら、③の「チャット」をクリックしましょう。そうすると、chatgptのようなチャット欄が現れるので動作しているのか確認を行ってみます。今回は「東京について教えて」というプロンプトを送ってみましたが、しっかりと解答をしてくれました。 作成したアプリを利用して評価を行う では作成したチャットアプリケーションの評価をプロンプトフローを用いて行ってみましょう。評価を行うにはAzure AI Foundryの画面左の「評価」をクリックします。その後、画面が遷移したら「新しい評価を作成する」をクリックします。 そうするとポップアップが表示されるので一番下の「プロンプトフロー」をクリックします。 画面遷移語、「どのフローを評価しますか？」から先ほど作成したフローを選択します。完了後画面下部の「次へ」をクリックします。 画面遷移すると、評価データを求められる画面となります。データセットのファイル形式としてはcsvまたはJSONL形式を利用することが可能です。今回は事前にJSONL形式の評価用のデータセットを作成しておいたのでこれを利用して評価を行ってみましょう。データセットの内容としては上３つの質問についてはは事実に基づいたものを設定し、下２つについては誤っている答えを設定してみました。これで評価がどうなるのか確認してみましょう。 JSONL {"question":"富士山の標高は何メートルですか？", "ground_truth": "3776メートル", "chat_history": "[]"} {"question":"日本の通貨は何ですか？", "ground_truth": "日本円（JPY）", "chat_history": "[]"} {"question":"水の化学式は何ですか？？", "ground_truth": "H2O", "chat_history": "[]"} {"question":"アメリカの首都はどこですか？", "ground_truth": "誤った答えを設定", "chat_history": "[]"} {"question":"地球の自転周期は何時間ですか？", "ground_truth": "約560時間", "chat_history": "[]"} ではAI Foundryの画面に戻ってデータセットを登録する方法を確認していきます。「データセットの追加」をクリックし、「ファイルをアップロードする」からJSONLファイルを登録します。 ファイルのアップロードが完了すると、①にデータセットのプレビューが表示されます。また、②でプロンプトフローのデータセットマッピングを行いましょう。ちなみにこれはプロンプトフローのInput名とJSONLのパラメータ名が一致している場合、自動でマッピングを行ってくれます。便利ですね。もちろんInput名とパラメータ名が違う場合、手動で設定することも可能です。設定が完了したら画面下部の「次へ」を押しましょう。 画面が遷移するとどのようなメトリックで評価が行われるかが聞かれます。評価できる項目としてはプレビューなものも含めて以下の16種類の項目から評価することが出来ます。（2024/02時点） プロンプトフローの評価項目 AI品質(AI支援) 項目 評価内容 根拠性 生成 AI アプリケーションで生成された回答が、入力ソースからの情報とどの程度一致しているかを計測します。 関連性 生成 AI アプリケーションで生成された回答がどの程度適切で、提示された質問に直接関連するかを計測します。 コヒーレンス 生成 AI アプリケーションが、スムーズに流れ、自然に読み取られ、人間のような言語に似た出力を生成できる程度を測定します 流暢性 生成 AI アプリケーションの予測応答の言語習熟度を測定します。 類似性 ソース データ (グラウンド トゥルース) 文と生成 AI アプリケーションで生成された応答の間の類似性を計測します。 AI品質(NLP) 項目 評価内容 F1スコア F1 スコアは、生成 AI アプリケーションの予測とソース データ (グラウンド トゥルース) の間で共有される単語の数の比率を測定します。 BLEUスコア BLEU スコアは、1 つ以上の高品質の参照翻訳と比較することによって測定して、生成されたテキストの品質を測定します。 GLEUスコア GLEU スコアは、精度と再現率の両方に焦点を当てて、生成されたテキストと参照テキストの類似性を測定し、n-gram の重複を評価します。 METEORスコア METEOR スコアは、1 つ以上の参照テキストと比較して、生成されたテキストの品質を測定します。 ROUGEスコア ROUGE は、モデルの出力を参照サマリと比較してテキスト生成の品質を測定します。 リスクと安全性のメトリック(AI支援)【プレビュー】 項目 評価内容 自傷行為に関連するコンテンツ 自傷行為に関連したコンテンツを生成する生成 AI アプリケーションの性質を測定します。 悪意ある不平等なコンテンツ ヘイトを含む不公平なコンテンツを生成する生成 AI アプリケーションの性質を測定します。 暴力的なコンテンツ 暴力的なコンテンツを生成する生成 AI アプリケーションの性質を測定します。 性的な内容 性的なコンテンツを生成する生成 AI アプリケーションの性質を測定します。 保護された素材 保護された素材が AI システムの応答に存在するかどうかを検出します。 間接攻撃 間接攻撃 (または XPIA、クロス ドメイン インジェクション攻撃) が AI システムでジェイルブレイクに成功したかどうかを検出します。 今回の評価対象は単純なチャットボットの評価のため、「関連性」と「類似性」について評価を行ってみます。画面から「関連性」と「類似性」にチェックをつけたら、その下の「接続」と「デプロイ名/モデル」を選択します。 画面を下にスクロールすると評価に必要な項目のマッピング画面があるのでマッピングを行います。今回はresponseとしてアプリケーションのanswer、queryとしてデータセットのquestion、ground_truthとしてデータセットのground_truthとマッピングを行いました。マッピングが完了したら、次へを押します。 注目 ちなみにこのマッピングで求められるものは評価項目によっても変わります。生成 AI アプリケーションで生成された回答が、入力ソースからの情報とどの程度一致しているかを計測する「根拠性」を項目として設定した場合は以下のように入力ソースであるcontextが求められるようになります。評価したい内容に応じてこのデータソースの値は設定していく必要があります。 その後評価の確認画面が表示されるので画面下部の「送信」をクリックすると評価が始まります。 評価が完了したら、評価レポートを見てみましょう。メトリックダッシュボードから評価項目として設定したグラフを見ることが出来ます。今回入れたデータだと関連度は全体的に高く、類似性については２つのデータセットで１が出ているようです。 個別の評価結果を見る方法についても確認しましょう。各データに対する評価内容を詳しく見るには画面上部の「データ」タブをクリックすることで見ることが出来ます。 まず、①では、クエリに対して作成したアプリがどのような結果を返したのかを見ることが出来ます。 ②では「生成 AI アプリケーションで生成された回答がどの程度適切で、提示された質問に直接関連するかを計測」してくれる関連度の点数と、関連度の理由が取り上げられています。今回の答えでは質問と応答の内容がしっかり関連度が高い状態でアプリが動作しているため全体的に点数が高くなっています。 ③では「ソース データ (グラウンド トゥルース) 文と生成 AI アプリケーションで生成された応答の間の類似性を計測」してくれる類似性の点数が表示されています。今回は下２つのデータに対して、わざとground truthに誤った値を設定したことにより応答の内容と大きくground truthが大きくかけ離れた事により下２つの値が1になっています。 このような形で作成した生成AIアプリケーションの評価を行うことが出来ます。 まとめ 生成AIコンテンツの評価は従来のアプリケーションとは異なり、品質やリスクの測定が難しい課題です。しかし、プロンプトフローを活用することで、評価プロセスを効率化し、より信頼性の高い生成AIアプリケーションを開発できます。本記事で紹介したように、プロンプトフローは評価基準を明確にし、AIの品質やリスクを定量的に分析する強力なツールです。 生成AIを活用するシステムでは、評価を継続的に行いながらモデルやプロンプトを最適化していくことが重要です。プロンプトフローを活用し、より精度が高く、安全性の高いAIアプリケーションの開発に役立てていただければ幸いです。 ではまた～ ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post 【Azure】プロンプトフローで生成AIを評価してみよう first appeared on SIOS Tech. Lab .
挨拶 ども！今日は朝の冷え込みに耐えられず、普段の自分からは信じられない時間に起床した龍ちゃんです。寝る前に天気予報は確認したほうが良いですね。薄着で寝ていて後悔です。 本日の内容はDifyで「複数のLLM」を同時に実行する方法とメリットという部分について記載していきたいと思います。内容としては、「一つの【開始ノード】から複数のLLMに入力を行い、一つの【終了ノード】にLLMごとのJSON構造化されたデータを返答」となります。 Difyでは並列実行はパラレル構造（パラレルラン）という名前がついています。 公式の情報はこちら を参考にしてください。 前提条件：仮ユースケース 仮のユースケースとして「 Dify入門ガイド：LLM出力を構造化する！JSONデータ作成の具体的手順 」で使用した「架空のユーザー作成」をベースに進めていきます。このワークフローでは、架空の人物情報（名前・年齢・職業・説明）をuesrというJSON形式で返答します。 今回使用する仮ユースケースは「キーワードを入力して、キーワードとの関連度合いが高・中・低の3人の情報を作成し、それぞれuser1・user2・user3というJSON形式で返答」です。以下がイメージ図になります。 複数のLLMを同時に実行する：パラレルラン 全体としては、以下のようなシンプルな形のワークフローとなっています。 3つに処理が分岐していますが、「LLM→パラメータ抽出→コード」という流れは同一になっています。こちらの詳細に関しては、「 Dify入門ガイド：LLM出力を構造化する！JSONデータ作成の具体的手順 」で詳細に解説しています。 開始ノード 入力として、キーワードを入力として受け取れるように設定しています。 変数名 ラベル名 タイプ keyword keyword String プロンプトの変更点 プロンプトのベースは一緒で、内部の一行のみ異なっています。ベースのプロンプトとしては、以下のようになっています。 ユーザーからの入力をもとに、次の手順で回答してください。 最終的な出力は、以下のフォーマットに従ってください： 名前： 職業： 年齢： 説明： なお、職業や説明に関しては、バリエーションを持たせ、同じような内容が重ならないようにしてください。 1. {{LLMごとの変更点}} 2. ランダムに職業を1つ選択してください。 3. 名前と年齢を作成してください。名前は広い選択肢の中から作成してください。 4. 各人物の説明を500文字程度で作成してください。趣味嗜好などの情報や特筆した情報があると素晴らしいです。 それぞれの変更点としては、以下のような変更を加えています。 高関連度： ユーザーが提供した場所に直接的に関係する職業を20個提案してください。 中関連度： ユーザーが提供した情報からペルソナを決定するために職業を20個ランダムに生成してください。直接関係のある職業は生成しないでください。 低関連度：ユーザーが提供した場所に無関係な職業を20個提案してください。2. ランダムに職業を1つ選択してください。 終了ノード 各ノードの出力結果をまとめます。 値 タイプ 説明 user1 Object（user） 高関連度ユーザー情報 user2 Object（user） 中関連度ユーザー情報 user3 Object（user） 低関連度ユーザー情報 userオブジェクトの中身は以下のようになっています。 値 タイプ 説明 name String キャラクターの名前 age Number キャラクターの年齢 job String キャラクターの職業 profile String キャラクターの説明 例 { "user1": { "name": "田中 健太郎", "age": 35, "job": "郵便局員", "profile": "田中健太郎さんは、東京都内の郵便局で郵便局員として働いています。彼は、毎日多くの手紙や荷物を扱い、地域の人々と密接に関わる仕事をしています。郵便局での仕事を通じて、彼は地域のコミュニティに貢献することに喜びを感じています。特に、季節の行事や地元のイベントに合わせた特別な郵便サービスを提供することに情熱を持っています。趣味は読書で、特にミステリー小説が好きです。週末には図書館に足を運ぶことが多く、新しい本を探すのが楽しみです。また、彼はアウトドアも好きで、ハイキングやキャンプに参加することでリフレッシュします。家族と過ごす時間も大切にしており、妻と子供たちと共に自然を楽しむ旅行を計画することがあります。田中さんは、郵便配達業務の効率化に興味を持っており、最近では最新の技術を用いたサービス改善について学ぶことに力を入れています。人とのコミュニケーションが得意で、顧客のニーズを理解し、満足してもらうために常に努力しています。彼の明るい性格と誠実な対応は、地域の人々から信頼されています。" }, "user2": { "name": "田中大輔", "age": 34, "job": "サウンドエンジニア", "profile": "田中大輔は、日本のサウンドエンジニアとして活躍している34歳の男性です。音楽に対する情熱は幼少期から始まり、特にロックやジャズに魅了されてきました。大学では音響工学を学び、卒業後は数々のスタジオで経験を積みながら、多くのアーティストやバンドのレコーディングに携わってきました。彼の手掛けた作品は、商業的にも成功を収めており、特にライブ音響の技術には定評があります。趣味は、レコード収集とギター演奏。休日には古いレコード店を巡り、隠れた名盤を探すのが楽しみです。また、自宅では友人たちとセッションを行い、音楽の楽しさを共有する時間を大切にしています。音楽制作だけでなく、音楽教育にも関心があり、地元の小学校で音楽ワークショップを開催することもあります。田中は、音楽が人々をつなぐ力を信じており、そのプロとしての使命感を持ちながら日々精進しています。彼の夢は、自身のレーベルを立ち上げ、若いアーティストを育てることです。音楽を通じて、より多くの人々に感動を届けたいと考えています。" }, "user3": { "name": "山田 美咲", "age": 34, "job": "料理研究家", "profile": "山田美咲さんは、34歳の料理研究家です。東京都内で生まれ育った彼女は、幼い頃から料理に興味を持ち、母親の手伝いをしながら様々なレシピを学びました。大学では栄養学を専攻し、卒業後はカフェやレストランでの経験を経て、独立して料理教室を開くことになりました。彼女の料理スタイルは、伝統的な和食をベースにしながらも、現代的なアプローチを取り入れているのが特徴です。特に、地元の新鮮な食材を使った季節感あふれるレシピを提供し、食材の持つ味を最大限に引き出すことにこだわっています。また、健康に配慮したメニューも多く、家族向けの簡単料理や、ダイエットを意識した料理も人気です。趣味は旅行で、訪れた先の地元料理を学ぶことが彼女のインスピレーションの源になっています。特に、アジア各国のストリートフードを楽しむことが好きで、毎年数回は海外に出かけ、その土地の食文化を研究しています。さらに、彼女のSNSアカウントでは、自身が作った料理の写真やレシピを定期的に公開しており、多くのフォロワーに支持されています。山田さんは、料理を通じて人々の健康と幸せをサポートすることを目指し、日々精力的に活動しています。" } } パラレルランの利点 今回のユースケースでプロンプトを分割した利点について解説をしていきます。 LLMの不得意な部分の軽減 LLMは忘れる・無視する・嘘をつく（ハルシネーション）という特徴があります。これは、プロンプトが膨大な場合だと顕著に発生します。システムプロンプト内であっても、発生する可能性が0ではありません。 シンプルな対応方法は、目的に沿った十分なプロンプトを提示することです。処理を並列にして「1ユーザー-1LLM」にすることで、プロンプト量を減らして生成を行っています。 パラメーター抽出の精度向上 仮に2人分の情報生成に成功したと仮定します。次段のパラメーター抽出では、工夫が必要となります。どちらのユーザーの情報なのかを前処理や追加プロンプトで成型する必要があります。 一つの生成結果内に一つの情報のみが含まれている方が、パラメータ抽出の難易度ははるかに下がります。 反対の情報を生成する 今回のワークフローでは、「キーワードとの関連度」に応じて3人のユーザーを生成しました。一つのプロンプト内で、高関連度と低関連度（無関係）の職業を同時に生成することは難しいです。1つのプロンプト内で生成する場合では、「高関連度」の情報をチューニングしようとして「低関連度」の生成に影響を及ぼします（逆もしかり）。メンテナンス性という観点からも、ユーザー単位でメンテナンスができます。 終わり 今回の記事では、Difyのパラレルランを活用して、複数のLLMを同時に実行する方法について解説しました。プロンプトを分割することで、LLMの弱点を補い、より精度の高い情報生成が可能になることが分かりました。今後も、AIツールの効果的な活用方法について、実践的な情報を発信していきたいと思います。 ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post Dify入門ガイド：複数のLLMを並列実行！パラレルランで実現する高精度な情報生成 first appeared on SIOS Tech. Lab .
こんにちは！今月から生成AI活用事業に復帰したなーがです。前回から少し時間が空いてしまいましたが、今回はDifyのチャットフローでRAGを実装する方法について書こうと思います。チャットボットによるRAGの構築は こちら の記事で作成方法を解説していますが、ここではチャートフローを使用します。 Difyの環境構築やアプリ公開方法等については下記の記事で紹介しているので、Difyについて詳しくない方は是非見てみて下さい。 SIOS Tech Lab 「Dify」 作成手順 完成図 中央に「質問分類器」があります。これはユーザーの入力を区別して関係性のある入力に対してはナレッジから回答分を生成し、無関係な入力に対しては決まった文章を返すようにしています。 ワークフロー作成 画面上部の「スタジオ」タブから「最初から作成」を選択します。 「アプリの種類を選択」で「チャットフロー」を選択して「アプリのアイコンと名前」に「チャットフローRAG」と入力し、「作成する」をクリックします。「名前」は自由に設定して大丈夫です。 まず「質問分類器」を追加します。「開始」と「LLM」を繋ぐ線の上で「＋」をクリックします。 ポップアップが表示されるので、「質問分類器」を選択します。 「質問分類器」を選択し、「クラス１」と「クラス２」にそれぞれ以下のように入力します。 クラス１ ユーザーが就業規則に関連した質問をする クラス２ ユーザーが無関係な質問をする まず、「クラス１」の「関係性のある入力」に対してのパターンを作成します。「クラス１」の「＋」をクリックし、「知識取得」を選択します。 「ナレッジ」の「＋」をクリックします。 参照したいドキュメントを追加するために「作成に進む」をクリックします。 ナレッジの追加 ローカルファイルを登録したいので、「データソース」で「テキストファイルからインポート」を選択し、「参照」からファイルを選択して「次へ」をクリックします。 「チャンク設定」と「検索設定」は初期設定で行います。「インデックス方法」で「経済的」を選択し、「保存して処理」をクリックします。 「ドキュメントへ移動」をクリックします。 ドキュメントがアップロードされたことが確認出来たら、「スタジオ」をクリックします。 ちなみに、アップロードされたファイルを選択するとどのように分割して保存されているか確認できます。 「有給休暇」で検索してみると、4か所の関連個所があることが分かります。 作成中のアプリをクリックします。 再度「ナレッジ」の「＋」をクリックします。 追加したドキュメントが表示されるので、選択して「追加」をクリックします。 LLMの接続 「知識取得」の「＋」をドラッグして「LLM」の入力に接続します。 「LLM」を選択し、「コンテキスト」の「変数を設定」で「知識取得」の [x] result を選択します。 「SYSTEM」に以下を入力します。 あなたは{{#context#}}に基づいて{{#sys.query#}}に回答してください。 「クラス２」の「無関係な入力」に対してのパターンを作成します。「クラス２」の「＋」をクリックし、「回答」を選択します。 回答の作成 「回答」に以下のように入力します。 申し訳ありませんが、ご質問にはお答えできません。もっと助けが必要な場合は、[help documentation](<https://docs.dify.ai>)をチェックしてください。 公開 完成したのでアプリをデプロイします。右上の「公開する」から「公開する」をクリックします。 アプリの実行 「アプリを実行」をクリックしてチャットボットを開きます。 チャットボットが開くので、「チャットを開始」をクリックします。 それでは質問をしてみます。まずは無関係な入力として「明日の天気」を訊いてみます。 無関係な入力として設定した「クラス２」の「回答」に設定した文章が出力されました。 次に関係性のある入力をしてみます。「有給休暇」について訊いてみます。アップロードしたドキュメントを基に回答を作成してくれていることが分かります。 さいごに 今回はチャットフローでRAGを実装する方法について書きました。チャットボットで作成するよりは手順が多いですが、詳細なフローを指定することが出来ます。今後もDifyを活用した内容ついて発信していこうと思います。 ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post Dify入門ガイド：チャットフローでRAGを実装 first appeared on SIOS Tech. Lab .
こんにちは、サイオステクノロジーの遠藤です。 Reactでアプリを作っていると、「状態管理ってどうすればいいの？」と悩むことがありますよね。たとえば、 useState を利用していると、コンポーネントの階層が深くなってきたときにpropsのバケツリレーで複雑になりうまく管理できなくなることがあります。 そんなときに便利なのが Jotai というライブラリです！ Jotaiを使うと、シンプルな書き方で状態を管理でき、複雑なアプリでも扱いやすくなります。 この記事では、Jotaiの基本的な使い方を初心者向けにわかりやすく解説します。「Reactの状態管理をもっと簡単にしたい！」という方は、ぜひ最後まで読んでみてください！ Jotaiとは？ Jotaiは、Reactの状態管理をシンプルにするライブラリです。「Atom（アトム）」と呼ばれる単位で状態を管理し、それらを組み合わせることでアプリの状態を作ります。 Jotaiの特徴は、 必要な部分だけを効率よく更新すること 。ReactのContextを使った状態管理では、不要な再レンダリングが発生しがちですが、Jotaiは依存するAtomだけを更新するため、パフォーマンスが最適化されます。そのため、メモ化（memoization）を意識する必要が少なく、スムーズに開発できます。 また、 小規模なアプリから大規模なTypeScriptアプリまで対応 でき、公式のユーティリティや拡張機能も豊富に用意されています。シンプルな useState の代わりに使うことも、大規模なプロジェクトで本格的に活用することもできる柔軟なライブラリです。 公式サイト : https://jotai.org/ Core API JotaiのAPIはとてもシンプルで、必要最小限の機能だけが提供されています。基本的には「atom」「useAtom」「Store」「Provider」という４つのCore APIで状態管理が完結します。 atom Jotaiのatomは、アプリの状態を定義するための基本的な単位です。Reactの useState に似ていますが、 グローバルに管理できる のが特徴です。 atomは「状態の設定（atom config）」を作るだけで、実際に値を保持しているわけではありません。値は Store と呼ばれる仕組みに保存されます。そのため、atom自体は変更できず、常に不変（immutable）なオブジェクトとして扱われます。 atomの作成方法 基本的なatomは atom 関数を使って作成します。初期値を渡せば、その値を持つatomが作成されます。 import { atom } from 'jotai' const priceAtom = atom(10) // 数値の状態 const messageAtom = atom('hello') // 文字列の状態 const productAtom = atom({ id: 12, name: 'good stuff' }) // オブジェクトの状態 useAtom useAtom は、 atomの値を読み取ったり更新したりするためのフック です。Reactの useState に似た使い方ができ、atomの値と更新関数を返します。 const [value, setValue] = useAtom(anAtom) この value は現在のatomの値で、 setValue を使って新しい値に更新できます。 useAtomの基本的な使い方 まず、atomを作成します。 import { atom, useAtom } from 'jotai' const countAtom = atom(0) // 初期値 0 の atom 次に、コンポーネント内で useAtom を使って、この countAtom の値を取得・更新します。 const Counter = () => { const [count, setCount] = useAtom(countAtom) return ( <div> <p>現在のカウント: {count}</p> <button onClick={() => setCount(count + 1)}>+1</button> </div> ) } このように、 useAtom を使えば、コンポーネント内で簡単にグローバルな状態を管理できます。 注意点: useAtom内でatomを直接作らない useAtom(atom(0)) のように、コンポーネント内で毎回新しいatomを作ると、 レンダリングのたびに異なるatomが作られてしまい、無限ループが発生する ことがあります。 const [count] = useAtom(atom(0)) // ❌ 毎回新しいatomを作るのでNG 代わりに、 コンポーネントの外でatomを定義する ようにしましょう。 const countAtom = atom(0) // ✅ 外で定義すればOK const [count] = = useAtom(doubleCountAtom) // ✅ 正しく動作 Store Store は、atomの値を管理するための独立した状態コンテナです。通常、Jotaiはデフォルトの Store を使用するため、特に意識しなくても状態を管理できます。しかし、 createStore を使ってカスタム Store を作成すると、 複数の状態ツリーを独立して管理 できるようになります。 Storeの作成と使用 import { atom, createStore } from 'jotai' const myStore = createStore() // 新しいStoreを作成 const countAtom = atom(0) // Storeを直接操作 myStore.set(countAtom, 1) // countAtom の値を 1 に更新 console.log(myStore.get(countAtom)) // 1 // 値の変更を監視 const unsubscribe = myStore.sub(countAtom, () => { console.log('countAtomが変更されました:', myStore.get(countAtom)) }) Providerとは？ Provider は、 JotaiのStoreを特定のコンポーネントツリーに適用するためのコンポーネント です。 通常、Jotaiはデフォルトの Store を使うので Provider なしでも動作しますが、以下のような場合に Provider を使うと便利です。 Providerを使うメリット 異なる状態を持つ複数のコンポーネントツリーを作れる 例えば、2つの Provider を使うことで、同じ atom を異なる状態として管理できます。 初期値を適用できる Provider の store に初期値を設定して、コンポーネントごとに異なるデータを扱えます。 Provider の再マウントで状態をリセットできる Provider を再マウントすると、その配下のatomの状態をクリアできます。 Providerの使い方 デフォルトのProvider（特に指定しない場合） import { atom, useAtom, Provider } from 'jotai' const countAtom = atom(0) const Counter = () => { const [count, setCount] = useAtom(countAtom) return ( <div> <p>カウント: {count}</p> <button onClick={() => setCount(count + 1)}>+1</button> </div> ) } const App = () => ( <Provider> <Counter /> </Provider> ) この場合、 Provider を使わなくてもデフォルトのStoreが適用されます。 カスタムStoreをProviderに適用 作成した Store を Provider に適用すると、 独立した状態管理 が可能になります。 const myStore = createStore() const Root = () => ( <Provider store={myStore}> <App /> </Provider> ) こうすることで、 myStore を使用した状態管理が App 以下のコンポーネントに適用されます。 異なるProviderで独立した状態を持たせる 異なる Provider を使うと、同じ atom でも別々の状態として扱えます。 const Counter = () => { const [count, setCount] = useAtom(countAtom) return ( <div> <p>カウント: {count}</p> <button onClick={() => setCount(count + 1)}>+1</button> </div> ) } const App = () => ( <div> <Provider> <h2>Provider 1</h2> <Counter /> </Provider> <Provider> <h2>Provider 2</h2> <Counter /> </Provider> </div> ) この例では、それぞれの Provider が独立した Store を持っているため、1つのカウンターを更新してももう1つには影響しません。 Tips : Jotaiで状態をローカルストレージに保存する方法 CoreAPIの機能ではありませんが、、 atomWithStorage を使うことで、状態を localStorage や sessionStorage に簡単に保存できます。これにより、ユーザーの設定やデータを次回のセッションでも保持できます。 atomWithStorage の基本 atomWithStorage は Jotai の jotai/utils モジュールに含まれており、指定したキーで localStorage または sessionStorage と同期されます。ページの再読み込み後も、保存された値が自動的に取得されます。 例: テーマの状態を保存する 以下のコードでは、 atomWithStorage を使ってテーマ（ dark or light ）を localStorage に保存し、ページをリロードしても選択したテーマが保持されるようにしています。 import { useAtom } from 'jotai'; import { atomWithStorage } from 'jotai/utils'; // 'dark' というキーでローカルストレージに保存するAtom const theme = atomWithStorage('dark', false); export default function Page() { const [appTheme, setAppTheme] = useAtom(theme); const handleClick = () => setAppTheme(!appTheme); return ( <div className={appTheme ? 'dark' : 'light'}> <h1>テーマ切り替え</h1> <button onClick={handleClick}> {appTheme ? 'DARK' : 'LIGHT'} </button> </div> ); } まとめ 本記事では、 Jotaiの基本的な使い方 や 便利な機能 について解説しました。Jotaiは useState のように直感的に使え、 シンプルな記述でグローバルな状態管理ができる のが特徴です。 また、 createStore() や Provider を活用することで、画面ごとに異なる状態を管理したり、状態をリセットしたりすることも可能です。Reduxのような複雑なセットアップが不要で、 初心者でも扱いやすいライブラリ なので、「もっと簡単に状態を管理したい！」という方におすすめです。Jotaiを使って、Reactアプリの状態管理をシンプルにしてみましょう！ 🎉 ではまた～ ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post 【初心者向け】React状態管理ライブラリ Jotaiを解説 first appeared on SIOS Tech. Lab .
挨拶 ども！久しぶりにブログを連続で執筆していて、日常の至るところでブログのネタを考えていますね。非常に便利な習慣が戻ってきている龍ちゃんです。 今回は「Dify上で、LLMからの出力から構造化情報（JSON）を作成して返答」となります。LLMからの出力をJSONに成型してアプリに組み込む方法に関しては、Azure OpenAI Serviceを活用していた際にもぶつかっていた問題になります。（ AOAI：Gpt-4oでJSON出力に失敗する対症療法 ） LLMから構造化データを作成することができればアプリの表現の幅が大幅に広がります。方法としては、「コードブロックでオブジェクトを詰め替える」という力技で実現しています。 2025/02/17時点でのDify Cloudの情報となります。 おそらく、バージョンアップで「終了」ブロックで対応されるかなと予想中。 実現したいこと Dify（API）では、レスポンスは【終了】ブロックで書いた情報がJSONで返答されます。ですが、単純に記述するだけでは、以下のようなレスポンスになってしまいます。 { "name":"TEST User", "age":24, "job":"WEBデザイナー", "profile":"都内で一流のデザイナーを目指す、駆け出しWEBデザイナー" } 返答する情報量が少ない場合、こちらのままでも問題ありません。ですが、複数の事柄に関する情報を返答する場合は、情報が同一階層に表示されることで不都合が生じます。命名の工夫や呼び出し側での整形で対応できますが、Dify側でObjectとして返してあげるほうが自然です。 以下のような返答を送れるように情報を成形して渡す方法を解説していきます。 { "user":{ "name":"TEST User", "age":24, "job":"WEBデザイナー", "profile":"都内で一流のデザイナーを目指す、駆け出しWEBデザイナー" } } ワークフローで構造化情報（JSON）を返答する 説明のために「架空の人物情報（名前・年齢・職業・説明）を生成AIを活用して生成して、情報をuserというオブジェクトで取得」という仮のユースケースを使用して進めていきます。 全体感としては、以下のようなステップのシンプルなワークフローとなります。 LLM：架空のユーザーを作成するプロンプト パラメータ抽出：LLMの出力から情報を抽出（name, job, age, profile） コード：パラメータ抽出のアウトプットを引数としてuserオブジェクトを作成 終了：userオブジェクトを返信 架空のユーザー作成プロンプト 以下の手順に従ってください。 1. 広い選択肢からランダムに職業を1つ選択してください。 2. 名前と年齢を決定してください。名前は広い選択肢の中からより現実的な情報にしてください。 3. 人物の説明を500文字程度で作成してください。趣味嗜好などの情報や特筆した情報があると素晴らしいです。 最終的な出力は、以下の情報のみにしてください。 名前： 職業： 年齢： 説明： プロンプトで注目する点は、次のブロックである【パラメータ抽出】で抽出しやすいようにプロンプトを調整している部分です。余分な情報をそぎ落とすことで、【パラメータ抽出】の精度を上げています。 例：出力 名前：佐藤健一 職業：公務員 年齢：34歳 説明：佐藤健一は、東京都内に住む34歳の公務員です。彼は地元の市役所で、地域の福祉政策を担当しており、住民の生活向上に貢献することに情熱を注いでいます。大学では社会学を専攻し、卒業後すぐに公務員試験に合格して現在の職に就きました。仕事に対する責任感が強く、特に高齢者支援のプロジェクトに深く関与しており、地域のボランティア団体と連携しながら活動しています。\n\n趣味はハイキングと料理で、週末には友人たちと近郊の山を登ったり、自宅で新しいレシピに挑戦したりしています。特にイタリア料理が得意で、パスタやリゾットを作るのが好きです。また、彼は猫を飼っており、愛猫の「ミケ」と一緒に過ごす時間が何よりの癒しとなっています。健一は、身近な人々との交流を大切にしており、地域のイベントにも積極的に参加することで、コミュニティの一員としてのつながりを大事にしています。将来的には、より多くの人々に影響を与えられるよう、政策提案を行う立場にステップアップしたいと考えています。 パラメータ抽出 ここでは、LLMを使用してテキスト情報から特定の情報を抽出します。前段【LLM：架空のユーザー作成プロンプト】の生成文を入力とします。抽出する情報は以下となります。 名前 タイプ 説明 name String キャラクターの名前 job String キャラクターの職業 age Number キャラクターの年齢 profile String キャラクターの説明 名前と説明を適切に設定することで、追加でプロンプト（指示）を与えることなく動作します。もし抽出がうまくいかない場合は、以下の二つに注目してみてください。 抽出しやすい入力になるように成型しておく（今回の方法） 追加のプロンプトを設定して抽出方法を調整する コード：userオブジェクトを生成 パラメータ抽出で取得した情報をuserオブジェクトに詰め替えて処理を終了します。入力変数・コード・出力変数を一致させる必要があります。今回使用しているコードは以下になります。 def main(name: str, job: str, age: int, profile:str): return { "user":{ "name":name, "age":age, "job":job, "profile":profile } } 入力変数と出力変数はそれぞれ、コードの引数と出力と一致させてください。出力は user で Object を指定します。 特に出力変数はリターン内で自分で定義した命名と完全に一致させてください。 命名と型指定を忘れずに！！ コードブロック参考画像 終了：情報を返答していく ここでは、コードブロックの出力をそのまま出力してください。入力を選択した際に user がオブジェクトの型定義がついていれば一安心です。 終わり 今回はLLMからの出力を構造化情報（JSON）として取得する方法を解説しました。パラメータ抽出を活用することで、プロンプトの出力を簡単に構造化できることが分かりましたね。この手法を応用することで、より複雑なJSONデータの生成も可能になるはずです。 ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post Dify入門ガイド：LLM出力を構造化する！JSONデータ作成の具体的手順 first appeared on SIOS Tech. Lab .
こんにちは、サイオステクノロジーの遠藤です。 近年、AIを活用したコード生成ツールが急速に発展しています。その中でも、Vercelが提供するv0は、プロンプトを入力するだけでNext.jsアプリのコードを自動生成できるWebアプリとして注目を集めています。本記事ではv0を実際に試し、どのような形でNext.jsアプリが生成されるのかを確認していきます。では始めていきましょう！ v0とは？ Next.jsを開発しているVercelが提供しているAIを活用した生成型ユーザーインターフェースシステムです。プロンプトをもとにshadcnを利用したNext.jsアプリが生成され、すぐにプロジェクトに取り込むことが出来ます。 v0を利用してアプリを作成してみる では早速ですが実際に利用してみましょう。まずはv0のサイトにアクセスします。 v0 by Vercel 初回利用時はVercelアカウントでのサインアップが必要となります。メールアドレス、githubアカウント、gitlabアカウント、Bitbucketアカウントの４つの方法でサインアップすることが出来ます。 サインアップが済んだら早速プロンプトを入力エリアに設定していきます。。今回は以下のプロンプトを設定してみました。ちなみにこのプロンプトはChatGPTで作成してもらいました。 シンプルでモダンなSaaSダッシュボードのUIをデザインしてください。 左側にナビゲーションサイドバーを配置し、上部には検索機能付きのトップバーを設置。 メインコンテンツには、総売上、アクティブユーザー数、成長率などの主要指標を表示してください。 青と白を基調としたカラーリングで、データ表示には角丸のカードデザインを採用。 詳細分析のためのインタラクティブなグラフやフィルター機能を含めてください。 そうすると画面が移り、早速出力が始まります。これがv0のメインの画面になっており、①のチャットインタフェースと②の生成されたUIやコードの表示場所から成り立っています。生成されたUIはプロンプトの条件を確認してみましたが、しっかりプロンプトの条件を満たしており、検索用のトップバーや丸角のカードデザインなどコンポーネントやデザインを含めてきれいに作成してくれています。 またUIのプレビューだけでなくコードの確認も画面上部のタブを切り替えることで行うことが出来ます。構成としてはappとcomponentsに分けて作成されているようなので、コンポーネント単体だけを導入したりするのも簡単そうですね。 アプリを自分のローカル環境で呼び出す ではここからはアプリを自分の環境で動かす方法を確認してみましょう。方法としては ZIP形式でダウンロードを行い展開する npxを利用してローカルで展開する の２つの方法があり、今回は②の方法でローカルで動かす方法を確認してみます。 npxを利用して動かすにはアプリを作成したv0のチャットの画面右上の「⋯」をクリックし、「npx shadcn add “https://~~~」となっているコピーアイコンをクリックします。 クリックできたら、node.jsが動く環境上でコピーしたコマンドを貼り付け実行します。そうするとNext.jsアプリの作成が始まるので、聞かれている質問に対して答えて行きます。私はほどんどデフォルトを指定して答えていきました。 作成が完了したら、作成されたアプリのディレクトリに移動し、 npm install を実行後 npm run dev を実行します。 そうすると http://localhost:3000/ にアプリが展開されます。 アプリを確認してみると、右上の画像が入っていなかったりはしますが、カードがウィンドウ幅に合わせて２行になったりとレスポンス対応もしてくれていることが確認できました。いやぁ～すごいですね。プロンプトだけでここまで生成してくれるならアプリの雛形としては十分実用的なように感じます。 企業で利用する場合に気になること 企業で生成AI周りのツールを利用するときには「入力したデータが学習に利用されるか」と「出力されたデータの扱い方」は気になりますよね。公式のFAQで触れられていたので確認してみましょう。 入力されたデータがAIの学習に利用されるか Will my generations be used for training? v0 は、製品を改善するために、ユーザーが生成したプロンプトやコンテンツを、サードパーティ プロバイダーのモデルや学習システムへの入力として使用することがあります。このデータを使用することで、v0 はユーザーに対してより正確で関連性の高い推奨事項を提供できるようになります。 v0 Enterprise 顧客のコンテンツはトレーニングには使用されません。 さらに、Vercel のプラットフォーム サービスを使用する顧客の顧客データやコードは、v0 で使用されるモデルのトレーニング、改善、または微調整には使用されません。 Enterpriseプランを利用することでコンテンツが学習に利用されなくなるようです。この書きっぷりだとFreeプランはもちろん、PremiumやTeamでも学習に利用されてしまいそうなので、これらのプランで業務データをいれるのは避けたほうが良さそうです。 出力されたデータの商用利用 Can I use output from v0 for commercial uses? Vercel は、クエリやプロンプトに基づいて生成されたコードを所有しません。ただし、受け取る出力は、他のユーザーの出力やサードパーティの IP と同じか類似していたり、不完全であったり、バグを含んでいたり、使用に適していない場合があります。v0 を通じて生成したコンテンツを評価し、商用またはその他の目的に適しているかどうかを独自に判断するのは、ユーザーの責任です。 出力された成果物を商用利用することができるのは良いですね。 ただ、v0 は画像をもとに出力を生成する機能を利用することで、特に実在するサービスやブランドに類似したデザインが出力される可能性があります。例えば、既存のロゴや UI デザインに似たものが生成された場合、それをそのまま商用利用すると意図せず権利侵害にあたる可能性があるのでそこは注意点ですね。 まとめ 今回はv0を利用してプロンプトからNext.jsアプリケーションを作成を試してみました。プロンプトの意図を読み取ってかなりイメージと近いアプリケーションを生成してくれるのでとりあえずの雛形作成としては非常に優秀に感じました。今回は基本のテキストベースのプロンプトを利用したアプリ生成を試してみましたが、他にもできることが多いみたいのなのでそちらも試してみようと思います。 ではまた～ ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post 【React】プロンプトからNext.jsアプリを自動生成！v0を試してみた！ first appeared on SIOS Tech. Lab .
はじめに ども！最近はDifyとGAS系のブログを執筆している龍ちゃんです。本職では、設計の作業をやっています。そちらも知見が貯まったらブログとして放出していく予定ですが、もう少し先ですね。 さて、今回は自分のブログ内でのコラボ企画となります。内容としては「DifyとLINE Botを接続」となります。LINE BotをGASで作成したことがある方であれば、10分程度で実装できる内容なのでぜひ試してみてください。 GASでLINE Botを作ってみたことがない方は、 こちらのブログ を参考に取り組んでみてください。全体感は1時間もあれば、作成することができると思います。 GAS×LINEで作るAIチャットボット 今回の実装ではGASとLINE Botの連携なので、GASパートとDifyパートに分かれています。全体の構成としては、以下のような構成になります。 GASの担当領域は、LINEからのWebhookを受け取りイベントごとに処理を割り振ります。テキストメッセージの場合はDify(API)を実行し、それ以外の場合はMessagingAPIを介してLINEの返答を行います。 Difyの担当領域は、テキストとリプライトークンを受け取り、LLMから出力を生成し、Messaging APIを介してLINEの返答を行います。 まず初めにDifyでワークフローを作成してからGASのソースに入っていきます。 Dify：ワークフロー ワークフローは全体4ステップのシンプルなものになっています。 開始 このノードでは、APIの引数となります。Webhookからの入力はGASで分割するので、LLMに入力するユーザーの入力とLINEの Messaging API を用いたLINEの応答に必要なreply_tokenを設定します。 キー 型 説明 reply_token String LINEのイベントオブジェクトから取得したリプライトークン message String LINEで送信されたテキストメッセージ HTTPリクエスト ここでは、LLMからの出力をMessaging APIを介してLINEに送信しています。HTTPリクエストには、ボディを直接JSONで定義ができます。ヘッダーには、LINE側の設定から取得できる認証情報を埋め込みます。 ヘッダー情報 キー 値 Content-Type application/json; charset=UTF-8 Authorization Bearer {{LINE_TOKEN}} ボディ { "replyToken":"{{開始で受け取ったreply_token}}", "messages":[{ "type":"text", "text":"{{LLMの出力}}" }] } GAS：ソースコード ソースコードの機能としては、ざっくり3つに分割することが可能です。 LINE Webhookからのメッセージイベントを振り分ける処理 Dify APIにアクセスする処理 Messaging APIを介してのLINE応答処理 LINEから取得したチャンネルアクセストークンとDifyにアクセスするためのAPI Keyをコード上部で埋め込む必要があります。 龍ちゃん 本来は！秘密鍵はちゃんと他のユーザーが簡単に覗けない場所に保存しましょうね！ const LINE_TOKEN = "************************"; const DIFY_KEY = "**************************"; //ユーザーがメッセージを送信した時に下記を実行する function doPost(e) { const json = JSON.parse(e.postData.contents); // Webhookイベントは単一で送られてくると仮定して進めます。 // 複数する可能性を考慮して進める必要はあり // <https://developers.line.biz/ja/reference/messaging-api/#webhook-event-objects> const reply_token = json.events[0].replyToken; const messageType = json.events[0].message.type; const messageText = json.events[0].message.text; // 検証で200を返すための取り組み if (typeof reply_token === 'undefined') { return; } switch (messageType) { case "text": // ここでDifyにアクセスする difyAccess(messageText, reply_token) return case "image": case "video": case "audio": case "file": case "location": case "sticker": default: const message = "今回のBOTはテキストメッセージにのみ対応しています。"; replyTextMessage(message, reply_token) return; } } const difyAccess = async (message, reply_token) => { const data = { "user": "gas_LINE_automation", "response_mode": "blocking", 'inputs': { "reply_token": reply_token, "message": message } }; const headers = { 'Authorization': "Bearer " + DIFY_KEY, 'Content-Type': 'application/json' }; const request = { "url": "https://api.dify.ai/v1/workflows/run", "method": "post", "payload": JSON.stringify(data), "headers": headers, "muteHttpExceptions": true }; UrlFetchApp.fetchAll([request]) } const replyTextMessage = async (message, reply_token) => { const request = { "url": "https://api.line.me/v2/bot/message/reply", 'headers': { 'Content-Type': 'application/json; charset=UTF-8', 'Authorization': 'Bearer ' + LINE_TOKEN, }, 'method': 'post', 'payload': JSON.stringify({ 'replyToken': reply_token, 'messages': [{ 'type': 'text', 'text': message, }], }), } UrlFetchApp.fetchAll([request]) } LINEの情報受け取り部分 こちらでは、LINEから送信されてきたメッセージイベントをテキストかそれ以外かを割り振る処理を記載しています。 //ユーザーがメッセージを送信した時に下記を実行する function doPost(e) { const json = JSON.parse(e.postData.contents); // Webhookイベントは単一で送られてくると仮定して進めます。 // 複数する可能性を考慮して進める必要はあり // <https://developers.line.biz/ja/reference/messaging-api/#webhook-event-objects> const reply_token = json.events[0].replyToken; const messageType = json.events[0].message.type; const messageText = json.events[0].message.text; // 検証で200を返すための取り組み if (typeof reply_token === 'undefined') { return; } switch (messageType) { case "text": // ここでDifyにアクセスする difyAccess(messageText, reply_token) return case "image": case "video": case "audio": case "file": case "location": case "sticker": default: const message = "今回のBOTはテキストメッセージにのみ対応しています。"; replyTextMessage(message, reply_token) return; } } Webhookではメッセージイベント以外にも様々なイベント が送付されてきます。特定のイベントの場合の挙動を変更することができます。 注意点 グループチャットにBotを導入した場合はイベント配列に複数のイベントが送付されてくる可能性もあります。イベントを落とさない仕組みが必要です。 参考 Messaging APIリファレンス TextMessageの場合：Dify APIアクセス こちらでは、Dify APIへアクセスを行っています。こちらの詳細は「 Dify入門ガイド：DifyのAPIをGASで使う方法！10分で作るAI連携システム 」で解説しています。 const difyAccess = async (message, reply_token) => { const data = { "user": "gas_LINE_automation", "response_mode": "blocking", 'inputs': { "reply_token": reply_token, "message": message } }; const headers = { 'Authorization': "Bearer " + DIFY_KEY, 'Content-Type': 'application/json' }; const request = { "url": "https://api.dify.ai/v1/workflows/run", "method": "post", "payload": JSON.stringify(data), "headers": headers, "muteHttpExceptions": true }; UrlFetchApp.fetchAll([request]) } TextMessage以外の場合：GASからの返答 こちらでは、GASからMessaging APIを介して送信するサンプルとなります。詳細は 公式リファレンス を参照しましょう。 const replyTextMessage = async (message, reply_token) => { const request = { "url": "https://api.line.me/v2/bot/message/reply", 'headers': { 'Content-Type': 'application/json; charset=UTF-8', 'Authorization': 'Bearer ' + LINE_TOKEN, }, 'method': 'post', 'payload': JSON.stringify({ 'replyToken': reply_token, 'messages': [{ 'type': 'text', 'text': message, }], }), } UrlFetchApp.fetchAll([request]) } 既存実装の問題点・メリット 既存実装で本番運用するには難しい点が何点かあります。GASにおける制限については、「 いまさらGASでLineBotを作る【オウム返し】： GASとLINEの処理の流れと制限事項 」で解説しています。 メリット：ユーザーの入力タイプによって処理を振り分けることができる 今回の実装では、テキストメッセージを対象にしました。LINEでは、テキストメッセージ以外にも画像や動画の入力なども入力可能です。ワークフローを新規で作成するか、入力によって分岐するように設計することで、入力タイプによって別々の処理を実現することが可能です。 メリット：生成AIの精度に注力できる 生成AIの返答部分はDifyに移譲されています。そのため、プロンプトの変更はDify上で変更を加えることができます。LINE BOTのシステム的エラーなのか、Dify側のエラーなのか切り分けることが可能なのでデバックがやりやすいです。 Difyのワークフロータブで、ワークフローの実行を監視することができるので非常に便利です。 問題点：LLMと単発の会話になっている 現状の実装では、LLMとの単発の会話になっています。過去の会話を引き継いでいないので、一つの入力でLLMに完結させたい処理を入力する必要があります。ここは、ワークフローとデータ部分を改修する必要があります。具体的には、以下の対応が挙げられます。 Dify APIにアクセス時に過去の会話を送信する（GAS側でデータを保存） ワークフローの呼び出しユーザーによって過去の情報を取得するノードを追加（Difyからデータを取得） この設計は、データをどこで保存するかなどの要素を検討して決定する必要があります。 ここは、ワークフローではなく チャットフロー を活用することで解消できそうです。 問題点：流出してはいけない秘密鍵がべた書きになっている これは、わかりやすさ重視でサンプルでは秘密鍵をソースコードに直接入力しています。以下のような対応が必要となります。 GAS： プロパティサービス を利用してアクセスすることができる人を制限する Dify： 環境変数 として秘密鍵情報を保護する おわり 今回は、DifyとLINE Botを組み合わせた簡単なチャットボットの実装方法を紹介しました。テキストメッセージに対応したシンプルなワークフローを構築することで、生成AIの返答精度に注力できる環境を整えることができます。今後は過去の会話履歴の管理など、より高度な機能の実装にも挑戦していきたいと思います。 ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post Dify入門ガイド：GAS × Difyを使って10分で作るAI LINE BOT！ first appeared on SIOS Tech. Lab .
こんにちは、サイオステクノロジーの遠藤です。 今回はDifyの機能の一つである「API拡張」についてどんな機能なのかとそのチュートリアルを行って実際の使い方を確認していきます。 では早速始めていきましょう！ API拡張って何？ API拡張に関する公式ドキュメント : API 拡張 DifyのAPI拡張という機能は外部のAPIをシステムプロンプト内で呼び出してシステムプロンプトに埋め込むことができる「外部データツール」として使用したり、端末ユーザーの入力内容とLLM（大規模言語モデル）の出力内容を審査することができる「コンテンツモデレーション」機能を利用することができる機能です。 特に「外部データツール」機能はDifyとしても押しの機能なようで、この機能を利用することで自前の検索能力や内部ナレッジベースなどの外部データをLLMのコンテキストとして使用できるようになります。「外部データツール」を使用することで、クラウドにデータセットをアップロードするのと比べて、プライベートデータセキュリティの確保、カスタム検索、リアルタイムデータの取得などの面で顕著な利点があります。 API拡張を使用するために満たす必要のある仕様 API拡張では外部のAPIをDifyの中で呼び出せる機能ということで、使用するAPIはDifyが定める仕様を満たしている必要があります。以下がAPI拡張で使用するAPIに求められる仕様です。 APIの仕様 このAPI拡張で使用するAPIは以下の仕様を満たす必要があります。 呼び出し方 POST {Your-API-Endpoint} リクエストヘッダー ヘッダー 値 説明 Content-Type application/json リクエスト内容はJSON形式です。 Authorization Bearer {api_key} APIキーはトークン形式で送信されます。 api_key を解析し、提供されたAPIキーと一致するか確認してください。 リクエストボディ { "point": string, // エクステンションポイント、異なるモジュールは複数のエクステンションポイントを含む可能性があります "params": { ... // 各モジュールのエクステンションポイントに渡すパラメータ } } APIレスポンス { ... // APIレスポンスの内容、異なるエクステンションポイントのレスポンスは各モジュールの仕様に従います } 外部データツールで使用可能なAPIのデプロイを行い、Dify上で触ってみる DifyではAPI拡張の仕様に沿ったAPIをデプロイするチュートリアルがあり、今回はまず こちらのチュートリアル に沿ってCloudflare Workersを使用してAPIのデプロイを行ってみます。その後APIをDify上で外部データツールとして扱うまでを試して見ましょう。ちなみに、デプロイされるAPIの内容としてはブレイキング・バッドの名言とその名言を言ったキャラクターが返されるというものになっているようです。 このチュートリアルではnpmが必要となりますので、Node.jsの環境が必要となります。 Tips Cloudflare Workers は、Cloudflare が提供する サーバーレスコンピューティングプラットフォーム です。分散ネットワーク上で JavaScript / TypeScript / WebAssembly コードを実行でき、グローバルに高速なレスポンスを提供できます。安価 & 無料プランがあり、無料プランでは 1日10万リクエスト まで利用可能。 1.API拡張の仕様に沿ったアプリケーションをデプロイするためにご自身のターミナルでGithubからアプリケーションをクローンします。 git clone <https://github.com/crazywoola/dify-extension-workers.git> クローン元 : https://github.com/crazywoola/dify-extensions-worker 2.dify-extention-workersに移動し、wrangler.tomlをwrangler.toml.exampleから作成します。 cd dify-extention-workers cp wrangler.toml.example wrangler.toml 3.bearerトークン用のランダムなトークンを作成します。こちらのトークンですが、Difyアプリケーションでも必要となるものですので、メモしておいてください。 cat /dev/urandom | tr -dc 'a-zA-Z0-9' | fold -w 16 | head -n 1 | sort | uniq 4.「3.」で作成した文字列を「2.」で指定されているwrangler.tomlのTOKENに設定します。 name = "dify-extension-example" compatibility_date = "2023-01-01" [vars] TOKEN = "<作成したトークン>" 5.npm installを実行し、必要なパッケージのダウンロードを行います。 npm install 6.npm run deployを実行し、cloudflareにdeployを行います。 npm run deploy 7.ブラウザに移動するので、cloudflareに登録します。私はGoogleアカウントを利用して登録を行いました。 8.ブラウザでAllow Waranger to make changes to your Cloutflare account で「Allow」を選択する。初回実行時、次の手順が表示されるまで少し時間がかかったのでご注意。 9.コンソールでサブドメインを設定する。設定後、yesと回答する What would you like your workers.dev subdomain to be? It will be accessible at https://<subdomain>.workers.dev … <サブドメインを設定> 10.https://dify-extension-example.<サブドメイン名>.workers.dev にアプリがデプロイされる。 https://dash.cloudflare.com/ からデプロイされたことが確認出来ます。 こちらもデプロイ処理が走っており、saas上からはデプロイが確認出来ている状況で API を叩いても何も返ってこない時間が５分ほどあったので、その場合には 場合は少し待ってみてください。 11.Difyに移動し、最初からアプリを作成を選択し、「チャットボット」を作成します。 12.右上のユーザーアイコンをクリックし、「設定」をクリックします 13.API拡張のタブをクリックし、API拡張機能を追加を選択します 14.先ほどデプロイしたアプリケーションに関する情報を入れていきます。名前はdify内で使用する識別子なので何でも良いです。APIエンドポイントは先程Cloudflareで作成したAPIパスの末尾に /endpoint を追加したものを設定してください。APIキーは手順「3.」で作成したbearerトークンを入れてください。APIエンドポイントやAPIキーが正しくない場合、Not FoundやUnauthorizedが出ますのでご注意ください。 15.ここまで出来たら、チャットアプリに戻り、「変数」の「APIベースの変数」を選択します。 16.名前と変数名に「breaking_bad_quotes」を設定しAPI拡張機能として先ほど追加したBreakingBadQuotesを選択します。 17.最後にシステムプロンプトを設定します。{{breaking_bad_quotes}}をシステムプロンプトの中に設定すると、作成したAPIをシステムプロンプト内で呼び出して、そのデータを使うことができます。 18.チャットを送ってみると、しっかり条件通りにブレイキング・バッド関係のことを聞いたときのみAPIの内容を利用して回答を生成してくれていることが確認できます。 19.プロンプトログを確認してみると、しっかりAPIの内容がシステムプロンプトに含まれていることが確認できました！ まとめ 今回はDifyのAPI拡張についてその機能とチュートリアルを通じて具体的な使い方を確認しました。API拡張を利用することで、地域に基づいて外部の天気情報を取得してそのデータを元に回答したりみたいなことが行えるようになるので、提供できるソリューションを広げることが出来そうです。今回はチュートリアルを試すまででしたが、API拡張を使用した良さそうなアプリケーションが出来たらまたブログで公開しますので、目を通していただければと思います！ ではまた～ ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post Dify入門ガイド：API拡張って何？チュートリアルを通じて学んでみよう first appeared on SIOS Tech. Lab .
概要 現在のIT業界では、DXが進む中でコンテナ技術とKubernetesが注目されています。 vSphereなどの仮想化基盤を使用して仮想マシン（以降、VM）を運用している企業も多い中、VMとコンテナを統合管理したいというケースや、VMをコンテナにして既存のコンテナプラットフォームで扱いたいというケースなども出てくるかと思います。 しかし、VMをコンテナ化する際に、仮想化レイヤがハードウェアレベル（VM）とOSレベル（コンテナ）で異なるといった課題があります。今回紹介するOpenShift Virtualization（以降、OCP-Virt）は、既存のOpenShift上でコンテナとVMを統合管理することが出来るため、このような状況に対応することが出来ます。 本記事では、OCP-Virtの基本的な概要からアーキテクチャ、VMの移行ツール、他の仮想化基盤との比較について解説します。 次回の記事では実際にOpenShift Virtualizationを触ってみようと思います。 以前にもSIOS Tech. Labに OpenShift Virtualizationについて記載した記事 があるので良かったらそちらも参考にしてみてください。 前提情報 本記事では、現時点で以下のバージョンを対象としています。 OpenShift v 4.17 OpenShift v4.17.3 Migration Toolkit for Virtualization v2.7 OCP-Virt とは OCP-Virtは、Red Hat OpenShiftのアドオンで、OpenShift Virtualization Operator をインストールすることで利用可能になります。これによって、OCP-Virtで、コンテナ環境上にVMを構成することが可能になり、コンテナとVMを既存のOpenShift上で同時に管理できるようになります。VMをKubernetesで管理することが出来るため、従来の仮想化環境よりも柔軟な運用が可能になります。OCP-Virtが提供する機能としては下記が挙げられます。 Linux および Windows VMの作成と管理 各種コンソールおよび CLI ツールの使用によるVMへの接続 既存のVMのインポートおよびクローン作成 NICおよびVMに割り当てられたストレージディスクの管理 VMのノード間でのライブマイグレーション OCP-Virtのインストールにはハードウェア要件があり、オンプレミスのベアメタルサーバーあるいはAWSのベアメタルインスタンスが必要になります。 OCP-Virt アーキテクチャ OCP-Virtは、Kubernetes環境上でVMの作成・管理を可能にするOSSのKubeVirtを元にして開発されています。KubeVirt は動作する基盤としてKubernetesを使用し、KubernetesのAPIを拡張することで、Kubernetes環境上へのVMの構成を実現しています。 VMを動作させる仕組みとしてはKVMを使用しています。KVMはRHCOS(Red Hat Enterprise Linux CoreOS) のカーネル、QEMU・libvirt はOCPのPodの中で実行しています。 Image Source: https://tech-lab.sios.jp/archives/42280 ネットワークはCNIを通じて提供され、デフォルトでOVN-Kubernetes CNIを使用しています。Multus を使用することで、VMに追加の外部ネットワークの構成が可能となります。VMのディスクはCSIを通じて提供され、PV(永続ボリューム) を使用します。 OCP-Virt の主要コンポーネントについて説明します。 virt-controller CRDで定義されたVMを監視し、VMを構成するPodをノードに割り当てます。 virt-handler 各Workerノードで実行されるDaemonSetです。DaemonSetは全て(または特定)の各ノードで１つずつ実行されるリソース(Pod)です。ログ収集やモニタリングなど、クラスター全体のサービスを実行する際などに用いられます。 API Serverやvirt-controllerと連携して、Podの作成などの操作を、virt-launcherに指示する役割があります。 virt-launcher libvirtd と連携し、VMの作成や削除を制御します。 Image Source: https://www.redhat.com/en/blog/building-unified-hybrid-cloud-strategy-red-hat-openshift-virtualization VMの移行ツールの紹介 OCP-Virtでは、既存の利用している仮想化基盤からの移行を支援するためのツールが Migration Toolkit for Virtualization (MTV) Operator として提供されています。MTVは様々な仮想化基盤で稼働する VM を OpenShift 上に移行するツールです。移行元として選択できる Provider は下記になります。 VMware vSphere Red Hat Virtualization OpenStack VMware vSphere によって作成された Open Virtual Appliances (OVA) リモートの OpenShift Virtualization クラスター 移行はVMのコピーのような形式となり、移行プロセス中の移行元VMの停止タイミングを移行プロセス開始時にVMを停止するCold Migrationとカットオーバー段階（VMの移行が済んだ後）にVMを停止するWarm Migrationの2種類のタイプから選択することが出来ます。 移行時のネットワークとストレージのマッピングは下記の様に行います。 ネットワーク オーバーレイネットワークの仮想スイッチに相当するもの同士をマッピングします。 vSphereでは Port GroupとOCP-VirtのNetwork Attachment Definition (NAD)をマッピングします。 Port Group：仮想スイッチ内でVMとの通信に用いられる仮想的なポート NAD：Podをネットワークに接続する方法を定義する CustomResourceDefinition ストレージ 仮想ディスクの格納先に相当するもの同士をマッピングします。 vSphereではDatastoreとOCP-VirtのStorage Classをマッピングします。 Datastore：VMのファイルシステムを格納するための論理的なコンテナ Storage Class：特定のストレージタイプ、アクセスモード、プロビジョニングポリシーなどのストレージの属性を定義したリソース このように、現行の仮想化基盤からの移行方式も用意されているため、OpenShift への移行が簡単になっています。 その他仮想化基盤との比較 SUSE Virtualization (Harvester) Harvesterは、オープンソースのハイパーコンバージドインフラストラクチャ（HCI）ソリューションで、KVMとKubernetesの技術を組み合わせた仮想化基盤になります。コンテナとVMの統合管理を行うといった点ではOCP-Virtと類似しています。HarvesterはRancherとの連携が可能になります。OCP-VirtはOpenShift上に構築されるため、コンテナプラットフォームがRancherかOpenShiftかといった点が違いになります。 VMware vSphere (vSphere) vSphereは、仮想化基盤といえば必ず名前が上がる製品であり、企業環境での広範な採用実績を持っています。幅広いハードウェアとの互換性、高度な機能（vMotion、Storage DRS、High Availabilityなど）、および堅牢なセキュリティを提供します。vSphereは仮想化に関しては非常に高い成熟度を持っていますが、OCP-Virtとの大きな違いはKubernetesネイティブな統合が簡単にできるか否かになります。 Proxmox Virtual Environment (Proxmox VE) Proxmox VEは、KVMとLinux Containers (LXC) をサポートするオープンソースの仮想化基盤です。ビルトインのクラスタリング機能を備えており、簡単にハイアベイラビリティ環境を構築できます。クラスタリングが可能で高可用性を提供できる点はOCP-Virtと類似していますが、Kubernetesネイティブであるか否かといった点が違いになります。 まとめ OCP-Virtの基本的な概要からアーキテクチャ、VMの移行ツール、他の仮想化基盤との比較について解説しました。OCP-VirtはOpenShift のアドオンで、OCP-Virtでコンテナ環境上にVMを構成することが可能になり、コンテナとVMを既存のOpenShift上で統合管理できるようになります。次回の記事では実際にOpenShift Virtualizationを触ってみようと思います。 参考文献 https://docs.redhat.com/ja/documentation/openshift_container_platform/4.17/html/virtualization/about#about-virt https://www.redhat.com/en/blog/building-unified-hybrid-cloud-strategy-red-hat-openshift-virtualization https://docs.redhat.com/ja/documentation/migration_toolkit_for_virtualization/2.7/html/installing_and_using_the_migration_toolkit_for_virtualization/index https://www.vmware.com/products/cloud-infrastructure/vsphere https://www.proxmox.com/en/products/proxmox-virtual-environment/overview OpenShift Virtualization – OpenShift でのVM管理についてご紹介 ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post Red Hat OpenShift Virtualization とは？ first appeared on SIOS Tech. Lab .
ご挨拶 テック系のブログばかり執筆していたので、いつの間に100本超えて130本になっていました。個人的に結構頑張りましたね。今回は、ブログを書くにあたってお世話になっているNotion AIについて書いていこうと思います。 Notion AIの話 Notion AIの値段とか、使用方法とかは 公式のリンクが丁寧に解説しているの で乗っけておきます。 ここでは、Notion AIをブログを書くにあたってどんな風に使用しているのかについて書いていきます。プロンプトを試す記事としては、最近書いた「 Dify入門ガイド：DifyのAPIをGASで使う方法！10分で作るAI連携システム 」を使用してみます。 ブログの締め これは、ブログのメインを書き終わった後に締めを書くときに使用しています。ブログの「おわりに」のタイトルまで書いて、あとは「続きを書く」でブログを読んで、最後のまとめを書いてくれます。 ほぼ振り返りを書いているので、一時期関係ないことを書いていたりしました。ブログの内容から作成しているのでブログをいい感じに締めてくれます。 ブログの評価・修正点 これは、ブログの第一弾を書き終わった後に使用しています。締めを書いた後に、以下の文をNotion AIに渡します。 誤字脱字などを含めて、ブログの評価をしてください。修正点を以下に箇条書きしてください ここで、Notion AIが褒めてくれなかったら悲しいです。あまりにもひどいブログだと、ここでNotion AIに怒られてから修正点を読み込んで修正します。 こちらのブログで試した際には以下のような返答が返ってきます。 ## 評価と修正点 - **文章の構成：** 全体的に分かりやすく、初心者向けに丁寧な解説がされています。 - **コードの説明：** GASのコード解説が詳細で、パラメーターの説明も充実しています。 - **修正が必要な点：** - 「ワークフローの右上から「公開する」を選択して」の部分で、具体的な場所の説明をより詳しくした方が良いです。 - 「API KEY」と「API key」など、表記の統一が必要です。 - 「streming」は「streaming」の誤字があります。 - 「bloacking」は「blocking」の誤字があります。 - **改善提案：** - エラー処理の具体例があると、より実践的な記事になります。 - APIレスポンスの実際の出力例があると、より分かりやすくなります。 - **総評：** 技術的な内容を分かりやすく解説できており、実用的な記事となっています。上記の修正点を反映することで、さらに質の高い記事になるでしょう。 こちらの修正点を取り込み、時には無視することでブログを修正します。 ブログのタイトル・メタディスクリプション これは、一番最後に使用します。個人的には、これが一番助かっています。以下の文をNotion AIに入力して、選んで修正ですね。 SEOに強いブログのタイトルを考えてください。 タイトルとメタディスクリプションをそれぞれ箇条書きで複数案提示してください 以下のような感じで、出力されます。自分では、絶対つけないようなタイトルを出してもらえるので、誇大広告感をぐっとこらえて付けます。 ## タイトル案 - 「【2024年版】DifyのAPIをGASで使う完全ガイド！初心者でも10分で実装できる方法」 - 「【実践解説】DifyのAPI×GAS連携！エラー対応からパラメーター設定まで徹底解説」 - 「【ステップ解説】DifyのAPIをGASで使う方法！AI連携システムの作り方」 - 「【初心者向け】DifyのAPI×GAS入門！実例で学ぶAI連携の基礎」 ## メタディスクリプション案 - 「DifyのAPIをGoogle Apps Script(GAS)で使用する方法を詳しく解説。APIキーの取得から実装手順、エラー対応まで、初心者でもわかりやすく説明。10分でAI連携システムを構築できます。」 - 「DifyのAPIとGASを連携させる方法を徹底解説。パラメーター設定やエラーハンドリングなど、実践的なコード例を交えながら、AI連携システムの構築手順をステップバイステップで紹介します。」 - 「DifyのAPI活用方法をGAS実装例と共に解説。APIキーの取得から実装、エラー対応まで、現場で使える実践的な知識を提供。AI連携システムを簡単に構築できます。」 みんなも使わない？ ざっと、30分ぐらいは執筆時間が短縮されました。メインのコンテンツや図は自分で用意する必要がありますが、自分で書いたものを入力するのでハルシネーションはあまり起きません。気になるのは、タイトルがカッコよくなりすぎるぐらいです。 これは！1300~1500ぐらいは出す価値あります！！ ぜひ使ってほしいです！そして、活用方法をシェアしてほしいな～って思ってます。 終わり 今回は、Notion AIの活用方法について、特にブログ執筆時の使い方を紹介しました。締めの作成、評価・修正点の確認、そしてSEOを意識したタイトル作成など、様々な場面でNotion AIが執筆をサポートしてくれています。皆さんも是非、Notion AIを活用して、より効率的な執筆ライフを送ってみてください！ Tech系のブログには合っているんですが、若干気持ちの入ったブログには向かないですね。CursorとかGitHub Copilotとか、活用する生成AIもエンジニアの好みが出ますね～ ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post 実体験：Notion AIでブログ執筆が楽になる！3つの使い方をふんわり解説 first appeared on SIOS Tech. Lab .
始めに ども！Dify系のブログをチーム総出で書いて、眺めているのが楽しくなっている龍ちゃんです。Difyのブログも本数が出ていて続いていますね。 今回は、前回作成した「 Dify入門ガイド：X投稿を自動生成！10分で作るブログPR効率化ワークフロー 」のAPI公開をして、GASからアクセスしていきたいと思います。 アプリの公開方法に関しては、「 Dify入門ガイド：作成したAIアプリ、どう公開する？Web公開・API活用する3つの方法 」で詳しく解説しています ソースコード function sampleFunction() { const headers = { 'Authorization': "Bearer *******************", //api key発行してペースト 'Content-Type': 'application/json' //必須 }; const data = { "user": "*********", // 任意の文字列で可能（監視で表示される） "response_mode": "blocking", // streaming or blocking 'inputs': { // 設定した開始ノードの入力 "URL": "https://tech-lab.sios.jp/archives/45986", "count": 120 } }; const options = { "method": "post", "payload": JSON.stringify(data), "headers": headers, "muteHttpExceptions": true // エラーを平文で返してもらう }; const requestUrl = "https://api.dify.ai/v1/workflows/run"; const response = UrlFetchApp.fetch(requestUrl, options); const responseText = response.getContentText() // 帰ってきたレスポンスを表示 Logger.log(responseText); // レスポンス内容をログに出力 // StatusCodeによって処理分岐 if (response.getResponseCode() === 200) { const responseJson = JSON.parse(responseText); Logger.log(responseJson.data.outputs.text) } else { Logger.log("Error"); // エラー発生時のログ出力 } } Difyで公開したAPIにGASからアクセスをする 詳しい手順とソースコードの解説をしていきます。まだ、Dify上でアプリを作成していない方は、 こちらの記事 を参考にしてアプリを作成してください。 DifyでAPIを公開する ワークフローの右上から「公開する」を選択して、アプリを公開します。 公開後は、下のような画像に代わります。ここからAPIにアクセスするためのAPI KEYを発行します。「APIリファレンスにアクセス」をクリックします。 右上の「APIキー」をクリックして「APIシークレットキー」を発行します。 発行した「API KEY」はDifyにAPIアクセスするのに必要になるので、大事に保管しましょう。もし、流出した場合は再発行して既存のAPIキーを失効させてください。 GASからDify(API)にアクセスする GASからDify（API）アクセス部分はこちらになります。 const headers = { 'Authorization': "Bearer *******************", //api key発行してペースト 'Content-Type': 'application/json' //必須 }; const data = { "user": "*********", // 任意の文字列で可能（監視で表示される） "response_mode": "blocking", // streaming or blocking 'inputs': { // 設定した開始ノードの入力 "URL": "https://tech-lab.sios.jp/archives/45986", "count": 120 } }; const options = { "method": "post", "payload": JSON.stringify(data), "headers": headers, "muteHttpExceptions": true // エラーを平文で返してもらう }; const requestUrl = "<https://api.dify.ai/v1/workflows/run>"; const response = UrlFetchApp.fetch(requestUrl, options); const responseText = response.getContentText() 変更する点としては、「headers」と「data」になります。 muteHttpExceptions はGASの設定パラメーターで、 UrlFetchApp.fetchが失敗した場合はエラーがresponseに格納 されます。 headers：認証のための情報設定 先ほど取得した「API Key」を渡します。 data：APIアクセスに要するコンテンツ情報 以下のようなパラメーターが必要になります。 パラメータ タイプ 説明 user String 必須 APIアクセスしたユーザーを識別する文字列（監視タブで確認できる） response_mode streaming 必須 応答のモード streaming：タイプライターのように出力が可能 blocking：実行完了後に結果を返答する inputs object 必須 開始ノードで設定したObject入力 files array[object] オプション ファイル入力を可能にしている場合のファイル入力 今回は開始ノードに変数として、「URL」と「count」を設定しています。開始ノードに変数を設定していない場合は、空オブジェクトを設定してください。 GASでレスポンスを解析する muteHttpExceptions を True に設定してるので、エラー時も処理は継続します。振り分けのためにステータスコードでの分岐を行っています。 // StatusCodeによって処理分岐 if (response.getResponseCode() === 200) { const responseJson = JSON.parse(responseText); Logger.log(responseJson.data.outputs) } else { Logger.log("Error"); // エラー発生時のログ出力 } Dify（API）のエラーコードとしては、以下のようなものがあります。 ステータスコード メッセージ 説明 400 invalid_param 異常なパラメータ入力 400 app_unavailable アプリの設定が利用できません 400 provider_not_initialize 利用可能なモデル資格情報の設定がありません 400 provider_quota_exceeded モデル呼び出しのクォータが不足しています 400 model_currently_not_support 現在のモデルは利用できません 400 workflow_request_error ワークフローの実行に失敗しました 500 – 内部サーバーエラー レスポンスとしては、 200/400/500 しかありません。ですが、エラーメッセージに情報がのっているので、エラーが出た場合はメッセージを読んで適宜修正を行ってください。 終わり DifyのAPIを使って、GASからアクセスする方法について解説しました。APIアクセスの設定は非常にシンプルで、API KEYを取得して、必要なパラメーターを設定するだけです。これからは、このGASとDify（API）を活用して様々な自動化を実現していきたいと思います。 XのAPIと連携して、ブログのPRを全自動化していくことが目標です。 ではまた～ ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post Dify入門ガイド：DifyのAPIをGASで使う方法！10分で作るAI連携システム first appeared on SIOS Tech. Lab .
こんにちは、サイオステクノロジーの遠藤です。 みなさん、Difyを利用して生成AIアプリ開発してますか？ノーコード・ローコードでアプリを作成できて、高度なAIアプリを素早く開発できるのが魅力的ですよね。 しかし、Dify上で作成したアプリを実際にどのように公開・活用できるのかについて、具体的な情報が少なく、戸惑うこともあるのではないでしょうか？ そこで本記事では、Difyで作成したアプリを外部に公開し、さまざまな方法で活用する方法を3つ紹介します。 シングルページWebアプリとして公開する 外部のWebアプリに埋め込む Backend APIとして利用する なお今回の記事の内容はクラウド版のDifyをベースに記述しております。Difyをより柔軟に活用したい方は、ぜひ参考にしてください！ では始めていきましょう！ シングルページWebアプリとして公開する １つ目の方法はシングルページWebアプリとして公開する方法です。 この方法は、コミュニティ版を利用して自分で構築しているかクラウド版のDifyを利用しているのかによって公開される場所が変わってきます。 コミュニティ版を利用している場合には、そのDifyアプリケーションが動作しているサーバー上でアプリが動作しますが、クラウドサービスを利用している場合、そのアプリはUdify.appにホストされる仕様になっています。 またこの機能はクラウド版を利用している場合、特に作業をせずともデフォルトで公開されるものとなっています。 ではアプリ画面上でどの用に公開されているか確認していきましょう。 まず公開を試すためにDifyの画面上部の「スタジオ」 >「 最初から作成」 > 「チャットボット」を選択し、簡単なチャットボットを作成しました。手順には作成したアプリだとわかりやすいように以下のようなシステムプロンプトを設定しました。 あなたはコンテキストに基づいてユーザーからの質問に回答するチャットボットです。 コンテキストに基づいて回答できない場合には「コンテキストに基づいて回答が出来ませんでした。質問を変更してください。」と返答してください。 まず手順をいまから公開するアプリケーションに設定するためにアプリケーション作成画面の右上にある「公開する」をクリックします。 そうすると「更新」ボタンがあるのでこれをクリックして今のアプリの状態を公開するアプリへ反映します。更新が完了したら、「アプリを実行」をクリックすれば作成したアプリケーションを開いてくれます。 チャットボットで作成されたアプリケーションだと以下の画像のようなUIでアプリケーションがUdify.appに公開されます。質問に対してお嬢様口調で返答してくれていることからしっかりシステムプロンプトが反映されていることがわかります。 さてこの機能ですが注意点があります。サクッとアプリがデプロイされるのは大変ありがたいのですが、公開URLを知っているだけで特に認証無しでアプリケーションの使用が出来てしまいます。知らない人にこの公開URLを知られるとアプリが使用され、Difyのアプリで設定しているOpenAI等のトークンも使用されてしまうといったことも考えられますので、運用には注意が必要です。 ちなみにデフォルトでオンになっているこの機能ですが、オフにすることも可能です。 オフにするには「スタジオ」左の「監視」タブの「公開URL」の右上にある稼働中のトグルをオフに設定することが出来ます。 公式ガイド : シングルページWebアプリとして公開 外部のWebアプリに埋め込む ２つ目の方法は、外部のWebアプリケーションにiframeやscriptタグで埋め込む方法です。iframeであればiframeタグを埋め込んだ場所にアプリケーションが表示され、scriptタグであれば、Webアプリケーション右下にチャットボタンが現れ、それをクリックすることでアプリケーションを利用できるようになります。 では実際に埋め込む方法を確認していきましょう。 埋め込みを行う方法を確認するには「シングルページWebアプリとして公開する」でも開いた「スタジオ」左の「監視」タブを選択し、「埋め込み」をクリックします。 そうするとウェブサイトに埋め込む方法がポップアップで表示されるので、「チャットアプリをWebサイトに埋め込む方法を選択します」から真ん中のものを選択します。選択するとHTMLコードが表示されるので、右上のコピーボタンを押して自分が掲載したいページのHTMLにコードを追加します。 今回は私はChatGPTにビジネスサイトっぽいHTMLを生成してとお願いをして、そのHTMLにDifyからコピーを行ったHTMLを追加してみました。作成してみると、画面の右下にチャットボタンのようなものが追加されるので、クリックしてみましょう。 クリックしてみると、企業サイトでよく見るようなチャットボットサポートのような表示がされ、質問を投げることができます。質問を行ってみた結果、しっかりお嬢様口調で答えてくれているので作成したアプリケーションが呼び出せていることが確認できました。 ちなみにこちらの方法につきましても、１つ目の方法と同じく公開URLをオンにしていないと使用できないのでご注意ください。 Backend APIとして利用する ３つ目の方法は、Backend APIとして利用する方法です。Difyでは作成したアプリケーションをREST API形式で提供する機能が備わっており、APIを通じて安全に機能を呼び出し視覚的インターフェースでアプリケーションをリアルタイムに設計・運営することが出来ます。 では実際にBackend APIとして利用する方法についてもアプリケーション上で確認していきましょう。 まず今までと同じように作成した「スタジオ」左の「監視」タブを開きましょう。 開けたら、「バックエンドサービスAPI」の中にある「APIキー」をクリックします。 そうするとAPIシークレットがポップアップで出てくるので、「新しいシークレットキーを作成」をクリックします。 そうすると、APIシークレットキーが表示されるのでクリップボードマークをクリックしてコピーをしましょう。 またAPIシークレットキーですが、Difyアプリケーション上でも「APIの悪用を防ぐために、APIキーを保護してください。フロントエンドのコードで平文として使用しないでください。」とあるように管理には気をつけましょう。 ここまでの作業が完了したら、APIの利用方法について確認しましょう。APIの使用はスタジオの左のタブの中にある「APIアクセス」か、バックエンドサービスAPIの中の「APIリファレンス」をクリックすることで見ることが出来ます。 以下の画像は表示されるAPIリファレンスの一部です。使用できるAPIとしては非常に多く、基本のチャットメッセージを送信するAPIに加えて、フィードバックメッセージをエンドユーザーが送ることでアプリケーションの出力を 開発者が期待される出力を最適化させるために使用する「メッセージフィードバック」APIや、現在のメッセージに対する次の質問の提案する「次の推奨質問」APIなどおもしろいAPIが提供されているようです。本ブログではチャットメッセージを送信するAPIの使い方を確認していきます。 では、APIリファレンスを参考にcurlを使用してAPIを叩いてみます。今回は「東京について教えて」というメッセージを送ってみました。 curl -X POST '<https://api.dify.ai/v1/chat-messages>' --header 'Authorization: Bearer｛api-key｝' --header 'Content-Type: application/json' --data-raw '{ "inputs": {}, "query": "東京について教えて", "response_mode": "blocking", "conversation_id": "", "user": "abc-123" }' 結果がUnicodeエスケープシーケンスで表示されるので、分かりづらいですね。Difyアプリケーション上からも確認できるのでそちらでレスポンスを確認してみましょう。 アプリケーション上から確認するには、利用したアプリケーションの左のタブにある「ログ＆アナウンス」から確認することが出来ます。 アプリ上から確認すると、東京について解説してくれている様子が確認できました。 まとめ 今回はでは、Difyで作成したアプリを外部に公開し、さまざまな方法で活用する方法を紹介しました。Difyはノーコード・ローコードで高度なAIアプリを開発できる強力なツールですが、作成したアプリをどのように運用・公開するかが重要なポイントになってきます。 今回紹介した3つの方法を活用すれば、Difyのアプリをより多くのユーザーに届けたり、他のシステムと連携したりすることが可能になります。ぜひ、ご自身のユースケースに合わせて試してみてください！ 今後もDifyを活用したAIアプリ開発について発信していくので、引き続きチェックしていただけると嬉しいです。 ではまた～ ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post Dify入門ガイド：作成したAIアプリ、どう公開する？Web公開・API活用する3つの方法 first appeared on SIOS Tech. Lab .
はじめに ども！弊社X「 sios-eng (SIOS Tech Lab) 」の中の人もやっている龍ちゃんです。ブログのイベントの内容をつぶやいたり、時々企画をやっていたりします。企業SNSの運用って難しいですよね。 今回は、Difyを活用して「記事のURLを入力したら、ポスト内容を作成」するワークフローを作成していきたいと思います。 URLからXのPR文作成ワークフロー 作成から動作確認まで10分程度で完了するので、手元の環境で試してみてください。全体感は以下のようなシンプルな感じでまとまります。 ステップとしては、4つです。 開始：URL・文字数上限を入力 WEB SCRAPER：URLからスクレイピングを行ってくれるツール（Dify製ツール） LLM：記事の内容をXの投稿内容に成型 終了：LLMが作成したテキストを出力 開始：変数定義 変数としては、URLと文字数の上限を設定しています。 URL：テキスト（最大45） 文字数：数値 文字数を変数にしておくことで、一つのワークフローでXのポスト内容・メタディスクリプションなどの複数の要件に対応することができます。 WEB Scraper 入力としては、【開始：変数定義】で設定したURLを入力とします。 WEB Scrapeでは、ようやく機能がついています。要約は、次のLLMで行うのでオフでも問題ありません。 LLM：Ｘのポスト内容作成 一番重要なプロンプト部分になります。プロンプトは、後輩の中の人から提供いただきました。 以下はとある技術ブログのコンテンツです。あなたのタスクは、このブログを人々に読みたいと思わせる明るくポップな紹介文を作成することです。以下の条件を必ず守ってください： 1. 紹介文は{{count}}文字以内であること。 2. 紹介文は日本語で書くこと。 3. 紹介文はブログの主な内容やテーマを簡潔に伝えること。 4. 読者が興味を持つようなキャッチフレーズや魅力的な表現を使うこと。 5. 紹介文の後に1行改行を入れること。 6. 紹介文には関連するハッシュタグを1つ含めること。 具体的な紹介文の例： 【ブログ】 プロンプトエンジニアリングの応用編！生成AIの回答に揺れがあるって知ってた？初心者からでもわかりやすく解説しています。 #プロンプトエンジニアリング #駆け出しエンジニアと繋がりたい #プログラミング初心者 以下はブログコンテンツの抜粋です。これを基に紹介文を作成してください： ======== {{text}} ======== 上記の内容を踏まえて、{{count}}文字以内の紹介文を日本語で作成してください。 プロンプト内に、【開始：変数定義】で入力した「count」と【WEB Scrape】で取得した「text」を埋め込んでいます。one-shotで例を与えて生成精度を上げていますね。 終了 最後に出力として、LLMからの出力を取得します。 実際に使ってみる 使用感を試すために以下のブログからポスト内容を作成してみます。 2025-02-04 【Azure】BicepでFunctionsにComosDBの組み込みロールを付与する X:Bot AzureのBicepでCosmosDBとFunctionsを連携させる方法を徹底解説！ハマりがちなポイントも詳しく説明しています。インフラデプロイを簡単にしたい方に必見の内容です！ # AzureTechTips どうでしょうか？意外といい感じです。 もちろん内容の精査は必要ですが、PR文を考える部分は自動化することができそうです。 おわり 今回は、ブログ記事からX（旧Twitter）のPR文を自動生成するワークフローを作成しました。まだまだ改善の余地はありますが、企業SNSの運用効率化の第一歩として、ぜひ試してみてください。みなさんも、Difyを使って独自のワークフローを作ってみましょう！ Xのフォローもよろしくお願いします！！ ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post Dify入門ガイド：X投稿を自動生成！10分で作るブログPR効率化ワークフロー first appeared on SIOS Tech. Lab .
サイオステクノロジーの織田です。今回は、Dify の監視機能について紹介します。この機能を活用することで、チャットボットの改善を効率的に行うことができます。 Difyの監視機能を用いることで、作成したチャットボットの使用状況を数値として把握することができます。監視機能は各チャットボットを開いた際、画面左のメニューバーの一番下「監視」から遷移できます。今回は、その監視タブに表示される項目を１つずつ紹介していきます。 トータルメッセージ数 一日ごとのチャットボットとおこなった質問の回数を記録します。ユーザーからの質問にチャットボットが応答するごとに１ずつカウントされます。 総会話数 一日ごとのチャットボットが使用された回数を記録します。同じチャット画面で会話する場合、何度質問をしても総会話数は１になります。例えば同一チャットで10回質問すると、トータルメッセージ数は１０で総会話数は１になります。 アクティブユーザ数 一日ごとのチャットボットと会話したユーザ数を記録します。少なくとも一問一答以上のやり取りをしたユーザーが含まれます。 平均セッションインタラクション数 １チャットあたりで交わされたメッセージ数を算出します。つまり、トータルメッセージ数を総会話数で割った値が示されます。例えば、総会話数が２の場合で、それぞれのチャットでのメッセージ数が２と８であれば、平均セッションインタラクション数は５となります。 トークン出力速度 毎秒のトークン出力数を記録しています。モデルによる出力の生成速度およびアプリケーションの使用頻度を間接的に反映します。 ユーザー満足度率 Difyではチャットボットからの応答に「いいね」を送ることができます。ユーザー満足度は1000 メッセージごとの「いいね」数を示します。ユーザーが回答にどれだけ満足しているかが分かります。 トークン使用料 チャットボットが一日ごとに言語モデルにリクエストしたトークンの消費量を記録します。この指標を参照することでコスト管理に役立ちます。 Dify のモニタリング機能は、チャットボットの改善に役立つ強力なツールです。ぜひ活用して、より効果的なチャットボットを構築しましょう！ ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post Dify入門ガイド：監視機能でチャットボットを改善 first appeared on SIOS Tech. Lab .
はじめに こんにちはサイオステクノロジーの小野です。 前回 はシングルモデルサービング環境の構築を行い、LLMをデプロイする方法を解説しました。今回はHugging Face HubからLLMをダウンロードし、そのLLMをOpenShift AIにデプロイして、LLM APIを利用する方法を解説します。 公開LLM 有名な公開LLM Llama3 Meta社が開発したLLMです。軽量かつ高精度なモデルでオープンでありながらGPT-3.5に匹敵する性能があります。 Mistral Mistral teamが開発したLLMです。Llamaと同様に軽量であるのに加えて、推論が速いという特徴があります。 Deepseek-R1 中国のDeepseek社が開発したLLMです。OpenAIの最新モデルであるo1に匹敵する性能を持っています。今最も流行に乗っているモデルです。 LLMの取得設定 Hugging Face Hubでの操作 Hugging Face Hubとは AIモデル、データセット、AIデモアプリを公開・管理するプラットフォームです。GitHubのAIモデル版のようなイメージです。 モデルの内容 今回はMistral-7B-Instruct-v0.3というLLMをデプロイします。 https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.3 このLLMは70億個のパラメータを持ち、Instruct-tunningと呼ばれる自然な会話ができるようになる調整がされています。 必要な登録 Hugging Face Hubのアカウントを作成してください。Hugging Face Hubのモデルをダウンロードするにはアクセストークンが必要になります。SettingのAccess Tokensを開き、Create new tokenを押下します。 Hugging Face Hubのアクセストークン作成 今回はモデルのダウンロードのみに使用するのでToken typeをReadとしてトークンを作成します。 アクセストークンのToken typeをReadに設定 作成するとトークンの値が表示されます。このトークン値は見れなくなるので必ずメモしておいてください。 Hugging Face Hubのアクセストークンの表示。閉じると見れなくなるのでメモしてください。 アクセストークンが作成できたらMistral-7B-Instruct-v0.3のページを開いてください。モデルにアクセスするには連絡先を共有することに同意が必要と表示されるので、利用規約を読んで納得した上で同意してください。 LLMの利用規約の同意。必ず規約を読んだうえで同意してください。（画像はMistral-7b-Instruct-v0.2ですがv0.3の規約に同意してください） しばらくしたらSettingのGated Repos StatusのMistral-7B-Instruct-v0.3がACCEPTEDとなることを確認します。これでモデルが利用できるようになります。 Gated Repos Statusの項目がACCEPTEDとなれば利用可能になります OpenShift AIでのモデルデプロイ 前提条件 シングルモデルサービング構築済み（前回の記事を参考にしてください） データ接続設定済み（以前の記事を参考にしてください） Hugging Face HubからモデルのダウンロードとS3へのアップロード OpenShift AIのモデルサービングはS3ストレージにモデルファイルを格納して、そこからモデルをデプロイするという流れになります。したがってHugging Face HubのMistral-7B-Instruct-v0.3をダウンロードしてAWSのS3にアップロードします。 どのような方法でアップロードしてもかまいませんが、今回はOpenShiftAIのワークベンチ機能を利用してアップロードする方法について解説します。 別の方法としてはLLMをS3へ簡単にアップロードするツールが存在するので、公式のツールではありませんが、ぜひ確認してみてください。 https://github.com/opendatahub-io-contrib/odh-tec それでは最初にモデルのダウンロードをするために、適当なワークベンチを作成します。モデルデータを保存するS3とのデータ接続と連携するのと、大きなファイルをダウンロードするのでPVのサイズを40GiBに設定してください。 LLMダウンロード用ワークベンチ作成。PVのサイズを40GiBに設定し、モデルを保存するS3ストレージへのデータ接続を設定する。 次にHugging Face Hubの認証を行います。ワークベンチのJupyterLabでhuggingface_hubのライブラリをインストールしてください。 !pip install huggingface_hub インストールできたらHugging Face Hubへログインを行います。tokenにはHugging Face Hubのアクセストークンの値を入れてください。 from huggingface_hub import login login(token='<メモしたトークンの値>') これによりHugging faceからダウンロードが可能になります。次にHugging Face HubからMistral-7B-Instruct-v0.3をダウンロードします。 from huggingface_hub import snapshot_download snapshot_download(repo_id="mistralai/Mistral-7B-Instruct-v0.3", local_dir="./models") ダウンロードが完了したら、データ接続したS3ストレージへアップロードします。 import os import boto3 import botocore aws_access_key_id = os.environ.get('AWS_ACCESS_KEY_ID') aws_secret_access_key = os.environ.get('AWS_SECRET_ACCESS_KEY') endpoint_url = os.environ.get('AWS_S3_ENDPOINT') region_name = os.environ.get('AWS_DEFAULT_REGION') bucket_name = os.environ.get('AWS_S3_BUCKET') if not all([aws_access_key_id, aws_secret_access_key, endpoint_url, region_name, bucket_name]): raise ValueError("One or data connection variables are empty. " "Please check your data connection to an S3 bucket.") session = boto3.session.Session(aws_access_key_id=aws_access_key_id, aws_secret_access_key=aws_secret_access_key) s3_resource = session.resource( 's3', config=botocore.client.Config(signature_version='s3v4'), endpoint_url=endpoint_url, region_name=region_name) bucket = s3_resource.Bucket(bucket_name) def upload_directory_to_s3(local_directory, s3_prefix): num_files = 0 for root, dirs, files in os.walk(local_directory): for filename in files: file_path = os.path.join(root, filename) relative_path = os.path.relpath(file_path, local_directory) s3_key = os.path.join(s3_prefix, relative_path) print(f"{file_path} -> {s3_key}") bucket.upload_file(file_path, s3_key) num_files += 1 return num_files model_dir = "./models" s3_model_dir = "models/mistral" upload_directory_to_s3(model_dir, s3_model_dir) print(f"{model_dir} has been uploaded to {s3_model_dir}") これによりS3ストレージにLLMをアップロードできます。 S3にアップロードされたLLMのファイル LLMのデプロイ S3にLLMが保存されたので、そのLLMをOpenShiftAIにデプロイします。前回の記事のシングルサービング形式を選択してモデルをデプロイできる状態にしてください。 以下のようにデプロイ設定してください： Model deployment name：test-llm Serving runtime：vLLM ServingRuntime for KServe Number of model server replicas to deploy：1 Model server size：Small Accelerator：NVIDIA GPU Number of Accelerators：1 Make route： Token authentication： Service account name：test-token Connection：モデルが保存されているデータ接続 Path：models/mistral Additional serving runtime arguments：–max-model-len=8192 vLLMのエンジンに渡す引数を設定できます。 デフォルトのままだとメモリが不足してエラーが出るので出力するトークン数を制限します。 詳しくはドキュメント参照してください。 https://docs.vllm.ai/en/latest/serving/engine_args.html デプロイ設定 Statusに がついたらデプロイ完了です。「Internal and external endpoint details」を押下するとAPIのエンドポイントを確認できます。Externalの方にAPIを送ります。 デプロイされたLLM。ステータスに がつけばデプロイ完了。 APIのエンドポイント確認。urlが内部公開されているエンドポイントでExternalが外部公開されているエンドポイント。 またモデルの詳細を開くとAPIのトークンを確認できます。 モデルの詳細を開くとAPIトークンを確認できる APIの検証 デプロイしたLLMに対してAPIリクエストを送り、質問に対して回答することを検証します。 以下のコードを実行します。<APIエンドポイント>にはExternalの方のエンドポイントを入れ、<APIトークンの値>にはAPIトークンの値を入れてください。 import requests import json # URLとヘッダーの設定 url = "<APIエンドポイント>/v1/chat/completions" token = "<APIトークンの値>" headers = { "Content-Type": "application/json", "Authorization": f"Bearer {token}" } # リクエストボディの設定 data = { "model": "test-llm", "messages": [ {"role": "system", "content": "あなたは丁寧なアシスタントです.ユーザーからの質問に回答して下さい"}, {"role": "user", "content": "OpenShiftとは何ですか？"} ] } # POSTリクエストの送信 response = requests.post(url, headers=headers, data=json.dumps(data)) # レスポンスの表示 print(response) formatted_json = json.dumps(response.json(), indent=4, ensure_ascii=False) print(formatted_json) 実行した結果が以下になります。こちらの質問に対して回答してくれることが確認できます。 APIの実行結果。「OpenShiftとは何ですか？」という問いに対して、LLM APIが回答している。 おわりに LLMをデプロイしたことでLLM APIを利用できるようになりました。OpenShift AIを利用してぜひLLMサービスを展開してみてください。 参考 シングルモデルサービングの設定 https://docs.redhat.com/ja/documentation/red_hat_openshift_ai_self-managed/2.16/html/serving_models/serving-large-models_serving-large-models Hugging Face Hubのモデルダウンロード方法 https://huggingface.co/docs/transformers/ja/installation 前回の記事： OpenShift AIのシングルモデルサービング環境を構築してみた ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post OpemShift AIにLLMをデプロイしてみた first appeared on SIOS Tech. Lab .
PSSL に新卒入社しました神﨑です。 ６月から９月までの間、新卒研修の一環としてシステムのチーム開発を行っていました。作成したのは、旬の食材を用いたレシピサイトです。 私も含め計５名の新卒による開発体制で、個人での担当分野としては主に挿入するデータの加工等を行っていました。今回は、知識とデータの前処理等でとても苦労したので、書き残しておこうと思います。 はじめに レシピ検索＋買い物リスト作成アプリを作成しました。 自分の担当部分であるデータの前処理の作業は大部分は記事[1]を参考にしましたが、一部自分たちのシステムに合わせて改変しました。 今回のブログの内容では、楽天レシピから取得するデータのうち、材料名をカテゴリ化するために表記ゆれ等を統一した際に苦労した点等をまとめています。 記号と括弧の処理 取得したレシピデータ（料理に必要な材料）は、以下のように表記ルールなどが定まっていないため、前処理を行いました。 例えば、以下のように☆や■などの記号や（）などで補足説明が追加されているものなど形式が様々なものがありました。 #取得したレシピデータのうち、材料名の一部抜粋 ['なす', 'オクラ', '大根', 'めんつゆ（ストレート）', 'サラダ油'] ['茄子', 'ごま油', '☆生姜のすりおろし', '☆めんつゆ（３倍濃縮）', '☆水', 'ねぎ（小ねぎ等）'] ['ナス', 'サラダ油', 'ポン酢', '花かつお'] まず、材料名の前後にある記号や括弧を消去しました。 例 ☆めんつゆ（３倍濃縮） → めんつゆ コードは、前述したように[1]の記事を参考にPythonで実装しました。 変更点として、正規表現で記号や空白、括弧、括弧内の文字をまとめて削除パターンとして指定してデータの変換を行いました。 delete_pattern = r'[\u25A0-\u25FF\u2600-\u26FF\uFF0A\u002A\u30FB\u3007]|' \ r'\([a-zA-Z]\)|＜[A-Z]＞|\b[A-Z]\)|\b[A-Z]\.|\b[A-Z] |\([A-Z]' 削除した結果、以下のようになりました。 懸念事項として括弧内にレシピの材料についての補足などが含まれる場合もありますが、今回は目をつぶります。 #取得したレシピデータのうち、材料名の一部抜粋 ['なす', 'オクラ', '大根', 'めんつゆ', 'サラダ油'] ['茄子', 'ごま油', '生姜のすりおろし', 'めんつゆ', '水', 'ねぎ'] ['ナス', 'サラダ油', 'ポン酢', '花かつお'] 表記ゆれ辞書の作成と変換 上記のレシピデータの出力結果から、材料名の一つである「なす」がなす、茄子、ナスなどの表記ゆれを確認したため、材料名について辞書を作成して表記を統一しました。 辞書の作成には、web上に公開されている食材図鑑等を参考に作成しました。 #辞書の抜粋 #見出し語、変換する単語 アスパラガス,アスパラガス,アスパラ,あすぱらがす,あすぱら さやいんげん,さやいんげん,インゲン,サヤインゲン,いんげん,モロッコいんげん,モロッコインゲン,モロッコいんげん,モロッコインゲン うど,うど,ウド,うど えだまめ,えだまめ,枝豆,エダマメ なす,なす,茄子,ナス,なすび,ナスビ,加茂なす,加茂ナス,加茂茄子,賀茂茄子,白茄子,白なす,白ナス,水ナス,水なす,米なす,米ナス,米茄子 変換した結果は以下のようになります。 #取得したレシピデータのうち、材料名の一部抜粋 ['なす', 'オクラ', '大根', 'めんつゆ', '油'] ['なす', 'ごま油', '生姜', 'めんつゆ', '水', 'ねぎ'] ['なす', '油', 'ポン酢', '鰹節'] 反省点 今回は、データの前処理に関してはデータ数を絞って最低限の実装に設定したおかげで、力業で変換しても事前に予定していた工数を大幅に超過することはありませんでしたが、工夫できた点は多々あったと考えています。 例えば、AIに判別させて表記ゆれを統一させたり、大学で少し触った自然言語処理などを使ってみるなど、アナログな手段ではない方法を採用したかったが、時間の見積もりが甘かったため挑戦できませんでした。 もし次回があるのならば、新しい技術を積極的に取り入れていきたいです。 参考 [1]Python 初学者が楽天APIを使って買い物リスト作成アプリを作った（データ加工編） https://qiita.com/yuuauuy1/items/5bb4a53ab15bde354297 ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post 新卒研修でのチーム開発におけるデータ加工を通して得られた知見について first appeared on SIOS Tech. Lab .
現在クラウドネイティブ技術が発展する中で、様々なアプリケーションの基盤としてKubernetesを中心としたプラットフォームが重要な役割を果たしています。 特に OpenShift、Rancher、VMware Tanzu などのソリューションは、企業のKubernetes環境を支える主要な選択肢として注目されています。 本記事では、それぞれの特徴や違いを分かりやすく解説します。 1. OpenShift（オープンシフト）とは？ 概要 OpenShift は Red Hat が提供する エンタープライズ向けの Kubernetes プラットフォーム です。 Kubernetes の上に独自の管理機能を加えた「 Red Hat OpenShift Container Platform 」が代表的なソリューションです。 特徴 エンタープライズ向けの機能が充実 OpenShift は Kubernetes をベースにしつつ、開発者や運用者向けのツールが豊富に用意されています。 Red Hat Enterprise Linux（RHEL）との親和性 OpenShift は Red Hat Enterprise Linux CoreOS（RHCOS） を標準OSとして採用しており、Red Hat のエコシステムと深く統合されています。 セキュリティとポリシー管理が強化 デフォルトで Role-Based Access Control（RBAC）やセキュリティ強化 の仕組みが組み込まれており、企業向けのコンプライアンス要件を満たしやすくなっています。 管理コンソールが充実 Web UI や CLI を使って直感的に Kubernetes クラスタを管理でき、開発者と運用チームの負担を軽減します。 こんな人におすすめ エンタープライズ向けの本番環境で Kubernetes を運用したい セキュリティやサポートが充実した Kubernetes 環境を構築したい Red Hat のエコシステムを活用したい 2. Rancher（ランチャー）とは？ 概要 Rancher は SUSE が提供する マルチクラウド対応の Kubernetes 管理プラットフォーム です。 Kubernetes クラスタの統合管理や、オンプレミス・クラウド環境を問わず Kubernetes を一元的に運用できる点が強みです。 特徴 異なる Kubernetes クラスタを一元管理 RKE2 と呼ばれるKubernetesのディストリビューションをベースとしてクラスタ管理やAWS EKS・Azure AKS・Google GKE などの マネージドKubernetes も統合管理できます。 軽量で導入が容易 Rancher は 比較的軽量なアーキテクチャ で、シンプルに Kubernetes 環境を構築できます。 将来的にマルチクラスタ管理を視野に入れた、小規模な状態からの導入をしやすいのも特徴です。 エッジコンピューティングに最適 Rancher を提供しているSUSEは、軽量な Kubernetes ディストリビューションである K3s の開発元でもあります。 マルチクラスタ管理が基本となるエッジコンピューティングや IoT での Kubernetes 運用にも強みを持っています。 GUIベースのシンプルな管理 Kubernetes の運用を GUI でシンプルに行いたい場合、Rancher は適した選択肢となります。 こんな人におすすめ 複数の Kubernetes クラスタを統合管理したい シンプルで軽量な Kubernetes 運用を目指したい エッジコンピューティングや IoT 向けの Kubernetes を利用したい 3. VMware Tanzu（タンズ）とは？ 概要 VMware Tanzu は VMware が提供する Kubernetes ベースのプラットフォーム です。 従来の VMware vSphere 環境と Kubernetes を統合 することで、仮想マシンとコンテナの両方を管理しやすくするのが特徴です。 特徴 VMware vSphere との統合が強力 Tanzu は vSphere を利用する企業にとって Kubernetes を既存インフラに統合しやすい のが最大のメリットです。 VMware の運用管理スキルを持つチームにとって、導入のハードルが低くなります。 Tanzu Kubernetes Grid（TKG） Tanzu は Tanzu Kubernetes Grid（TKG） という Kubernetes ディストリビューションを提供しており、オンプレミス・クラウド両方で統一された運用が可能です。 Kubernetes を仮想マシン環境と併用できる Tanzu は 仮想マシンとコンテナのハイブリッド環境 を構築するのに適しており、段階的なクラウドネイティブ化を進める企業にとって魅力的な選択肢です。 こんな人におすすめ VMware vSphere をすでに利用している 仮想マシンとコンテナを統合的に管理したい まとめ どのプラットフォームも Kubernetes を活用したコンテナ運用を支援しますが、それぞれ得意とする領域が異なります。 OpenShift → エンタープライズ向け Kubernetes、Red Hat 製品と統合 Rancher → マルチクラウド対応、軽量で導入が容易 VMware Tanzu → vSphere と統合、仮想マシンと Kubernetes を併用 今回は主要な３つのKubernetes管理プラットフォームの概要と特徴について記載しましたが、自社の環境や運用ニーズに合わせてプラットフォームの選定の一助となれば幸いです。 ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post クラウドネイティブ環境を支える主要コンテナプラットフォームの特徴解説 first appeared on SIOS Tech. Lab .
こんにちは、サイオステクノロジーの遠藤です。 AIの活用が進む中で、「もっと便利に使えたらいいのに」と思ったことはありませんか？ たとえば、AIがリアルタイムで情報を検索できたり、計算が得意だったり、画像を生成したりできたら便利ですよね。 そんな機能をDifyで簡単に実現できるのが「ツール機能」です。この記事では、Difyのツール機能について、初めての方にもわかりやすく解説していきます！また実際にGoogle検索を利用したリアルタイムに天気の情報を提供できるAIエージェントを作成してみるところまで行っていきます。では始めていきましょう！ Difyのツール機能とは？ ツール機能を使うと、DifyのAIが外部の情報にアクセスしたり、特定の処理を実行できるようになります。具体的には、 ネット検索 ：最新の情報を取得できる 科学計算 ：複雑な計算を素早く処理 画像描画 ：テキストから画像を生成 といった機能をAIに持たせることができます。 Difyでは、これらのツールを大きく2種類に分けています。 ファーストパーティツール Difyが標準で提供するツール すぐに使えて設定も簡単 カスタムAPIツール 自分で用意したAPIをツールとして組み込める OpenAPI/SwaggerやOpenAIプラグイン規格に対応 つまり、「すぐに使いたいならファーストパーティツール」、「自分のシステムと連携したいならカスタムAPIツール」と覚えておくといいでしょう。 今回はファーストパーティーツールを使用してGoogle検索を利用し、リアルタイムに天気の情報を提供できるAIエージェントを作成してみます！ ツールを使うと何ができる？ Difyのツール機能を活用すると、AIアプリをより高度に進化させることができます。 たとえば、 エージェント型アプリ にツールを組み合わせることで、タスクの推論・分解・実行をAIが自動で行う。 外部システムとの連携 が可能になり、AIがコードを実行したり、特定の情報にアクセスしたりできる。 これにより、「AIがただの質問応答をするだけ」から「実際に作業をこなす」レベルまで発展させられます。 ツール機能を使ってお天気エージェントを作成してみる では実際に、お天気エージェントを作成してみましょう。 まず、Difyの画面上部から「ツール」タブを選択して「Google」ツールを選択しましょう 続いて認証するボタンを押します。 続いてGoogle検索を行うためにSerpAPIキーの取得を行います。取得方法のボタンを押しましょう。 SerpAPIにアカウント登録を行っていきます。私はGoogleでサインインを行いました。 SerpAPIでアカウント登録を行う際には登録したGoogleアカウントへのメール認証と電話番号での認証が必要となります。また、フリープランでの登録だと、ひと月あたり100件しか検索できないのでリクエストを送りすぎるとすぐに使用できなくなってしまうので注意が必要です。 SerpAPIにログインできたら、左のタブから「Api Key」を選択し、Private API Keyを取得しましょう。取得が出来たらDifyの画面に戻ってSerpAPI keyを設定して準備完了です！ ではここからはお天気エージェントの作成に取り掛かりましょう！「スタジオ」タブから「最初から作成」を選択します。 作成画面が表示されたら、アプリの種類を「エージェント」、アプリのアイコンと名前を「Google検索を利用したお天気エージェント」としておきます。 アプリの作成画面に入ったら、ツールの「追加」を選択します。 画面左にツール追加画面が出てくるので、「GoogleSearch」を選択して「追加」を押します。 完了したら、ツールにgoogle_searchが追加されます。 その後手順に以下の文章を設定しましょう。 あなたはGoogle検索を利用して天気の情報をユーザーに対して答えるエージェントです どこの地域の天気情報を求められているのかわかるまでは絶対にgoogle_searchツールは使用しないでください ここまでできれば設定は完了です！左のプレイグラウンドから正しく動作しているか確認しましょう。 「天気を教えて」という質問を投げてみます。 そうすると、手順に書いてあるとおり、場所の確認を行ってくれました。 ログの詳細を見ても、ツールを使用せずに回答文だけを作ってくれているようです。 続いて「八王子の天気を教えて」という質問を送ってみます。 この場合は、回答の上の方に「使用済み google_search」と書いてあるように検索をかけてリアルタイムのお天気を取ってきてくれました！ ログを見てみても、しっかりgoogle_searhツールを使用してくれていることがわかります。 まとめ 今回はDifyのツール機能とはなにかの解説と、実際にファーストパーティツールを利用してお天気AIエージェントを作成する方法について確認しました。DifyはポチポチGIU上からボタンを押していくだけでAIアプリが作成できちゃうので本当にすごいですね。 今回はツール機能の中でも「ファーストパーティツール」を利用したアプリの構築方法をご紹介しましたが、自分で用意したAPIをツールとして組み込める「カスタムAPIツール」の方もまとめてブログにしようと考えているので、そちらも合わせて読んでいただけると喜びます！ ではまた～ ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post Dify入門ガイド：「ツール機能」を利用してGoogle検索ができるAIエージェントを開発しよう！ first appeared on SIOS Tech. Lab .
はじめに こんにちはサイオステクノロジーの小野です。 以前の記事 でOpenShift AIのモデルサービング機能を利用してAIモデルを推論APIとして提供する方法を解説しました。今回はOpenShift AIのモデルサービング機能を利用してLLMをデプロイする方法について解説します。 OpenShift AIを利用したLLMデプロイ OpenShift AIはシングルモデルサービング環境を構築することで公開LLMをデプロイすることが可能になります。 公開LLMとは LLMをはじめとしたAIのモデルは公開されて自由にダウンロードできるものがあります。 それらのモデルは利用規約やライセンスに従う限り自由に利用することが可能です。 KServe KServeとはKubernetes上で機械学習モデルを推論・生成サービスとして提供するためのソフトウェアです。KServeはKnativeとIstioを利用して構築されてます。Knativeはモデルをデプロイ、管理するために利用され、IstioはモデルをAPI提供するために利用されます。 vLLM OpenShift AIでデプロイするモデルのランタイムとして vLLM ServingRuntime for KServe があります。 vLLMとはLLMの推論およびサービングを行うためのオープンソースライブラリです。トークン数やメモリ管理設定を行うことができます。また、他のサービングライブラリと比較して高速に推論ができる特徴があります。 OpenShift AI構築 モデルサービングの種類 OpenShit AIでAIモデルをデプロイするには二つの手法があります。一つがマルチモデルサービング形式です。これは、比較的中小規模のAIモデルをデプロイする際に使われます。もう一つはシングルモデルサービング形式です。これは、LLMのような大規模なモデルをデプロイする際に使われます。今回はLLMをデプロイするのでシングルモデルサービングの構築を行います。 必要な前提条件 GPU設定（詳しくは過去の記事を参照してください https://tech-lab.sios.jp/archives/44040 ） Node Feature Discovery Operator NVIDIA GPU Operator 使用インスタンスタイプ：g6.xlarge OpenShift AI：2.16 OpenShift Serverless：1.35.0 OpenShift Service Mesh：2.6.4-0 Red Hat – Authorino (Technical Preview)：1.1.1 デプロイしたLLMサーバーに認証機能をつける場合必須です OpenShift AIでのシングルモデルサービング環境構築 シングルモデルサービングオペレータインストール シングルモデルサービング形式のモデルサーバーを構築するにはOpenShift AIのクラスターを作成する前に3つのオペレータをインストールする必要があります。それぞれのリソースはOpenShiftクラスター構築時に自動的に作成されます。 Authorinoオペレータインストール Operator > OperatorHubでAuthorinoと検索します。「Red Hat – Authorino (Technical Preview)」を選択してインストールを押下します。 Red Hat AuthorinoのOperator 現時点（2025年2月6日）ではバージョン1.1.1をインストールします。 Authorino Operatorのインストール ステータスがSucceededになったらインストール完了です。 ステータスがSucceededになったらインストール完了 Serverlessオペレータインストール Operator > OperatorHubでOpenShift Serverlessと検索します。 「Red Hat OpenShift Serverless」を選択してインストールを押下します。 Red Hat OpenShift ServerlessのOperator 現時点（2025年2月6日）ではバージョン1.35.0をインストールします。 Serverless Operatorのインストール ステータスがSucceededになったらインストール完了です。 ステータスがSucceededになったらインストール完了 ServiceMeshオペレータインストール Operator > OperatorHubでOpenShift Service Meshと検索します。 「Red Hat OpenShift Service Mesh」を選択してインストールを押下します。 Red Hat OpenShift Service MeshのOperator 現時点（2025年2月6日）ではバージョン2.6.4-0をインストールします。 Service Mesh Operatorのインストール ステータスがSucceededになったらインストール完了です。 ステータスがSucceededになったらインストール完了 OpenShift AIオペレータインストール OpenShift AIオペレータのインストールは 以前の記事 を参考にして下さい。今回はバージョン2.16.0をインストールします。 Red Hat OpenShift AIのOperator。今回はバージョン2.16.0を利用する。 OpenShift AIのCR設定 今回はシングルモデルサービング形式の構築をするのでKServeをインストールします。 以下のようにDataScienceClusterのコンポーネントを設定します： spec: components: codeflare: managementState: Managed dashboard: managementState: Managed datasciencepipelines: managementState: Managed kserve: managementState: Managed serving: ingressGateway: certificate: type: OpenshiftDefaultIngress managementState: Managed name: knative-serving kueue: managementState: Managed modelmeshserving: managementState: Managed modelregistry: managementState: Removed registriesNamespace: rhoai-model-registries ray: managementState: Managed workbenches: managementState: Managed trainingoperator: managementState: Removed trustyai: managementState: Managed DataScienceClusterのコンポーネント設定 DataScienceClusterのステータスがPhase：Readyになったら作成完了です。 ステータスがPhase：Readyになったら作成完了 DataScienceProject作成 DataScienceCluster作成が完了したら、OpenShift AIを開いてDataScienceProjectを作成してください。 以前の記事 を参考してください。 シングルモデルサービングサーバ作成 DataScienceProjectが作成できたら、Modelsの項目に移動してください。 シングルモデルサービングの環境が構築できているとSigle-model serving platformの項目があります。これを選択します。 Data Science ProjectのModelsにSingle-model serving platformの項目ができる 右上に「Sigle-model serving enabled」と表示されればシングルモデルサービングのデプロイが可能になります。 右上に「Sigle-model serving enabled」と表示されればシングルモデルサービングが可能になる おわりに 以上の操作により、OpenShift AIにLLMをデプロイする準備が整いました。次回は実際にLLMをデプロイしてAPI利用するところをお見せします。 参考 シングルモデルサービングの設定 https://docs.redhat.com/ja/documentation/red_hat_openshift_ai_self-managed/2.16/html/installing_and_uninstalling_openshift_ai_self-managed/installing-the-single-model-serving-platform_component-install#About-the-single-model-serving-platform_component-install KServeの自動インストール https://docs.redhat.com/ja/documentation/red_hat_openshift_ai_self-managed/2.16/html/installing_and_uninstalling_openshift_ai_self-managed/configuring-automated-installation-of-kserve_component-install vLLM https://docs.vllm.ai/en/latest/index.html ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post OpenShift AIのシングルモデルサービング環境を構築してみた first appeared on SIOS Tech. Lab .
こんにちは、サイオステクノロジーの織田です。今回はDifyでワークフローを構築する方法、ワークフローで使えるブロックの紹介を行っていきます。Difyをまだ導入できていない方は コチラ を参考にやってみてください！ ワークフローの構築方法 Difyで生成AIツールを作成する際、「チャットフロー」と「ワークフロー」の2種類の方法が使えます。チャットフローは簡単な操作で実装することができる反面、詳細な動作を指定することができません。一方、ワークフローは外部データを参照したり条件分岐を行ったりといったことをノーコードで設定することができます。 ワークフローは以下の写真の通り、いくつかのブロックをつなげることで構築します。このブロックそれぞれが「外部情報を参照する」「条件分岐をする」といった役割を分担し、１つのアプリとして機能します。 ブロックの紹介 それでは、ワークフロー中に組み込むことができるブロックを紹介したいと思います。 開始 開始ブロックは、ワークフローの先頭に配置するブロックです。このブロックを使うことで様々な条件でワークフローを開始させられます。例えば、「ユーザがクエリを入力したとき」「毎朝９時になったら」などの条件を設定できます。 どのようなフローを作る際にも必ず最初に配置しましょう。 LLM LLMブロックはGPTやGeminiといったLLMを呼び出すことのできるブロックです。このブロックを使うと、Difyに登録したAIが入力された情報をもとに文章を作ったり、質問に答えたり、情報を要約したりします。AIにどのようなプロンプトを渡すのかも、このブロックで指定することができます。 知識取得 知識取得ブロックを用いることで外部の情報を取り込むことができます。このブロックを使うには、まず事前にデータベースやテキストファイル、pdfなどの資料をDifyにナレッジとして登録します。そして知識取得ブロックで登録したナレッジを指定することで外部情報を読み込んだ上で回答生成をさせることができます。 知識取得を用いることで、LLM単体では応答できないような質問にも答えられるようになります。たとえば、社内規約や仕様書などのクローズドなドキュメントを参照して質問に回答が可能になります。 終了 終了ブロックはワークフローの最後に設置するブロックです。このブロックを設置することで出力文を表示させることもできます。開始ブロックと同じくどのようなフローを作る場合にも必ず最後に設置しましょう。 質問分類器 質問分類器は、ユーザーの質問を自動的に分類するブロックです。私が作成したフローでは、ユーザからの質問が富山県に関連があるか否かを判定させています。そして、判定の結果に応じて次に遷移するブロックが変化します。 このブロックを使うことで、ユーザの質問に応じて適切な処理を走らせることができます。分類条件の設定方法も簡単で、単に「富山県に関係する」とだけ書くだけでOKでした。 IF/ELSE IF/ELSEブロックを使うことで条件分岐を実装できます。例えば、以下ではユーザーからの入力に「富山」が含まれるか否かで条件分岐を設定しています。ユーザの入力に富山が含まれればIFに、含まれなければELSEにつながるブロックに遷移します。 こちらも質問分類器と同じく自然言語で条件を設定できます。また、「OOを含む」という条件以外にも、「XXを含まない」や「OOから始まる」というように色々な条件が設定可能になっています。 イテレーション イテレーションブロックは繰り返し処理のためのブロックです。このブロックを使うことで、同じアクションを複数回行うことができます。リスト内のデータ１つ１つについて同じ処理をしたり、指定した回数同じ処理をしたりといったことに使えます。 コード コードブロックは、PythonやJavaScriptなどのコードを実行するためのブロックです。他のブロックでは対応できない複雑なロジックや外部APIとの連携などを実現できます。たとえば、PythonやJavaScriptでリストを作成すれば、先述のイテレーションがより使いやすくできます。 テンプレート テンプレートブロックは、文字通りテンプレート（事前に用意した文章）を使うための文字列です。 使い方としては、以下のようにエラーメッセージの出力に使えます。また、変数とテンプレートを組み合わせることもできます。テンプレートを使うことで、出力の体裁を整えることができます。 最後に 今回はDifyのワークフロー構築について、利用可能なブロックの紹介も交えながら説明しました。Difyはノーコードで様々なAIツールが作成できる便利なプラットフォームです。今回紹介したブロック以外にも様々なブロックが用意されています。ぜひ色々なブロックを実施に触って、あなただけのオリジナルなワークフローを作ってみましょう！ ご覧いただきありがとうございます！ この投稿はお役に立ちましたか？ 役に立った 役に立たなかった 0人がこの投稿は役に立ったと言っています。 The post Dify入門ガイド：ワークフロー構築＆ブロック紹介 first appeared on SIOS Tech. Lab .