こんにちは、SCSKの松岡です🕸️ Webクローリングおよび名寄せの検証において、AWS lambdaと Amazon Bedrock を活用したデータ収集アーキテクチャを検討した際の試行錯誤を整理しました。 従来のルールベースのクローリングと比較し、生成AIを用いた柔軟な情報抽出を取り入れることで、サイト構造の差異に耐えるデータ収集方式をどのように実現したか、また収集データと既存マスタを突合する名寄せの課題についても紹介します。   背景 データ活用基盤において、外部サイトからの商品情報を収集

はじめに Jenkins Pipelineは、ビルド・テスト・デプロイといった一連の作業を Jenkinsfileとしてコード化（Pipeline as Code） する仕組みです。 作業手順を人の手からコードへ移すことで、次のようなメリットが得られます。 再現性：誰が実行しても同じ結果になる レビュー可能：Jenkinsfileをコードレビューできる 変更履歴が残る：いつ・誰が・何を変えたか追跡できる 運用の自動化：手作業のミスや抜け漏れを減らせる しかし、Jenkinsfileは単なるスクリプトではあ

本記事は 新人ブログマラソン2025 の記事です。 こんにちは。新人のtknです。 温かい日差しと春の風を感じることが多くなり、大量の花粉が舞い踊る…そんな日々ですが、皆さまいかがお過ごしでしょうか。 赤々とした杉を見るとついつい睨みそうになりますが、杉は二酸化炭素の吸収効率が良く、地球温暖化防止に役立つそうなので、それなら、しょうがないですかね……。 さて本日は、私が学生時代に ChatGPTとちまちま作ったコードをKiro先生に添削させるとどれくらいの時間・コストがかかるのか？ を調査していきたいと思

こんにちは! 今回初めて AWS Weekly Roundup を担当する Daniel Abib です。私は、生成 AI と Amazon Bedrock を専門とする AWS シニアスペシャリストソリューションアーキテクトです。ソリューションアーキテクチャ、ソフトウェア開発、クラウドアーキテクチャでの経験は 28 年を超え、Amazon Bedrock を使って生成 AI の力を活かせるようにスタートアップとエンタープライズ企業を支援しています。AWS 勤務歴は 6 年半以上で、中南米全域のお客様と密

Elastic Inference Service (EIS) を使った「ベクトル検索」と「生成AIによる回答（RAG）」について、全2回にわたって解説します。 第1回となる今回は「準備編」として、環境構築からクラウド連携までを詳しく説明します。 目次 Elastic Inference Service (EIS) とは？ 本連載で実現できること システム構成イメージ 動作確認環境 サンプルコード ベクトル検索のための準備作業 1. 環境変数の準備 2. コンテナの起動 3. Elastic Cloud

1. はじめに FAST（Fullstack AgentCore Solution Template）はAWS（Amazon Web Services）が提供するフルスタックのAIアプリケーションのテンプレートです。本テンプレートを活用することで、従来数週間かかっていた環境構築を短時間で実施することが可能となります。 本テンプレートはAWS Amplify、Amazon Cognito、Amazon Bedrock AgentCoreなどのサービスを活用して構成されておりますが、これらをゼロから構築するの

高火力 DOKはコンテナー型のGPUサービスで、NVIDIA V100やH100を実行時間課金で利用できるサービスです。 今回はこの高火力 DOKを使って、Animagine XL 4.0を試してみました。 注意 この画 […]

はじめに ローカルLLMとは 今回の構成 LM Studioのセットアップ LM Studioとは モデルのインストールと動作確認 MCPの設定 Open WebUIでナレッジベース（RAG）を構築 Open WebUIとは Dockerでの起動 LM Studioとの接続 1. LM Studio側でAPIサーバーを起動 2. Open WebUIの管理画面で設定 ナレッジベースの作成 使ってみた所感 メリット デメリット ユースケースの考察 まとめ はじめに こんにちは、アプリケーションサービス本部デ

こんにちは。データエンジニアの田頭( @tagasyksk )です。 ファインディのデータ基盤は、CTO室データソリューションチームが事業部横断で開発・運用を担っています。事業の拡大に伴ってプロダクト数が急増し、当初採用していたデータメッシュのアーキテクチャでは管理コストの増大やサイロ化といった課題が顕在化してきました。 本記事では、Google Cloudプロジェクトの統合や共通化と分権のバランス再設計など、データ基盤をプラットフォームへと進化させている途上の取り組みについてご紹介します。まだ道半ばでは

本記事では、OpenFOAMを用いて都市水害シミュレーションを実際に実行する手順をご紹介します。 手順は基本的にUbuntu上で実行し、可視化部分のみWindowsで実行します。 なお、本シミュレーションはOpenFOAMの環境構築が完了していることを前提にしています。 環境構築手順については、「OpenFOAM環境構築手順」を参照してください。 想定読者 ・OpenFOAMでCFDシミュレーションを実行したい ・WSLの基本操作ができる ・Ubuntuの基本操作ができる ・Dockerの基本操作ができる

G-gen の佐々木です。当記事では、MacOS が搭載する Apple Silicon のような ARM64 ベースの環境でビルドしたコンテナイメージを Cloud Run にデプロイしたときに発生するエラーについて解説します。 事象 原因 対処法 docker コマンドを使用する方法 Cloud Build を使用する方法 事象 以下のように、ARM64 ベースの環境で docker build コマンドを使用して、アプリケーションをビルドします。 # アーキテクチャ確認 $ uname -m arm

ども！龍ちゃんです。 「Streamlit で Google 認証がめっちゃ簡単にできるようになったらしい」って聞いて、実際にやってみました。 結論から言うと、本当にシンプルでした。 secrets.toml に接続情報を書いて、あとは数行コードを書くだけで動きます。ただ、ハマりポイントもいくつかあったので、この記事では「ローカル環境で動くところまで」を体験ベースでお伝えしていきますね。 今回の内容です。 st.login() とは何か 認証フローの全体像 Google Cloud Console の設定

ソフトウェアの依存関係アップデートはRenovateにした理由 DBREグループで、DevSecOps担当を自称している栗原です。 タイトルの通り、ソフトウェア依存モジュールのアップデートにRenovateを採用しました。GitHub Dependabotと迷い続けましたが、この記事で紹介するDependabotにはない3つの利点が非常に魅力的だったため、Renovateを採用するにいたりました。Renovateを紹介している記事はよく見かけるので、あまり語られていないおすすめの実行方法についてと、私が惹

ども！最近Playwrightの話をいろんな文脈で聞くようになって、ちょっと混乱していた龍ちゃんです。 この記事を読むと: Playwright の3パッケージ（テストランナー / MCP / CLI）の使い分けがわかる コマンド3つで CLI が動くようになる chromium vs chrome のハマりポイントを踏まずに済む 「Playwright MCP」「Playwright CLI」「Playwright テスト」…全部Playwrightなんですけど、 それぞれ別パッケージで用途が違う んで

はじめに こんにちは。Insight Edgeでデータサイエンティストをしている善之です。 「研修で基礎は学んだけど、次は何を学べばいいんだろう…」 「話題の新しいライブラリが次々と出てくるけど、どれを学ぶべきかわからない」 こんな悩みを抱えていませんか？ 先日、 新人エンジニア・データサイエンティスト に向けた研修の一環として、 最新技術をどうやってキャッチアップし続けるか というテーマでレクチャーを行いました。 本記事では、その研修内容のエッセンスをご紹介します。 本記事は新人の方本人だけでなく、 後