はじめに こんにちは。メルペイ Solutionsチーム所属のデータエンジニア @orfeon です。 この記事は、 Merpay & Mercoin Tech Openness Month 2025 の15日目の記事です。 2020年にデータパイプラインをJSONで定義して実行することができるツールとしてmercari/DataflowTemplateを開発して OSSとして公開 しました。 最近このツールに大幅な機能追加を行い、 mercari/pipeline と名前を変更してv1.0.0(

はじめに 2025年6月2日~6月5日で開催されたSnowflake Summit 2025において、ワクワクする新機能が多数発表されました。 その中で発表されたCortex AISQLにおけるAI_FILTERが、手間暇かかる加工を省略できデータ活用のハードルを下げてくれるような機能と感じたため、早速試してみたいと思います！ ! 紹介する機能は、執筆時点（2025年6月）でPublic Preview機能になります。 お試しに使うデータ AI_FILTERを試すにあたって、回線のマスタと回線の障害報告を

本記事は、2024 年 10 月 2 日に AWS Machine Learning Blog で公開された Achieve operational excellence with well-architected generative AI solutions using Amazon Bedrock を翻訳したものです。 大規模な企業は、組織全体で 生成 AI の力を活用するための戦略を策定しています。しかし、生成 AI の規模を拡大し、異なる事業部門 (LOB) での導入を容易にするには、データのプ

はじめに Databricksビジネス推進室の井能です。現在サンフランシスコで現地参加しているDatabricksの年次カンファレンス『Data+AI Summit 2025』にて、フルマネージドのPostgresデータベースをホストする機能である『Lakebase』が発表されました。 https://www.databricks.com/product/lakebase https://www.databricks.com/blog/what-is-a-lakebase 2025年3月にはサーバレスPo

はじめに こんにちは、クラウドエースのベアです。 今回は Application Integration を使用して FTP サーバーから CSV ファイルをダウンロードし、Cloud Storage を経由して BigQuery に格納するデータ連携を行いたいと思います。 Application Integration について Application Integration とは、Google Cloud が提供する iPaaS (Integration Platform as a Service)

はじめに Snowflake Summit 2025の2日目に開催された「Platform Keynote」の模様を、会場の熱気とともにレポートします！ Platform Keynote では、Snowflake の共同創業者であり President of Product（製品担当社長）でもある Benoit Dageville（ベノア）、そして Executive Vice President of Product（製品担当副社長）である Christian Kleinerman（クリスチャン）をはじ

概要 ベクトル検索データベースを利用するにあたり、 PostgreSQL + pgvector は有力な選択肢の1つに挙げられると思います。 pgvectorがサポートするインデックスアルゴリズムは一般的で信頼性の高いものですが、近似最近傍探索アルゴリズムは近年でも新しい手法の提案が頻繁に行われている分野であり、そういった新手法をPostgreSQL向けに実装した野心的な拡張機能も存在します。 本稿は、新しいベクトル検索用拡張のひとつである VectorChord の紹介と、簡単な性能検証を試みるものです

はじめに いよいよ Snowflake Summit 25 が開幕となりました！今年のサミットのテーマは「BUILD THE FUTURE OF AI AND APPS」です。開催地は昨年同様、サンフランシスコ・モスコーンセンターですが、その規模は昨年を大きく上回るものとなっていました。 サミットホームページより（https://www.snowflake.com/en/summit/ ) 会場のメインエントランス LOBBY という、最も目につきやすい場所にもでかでかとそのテーマが掲げられています。 S

ELT/ELT製品の変遷 我々のチームでは、長年、データの近くで仕事をしており、Apache NiFiを含めて、多くの製品を評価、導入してきました。もともと、ETL/ELTを実現する製品群は、アダプタの数や種類で、製品の差がある程度決まっていました。そのため、各社競い合って、サポートするアダプタを増やしていました。その後、データマネジメント全般に関する機能（MDM、HUB、Quality、Catalog）といった機能を提供する製品が生まれ、同時に今度はクラウドサービスへの対応や、iPaaSのようなサービス

はじめに dbt Cloudのローコード開発機能「dbt Canvas」（旧名称「dbt Visual Editor」）がついに正式リリース（GA）されました。 dbt Canvasはコード管理の利点を保持しつつ、ローコードでの開発を可能にする機能です。 この機能により、従来はコードに詳しいユーザ向けだったdbtの「アナリティクスエンジニアリング」が、より多くのユーザに展開され、データ民主化が加速することが期待されます。 （dbtを活用した現代のデータ民主化実現に重要な取り組みはこちらで紹介していますので

はじめに SnowflakeにはAI & ML機能の一つとしてDocument AIというサービスがあります。 ざっくり言えば、「PDFなどの非構造データから任意のデータを抽出できる」という機能です。 しかし、2025年5月時点では 日本語は正式にサポートされていないため、以下の注意書きされています。 『満足のいく結果が得られない可能性があります』 そこで、日本語環境における Document AIの性能を評価するために、同じフォーマットの履歴書を用いて英語版と日本語版のPDFを比較検証してみまし

こんにちは。CINO(Chief Innovation Officer)の森です。 ここ最近、機動戦士Gundam GQuuuuuuX(ジークアクス)に始まり、SDガンダム ジージェネレーション エターナルがリリースされたことで、 久しぶりに濃密にガンダムに触れています。 ガンダムの影響を強く受け過ぎてしまっているため、本記事では、やや小難しい言い回しが増えていることご了承ください。 ※ブログタイトルは、ジークアクスの STORY冒頭 から取っています。アイキャッチ画像は例の"キラキラ"です。 目次 はじ

みなさん、こんにちは。ソリューションアーキテクトの深見です。OpenSearch Magazine の第 2 号をお届けいたします。本号では Amazon OpenSearch Service の最近のアップデート情報と、先日リリースされました OpenSearch 3.0 をはじめ OSS の OpenSearch Project にまつわるアップデートからピックアップしてご紹介します。また Hot Topic として OpenSearch のクエリを最適化する手助けになる機能の１つである Query

こんにちは。サイオステクノロジーの久保です。 突然ですが、ご自身のウェブサイトが現在どのような状況にあるのか、把握できていますか？ どのページがよく閲覧されているのか、どこから訪問者が来ているのか、どのようなユーザーが関心を寄せているのか…。 これらを明らかにするのが「 アクセス解析 」です。 アクセス解析とは、ウェブサイトを訪れたユーザーの行動データを収集・分析することで、現状の把握や課題の発見、改善のための手がかりを得るための手法です。 アクセス解析でわかること たとえば、アクセス解析を行うことで、以

SnowflakeのMFA必須化とは 2024年12月2日のSnowflake社の公式BLOGから、「Snowflake、2025年11月までに単一要素パスワード認証をブロックする」というリリースがされ、皆さん対応を始めているのではないでしょうか？ https://www.snowflake.com/ja/blog/blocking-single-factor-password-authentification/ 上記BLOGの中には、「パスキーや認証アプリなどの時間ベースのワンタイムパスワード（TOTP