はじめに dbt Cloudのローコード開発機能「dbt Canvas」（旧名称「dbt Visual Editor」）がついに正式リリース（GA）されました。 dbt Canvasはコード管理の利点を保持しつつ、ローコードでの開発を可能にする機能です。 この機能により、従来はコードに詳しいユーザ向けだったdbtの「アナリティクスエンジニアリング」が、より多くのユーザに展開され、データ民主化が加速することが期待されます。 （dbtを活用した現代のデータ民主化実現に重要な取り組みはこちらで紹介していますので

はじめに SnowflakeにはAI & ML機能の一つとしてDocument AIというサービスがあります。 ざっくり言えば、「PDFなどの非構造データから任意のデータを抽出できる」という機能です。 しかし、2025年5月時点では 日本語は正式にサポートされていないため、以下の注意書きされています。 『満足のいく結果が得られない可能性があります』 そこで、日本語環境における Document AIの性能を評価するために、同じフォーマットの履歴書を用いて英語版と日本語版のPDFを比較検証してみまし

本稿は、JFE 条鋼株式会社による AWS 移行の取り組みについて、主導された JFE 条鋼株式会社 神庭 公一様、JFE システムズ株式会社 齋藤 誠様、株式会社エクサ 中西 広行様より寄稿いただきました。 はじめに JFE 条鋼株式会社 (以下、JFE 条鋼) は、鉄鋼製品の中でも主に形鋼と鉄筋棒鋼を製造、販売する電炉メーカーです。電気炉を使用して鉄スクラップを主原料とした製品を製造する電炉業界は、資源リサイクルの担い手として持続可能な循環型社会に貢献する重要な役割を担っています。同社は、この精錬技術

こんにちは。 エンタープライズ 第三本部 マーケティング IT部の熊倉です。 このブログでは、 高速に動作する分散処理エンジン「 Apache Spark」 と オープンテーブルフォーマット「Delta Lake」 を基盤としたレイクハウス環境を構築できるDatabricks上で管理しているデー タセット に対して、 名寄せ 処理を行うアプローチについて紹介します。 実際のノートブックの処理についても紹介しようと思っていますが、想定よりも内容が多くなってしまったので、 名寄せ の概要を紹介する「概要編」、

みなさん、こんにちは。ソリューションアーキテクトの深見です。OpenSearch Magazine の第 2 号をお届けいたします。本号では Amazon OpenSearch Service の最近のアップデート情報と、先日リリースされました OpenSearch 3.0 をはじめ OSS の OpenSearch Project にまつわるアップデートからピックアップしてご紹介します。また Hot Topic として OpenSearch のクエリを最適化する手助けになる機能の１つである Query

本記事は、2024 年 12 月 4 日に公開された Build generative AI applications quickly with Amazon Bedrock in SageMaker Unified Studio を翻訳したものです。翻訳は Solutions Architect の 濱野谷(yoshiehm@) が担当しました。 生成 AI アプリケーションの構築は、組織にとって大きな課題となっています。専門的な ML の知識、複雑なインフラストラクチャ管理、そして複数のサービスの適切

SnowflakeのMFA必須化とは 2024年12月2日のSnowflake社の公式BLOGから、「Snowflake、2025年11月までに単一要素パスワード認証をブロックする」というリリースがされ、皆さん対応を始めているのではないでしょうか？ https://www.snowflake.com/ja/blog/blocking-single-factor-password-authentification/ 上記BLOGの中には、「パスキーや認証アプリなどの時間ベースのワンタイムパスワード（TOTP

LINEヤフー株式会社では、技術に関するイベントや勉強会の主催・協賛などを行っています。最新情報は各リンク先でご確認ください。タイミングによっては、申し込み開始前や既に満席となっていることがあります。...

今日のビジネス環境は変化が激しく、競争力を維持するためにはデータ活用が不可欠となっています。しかし、「データ活用」と一口に言っても、実際に推進するには様々な課題が存在するのが現場の実情です。本ブログでは、なぜ今データ活用が重要なのか、その推進を支えるデータ基盤とは何か、そしてデータをより効果的に活用するためのデータモデリングについて解説します。 なぜ今、データ活用が重要なのか？ データ活用の重要性が高まっている背景には、大きく分けて ２つの時代の潮流 があります。１つは ITの技術革新 で、AIやLLM（

はじめに いよいよ、6月2日〜5日に Snowflake Summit 2025 が開催されます！今年のサミットもデータ基盤、AI、アプリなどの様々な領域でのアップデートが予想されています。 といっても、最近の Snowflake はただでさえアップデートが多く、もう何が何だか分からん！といった方もいらっしゃるのではないでしょうか？ そこで今回は、私の専門領域であるAIとアプリにテーマを絞って2年間のアップデートの履歴を振り返ってみようと思います。（なぜ2年間だけ？と思ったそこの貴方、ぜひ記事を読み進めて

こんにちは、Data Groupでインターンをしていた柳です。 2023年12月から2025年3月まで、Luupでデータサイエンティスト/アナリストとして活動していました。 今回は、インターンで実際に取り組んだ業務内容を交えながら、その経験を振り返ります！ Luupインターンに興味を持った理由 Luupのインターンに興味を持った理由は大きく2つあります。 1つ目は、「専門分野を活かせる場面が多いこと」です。 私は大学および大学院で機械学習および数理最適化を学び、研究室ではシェアモビリティの再配置（※需要と

みなさんこんにちは。ソリューションアーキテクトの中島です。 本記事では 2025/04/17 に開催された 小売・消費財のお客様向けのデータ分析基盤イベント の様子を皆様にお伝えさせていただきます。 イベントの目的 本イベントは「データ分析を始めたいが、まず何から始めたらいいのか分からない。」「データ分析業務を進めているが技術だけでなくさまざまな障壁があり苦労している。」というお客様の声にお応えすべく企画されました。 そのため、以下 2 つを主題としてイベントを実施しました。 先行企業の経験からデータ活用

はじめに こんにちは、スタンバイでプロダクト企画をしている荒巻です。 スタンバイでは、日々サービスを改善するために様々な技術的挑戦をしています。今回はその中でも、求人データ保管・配信システムの刷新プロジェクトに伴って発生した大きな課題に対し、課題分析から要件定義、そして生成AIの力を借りて「自分で作ってみよう！」と思い立ち、社内ツール開発に至った経緯とそのプロセスをご紹介します。 開発したのは「SQL Converter」という、既存のSQLクエリを新しいデータ構造に合わせて自動変換するツールです。最大で

この投稿は、「 Accelerating generator interconnection study with serverless workflow and elastic HPC 」を翻訳したものになります。 コスト削減と脱炭素化の取り組みに後押しされたクリーンエネルギーの急速な成長は、 既存の電力系統インフラに大きな負担をかけています 。太陽光、風力、その他の分散型エネルギーリソースの系統接続要請が増加するにつれ、発電設備の系統接続プロセスはますます複雑化し、課題が山積しています。時代遅れの系統

1. はじめに こんにちは。株式会社ペライチ インフラチームの澤居です。今日は「見えないものがいちばん不安という話」というお話をさせてもらいます。 2. Redshift 導入 ペライチでは目下モノリスからマイクロサービスへ移行を進めていますが、プログラムと同時にデータベースが切り離されることで横断的にデータを集約・参照できる基盤が必要とされています。各 RDS (MySQL) から DMS を使って別途集約用の RDS (MySQL) へ統合する仕組みは既にあるのですが、DMSの使い方としては推奨されて