「SQL」に関連する技術ブログ
企業やコミュニティが発信する「SQL」に関連する技術ブログの一覧です。
全661件中 16 - 30件目
Marketing Cloud: Integrating Journey in Automation Studio!?
2024/07/03
ブックマーク
Introduction Hello, Tech Blog readers. We have recently decided to implement Marketing Cloud and to use the " Norikae GO email delivery" in it, considering the creation of a Journey to trigger an automated process instead of sending individual emails. A Journey is a feature that automatically deploys multiple marketing strategies when a customer takes a specific action. For example, when a customer clicks on a specific link in an email, the relevant information is automatically deliver
Automating Python UDFs and Procedures Deployment in Snowflake via CLI
2024/07/03
ブックマーク
はじめに こんにちは！Finatextのソフトウェアエンジニアの和田と申します。Finatextグループ内のナウキャストで、データの開発基盤を作るチームに所属しています。 ナウキャストでは、データ基盤にSnowflakeを採用しています。 今回は2024年の2月にVersion2がリリースされ、Public PreviewとなったSnowflake CLIを使って構築した、Python UDFs・Stored Proceduresの自動デプロイの仕組みを紹
Optimizing Pipelines: Controlling Concurrency in Snowflake and dbt
2024/07/02
ブックマーク
Intro Hi, I’m Masa (Masa Fukui, LinkedIn ), and I work as a data engineer at Nowcast (a Finatext Group company), primarily working on data pipelines that process various types of data, including job advertisement data and credit card transaction data. Our data infrastructure is built on Snowflake, dbt, and Airflow. Here is a summary of this blog post: In Snowflake and dbt, while it is convenient to perform many operations in a single model/query using dbt macros, excessive use of macros migh
Snowflake x dbt: クエリの並行実行で直面した課題と並行数のコントロール
2024/07/02
ブックマーク
はじめに こんにちは！ Nowcast (株式会社ナウキャスト, Finatextグループ)でデータエンジニアをしているマサ(Masahiro Fukui, Linkedin )と申します。求人広告データやクレジットカードの決済データをはじめとする様々なデータを処理するパイプラインとデータプロダクトの開発に携わってきました。 HRog賃金Now : 求人広告から作成される募集賃金指数や求人数指数 JCB消費NOW : クレ
Dataform での Gemini によるコード生成機能を試してみました
2024/07/01
ブックマーク
はじめに こんにちは、クラウドエース データソリューション部の田中です。 クラウドエース データソリューション部 について クラウドエースの IT エンジニアリングを担う システム開発統括部 の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのが データソリューション部 です。 弊社では、新たに仲間に
Zabbix データベースモニタ設定方法
2024/07/01
ブックマーク
こんにちは、SCSK株式会社の小寺崇仁です。 今回は「データベースモニタ」について設定方法を紹介します。 データベースモニタとは Zabbixのアイテムタイプに「データベースモニタ」があります。 データベースモニタでは、ZabbixサーバにインストールしたODBCドライバを使用して、監視対象のデータベースに接続し、任意のSQLを発行することができます。 このブログでは
Cloud SQL for MySQLの不安定なインポートと戦う: 性能と安定性を求めて
2024/07/01
ブックマーク
データ推進室のsaka1です。 しばらく前に異動し、データ分析用の社内Webアプリケーションの開発・保守に携わっています。
PySparkを少し触ってみる
2024/06/27
ブックマーク
はじめに 会員システムグループのkiqkiqです。最近PySparkというライブラリを触ってみたので紹介したいと思います。 Apache Spark・PySparkとは PySparkは、Pythonを使ってApache Sparkを操作するためのライブラリです。そのApache Sparkというのは、オープンソースの大規模データ処理フレームワークで、高速で汎用的なデータ処理エンジンです。Sparkには主に４つの特徴があります。 分
BigQueryとLookerStudioのニッチな落とし穴についてまとめてみた
2024/06/27
ブックマーク
こんにちは、タイミーでデータアナリストをしている yuzuka です。 主にプロダクトの分析に携わっています。 ビジネス職からデータアナリストに転向して約1年経った私が、1年前の自分に教えてあげたい、BigQueryや LookerStudioに関する落とし穴を、いくつか挙げてみようと思います。 はじめに 弊社では、分析環境として BigQueryを採用しています。LookerStudioを使って、 BigQuery
CloudTrail Lake の自然言語クエリ生成で AWS CloudTrail のログ分析を簡素化 (プレビュー)
2024/06/25
ブックマーク
6月11日、 AWS CloudTrail Lake での生成人工知能 (生成 AI) を活用した自然言語クエリ生成のプレビュー版を発表できることを嬉しく思います。AWS CloudTrail Lake は、 AWS CloudTrail アクティビティログを取得、保存、アクセス、分析し、コンプライアンス、セキュリティ、運用上のニーズを満たすためのマネージドデータレイクです。CloudTrail Lake に保存されているこれらのアクティビ
dbt 1.8のUnit Tests 実施とその知見（時間ロックとSQLの分割について）
2024/06/25
ブックマーク
株式会社タイミーのkatsumiです！ dbtのバージョン1.8以上を利用することで、unit testsが利用可能になります。今までもSingular テスト（単一テスト）やGeneric テスト（汎用テスト）は可能でしたが、テストデータを利用した単体テストも行うことができます。 導入準備 dbt-coreの場合 dbt v1.8 以上を利用してください。 dbt-cloudの場合 2024/06/12時点では dbt「Keep on latest version」を選
dbt-snowflake で delete+insert の incremental model を実装する際には join の爆発に気をつけよう
2024/06/25
ブックマーク
Photo by Melanie Hughes on Unsplash はじめに こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん（X: @Kevinrobot34 ）です。Snowflake と dbt そして Terraform を使ってデータ分析基盤の構築をするとともに、POSデータのパイプラインの開発・運用を行っています。 POSデータの弊社のパイプラインは Snowflake と dbt で実装されているのですが、POSのトランザクシ
新卒向けMySQL研修で使ったSQLをLaravelのクエリビルダに変換する
2024/06/21
ブックマーク
こんにちは。sugoです。 今回は、Laravelクエリビルダの学習 第二弾となります。 前回はChatGPTにSQLを出してもらい、クエリビルダに変換し学習を行いました。 Laravelのクエリビルダの勉強をするために、ChatGPTを使って学習してみた より数をこなし、理解を深めるために、MySQLの新卒研修に使っているSQLをクエリビルダに変換してみました。 Laravelのクエリビルダの学習を行っ
【CSPM】Prisma Cloud と Security Hub の違いを解説
2024/06/21
ブックマーク
はじめに クラウドセキュリティは、多くの企業にとって必須の検討事項です。クラウドセキュリティを強化するため、CSPM（Cloud Security Posture Management）ツールの導入を検討すると、ツール選定が必要になります。ツール選定では多くの場合、自分のクラウド環境で提供されているCSPMツールを始めとして、サードパーティーのCSPMツールなどと比較・評価を行いますが、比較
Amazon RDS for SQL Server で透過的に暗号化されたデータベースのアカウント間でのバックアップおよびリストア
2024/06/20
ブックマーク
Amazon Relational Database Service (Amazon RDS) for SQL Server は、 Microsoft SQL Server データベースの運用と管理を簡素化する AWS マネージドデータベースサービスです。Amazon RDS for SQL Server は、SQL Server データベースのプロビジョニング、管理、モニタリングを行うことで価値をもたらします。このような運用上の俊敏性は価値がありますが、データベースを物理データセンターの外部に移