「SQL」に関連する技術ブログ
企業やコミュニティが発信する「SQL」に関連する技術ブログの一覧です。
全823件中 391 - 405件目
【第4回】ビッグデータ分析のためのSQL基礎
2023/08/16
ブックマーク
本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 第4回となる今回は、オンチェーンデータ分析の手法としてSQLを用いることのメリットについて、SQLの背景にある概念や歴史などを交えながら解説していきます。 データ分析のためのSQL SQLとは、もともとリレーショナルデ
Amazon CloudWatch Metrics Insights アラームによるアラームライフサイクルの最適化
2023/08/10
ブックマーク
動的に変化するリソース群全体を、簡単に監視しアラームを設定するのに苦労していませんか？ 利用料がかかっている不要な大量のアラームが存在し、把握できなくなっていませんか？増減するリソースに合わせて、自動的に調整されるアラームを簡単に作成する方法を探してますか？ このブログでは、使用されなくなった AWS リソースにアラームが発生するリスクや新
Cloud WorkflowsとDataformを用いたデータ分析パイプラインを構築してみた
2023/07/24
ブックマーク
G-gen 又吉です。当記事では、Cloud Workflows と Dataform を用いてデータ分析パイプラインを構築してみたいと思います。 前提知識 Cloud Workflows Dataform ETL と ELT 概要 今回の構成 Cloud Workflows のスコープ Dataform のスコープ 準備 ディレクトリ構造 main.tf gcf_source_code/etl_raw_data main.py requirements.txt gcf_source_code/etl_weather_data main.py requirements.txt source_data 実行 Terraform 実行 Dataform の設定 概要
dbtとSnowflakeを使ってるなら迷わずにdbt-snowflake-monitoringを入れたほうがよさそう🉐
2023/07/21
ブックマーク
はじめに こんにちは〜。 クラシルでデータエンジニアをしておりますharry( @gappy50 )です。 これまで、クラシルではデータ基盤からのデータをアプリケーションや推薦システムへ活用するためにDWHにSnowflakeを導入し、様々な活用をしてきました。 tech.dely.jp その一方で、データ「分析」基盤としての利用を推し進めていくために現在はdbtでのデータモデリングを中心として
OWASP ZAP VS. Badstore！脆弱性診断について勉強してみた！！
2023/07/21
ブックマーク
こんにちは。QAエンジニアのTWです。 普段はソフトウェアのシステムテストを行っています。脆弱性診断について業務で触れる機会があり、脆弱性診断に興味を持ちました。この記事では自分で勉強した内容を共有したいと思います。簡単な内容ですが参考になればと思います。 ※本記事の内容は以下の書籍を参考にしています Webセキュリティ担当者のための脆弱性診断
Vertex AI Pipelinesを効率的に開発するための取り組み
2023/07/21
ブックマーク
こんにちは、タイミーのデータ統括部データサイエンス（以下DS）グループ所属の小関です。 今回はDSグループがMLパイプライン構築時に活用しているVertex AI Pipelinesを効率的に開発するための取り組みを紹介したいと思います！ Vertex AI Pipelinesとは Vertex AI Pipelines とは、 Google Cloudが提供しているMLパイプラインをサーバーレスに構築・実行できるサービスです。 Vertex AI Pipel
Kotlin / Ktorで作るクラウドネイティブなマイクロサービス(オブザーバビリティ編)
2023/07/14
ブックマーク
Kotlin / Ktorで作るクラウドネイティブなマイクロサービス(オブザーバビリティ編) こんにちは。Woven Payment Solution開発グループの楢崎と申します。 我々は、 Woven by Toyota で Toyota Woven City で利用される決済基盤のバックエンド開発に携わっており、 Ktor というKotlin製のWebフレームワークを用いて開発しています。 これらのバックエンドアプリケーションは、Woven Cityで利用され
dbtプロジェクトにSQLFluffを導入する
2023/07/14
ブックマーク
はじめに SQLFluffとは？ 導入の背景 SQLFluffの導入 SQLFluffをインストールする SQLFluffを試してみる .sqlfluffを作成する dbt templaterをインストールする SQLFluffの使用 CLIでの使用 dbt Cloud IDEでの使用 さいごに はじめに こんにちは、データエンジニアの加藤です。 クラシルのデータ基盤ではdbt(data build tool)を使ってデータを変換しデータウエアハウス・データマートを構築していま
BigQueryのテーブル変更回数の制限対象から、DMLを使用した変更が対象外となりました
2023/07/14
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の後藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調
【第3回】イーサリアムの仕組み
2023/07/12
ブックマーク
本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 第3回となる今回は、暗号資産（仮想通貨）のなかでビットコインに続き第2位の時価総額 （※1） を維持しているイーサリアム （※2） について解説し、ブロックチェーンの仕組みについての理解を深めます。 ※1 CoinMarket
[検証] BigQueryテーブルに対して、data profilingとAutoDQのそれぞれのスキャンを使ってみた
2023/07/11
ブックマーク
こんにちは、クラウドエース データML ディビジョン所属のZUMA SEAです。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、
BigQuery のパーティショニングとクラスタリングの Recommender がプレビューになりました
2023/07/10
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の小林です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを
マルチソースレプリケーションでDBインスタンスを統合する
2023/07/04
ブックマーク
皆さん、こんにちは！新卒3年目のオバカムと言います。 普段はクラウドを利用してソーシャルゲームのインフラを構築・管理しています。 さて、データベースの運用をしていると、データベースの統合をしたくなる時ってありませんか？ データベースの統合といってもいくつか種類がありますが、今回はMySQLデータベースをホスティングしているサーバの統合について
ElastiCache for Redisハンズオンを通して実感できたことを書き綴る
2023/06/30
ブックマーク
ハンズオン概要 環境 ハンズオン手順について 実感できたこと①：実行SQLをキーに指定してキャッシュデータを格納できる。 実感できたこと②：クラスターモード有効ElastiCacheのノードへのアクセス方法 前提1：ElastiCache for Redisの構成要素 前提2：クラスターモードとは クラスターモード有効化状態のノードへのアクセス方法 ソースコードをクラスターモード有効に対応
メドレーの開発組織をリードするグループマネージャについて語ってもらいました
2023/06/30
ブックマーク
はじめに みなさん、こんにちは。エンジニアの新居です。 今回のインタビューは前回の CTO へのインタビュー に続いて、メドレーの開発組織についてご紹介していきたいと思います。 メドレーでは開発組織をリードするロールとして、CTO の他、「グループマネージャ」(以下、GM)という役職があります。今回は医療プラットフォーム(以下、医療 PF)における開発グループ