「SQL」に関連する技術ブログ
企業やコミュニティが発信する「SQL」に関連する技術ブログの一覧です。
全539件中 106 - 120件目
【書き起こし】BigQueryのコンピューティングリソース管理の取り組み – Go Kojima【Merpay & Mercoin Tech Fest 2023】
2023/10/23
ブックマーク
Merpay & Mercoin Tech Fest 2023 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2023年8月22日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「 BigQueryのコンピューティングリソース管理の取
【書き起こし】GoによるSQLクエリテストの取り組み – Yuki Mukasa【Merpay & Mercoin Tech Fest 2023】
2023/10/23
ブックマーク
Merpay & Mercoin Tech Fest 2023 は、事業との関わりから技術への興味を深め、プロダクトやサービスを支えるエンジニアリングを知ることができるお祭りで、2023年8月22日（火）からの3日間、開催しました。セッションでは、事業を支える組織・技術・課題などへの試行錯誤やアプローチを紹介していきました。 この記事は、「 GoによるSQLクエリテストの取り組み 」の書き起
BigQueryのARRAYとSTRUCTを理解して使いこなす
2023/10/23
ブックマーク
G-gen の杉村です。BigQuery は通常の RDBMS と異なり分析用データベースであることから、非正規化したテーブルを扱うことが多くなります。そのための独特のデータ型として、ARRAY (配列) と STRUCT (構造体) があります。これらについて解説します。 概要 ARRAY (配列) ARRAY とは サンプルテーブル SELECT SELECT 〜 WHERE SELECT 〜 CROSS JOIN SELECT (SELECT ~ UNNEST) CREATE TABLE / INSERT 制限 STRUCT (構
新登場 – 第 7 世代メモリ最適化 Amazon EC2 インスタンス (R7i)
2023/10/21
ブックマーク
AWS は10月15日、 汎用 Amazon EC2 M7i インスタンス と コンピューティング最適化 Amazon EC2 C7i インスタンス の 2 つの Amazon Elastic Compute Cloud (Amazon EC2) インスタンスをラインアップに導入しました。 今日は、メモリ最適化 Amazon EC2 R7i インスタンスを追加するために x86 ベースの第 7 世代製品が拡大されることをお知らせしたいと思います。これらのインスタンスには、AWS 限定のカ
アプリケーション開発者のための PostgreSQL アーキテクチャに関する検討: パート 1
2023/10/19
ブックマーク
アプリケーション層は多くのクラウドアーキテクチャで世界中がアクセスする部分ですが、使用しているデータベースに合わせてアプリケーションを最適化する方法を検討することはほとんどないようです。リレーショナルデータベースエンジンを使用するときは、スキーマの設計だけでなく、アプリケーションが管理可能で、スケーラブルで、パフォーマンスが高いこ
SCSK マルチデータベース パフォーマンスチューニングサービス リリースのお知らせ
2023/10/16
ブックマーク
こんにちは。SCSKの丸山です。 本日は、データベースの性能問題にお悩みの方必見！の新サービスのご紹介です。 マルチデータベース パフォーマンスチューニングサービス｜SCSK株式会社 データベースの性能にお困りの方に、複数のDBに精通するエンジ
BigQuery DataFramesを徹底解説
2023/10/16
ブックマーク
G-gen 又吉です。当記事では、Google Cloud Next '23 で発表された BigQuery DataFrames を解説します。BigQuery 上のデータを、pandas ライクな、また scikit-learn ライクなインターフェイスで操作できるライブラリです。 BigQuery DataFrames 概要 bigframes.pandas 概要 仕組み bigframes.ml 概要 自動前処理 概要 特徴の自動変換 欠損データの補完 制限事項 使ってみる やること 環境構築 初期設定 パッケ
【第6回】Ethereumデータ分析演習2
2023/10/11
ブックマーク
本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 第6回の今回は、引き続きオンチェーンデータのオンライン分析サービスのDune（ https://dune.com/ ）を用いて、Ethereumを対象としたデータ分析の演習を始めていきます。 Raw Blockchain Dataの確認 Duneの提供するデータテーブルには
Looker StudioでGA4データを可視化したらBigQuery課金がスパイクした件
2023/10/11
ブックマーク
G-gen のタナです。Google Cloud (旧称 GCP) で、BigQuery へエクスポートした Google Analytics 4 (GA4) のデータを Looker Studio レポートのデータソースとして使用した際に、BigQuery の料金がスパイク (想定以上に膨らむこと) してしまいました。同じ問題に直面した方のために、私の経験と解決策を共有します。 やりたかったこと 事象 原因 1. BigQuery のキャッシュが効かなかった 症状 仕様
GoでSQLの複雑なクエリのテストを書いてみた
2023/10/10
ブックマーク
はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの佐野です。普段はサーバーサイドエンジニアとして、FAANSのバックエンドシステムを開発しています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗で働くショップスタッフの販売サポートツールです。例えば、コーディネート投稿機能や成果確認機能などを備えています
Looker StudioレポートごとのBigQueryクエリ課金額を調べる方法
2023/10/10
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) の BigQuery と BI ツールである Looker Studio のネイティブ統合機能である BigQuery native integration in Looker Studio が2023年10月2日に Private Preview (申込制) で公開されたため、その機能を活用して Looker Studio レポートごとの BigQuery 課金額を調査してみました。 はじめに やること 調査方法 留意事項 情報取得方法を理解する INFORMATION_SCHEMA.JOBS の構造
Generative BI ダッシュボード作成機能が Amazon QuickSight Q のお客様向けにプレビュー版でご利用可能になりました
2023/10/06
ブックマーク
2023 年 10 月 6 日現在、今回ご紹介する機能は、英語が標準言語となっております。 Amazon QuickSight のお客様は、 Amazon QuickSight Q の自然言語インターフェイスを使用して、ビジュアルの作成、計算の構築、およびビジュアルの改良を行う Generative Business Intelligence (BI) 機能をプレビューでお試し頂けるようになりました。たとえば、Q に “show me count of orders in 2023 by city as a map”
Amazon QuickSight データセットパラメータを使用したクエリの最適化
2023/10/04
ブックマーク
Amazon QuickSight はハイパースケールの統合ビジネスインテリジェンス ( BI ) でデータ主導型組織を強化します。QuickSight を使用すると、すべてのユーザーが同じ情報源を共有し、インタラクティブダッシュボード、ページ分割レポート、埋め込み分析、自然言語クエリを通じて、さまざまな分析ニーズに対応できます。 データセットパラメータ は、ダッシュボードでインタ
時系列データの価値を引き出す Amazon Timestream データモデリングのベストプラクティス
2023/10/02
ブックマーク
Amazon Timestream は高速でスケーラブルなサーバレスの時系列データベースサービスで、1 日に数兆件のイベントの保存や分析が簡単に実現出来ます。Timestream は自動的にスケールアップ、スケールダウンを行い容量とパフォーマンスを調整する為、基盤となるインフラストラクチャを管理する必要がありません。時系列データの管理に関しては、従来のリレーショナルデータ
AWS Weekly Roundup: C7i インスタンス、Amazon Bedrock のナレッジベースなど (2023 年 9 月 18 日)
2023/09/29
ブックマーク
日が暮れるのが早くなってきた今日この頃ですが、コンピューティングとメモリに最適化された 2 つの新しい EC2 インスタンスタイプと、他のサービス向けの多くの新機能が導入されました。9月11日週、ミュンヘンで EMEA AWS Heroes Summit も開催され、インサイトと情熱に満ちた素晴らしい一日になりました。参加者の素敵な写真をご覧ください。 9月11日週のリリース 9月11日