「SQL」に関連する技術ブログ
企業やコミュニティが発信する「SQL」に関連する技術ブログの一覧です。
全822件中 331 - 345件目
アプリケーション開発者のための PostgreSQL アーキテクチャに関する検討: パート 1
2023/10/19
ブックマーク
アプリケーション層は多くのクラウドアーキテクチャで世界中がアクセスする部分ですが、使用しているデータベースに合わせてアプリケーションを最適化する方法を検討することはほとんどないようです。リレーショナルデータベースエンジンを使用するときは、スキーマの設計だけでなく、アプリケーションが管理可能で、スケーラブルで、パフォーマンスが高いこ
SCSK マルチデータベース パフォーマンスチューニングサービス リリースのお知らせ
2023/10/16
ブックマーク
こんにちは。SCSKの丸山です。 本日は、データベースの性能問題にお悩みの方必見！の新サービスのご紹介です。 マルチデータベース パフォーマンスチューニングサービス｜SCSK株式会社 データベースの性能にお困りの方に、複数のDBに精通するエンジ
BigQuery DataFramesを徹底解説
2023/10/16
ブックマーク
G-gen 又吉です。当記事では、Google Cloud Next '23 で発表された BigQuery DataFrames を解説します。BigQuery 上のデータを、pandas ライクな、また scikit-learn ライクなインターフェイスで操作できるライブラリです。 BigQuery DataFrames 概要 bigframes.pandas 概要 仕組み bigframes.ml 概要 自動前処理 概要 特徴の自動変換 欠損データの補完 制限事項 使ってみる やること 環境構築 初期設定 パッケ
【第6回】Ethereumデータ分析演習2
2023/10/11
ブックマーク
本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 第6回の今回は、引き続きオンチェーンデータのオンライン分析サービスのDune（ https://dune.com/ ）を用いて、Ethereumを対象としたデータ分析の演習を始めていきます。 Raw Blockchain Dataの確認 Duneの提供するデータテーブルには
Looker StudioでGA4データを可視化したらBigQuery課金がスパイクした件
2023/10/11
ブックマーク
G-gen のタナです。Google Cloud (旧称 GCP) で、BigQuery へエクスポートした Google Analytics 4 (GA4) のデータを Looker Studio レポートのデータソースとして使用した際に、BigQuery の料金がスパイク (想定以上に膨らむこと) してしまいました。同じ問題に直面した方のために、私の経験と解決策を共有します。 やりたかったこと 事象 原因 1. BigQuery のキャッシュが効かなかった 症状 仕様
GoでSQLの複雑なクエリのテストを書いてみた
2023/10/10
ブックマーク
はじめに こんにちは。ブランドソリューション開発本部FAANSバックエンドブロックの佐野です。普段はサーバーサイドエンジニアとして、FAANSのバックエンドシステムを開発しています。 FAANSとは、弊社が2022年8月に正式ローンチした、アパレル店舗で働くショップスタッフの販売サポートツールです。例えば、コーディネート投稿機能や成果確認機能などを備えています
Looker StudioレポートごとのBigQueryクエリ課金額を調べる方法
2023/10/10
ブックマーク
G-gen の杉村です。Google Cloud (旧称 GCP) の BigQuery と BI ツールである Looker Studio のネイティブ統合機能である BigQuery native integration in Looker Studio が2023年10月2日に Private Preview (申込制) で公開されたため、その機能を活用して Looker Studio レポートごとの BigQuery 課金額を調査してみました。 はじめに やること 調査方法 留意事項 情報取得方法を理解する INFORMATION_SCHEMA.JOBS の構造
Generative BI ダッシュボード作成機能が Amazon QuickSight Q のお客様向けにプレビュー版でご利用可能になりました
2023/10/06
ブックマーク
2023 年 10 月 6 日現在、今回ご紹介する機能は、英語が標準言語となっております。 Amazon QuickSight のお客様は、 Amazon QuickSight Q の自然言語インターフェイスを使用して、ビジュアルの作成、計算の構築、およびビジュアルの改良を行う Generative Business Intelligence (BI) 機能をプレビューでお試し頂けるようになりました。たとえば、Q に “show me count of orders in 2023 by city as a map”
Amazon QuickSight データセットパラメータを使用したクエリの最適化
2023/10/04
ブックマーク
Amazon QuickSight はハイパースケールの統合ビジネスインテリジェンス ( BI ) でデータ主導型組織を強化します。QuickSight を使用すると、すべてのユーザーが同じ情報源を共有し、インタラクティブダッシュボード、ページ分割レポート、埋め込み分析、自然言語クエリを通じて、さまざまな分析ニーズに対応できます。 データセットパラメータ は、ダッシュボードでインタ
時系列データの価値を引き出す Amazon Timestream データモデリングのベストプラクティス
2023/10/02
ブックマーク
Amazon Timestream は高速でスケーラブルなサーバレスの時系列データベースサービスで、1 日に数兆件のイベントの保存や分析が簡単に実現出来ます。Timestream は自動的にスケールアップ、スケールダウンを行い容量とパフォーマンスを調整する為、基盤となるインフラストラクチャを管理する必要がありません。時系列データの管理に関しては、従来のリレーショナルデータ
AWS Weekly Roundup: C7i インスタンス、Amazon Bedrock のナレッジベースなど (2023 年 9 月 18 日)
2023/09/29
ブックマーク
日が暮れるのが早くなってきた今日この頃ですが、コンピューティングとメモリに最適化された 2 つの新しい EC2 インスタンスタイプと、他のサービス向けの多くの新機能が導入されました。9月11日週、ミュンヘンで EMEA AWS Heroes Summit も開催され、インサイトと情熱に満ちた素晴らしい一日になりました。参加者の素敵な写真をご覧ください。 9月11日週のリリース 9月11日
【Oracle to MySQL】異種DB移行の壁を乗り越える！③性能の壁編
2023/09/29
ブックマーク
こんにちは、丸山です。 前回に続き、Oracle DBからMySQLへの異種DB移行に関する事例を紹介します。 本日は、③性能の壁です。 【Oracle to MySQL】異種DB移行の壁を乗り越える！①変換の壁、②仕様の壁編 Oracle からMySQLへの変換について実際の事例の中から紹介します。 blog.usize-tech.com 2023.09.28 ③性能の壁 <VIEWのTEMPTABLEアルゴリズム> 同じRDBMSでも、オプティマイザはそれ
BigQuery クエリ性能改善: BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみた
2023/09/29
ブックマーク
こんにちは、クラウドエース Data/ML ディビジョン所属の田中です。 2023 年 7 月 17 日に、BigQuery の主キーと外部キーが Generally Available になりました。(リリースノート) しかし、BigQuery の主キーと外部キーの仕様についてはあまり詳しく記載されていなかったので、いくつか検証してみました。 各検証は別記事に記載し、本記事ではまとめのみ記載しています。 以降、主キ
BigQuery クエリ性能改善: Primary key に NULL が含まれるときの確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Primary key に NULL が含まれているとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 no
BigQuery クエリ性能改善: Primary key と Foreign key をテーブル作成後に設定したときの確認
2023/09/29
ブックマーク
本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、テーブルを作成した後に Primary key と Foreign key を設定し、既存テーブルも PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 2 つのテーブルを用意