本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key で GROUP BY した後、この Foreign key と Primary key で結合したときでも、正しい結果になるのか・PK / FKの効果を受けることができるのか確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 ここでは、Foreign key が Primary key に無い値を含むとき、正しい結果になるのか・PK / FK の効果を受けることができるのかを確認します。 1. データセット・テーブルの準備 BigQuery public datasets の wikipedia テーブルから、以下 4 つのテーブルを用意します。 normal1 normal2 pk1 fk1 norm

本記事は、BigQuery の主キーと外部キーにより、クエリの性能改善が得られるかどうか検証してみたの検証の一部になります。 BigQuery テーブルに Foreign key を設定する場合、 CREATE TABLE ステートメント、追加する場合は ALTER TABLE ADD FOREIGN KEY ステートメントを使用すれば良いことは、比較的容易にわかります。 ただ、削除と変更方法は少しづらかったので、実際に試して確認してみます。 1. データセット・テーブルの準備 以下 2 つのテーブルを作

はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています

要約 Analytics Hub でリンクされたデータセットでルーティンの使用がサポートになった。 実際に使ってみた。 考えられるユースケース 1. はじめに こんにちは、クラウドエース データML ディビジョン所属の泉澤です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリ

はじめに

エンタープライズストラテジストである私は、マルチクラウドのトピックが、混乱、誤った確信、暫定性をはらんだ多くの議論の中で取り上げられていることに気づいています。企業は、マルチクラウドアプローチを決して採用しないようにというメッセージや、「どの企業もマルチクラウドに切り替えている」のだからマルチクラウドアプローチが必要だ、という相反するメッセージにさらされています。 マルチクラウド戦略を追求するにしても避けるにしてもそれなりの理由があります。このブログでは、マルチクラウドで成功するための 8 つの実証済みの

始めに 今回業務でlaravelでフォームからのCSVインポート作業の実装を行いました。 そこまで容量がないCSVなら、時間がかからず実装できると思うのですが、 今回は最大で一万行あるCSVのデータをタイムアウトしないでインポートする必要があった為、 実装に一ヶ月程かかってしまいました。。 今後も同じような実装をするかもしれない為、記事にまとめてみました。 誰かの参考になれば幸いです。 目次 章 タイトル 備考 始めに 1 設計 インポートするCSVの情報と設計の話 2 作成 一時テーブルを作成し、CSV

ヤフー株式会社より出向しております、卯田と申します。 主務で、 一休.com および Yahoo!トラベル のフロントエンド開発を担当しています。 兼務で、ヤフー株式会社の全社横断組織で Webパフォーマンス改善の推進 を行っております。 本稿では、直近半年弱(2023年2月〜8月)で、断続的に行っていた一休.comのパフォーマンス改善について振り返ります。 開始が2023年2月となった理由は、Nuxt3バージョンアップ以降にパフォーマンス改善活動に着手したためです。 一休.com/Yahoo!トラベルの

こんにちは、MA部MA開発1ブロックの齋藤（ @kyoppii13 ）です。 8/29-8/31に開催された Google Cloud Next '23 へ参加してきました。今年は4年ぶりとなるオフライン開催で、アメリカ・サンフランシスコで開催されました。弊社からはMA部の齋藤・松岡・中原の3名が参加しました。 今年は生成AIにフォーカスした内容がとても多く、それに関連する新サービスの発表も多くありました。本記事では、現地での様子と特に興味深かったセッションをピックアップして紹介します。 現地での様子 3

本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 第5回となる今回から、オンチェーンデータのオンライン分析サービスのDuneを用いて、Ethereumを対象としたデータ分析の演習を始めていきます。 Hello Dune Dune は、ブロックチェーン上のデータ分析に特化したオンラインサービスで、類似サービスの中でも開始までのハードルが低く、コミュニティ機能やチュートリアルなども豊富なため、データ分析初学者の人にとっても

はじめに こんにちは。会員システムグループの上原です。 8月末に社内でISUCONを開催・運営したので、レポーティングしていこうと思っています。 ISUCONとは？ ISUCON ( Iikanjini Speed Up Contest) は、限られたリソース・時間の中でWebサービスをどれだけ高速にできたかを競うコンテストです。 ISUCONで参加者は動作が遅いWebアプリケーションを与えられ、アプリケーションを高速化していくために設定を最適化したり、コードを改善したりする必要があります。 チーム間でス

はじめに

はじめまして。株式会社エブリーの開発本部のデータ&AIチームでマネージャー兼データサイエンティストをしている伊藤です。 今回は、エブリーのデータ組織が普段どういった取り組みを行なっているかを、簡単にご紹介したいと思います。 エブリーについて 株式会社エブリーは、「DELISH KITCHEN」「トモニテ」「TIMELINE」という3つのメディアを運営しています。 各メディアはそれぞれ主力となるサービスがあり、それらを起点に多岐に渡る事業を展開しています。 どのメディアも戦略上「データ」が不可欠とな

はじめに こんにちは、クラウドエース データML ディビジョン所属の松山です。 データML ディビジョンでは、Google Cloudが提供しているデータ領域のプロダクトについて、新規リリースをキャッチアップするための調査報告会を毎週実施しています。 新規リリースの中でも、特に重要と考えるリリースを記事としてまとめ、本ページのように公開しています。 用語 本ページで頻出する用語について、下表にまとめておきます。 用語 説明 スロット BigQueryのクエリを実行するために使用する仮想CPUのこと。 予約