「Google BigQuery」に関連する技術ブログ
企業やコミュニティが発信する「Google BigQuery」に関連する技術ブログの一覧です。
全675件中 361 - 375件目
BigQueryのテーブル変更回数の制限対象から、DMLを使用した変更が対象外となりました
2023/07/14
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の後藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調
【第3回】イーサリアムの仕組み
2023/07/12
ブックマーク
本連載では、ブロックチェーンの基本的な仕組みを解説しながら、オンチェーンデータを分析するための基本的な手法について、全8回で紹介します。 第3回となる今回は、暗号資産（仮想通貨）のなかでビットコインに続き第2位の時価総額 （※1） を維持しているイーサリアム （※2） について解説し、ブロックチェーンの仕組みについての理解を深めます。 ※1 CoinMarket
[検証] BigQueryテーブルに対して、data profilingとAutoDQのそれぞれのスキャンを使ってみた
2023/07/11
ブックマーク
こんにちは、クラウドエース データML ディビジョン所属のZUMA SEAです。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンです。 データML ディビジョンでは活動の一環として、毎週Google Cloud の新規リリースを調査・発表し、
BigQuery のパーティショニングとクラスタリングの Recommender がプレビューになりました
2023/07/10
ブックマーク
はじめに こんにちは、クラウドエース データML ディビジョン所属の小林です。 クラウドエースのITエンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータML ディビジョンになります。 データML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを
2023年7月3日週のGoogle Cloudの主なリリースに関するニュース
2023/07/10
ブックマーク
クラウドエースの北野です。 7月3-7日までのGoogle Cloudの主なリリースに関して紹介します。 ! 該当の日のすべての情報ではないので、すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 BigQuery フェイルセーフ機能の提供 (GA) タイムトラベルウィンドウの設定機能の提供 (GA) ストレージ課金モデルに使用しているストレージの物理バイト単位で
redashの引っ越しについて
2023/07/03
ブックマーク
SREチームのクラシマです。...基、でした。 SREチームはチームメンバーの退職に伴い発展的解消、各プロダクトの開発チームにSREerが溶けてSREingしていこう、という体制になりました。 ということで、SREのクラシマです。 さて。redashの話です。 公式AMIから起動したEC2でredash v8を2年ほど運用してきました。 Fargateにしよう、って話は以前から出ていたのですが、2年前に起動
第1回 信頼性を高めるサービス基盤と技術選定
2023/06/28
ブックマーク
※本記事は、 技術評論社 「Software Design」(2023年4月号) に寄稿した連載記事「 Google Cloudで実践するSREプ ラク ティス」からの転載です。発行元からの許可を得て掲載しております。 はじめに キャディ株式会社の前多です。筆者はPlatformグループという部署で、 クラウド インフラの整備や開発組織横断の技術課題の解消に携わっています。 キャディでは製造業向けのビジネ
BigQuery でオブジェクトテーブルが GA になりました
2023/06/26
ブックマーク
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の大城です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンになります。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリー
お手軽なグラフデータベース活用
2023/06/22
ブックマーク
この記事は、 Merpay Tech Openness Month 2023 の13日目の記事です。 こんにちは、メルペイ Solutionsチームのエンジニア @orfeon です。 メルペイ Solutionsチームでは社内向けの技術的な相談対応や研修、部門を跨いだ共通の問題を発見して解決するソリューションの提供など行っています。 自分は主に社内のデータ周りの課題を解決するソリューションを提供しており、一部成果はOSS
CCoE活動とGoogle Cloudセキュリティプリセット環境の提供
2023/06/22
ブックマーク
こんにちは、KINTOテクノロジーズ プラットフォームグループ CCoE（Cloud Center of Excellence）チームの多田です。 CCoEチームは、「クラウドサービスを利用したシステム開発の積極的な推進とガバナンスによる統制を通じて、モビリティプロダクトの開発を、よりアジャイルかつセキュアにする」ことをミッションに活動しています。 KINTOテクノロジーズにおけるCCoE CCoEの活動
Cloud Composer (メジャーバージョン2)を徹底解説！
2023/06/21
ブックマーク
G-gen の堂原です。マネージドな Apache Airflow 環境を提供する Cloud Composer について、Cloud Composer 2 を中心に解説します。 はじめに Airflow とは 概要 特徴 様々なサービス・ツールと連携可能 定期実行されるバッチ方式のワークフローに特化 可視性 Cloud Composer とは 概要 メリット 苦手な点 バージョン 概要 メジャーバージョン ライフサイクル アップグレード コンポーネント
非エンジニアのためのデータ集計環境について
2023/06/20
ブックマーク
この記事は、 Merpay Tech Openness Month 2023 の11日目の記事です。 こんにちは。メルペイのデータマネージャー @katsukit です。 本日は、現在メルペイで取り組んでいる非エンジニアのためのデータ集計環境についてご紹介します。 はじめに データ活用には可視化、分析、調査、ML、CRMなど、さまざまな場面があると思います。エンジニアはもとよりデータアナリスト、マーケタ
Airflowで依存関係の修正漏れを防ぐ
2023/06/20
ブックマーク
こんにちは。Data Engineeringチームの河野(@matako1124) です！ Airflowで依存関係の設定にExternalTaskSensorを使っているのですが、ExternalTaskSensorを使用する時は、以下2つを注意しなければいけません。 実行時間が同じでなければいけない DAG名、Task名も正確に記載しないといけない これを間違えてしまうと、Pokingし続けてしまいます。 特にリファクタでDAG名やTask名が変わるといっ
Airflowで依存関係の修正漏れを防ぐ
2023/06/20
ブックマーク
こんにちは。Data Engineeringチームの河野(@matako1124) です！ Airflowで依存関係の設定にExternalTaskSensorを使っているのですが、ExternalTaskSensorを使用する時は、以下2つを注意しなければいけません。 実行時間が同じでなければいけない DAG名、Task名も正確に記載しないといけない これを間違えてしまうと、Pokingし続けてしまいます。 特にリファクタでDAG名やTask名が変わるといっ
2023年6月12日週のGoogle Cloudの主なリリースに関するニュース
2023/06/19
ブックマーク
クラウドエース北野です。 6月12-16日までのGoogle Cloudの主なリリースに関して紹介します。 ! 該当の日のすべての情報ではないので、すべてのリリースノートを確認されたい方は、当該ページからご確認ください。 AlloyDB for PostgreSQL Quota ページから、AlloyDB の割り当て上限の追加依頼の機能提供 Cloud SQL PostgreSQL でシステム分析情報ダッシュボードの提供 (GA) MySQL でシステム