「Google BigQuery」に関連する技術ブログ(84件)

企業やコミュニティが発信する技術ブログから「Google BigQuery」に関連するものを表示しています。

BigQueryで時を遡って過去のテーブルを再構成する

はじめに こんにちは、データシステム部データ基盤ブロックSREの纐纈です。 本記事では、過去に遡ってBigQueryのデータを参照する方法(以下、タイムトラベルと呼びます)をご紹介します。また、この機能はBigQueryが提供している、変更または削除されたデータにアクセスする タイムトラベル とは異なることをご了承ください。 開発背景 この機能は過去データを日次ス

#Google BigQuery #SRE #SQLServer #Dataflow #Terraform #データベース 

新卒エンジニアからマーケティング部に異動して気づいたエンジニアとして経験して良かったこと

2022/05/13
こんにちは。新卒2年目のRYOBALです。 僕は入社後サーバーサイドエンジニアとして配属され、一年後にあたる今年4月から マーケティング 部に異動しました。 元々、 マーケティング 部の業務には興味を持っており、タイミングよくこの機会に希望した部署に異動となりました。 今回は マーケティング 部に移動して1か月が経ったので、エンジニアから マーケティング 部

#Google BigQuery #SQL #Laravel #Metabase #PHP #サーバーサイド #データベース #プログラミング 

【オンラインMeetup イベントレポート】Data Engineering Meetup 【ZOZO × GMOペパボ】

こんにちは、ZOZO CTOブロックの @ikkou です。 ZOZOでは、4/20に Data Engineering Meetup をGMOペパボさんと共催しました。 zozotech-inc.connpass.com 本イベントではto C向けサービスを提供する2社が、各社のData Engineering事情や直近の取り組みについて発表しました。 登壇内容 まとめ 前半にGMOペパボさんから2名が、後半に弊社から2名が登壇しました。 「データ"抽出"基盤 Yeti をつくってい

#Google BigQuery #Dataflow 

PHPerKaigi2022に4名のメンバーが登壇しました

メンバーが登壇している様子 この度は、4/9(土)~4/11(日)に開催された PHPerKaigi 2022 に4名のメンバーが登壇しました。 今回は、登壇者 4 名からコメントと、他のセッションの感想などをお届けします! PHPerKaigi 2022 とは 2022/04/09(土) ~ 2022/04/11(月) の 3 日間にわたって PHPerKaigi 2022 が開催されました。今年はオンラインとオフラインのハイブリット開催になります。 BASE はこれま

#DevOps #CakePHP #PHP #GraphQL #Laravel #Microservices #Google BigQuery #ライトニングトーク #MongoDB #AWS 

PHPerKaigi 2022【参加レポート】

配配メール開発課Jazumaです。 2022/04/09(土) ~ 04/11(月)の3日間に渡ってPHPerKaigi2022が開催されました。 今回は初のハイブリッド開催となり、現地・配信ともに大盛況でした。 このイベントは 日本PHPユーザ会 主催のイベントで、 ラク スはスポンサーとして協賛させていただいています。 phperkaigi.jp ラク スからは3人が登壇した他、多くのメンバーが参加しました。 そこで今回

#PHP #Google BigQuery #Laravel #MongoDB #GraphQL #Docker #PhpStorm #API #ライトニングトーク #Python 

スマキャンが新データ分析基盤のBIツールにLookerを選んだ理由

こんにちは!スマートキャンプエンジニアの井上(エース)です! 皆さんは自社プロダクトに対してどのようにデータ分析をされていますか? データ分析基盤は構築されているものの、少なからず課題を抱えている企業も多いかと思います。 今回は弊社の BOXIL SaaS に 新しいデータ分析基盤を導入することになった ので、その背景や導入にあたって課題だったこと、その

#Looker #Redash #Google BigQuery #SaaS #Git #SQL #テスト #データ分析 #スクール #アーキテクチャ 

JAXによるスケーラブルな機械学習

はじめに こんにちは、 ZOZO NEXT ZOZO Research のSai Htaung Khamです。ZOZO NEXTは、ファッション領域におけるユーザーの課題を想像しテクノロジーの力で解決すること、より多くの人がファッションを楽しめる世界の創造を目指す企業です。 ZOZO NEXTでは多くのアルゴリズムを研究開発しており、その中で JAX というライブラリを使用しています。JAXは高性能な機械学習のために設計

#Python #TensorFlow #API #AWS #GPU #Google BigQuery #BigTable #Jupyter #ハンズオン #インフラ 

Vertex Feature Storeの機械学習システムへの導入

こんにちは、データシステム部推薦基盤ブロックの寺崎( @f6wbl6 )です。現在、推薦基盤ブロックではデータサイエンス部MLOpsブロックのメンバーと協力しながらMLOps基盤の構築を進めています。本記事ではMLOps基盤構築の一環として進めている Vertex Feature Store の機械学習システムへの導入に関する知見およびVertex Feature Storeを導入する上での制限や課題をご紹介します。 M

#MLOps #Google BigQuery #Dataflow #Google Cloud Platform #OSS #GitHub #Avro #機械学習 #設計 

キャディでの Streamlit 活用事例

こんにちは。ソフトウェアエンジニアの江良です。 普段は Web アプリケーションのコードをせっせと書いて暮らしているのですが、 AI Lab の誕生 に伴い、機械学習を専門とするエンジニアと協業する機会も増えてきました。 今回は、機械学習の研究開発プロジェクトで導入した Streamlit というフレームワークについて紹介しようと思います。 Streamlit とは Streamlit は Python

#Python #Google BigQuery #GitHub #Google Cloud Platform #インフラ #機械学習 #設計 

GA4のアプリログ検証のため、SwfitUIでネイティブアプリを作成してみた

こんにちは、データアナリストの左海です。 最近アサインされたプロジェクトにてアプリ/WebのGoogle Analytics 4(以下GA4)での計測を検討していましたが、私自身アプリもGA4も知見がなかったため、SwiftUIでネイティブアプリを作成しログ検証を行うことにしました。 ※なお、Apple Developer Programを契約していないためiOS Simulatorを使用しています。 実行環境 XcodeのVersion:13.2.1 (13C1

#Firebase #iOS #Google Analytics #Xcode #Google BigQuery #GitHub #テスト #プログラミング #アーキテクチャ 

BigQueryにおけるポリシータグを用いた秘密情報管理とデータ連携の仕組み

こんにちは、データ基盤の開発・運用をしている谷口です。 本記事では、BigQueryで秘密情報を守るためのリソースである、ポリシータグをご紹介します。ポリシータグの概要から採用理由、仕様を考慮したデータ連携の仕組みや運用における注意点まで幅広くお伝えします。 ポリシータグとは ポリシータグを採用した理由 匿名化による機密性の高さ 機密性と利便性の両

#Google BigQuery #Git #Terraform #Google Cloud Platform #データベース #SQLServer #Embulk #Fluentd #AWS #Ruby 

OSS「Coppe」の公開 〜 BigQuery基盤のデータ監視ツールによるデータ品質担保

はじめに こんにちは、データシステム部データ基盤ブロックの纐纈です。9月から22卒内定者として、チームにジョインしました。 本記事では、弊社のデータ基盤チームが抱えていた課題と、その解決のために公開したOSSツール「Coppe」を紹介します。Coppeは、以下のような方にお勧めできるツールです。 BigQueryを使用したデータ基盤の監視に興味がある BigQueryの監視ツー

#Google BigQuery #Redash #GitHub #Terraform #SQL #Redis #オンプレミス #OSS #Google Cloud Platform #AWS 

プロダクトのデリバリー、クオリティに責任を持つEngineering Program Managerという役割

この記事は BASEアドベントカレンダー 21日目の記事です。 まえがき BASE BANK株式会社でエンジニア兼Engineering Program Managerをやっている 松雪( @applepine1125 ) と 永野( @glassmonekey ) です。 BASE BANKでは組織の拡大に伴って表出した課題を解決するために、プロダクトのデリバリー、クオリティに責任を持つEngineering Program Manager(以下EPM)という役割を導入しています。 今回はまだ馴染

#Google BigQuery #Looker #アジャイル #フロントエンド #スタートアップ #設計 

GitHub Copilotでブログ記事書いてみた

本記事は 電通国際情報サービス Advent Calendar 2021 の18日目のポストです。 (本記事の太字部分は、 GitHub Copilotで補完された箇所です。その仕組みや感想などは記事の後半で説明します。) こんにちは。ISID X イノベーション 本部の半田です。普段は 社内向けの構成管理サービスの運用 をやっています。 今年の6月末、 GitHub は「関数名とコメントから、関数の ソースコー

#GitHub #Google BigQuery #Python #JavaScript #PHP #TypeScript #プログラミング 

Lookerでショップのサービス活用カルテを作成した話

この記事は BASE アドベントカレンダー と Looker アドベントカレンダー 8 日目の記事です。 はじめに BASE BANK 株式会社にて事業開発を担当している猪瀬 ( @Masahiro_Inose )です。 私達のチームでは、BASE ショップを運営しているショップオーナー様が簡単に資金調達をできる「 YELL BANK 」というサービスの開発・運営しています。 thebase.in 今回の記事は以下の二部構成となります

#Looker #Google BigQuery #MySQL #Embulk #SQL #初心者 #設計