はじめに こんにちは、テクノロジー戦略室の新城です。私は2022年6月に中途入社し、入社してまだ半年ですがMLOpsの推進という仕事を担当しています。 現在レバレジーズでは レバテックダイレクト の求人マッチ度判定のような、レコメンドシステムを多くのサービスで活用しています。 一方で機械学習モデルを本番運用したはいいが、データサイエンティストがモデルの改善フローを回しにくく、再トレーニングしたモデルのデプロイが頻繁にできないといった問題が顕在化してきました。 そこで、今回は社内営業支援ツールにおいてMLO

G-gen の藤岡です。当記事では、Google Cloud（旧称 GCP）の BigQuery に特定の IP アドレスからのアクセスのみを許可する VPC Service Controls を設定しつつ、Looker Studio には IP アドレスの制限をかけずレポートを閲覧できるようにする方法を紹介します。 サービス・機能の概要 VPC Service Controls Looker Studio サービスアカウントの権限借用 VPC Service Controls と Looker Stud

こんにちは。 株式会社ココナラで技術戦略室を担当しているKと申します。 今日は、AWS環境でココナラのSREが実践しているREDメソッドについてお話ししたいと思います。 そもそもREDメソッドってなに？ よくREDメソッドと同時に語られる別の方法論として、USEメソッドがあります。 それぞれ以下のように目的が異なっています。 USEメソッド USEメソッドは、CPUやメモリなどの各リソースのモニタリングを目的としています。 USEメソッドは以下の3つの指標で構成されています。 これらの頭文字を取って、US

こんにちは IoT チームの田中です。 この記事は Luup Advent Calendar の 6 日目の記事です。 LUUP 車両の通信は SORACOM SIM を利用していて、SORACOM API を使って通信状況や稼働状況などを30分程度の間隔で定期的に記録するようにしています。 どのようにデータを記録して、そのデータをどう活用するかは、まだまだ試行錯誤の段階のため、プロトタイピングしやすいように Node-RED というローコードツールを GCP の中につくって SORACOM API から

こんにちは IoT チームの田中です。 この記事は Luup Advent Calendar の 6 日目の記事です。 LUUP 車両の通信は SORACOM SIM を利用していて、SORACOM API を使って通信状況や稼働状況などを30分程度の間隔で定期的に記録するようにしています。 どのようにデータを記録して、そのデータをどう活用するかは、まだまだ試行錯誤の段階のため、プロトタイピングしやすいように Node-RED というローコードツールを GCP の中につくって SORACOM API から

こんにちは。 株式会社ココナラのR&Dグループ/検索・推薦グロースチーム所属のエンジニア、Unseoと申します。 本記事では、BigQuery上でのデータ分析にARRAYを活用した分析手法をご紹介いたします。 検索システムのログ分析をテーマに進めていきますが、広告やレコメンドエンジンなど、その他ログの分析にも応用できるテクニックかと思いますので、 普段の分析をもう少し精緻にしたい BigQueryでできることを増やしたい ユーザの行動ログ分析に挑戦したい といった方々の参考になれば幸いです。 !

こんにちは。Insight Edge引越し好き(?)Data Scientistの中野です。 最近は1年半のペースで引越してるので、免許書の住所記入欄が足りなくなり付箋のようなものに住所を記入しています！ 新しいエリアに引っ越す時は近隣のカフェや本屋情報を調査しているのですが毎回イマイチ綺麗に可視化できないので、 今回は地理情報データを可視化できるツールの比較や、その際のちょっとしたコツを紹介します！ 背景 自転車盗難データの準備 自転車盗難データとは サンプルデータの概要 各ツールの紹介 01.Look

この記事では、これまでにLooker Studio（データポータル）で従来のGA（ユニバーサルアナリティクス）を利用していた方向けに、最新のGA（Google Analytics 4）のデータをLooker Studioで表示する方法について紹介します。 Looker Studioとは？データポータルとの違いは？ Looker Studioは、Googleが無料で提供しているBI（ビジネスインテリジェンス）ツールで、あらゆるデータを可視化できるツールです。 これまではデータポータル (Data Studi

はじめに この記事は BASE Advent Calendar 2022 と Looker Advent Calender 2022 2日目の記事です。 こんにちは。BASE 株式会社 New Division BASE BANK Section にて、Engineering Program Manager (以下EPM) 1 をしている永野( @glassmonekey ) です。 私達のBASE BANK Section チーム (以下 BANK チーム) はBASEの中でも、新規事業の金融系のプロダ

みなさんこんにちは、 電通国際情報サービス （ISID）コーポレート本部 システム推進部の佐藤太一です。 先日、TECHPLAYでDataflowに関連するお話をしました。 その日の模様が公開されていますので、ご興味のある方は是非ご覧ください。 techplay.jp さて、このエントリではBigQueryにおいて利用できる 再帰 クエリ（WITH RECURSIVE句とUNION ALL）について紹介します。 再帰 クエリを使うと、表形式しか扱えない RDB において 木構造 のデータを扱えます。 木構

みなさんこんにちは、 電通国際情報サービス （ISID）コーポレート本部 システム推進部の佐藤太一です。 先日、TECHPLAYでDataflowに関連するお話をしました。 その日の模様が公開されていますので、ご興味のある方は是非ご覧ください。 techplay.jp さて、このエントリではBigQueryにおいて利用できる 再帰 クエリ（WITH RECURSIVE句とUNION ALL）について紹介します。 再帰 クエリを使うと、表形式しか扱えない RDB において 木構造 のデータを扱えます。 木構

クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回はとても短い記事ですが、BigQuery で日付操作を行うにあたってとても便利な関数を教えてもらったので紹介させていただきます。 BigQuery に限らず日付の操作をするにあたって、月末日を取得する際に以下のようなクエリを書いたことがある方は多いと思います。 -- 今日の日付(CURRENT_DATE())に DATE_TRUNC() を実行

はじめに みなさんこんにちは！クラウドエースの中嶋です。 今回は、Google Cloud のセキュリティ診断の強い味方 Security Command Center について紹介します。 Security Command Center の概要 Security Command Center(以降、SCC)は、Google Cloud 上で使用しているサービスの脆弱性や脅威となりうる設定を検知することができるサービスです。 検知された脆弱性や脅威は、Google Cloud のダッシュボードに表示したり

クラウドエースの小坂です。 データウェアハウス構築、最近は特に Looker を活用した分析環境構築プロジェクトのプロジェクトマネージャーをよくやっています。 今回は Looker の Forecasting(予測) 機能を使ってみたので、概要と使い方を紹介してみようと思います。 Looker の Explore の基本的な使用方法を把握している方向けの説明になりますので、 基本的な操作方法等の説明は致しませんのでご了承ください。 Forecasting(予測) 機能とは Looker の Forecas

こんにちは、最近気になるニュースはサザエの学名が数年前に初めて命名されたこと 1 な、MLデータ部データ基盤ブロックの塩崎です。BigQueryのストレージに関する新料金プランが先日発表されたので、その検証をしました。我々の環境では年間で数千万円という費用削減を達成できることが分かりましたので、BigQueryに多くのデータを蓄積している会社は是非お試しください。 ストレージ費用の悩み データ基盤を長期間運用していると、データ量の増加が問題になることがしばしばあります。特にユーザーの行動ログやスタースキー