G-gen の杉村です。 BigQuery の Search Index 機能が 2022年4月7日にプレビュー公開、2022年10月27日に GA されました。BigQuery に対する特定文字列の検索を高速化する当機能を解説します。 BigQuery Search Index の基本 BigQuery Search Index とは ユースケース 料金 制限 対応しているカラムタイプ その他の制限 インデックスの作成と利用 基本的な使い方 全カラムへのインデックス作成・検索 インデックスが使われたかど

G-genの杉村です。 BigQueryでは、 列レベルのアクセス制御 や 行レベルのセキュリティ といった機能を使い、きめ細かいアクセス制御を行うことができます。 列レベルのアクセス制御 列レベルのアクセス制御 分類とポリシータグ 制限 行レベルのセキュリティ 行レベルのセキュリティとは 行レベルのアクセスポリシー 制限 列レベルのアクセス制御 vs 行レベルのセキュリティ 列レベルのアクセス制御 列レベルのアクセス制御 BigQuery の 列レベルのアクセス制御 （column-level acce

テクノロジー本部のyoshikawaです。 最近のLIFULLでは、自社が所有するデータの活用を目的に数多くの取り組みが実施されています。 今回はデータの発見可能性(Data Discovery)を向上させるための基盤構築を目指して実施したPoC(Proof of Concept)とそのOSSの選定について紹介します。 当初は「自社データの再利用性を高めたい」という広い意味を持った要件で開始したプロジェクトでしたが、 Data Discoveryがボトルネックになっていると判明し、解決策としての基盤構築に

はじめに データエンジニアの三田です。 この記事は社内で実施したMLコンテストにおける、スコアの提出とその採点に関わる仕組み

はじめに 株式会社リクルートでデータエンジニアとして働いている大拔と申します。 カーセンサーのデータ基盤において、インフラ〜

はじめに 本記事では、社内で開催したMLコンテストの計算環境の準備や権限管理に関する話をします。 コンテストの概要や問題設定

G-genの杉村です。当記事では、Google Cloud の容量無制限・低価格・堅牢なオブジェクトストレージサービスである Cloud Storage を解説します。各用語の意味や料金、セキュリティに関する仕様について解説します。 概要 Cloud Storage とは オブジェクトストレージとは 使い方 ユースケース 料金 Cloud Storage の料金の概要 料金体系 ストレージクラス 用語 バケット オブジェクト メタデータ パス フォルダ ロケーション（リージョン） 概要 選択基準 ターボレ

こんにちは！スマートキャンプエンジニアの井上（エース）です！ 皆さんは自社プロダクトに対してどのようにデータ分析をされていますか？ データ分析基盤は構築されているものの、少なからず課題を抱えている企業も多いかと思います。 今回は弊社の BOXIL SaaS に 新しいデータ分析基盤を導入することになった ので、その背景や導入にあたって課題だったこと、その対策などを書いていこうと思います。同じようにデータ分析基盤を導入しようとしている方の参考になれば幸いです。 元の基盤の課題 クエリの乱立とデータ定義のバラ

はじめに こんにちは、 ZOZO NEXT ZOZO Research のSai Htaung Khamです。ZOZO NEXTは、ファッション領域におけるユーザーの課題を想像しテクノロジーの力で解決すること、より多くの人がファッションを楽しめる世界の創造を目指す企業です。 ZOZO NEXTでは多くのアルゴリズムを研究開発しており、その中で JAX というライブラリを使用しています。JAXは高性能な機械学習のために設計されたPythonのライブラリです。NumPyに似ていますが、より強力なライブラリであ

G-genのすずたつです。 当記事では、Google Workspaceの利用ログを集計するためにBigQuery Exportを利用しようとしたところハマってしまった件について解説いたします。 Google WorkspaceのBigQuery Exportとは Google WorkspaceのBigQuery Exportの設定方法 データセット作成 BigQuery Export有効化 Exportされない Exportがされない理由と対応方法 Google WorkspaceのBigQuery

こんにちは、データシステム部推薦基盤ブロックの寺崎（ @f6wbl6 ）です。現在、推薦基盤ブロックではデータサイエンス部MLOpsブロックのメンバーと協力しながらMLOps基盤の構築を進めています。本記事ではMLOps基盤構築の一環として進めている Vertex Feature Store の機械学習システムへの導入に関する知見およびVertex Feature Storeを導入する上での制限や課題をご紹介します。 MLOps基盤に関する取り組みについては以下のテックブログでも取り上げていますので、こち

はじめに この記事では、2021年10月に社内で開催したMLコンテストの利用データ準備に関する話をします。 本コンテストは検

はじめに こんにちは、レバレジーズ フリーランスHub開発チームです。 現在、弊社が運営する フリーランスHub というサービスでは検索エンジンとしてElasticsearchを採用しています。 この記事では、エンジニアがサービスの成長速度と工数を考慮した上で、Elasticsearchを採用するに至った背景や理由、そして、MySQLからElasticsearchへ移行した結果どれくらいパフォーマンスが改善したか、などを紹介していきたいと思います。 サービス紹介 フリーランスHub は全国のフリーランスエ

こんにちは。ソフトウェアエンジニアの江良です。 普段は Web アプリケーションのコードをせっせと書いて暮らしているのですが、AI Lab の誕生に伴い、 機械学習 を専門とするエンジニアと協業する機会も増えてきました。 今回は、 機械学習 の研究開発プロジェクトで導入した Streamlit という フレームワーク について紹介しようと思います。 Streamlit とは Streamlit は Python で Web アプリケーションを作成するための フレームワーク です。 機械学習 エンジニアやデ

こんにちは、G-genの荒井（@arapote）です。みなさん、パブリッククラウドはご利用でしょうか？！既に利用されている企業様も多いかと思いますが、全国的にはまだまだオンプレミスを運用している企業も多くいらっしゃると思います。今回はそんな方々でも、かんたんにクラウドを体験していただけるよう、無料で Google Cloud（旧称 GCP）をご利用いただける方法をご紹介いたします。 Google Cloud って無料で使えるの？ 「無料枠」と「無料トライアル」 無料枠とは 無料枠の適用範囲 無料トライアル