「Hive」に関連する技術ブログ(5件)

企業やコミュニティが発信する技術ブログから「Hive」に関連するものを表示しています。

MLOpsを支えるヤフー独自のモデルモニタリングサービス

2022/01/31
MLOpsの実現に向けてデータドリフトを検知するモデルモニタリングを内製しました。HDFS, Hive, S3など幅広くサポートしています。

#Kubernetes #オンプレミス #MLOps #Hive #AWS #Presto #OSS #OpenID #データベース #テスト 

Athenaを活用した問い合わせ対応

初めまして、こんにちは。 セーフィー株式会社 プラットフォーム開発部の大友です。 サーバーサイド周りの開発を担当しています。 今回はユーザーより問い合わせを受け、システム内を調べなければならないとき、サーバーサイドはどのように対応しているのか!その一例を紹介したいと思います。 テーマはログ解析を用いた問い合わせ対応です。 Amazon Athena と お問

#AWS #SQL #API #Hive #AWS Lambda 

Google Cloud Next '18 参加レポート

こんにちは! スタートトゥデイテクノロジーズ新事業創造部の塩崎です。 2018年7月24日〜26日にかけてサンフランシスコでGoogle Cloud Next '18が開催されました。 このイベントに新事業創造部の塩崎、今村、そして代表取締役CIOの金山の3名で参加してきました。 この記事では多数あった講演の中で特に印象に残ったものをいくつか紹介いたします。 講演 Building A Petabyte Scale Wa

#Google BigQuery #MySQL #SQL #Looker #Google Cloud Platform #TensorFlow #Hive #API #Avro #BigTable 

Treasure Dataのhivemallで類似ユーザレコメンドを試す

メディアシステム開発部の野崎です。 メディアシステム開発部では、「 auWebポータル 」や「 auスマートパス 」といった、サービスを担当しています。 弊社では一部のサービスでアクセスログなどをTreasure Dataに貯めています。 今後はこのデータを分析活用し、より良いサービスを提供していきたいと考えています。 その一歩として、今回はTreasure Data内で使える機械学習

#Treasure Data #Hive #R #機械学習 #アルゴリズム 

BigQueryによるデータ分析のための前処理Tips

こんにちは。 使うSQLが200行を超えるのが当たり前になってきたデータチームの後藤です。 本記事では、VASILYデータチームで利用しているBigQueryによるデータの前処理のTipsを紹介します。 VASILYではサービスのマスタデータやログデータをGoogle BigQueryに集約して分析に活用しています。機械学習やデータ分析のための前処理を行う際、軽量なデータであれば抽出結果をPython

#Google BigQuery #SQL #Python #PostgreSQL #AWS #Hive #機械学習 #データ分析