「データ分析」に関連する技術ブログ(51件)

企業やコミュニティが発信する技術ブログから「データ分析」に関連するものを表示しています。

Flex Slotsを用いたBigQueryのコストパフォーマンス改善と運用

こんにちは、SRE部の谷口です。私たちのチームではデータ基盤の開発や運用をしています。1年ほど前からBigQueryのコストパフォーマンス改善を目的にFlex Slotsを導入しています。 本記事ではFlex Slotsの導入効果や運用における注意点、ワークフロー設計についてご紹介します。BigQueryのコストやパフォーマンスで課題を抱えているチームや管理業務を行っている方の参考にな

#Google BigQuery #SRE #Google Cloud Platform #Docker #Python #OSS #機械学習 #データ分析 #設計 

medibaでのキャリアパス

こんにちは。テクノロジーセンター6GでManagerをしている下地( @primunu )です。 メンバーとの雑談でたまに話題になるエンジニアのキャリアパス。 どのキャリアを選択するかはもちろん各々が決定しますが、昨今のソフトウェアエンジニアのキャリアパスは多様かつ、組織によって若干役割が異なる事があるので、目指す方向がわからず迷子になる事があると相談を受けまし

#AWS #SRE #キャリア #スクラム #インフラ #テスト #チームビルディング #データ分析 #プロダクトマネジメント #アーキテクチャ 

Google Apps Script× BigQuery × Googleスプレッドシート × データポータルで簡易CRMを作ってみた

こんにちは!! BASE BANK 株式会社 Dev Division にてSoftware Developerをしている永野( @glassmonkey )です。 普段はGo/Python/PHPを主に生業に開発・運用から何でもござれの精神でフルサイクルエンジニアをしています。 現在、自分たちのプロダクトである YELL BANK の分析基盤を構築しています。 その際に、BigQueryで扱っているデータをGoogle App Script(以下GAS)、Googleスプレッドシートとデータ

#Google BigQuery #Salesforce #Python #PHP #OAuth #Go #API #Google Cloud Platform #SQL #データ分析 

すぐにできる! au 無料ゲームにおけるフロントエンドパフォーマンス改善事例

はじめに こんにちは、フロントエンドエンジニアの中畑 ( @yn2011 ) です。 au Webポータル 無料ゲーム では様々なフロントエンドのパフォーマンス最適化に取り組んでいます。今回は、既に実施した最適化の中から 対応コストが小さく、効果が分かりやすかったもの を中心に、対応事例のご紹介をします。 なお、 au Webポータル 無料ゲーム は Jamstack 構成となっており、Next.

#Next.js #HTML #DNS #A/Bテスト #フロントエンド #ゲーム #テスト #データ分析 

試合、トレーニング、観戦まで。進むスポーツ業界のAI活用

2021/04/15
試合、トレーニング、観戦まで。進むスポーツ業界のAI活用 2021.4.15 概 要 選手のパフォーマンスを上げる、試合の正確性を高める、観客の楽しみ方を拡張する、スポーツ業界でのAI活用は非常に多岐に渡って行われています。このコラムでは、スポーツにおけるAIの実際の活用事例をご紹介していきます。 目 次 ・ スポーツとAIの親和性 ・ スポーツ×AI 実際の活用例  

#3D #人工知能 #機械学習 #Deep Learning #データ分析 

教育もAIも、一律ではダメ。教育変革のためのAI活用

2021/03/19
教育もAIも、一律ではダメ。教育変革のためのAI活用 2021.3.19 (2022.3.13 更新) 概 要 コンピュータによる高度な処理を可能にするAI技術は、なんでも解決できる万能な技術と捉えられがちですが、実際には単機能であり、特定の課題に合わせたカスタム開発が必要になります。一方で、活用次第では人が行うには非効率な作業を大幅に効率化することもでき、人間とAIが共

#ビッグデータ #テスト #データ分析 #設計 

FBZにおけるサーバーレス監視で実施したアラート通知の最適化

はじめに こんにちは。BtoB開発チームの中島です。 Fulfillment by ZOZO (以下、FBZ)で提供しているAPIシステムの開発・運用を担当しています。 FBZの運用では、エラーログ発生時にアラートを通知させ、エラー内容をチェックして対応要否を判断しています。しかし、アラート通知が多すぎると運用負荷が高くなったり、重要なアラートを見落とすリスクもあるため、適切な

#AWS Lambda #Datadog #AWS #API #データ分析 #ネットワーク #Serverless 

ZOZOTOWNのPUSH配信基盤をFCMにシームレスに移行するための考慮ポイント

こんにちは、MA基盤チームの田島です。ZOZOTOWNでは、ユーザコミュニケーションの手段としてLINE、MAIL、アプリへのPUSH通知を利用しユーザへのお知らせを実現しています。 その中でも、現在ユーザへのコミュニケーション強化の一環としてアプリPUSH通知(以降、PUSH通知)の強化をしようと考えています。ZOZOTOWNのPUSH通知は今まで、とある外部SaaS(本記事で出てくるSaaSは

#Google BigQuery #iOS #Firebase #Android #SaaS #API #AWS #Google Cloud Platform #データ分析 #オンプレミス 

Amazon Elasticsearch ServiceによるECSアプリケーションのログ解析基盤の構築

こんにちは、BASE BANK 株式会社 Dev Division でエンジニアとしてインターンをしている前川です。 今回、Amazon Elasticsearch Service(以下、Amazon ES)による、ECS/Fargate で稼働するアプリケーションのログデータの解析基盤を新規で構築することになったので、構築するにあたって調査した内容や関連する内容、実際におこなった構築方法についていくつか紹介します。 今回の構築の簡

#Elasticsearch #Terraform #AWS #Kibana #AWS Lambda #API #Python #Nginx #データ分析 #ネットワーク 

AI導入のメリットやデメリットとは。課題やポイントも含めご紹介

2020/11/13
AI導入のメリットやデメリットとは。 課題やポイントも含めご紹介 2020.11.13 概 要 AI導入を検討する企業が増加している今、そのトレンドや導入によるメリットやデメリットを押さえることも重要なポイントです。このコラムでは、画像認識や自然言語処理のトレンドをご紹介しつつ、AIによる3つのメリットと2つのデメリットをご紹介していきます。 目 次 ・ AIは何

#Watson #Deep Learning #オムニチャネル #ビッグデータ #インフラ #自然言語処理 #機械学習 #データ分析 #ネットワーク #アルゴリズム 

事例から知る。機械学習の基礎と活用5ジャンル

2020/11/12
事例から知る。機械学習の基礎と活用5ジャンル 2020.11.12 概 要 人間の知能を模したコンピュータ技術と言われるAIの領域のうち、特に知られる技術が機械学習です。機械学習はコンピュータ自身が予測や分類などのパターンを学習していく技術で、すでにさまざまなサービスとして世の中で活用されています。 このコラムでは、機械学習について理解を深めながら、実

#ゲーム #自然言語処理 #機械学習 #Deep Learning #データ分析 #ネットワーク #アルゴリズム 

Webスクレイピングとは?Pythonで始めるWebスクレイピング実践・活用法

はじめに Webスクレイピングの基本事項 Webスクレイピング(Scraping)とは Webスクレイピングの活用シーン Webスクレイピングの基本的な仕組み Webスクレイピングの注意事項 取得先への攻撃とみなされたり、規約違反や、著作権法違反に問われることもある 取得先の変更に影響を受ける 取得先がAPIを公開しているならそちらを活用する方が良い Webスクレイピングの実践方法 Web

#Python #HTML #API #Java #Ruby #PHP #Selenium #C言語 #機械学習 #データ分析 

10TB超えのBigQuery巨大データを高速にS3に同期する

こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利

#Google BigQuery #AWS #SQL #Google Cloud Platform #Ruby #インフラ #データ分析 #ネットワーク #アーキテクチャ #セキュリティ 

時系列データに異常発見。「時系列異常検知」とは

2020/10/20
時系列データに異常発見。「時系列異常検知」とは 2020.10.20 株式会社Laboro.AI リード機械学習エンジニア 大場 孝二 概 要 気温や降水量をはじめとする気象データや交通量データなど、時間の変化に沿ってまとめられた情報は、時系列データと呼ばれます。時系列データは、時期や時間ごとの変化を捉えるため主に用いられますが、ビジネスシーンではこうした時系列

#機械学習 #データ分析 #ネットワーク #アーキテクチャ 

ビジネスパーソンが読んでおきたい、AI関連オススメ本7冊

2020/08/05
ビジネスパーソンが読んでおきたい、AI関連オススメ本7冊 2020.8.4 シニアソリューションデザイナ 寺田 響 概 要 これからAIの導入や開発を検討されるビジネス担当者の中には「まずは最低限の知識を持っておきたい」「AIや機械学習で何ができるのか知りたい」という方も多いのではないでしょうか?今回は、AI開発を始めるにあたって参考になりそうな書籍を、ソリ

#Python #ビッグデータ #プログラミング #初心者 #機械学習 #Deep Learning #データ分析 #プロジェクトマネジメント