「データ分析」に関連する技術ブログ
企業やコミュニティが発信する「データ分析」に関連する技術ブログの一覧です。
全445件中 331 - 345件目
ZOZOTOWNのPUSH配信基盤をFCMにシームレスに移行するための考慮ポイント
2021/01/22
ブックマーク
こんにちは、MA基盤チームの田島です。ZOZOTOWNでは、ユーザコミュニケーションの手段としてLINE、MAIL、アプリへのPUSH通知を利用しユーザへのお知らせを実現しています。 その中でも、現在ユーザへのコミュニケーション強化の一環としてアプリPUSH通知（以降、PUSH通知）の強化をしようと考えています。ZOZOTOWNのPUSH通知は今まで、とある外部SaaS（本記事で出てくるSaaSは
生産性・技術的負債をMetabaseで可視化した話
2021/01/20
ブックマーク
技術開発部の清水です。好きな食べ物は 広島風 お好み焼きと 広島県産 牡蠣と 広島県産 穴子です。 拡張に次ぐ拡張でサービスは便利なものに成長していく一方でソースコードは次第に複雑になっていきます。 そのまま放っておくと積み上げた技術的負債により開発コストが上がっていき、最悪の場合にはサービスの発展を停止させてしまう可能性もあります。 このよ
データアナリストが転職活動で求めたこと
2020/12/21
ブックマーク
こんにちは、データアナリストの田中里澄です。 エニグモ ではデータ活用推進室という部署に所属しており、主に他部署が行った施策の効果検証を担当しています。 私は2020年11月に エニグモ に入社したので、今回はその転職活動の中でどうして今の職を選んだのか、また入社後どのような仕事をしているのかを紹介できればと思います。 前職は ライブ配信 サービスを
TDDで過去と戦った話
2020/12/20
ブックマーク
TDDで過去と戦った話 この記事はBASE Advent Calendar 2020 20日目の記事です。 devblog.thebase.in こんにちは。BASE BANK 株式会社 Dev Division にて、 Software Developer をしている永野( @glassmonekey )です。 今回は先日リリースした「BASE」上での売上情報をCSVでダウンロードできる売上データダウンロードAppの裏話的な内容となります。 タイトルにTDDとつけたものの、そこまでTDDの話は出てきま
Apache Airflowで実装するDAG間の実行タイミング同期処理
2020/12/20
ブックマーク
こんにちは。 今年4月に エニグモ に入社したデータエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2020 の 20日 目の記事です。 目次 はじめに そもそも同期処理とは？ Airflowによる同期処理 検証時のコード サンプルをAirflow画面で見ると？ 同期遅延なし時のAirflowログ 同期遅延あり時のAirflowログ 同期タイムアウト時のAirflowログ 所感 最後に はじめに コロナ禍の中、
自社サービスのプロジェクトを推進する上で大事にしていること
2020/12/12
ブックマーク
こんにちは、ディレクターの神吉です！ この記事は Enigmo Advent Calendar 2020 の12日目の記事です。 エニグモ では様々なプロジェクトに関わることが多いですが、自社サービスのプロジェクトを推進する上で大事にしていることを書いていきたいと思います。 今回はプロジェクトマネジメントの体系的なテクニックの話ではなく、プロジェクトを推進する上でのマインド面中
【re:Invent2020】Jam参加のススメ。楽しんで学ぼう。
2020/12/03
ブックマーク
re:Inventでは、「新しいサービスが発表されました！」というセッション以外にも、手を動かして学べるJamというコンテンツがあります。 話聞いているだけじゃつまらないですよね？ 今回、 Jamの一つである AWS Security Jam – Presented by Datadog, Splunk, & Trend Micro (Session 1) に参加したので、そのレポートです。 中身を詳しく話すとネタバレになってしまうので、「Jamとは何か？」
Amazon Elasticsearch ServiceによるECSアプリケーションのログ解析基盤の構築
2020/11/27
ブックマーク
こんにちは、BASE BANK 株式会社 Dev Division でエンジニアとしてインターンをしている前川です。 今回、Amazon Elasticsearch Service(以下、Amazon ES)による、ECS/Fargate で稼働するアプリケーションのログデータの解析基盤を新規で構築することになったので、構築するにあたって調査した内容や関連する内容、実際におこなった構築方法についていくつか紹介します。 今回の構築の簡
BigQuery Scriptingによって定期バッチをBigQueryだけで完結させる試み
2020/11/19
ブックマーク
スマートキャンプエンジニアの瀧川です。 みなさん、BigQueryは使っているでしょうか？ BigQueryはデータのインポート、加工、エクスポートを便利にする機能が数多くリリースされており、ファンも多いことと思います。 かくいう私もBigQuery大好きマンとして社内で名を馳せていて、最近だと下の記事で笑顔になった1人です。 ユーザーを笑顔に
Splunkのアクセスログ解析でWEARのAPIを201件(約5万行)削除した話
2020/11/02
ブックマーク
こんにちは、WEAR部運用改善チームの佐野です。 私たちのチームでは、WEARの日々の運用業務を安全かつ効率的に行えるよう改善をしています。今回は、年初から行っていた不要APIの削除作業についてご紹介します。 背景 残念なことに長い間WEARでは不要になったAPIが放置されてしまっており、どのAPIが実際に使用されているものなのかが分かりにくい状態になっていまし
Webスクレイピングとは？Pythonで始めるWebスクレイピング実践・活用法
2020/10/30
ブックマーク
はじめに Webスクレイピングの基本事項 Webスクレイピング(Scraping)とは Webスクレイピングの活用シーン Webスクレイピングの基本的な仕組み Webスクレイピングの注意事項 取得先への攻撃とみなされたり、規約違反や、著作権法違反に問われることもある 取得先の変更に影響を受ける 取得先がAPIを公開しているならそちらを活用する方が良い Webスクレイピングの実践方法 Web
10TB超えのBigQuery巨大データを高速にS3に同期する
2020/10/23
ブックマーク
こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利
時系列データに異常発見。「時系列異常検知」とは
2020/10/20
ブックマーク
時系列データに異常発見。「時系列異常検知」とは 2020.10.20 株式会社Laboro.AI リード機械学習エンジニア 大場 孝二 概 要 気温や降水量をはじめとする気象データや交通量データなど、時間の変化に沿ってまとめられた情報は、時系列データと呼ばれます。時系列データは、時期や時間ごとの変化を捉えるため主に用いられますが、ビジネスシーンではこうした時系列
MLflowとOptunaを使ってMLOps環境を構築してみた
2020/10/06
ブックマーク
はじめまして。2020年4月からエブリーに新卒で入社した伊藤です。 データエンジニア・データサイエンティストとしてデータ関連部門に所属し、日々データ業務に関わっています。 データ業務の1つである機械学習モデルの開発は、実験環境でモデルの精度を確認した上で本番環境に適用するプロセスを経ます。 今回は機械学習の実装で利用したMLflowとOptunaを組み合わせ
QuickSight から Snowflake に接続して新型コロナウイルス感染動向を可視化してみた
2020/08/31
ブックマーク
クラウドインテグレーション部の宮本です。 今回は Redash から Snowflake に接続して新型コロナウイルス感染動向を可視化してみた の QuickSight 版です。 可視化する項目は以下、東京都のサイトを参考にします。 東京都 新型コロナウイルス感染症 対策サイト データソースの追加 データセット、チャートの作成 報告日別による陽性者数の推移 報告日別による陽性者数の推移