「データ分析」に関連する技術ブログ
企業やコミュニティが発信する「データ分析」に関連する技術ブログの一覧です。
全683件中 541 - 555件目
データ分析基盤におけるETL処理と、AthenaにおけるUpsertの実現方法について
2021/04/07
ブックマーク
データ分析基盤を構築する際に、ETL処理は欠かせないものです。ETL処理とは、Extract（抽出）・Transform（変換・加工）・Load（保管）の略で、データが使いやすいように加工する一連の処理を指します。データ分析基盤の構築の中で、実はこのETL処理の開発が一番時間が掛かるといっても過言ではありません。また、一度作ったらお終いではなく、分析する対象・方法が変わ
データ分析する前に知っておきたい因果関係と相関関係
2021/04/06
ブックマーク
データ分析する前に知っておきたい因果関係と相関関係 はじめに エブリーでデータアナリストをしている近藤と申します。 元々サーバーエンジニアでGoを書いていましたが、昨年７月からデータアナリストとして働いています。 普段はデータガバナンスの整備やredashによるデータ提供、データによる営業支援といった業務を行っています。 因果関係と相関関係の理解 デ
EC2 Image Builderを用いたRedashの運用改善
2021/04/06
ブックマーク
こんにちは、SRE部の谷口（ case-k ）です。 本記事では、EC2 Image Builderを使いRedashの運用改善を行った事例をご紹介します。運用しているRedashについてご紹介し、その後、Redashの運用課題に対してEC2 Image Builderでどのように解決したかTipsも踏まえご紹介します。 余談ですが全国どこでも働けるようになったので沖縄に住めています(感謝！) https://press-tech.zozo.com/entry/20210118_zozo
コマンド1発でKubernetes上にProduction Readyな環境を手に入れる
2021/03/30
ブックマーク
KEELチーム の相原です。 最近開発している コマンド1発でKubernetes上にProduction Readyな環境を手に入れる コードジェネレータの話です。 Kubernetesの利用を広める上での課題 Kubernetes Manifestの難しさ 既存の解決策 設定量の増大 コードジェネレータで解決する 捨てやすさ 抽象度 変更への追従しやすさ Open Application ModelとKubeVela keelctl を開発してきてみて Kubernetesの利用を広める
FBZにおけるサーバーレス監視で実施したアラート通知の最適化
2021/03/03
ブックマーク
はじめに こんにちは。BtoB開発チームの中島です。 Fulfillment by ZOZO （以下、FBZ）で提供しているAPIシステムの開発・運用を担当しています。 FBZの運用では、エラーログ発生時にアラートを通知させ、エラー内容をチェックして対応要否を判断しています。しかし、アラート通知が多すぎると運用負荷が高くなったり、重要なアラートを見落とすリスクもあるため、適切な
チームブレストから8言語検索のコスト削減とUX最適化を両立させた話
2021/02/26
ブックマーク
はじめに レバレジーズ株式会社エンジニアのカラバージョ(Caraballo)です。今回は、８言語(*1)で求人情報を提供しているメディアである WeXpats Jobs で実装した多言語検索のコスト最適化についてご紹介します。 (*1) 2021年2月現在。 なぜコストの最適化が必要だったのか？ チームの目標として、ユーザーエクスペリエンス（UX）を向上させるために日本語で書いてある求人情
ZOZOTOWNのPUSH配信基盤をFCMにシームレスに移行するための考慮ポイント
2021/01/22
ブックマーク
こんにちは、MA基盤チームの田島です。ZOZOTOWNでは、ユーザコミュニケーションの手段としてLINE、MAIL、アプリへのPUSH通知を利用しユーザへのお知らせを実現しています。 その中でも、現在ユーザへのコミュニケーション強化の一環としてアプリPUSH通知（以降、PUSH通知）の強化をしようと考えています。ZOZOTOWNのPUSH通知は今まで、とある外部SaaS（本記事で出てくるSaaSは
生産性・技術的負債をMetabaseで可視化した話
2021/01/20
ブックマーク
技術開発部の清水です。好きな食べ物は 広島風 お好み焼きと 広島県産 牡蠣と 広島県産 穴子です。 拡張に次ぐ拡張でサービスは便利なものに成長していく一方でソースコードは次第に複雑になっていきます。 そのまま放っておくと積み上げた技術的負債により開発コストが上がっていき、最悪の場合にはサービスの発展を停止させてしまう可能性もあります。 このよ
データアナリストが転職活動で求めたこと
2020/12/21
ブックマーク
こんにちは、データアナリストの田中里澄です。 エニグモ ではデータ活用推進室という部署に所属しており、主に他部署が行った施策の効果検証を担当しています。 私は2020年11月に エニグモ に入社したので、今回はその転職活動の中でどうして今の職を選んだのか、また入社後どのような仕事をしているのかを紹介できればと思います。 前職は ライブ配信 サービスを
TDDで過去と戦った話
2020/12/20
ブックマーク
TDDで過去と戦った話 この記事はBASE Advent Calendar 2020 20日目の記事です。 devblog.thebase.in こんにちは。BASE BANK 株式会社 Dev Division にて、 Software Developer をしている永野( @glassmonekey )です。 今回は先日リリースした「BASE」上での売上情報をCSVでダウンロードできる売上データダウンロードAppの裏話的な内容となります。 タイトルにTDDとつけたものの、そこまでTDDの話は出てきま
Apache Airflowで実装するDAG間の実行タイミング同期処理
2020/12/20
ブックマーク
こんにちは。 今年4月に エニグモ に入社したデータエンジニアの谷元です。 この記事は Enigmo Advent Calendar 2020 の 20日 目の記事です。 目次 はじめに そもそも同期処理とは？ Airflowによる同期処理 検証時のコード サンプルをAirflow画面で見ると？ 同期遅延なし時のAirflowログ 同期遅延あり時のAirflowログ 同期タイムアウト時のAirflowログ 所感 最後に はじめに コロナ禍の中、
エンジニアが始めるプロダクトマネジメント最初の一歩
2020/12/19
ブックマーク
こんにちは、delyでクラシルのiOSエンジニア兼PdMをしているtakao（ takaoh717 ）です。 この記事は「 dely #1 Advent Calendar 2020 」の19日目の記事です。 昨日はデザイナーredさんの「 Material DesignでUIデザインをブーストしよう 」という記事でした。 adventar.org adventar.org はじめに delyに入社して3年が経過し、僕は今iOSエンジニア兼PdMとしてプロダクトに関わっていますが、今の役割に
自社サービスのプロジェクトを推進する上で大事にしていること
2020/12/12
ブックマーク
こんにちは、ディレクターの神吉です！ この記事は Enigmo Advent Calendar 2020 の12日目の記事です。 エニグモ では様々なプロジェクトに関わることが多いですが、自社サービスのプロジェクトを推進する上で大事にしていることを書いていきたいと思います。 今回はプロジェクトマネジメントの体系的なテクニックの話ではなく、プロジェクトを推進する上でのマインド面中
良いレシピ検索体験とは？"選ばれた"を考えた話
2020/12/09
ブックマーク
こんにちは、dely開発部のnozaです。 今年の7月に入社しました、よろしくお願いします🙋♂️ クラシルのエンジニアを担当しつつ、レシピ検索の機能改善を活動内容とするチーム（以降、「検索チーム」と書きます）でPdMをしています。 この記事は「dely #1 Advent Calendar 2020」の9日目の記事です。 「dely #1 Advent Calendar 2020」はこちら↓ 昨日は @ysk_en さんの「 ITベンチャー
delyクラシル、最近のデータ基盤の話
2020/12/05
ブックマーク
はじめに こんにちは。dely開発部でデータエンジニアしてる伊ヶ崎（ @_ikki02 ）です。 本記事はdely Advent Calendar 2020の5日目の記事です。 adventar.org adventar.org （delyでは今年から2レーンでアドベントカレンダーやってます。） 昨日は当社デザイナーの @ysk_en が「 マジで助かった、新卒1年目デザイナーの教科書的noteや便利なサービス8選 」という記事を書きました。 タイトル