「データ分析」に関連する技術ブログ

企業やコミュニティが発信する「データ分析」に関連する技術ブログの一覧です。

AWS Elastic beanstalkからAmazon EKSへ移行する

以前の記事でも簡単に紹介した通り、一休では、アプリケーションのAWS Elastic beanstalkからAmazon EKSへの移行を進めています。 user-first.ikyu.co.jp この記事では、その背景や、実際の設計、実際にAmazon EKSを活用してみて気付いた点、困った点、今後の展望を紹介したいと思います。 AWS Elastic beanstalkの辛い点 新しい環境の構築や運用が大変 一休ではAWSのリソースをTerraformを使っ

エンジニアインタビュー 第3回 庄子さん編

エニグモ 、 BUYMA の中のひとを知ってもらおうと、エンジニアへのインタビューをしてみました。 第3回は、2018年9月入社、データサイエンティストの 庄子 さんです。 インタビュアー 小澤:2011年4月入社。部長。 伊藤:2018年5月入社。新卒2年目。 これまでの経歴について 伊藤: エニグモ 入社まではどんなお仕事をされていたのですか? 庄子: 前職はデータ分析の受託 ベ

開発未経験のデザイナーが、エンジニアチームで半年過ごしてわかったこと

こんにちは。 スマートキャンプ デザイナーの髙松です。 私は今年の1月からスマートキャンプにデザイナーとして入社したのですが、プロダクト部門のエンジニアチームに所属しています。 弊社にはデザイン部署がないというのも理由の1つですが、私の業務の半分は開発が必要となることが主な理由です。 しかし、入社した当時、実務での 私の開発経験は0に等しい状

マーケターがredash&スプレッドシートでKPI管理してみた

スマートキャンプでマーケターをしている佐々木です。 最近は自販機でペットボトルを購入することにハマっています。 私は弊社の運営する資料請求サイト「ボクシル」のマッチング最適化を生業として生きているのですが、追うべきKPI・可視化したデータの共有にはスプレッドシートを好んで使っています。 SQLで取り出したデータであればRe:dashで共有するのがライト

社内マーケター向けの機械学習プラットフォームを作りました

はじめに こんにちは。データサイエンス部の平田です。 一休でのデータ分析はJupyter NotebookやJupyter Labを用いてDWHにアクセスして行われることが多いですが、サービスそのものと分析環境が乖離していることにより、分析結果を継続的にサービスに取り込むのが難しい状況でした。 また、マーケティング部の方々がJupyterを使用して分析した結果に基づいて継続的に施策を

データウェアハウスとして使う Amazon Redshift について

はじめに こんにちは。開発本部の阪本です。 今回は私が社内勉強会(TechLunch)にて Amazon Redshift(以下 Redshift)についてお話した内容を紹介させていただきます。 Redshift とは 概要 Redshift とは AWS サービスが提供しているデータウェアハウスで、高可用/高パフォーマンス/柔軟なスケーラビリティを実現しているのが特徴です。 競合としては BigQuery や Hadoop 、また同じ AWS サービ

【試される大地】北海道でビジネス職の新卒向けにエンジニア研修をした話

こんにちは。今週はスマートキャンプ札幌オフィスに出張中の米元です。 北海道は空気がきれいで食べ物も美味しく、湿度が低くてとても過ごしやすいです。 また、オフィスの窓からは大通り公園の街路樹が見えて気持ちよく働けています。 本記事ではそんな素敵な札幌オフィスで約一ヶ月前に行われた新卒エンジニア研修の話をご紹介したいと思います! 経緯 目的 1.

Cloud DLPをGolangで叩いて見せられないデータを抽出し秘匿化してみる

今週末から北海道オフィスに出張でワクワクしている瀧川です。 私はデータ分析基盤の構築をする機会がよくあり、FluentdやEmbulk、Digdag、BigQueryを好んで使っています。 構築する際に気をつけることというと、冪等性やログ欠損(リカバリ)などいろいろあるかと思いますが、その中でも重要になるのが 個人情報などの見せられないデータ(機密情報) の扱いかな思っています

BASEを支える機械学習エンジニアチームをゼロからつくってきた1年

出典: https://unsplash.com/photos/36Vbwo1OiZU BASEでData Strategyチームのマネージャーをしている鈴木僚です。 Data Strategyチームのミッションは、データを使ってプロダクトを成長させ、戦略的に事業を推進させることです。 EC事業では、オーナーズ(ショップオーナー)・購入者・社内メンバーの3者からなる膨大なデータが日々蓄積されています。Data Strategyチーム(以下、DSチーム

BigQueryだけでRedashから個人情報見えなくする方法解説

データエンジニアの瀧川です。 Redash使ってますか!? Redashが出てここ数年、加速度的に導入事例が聞かれるようになり、もうスタートアップのデファクトスタンダードとも言えるのではないでしょうか。 その導入事例の中でよく聞かれるのが、 全社的に Redashを公開して、だれでもデータにアクセスできるようにしたよという話です。 確かにRedashは、クエリの蓄積・共

クラシル・パーソナライゼーションの歩み

はじめに こんにちは。 機械学習エンジニアの辻です。 2/6(水)AWS Loft Tokyoでイベント開催します!ご興味のある方はぜひご応募ください! bethesun.connpass.com さて本日は「クラシル・パーソナライゼーションの歩み」ということで、クラシルをよくご利用頂いているユーザに対してよりいっそう良いコンテンツを提供していくために、 パーソナライゼーション の取り組み

BigQueryでSQLをDRY(Don't repeat yourself)に書いてみよう!

スマートキャンプ株式会社でデータエンジニアをしている瀧川です。 皆さん!分析SQLを書いていますか!? 弊社ではアプリケーションのログや、各種データをBigQueryに集約しており、諸々の分析をRedashでSQLを書くことで行っています。 Redashは良くも悪くも、SQLですべてを完結する必要があるので、もともと複雑な分析SQLがさらに長くなる...みたいなことありますよね。

一休の1 to 1マーケティングを支えるプラットフォーム

データサイエンス部・大西 id:ohke です。 一休の1 to 1マーケティングを支えるプラットフォームについてお話したいと思います。 1 to 1マーケティング 一休の主力である宿泊予約サービスは今年で19年目、レストラン予約サービスも13年目を迎え、会員数も800万人を超えました。 一休のサービスを「知らなかった」から「知っている」という成熟フェーズに入ってきますと、

いまさら聞けない!?プロダクトマネージャー・ディレクターが機械学習の案件を始めるまで

はじめに この記事は Enigmo Advent Calendar 2018 の25日目です。 BUYMA でプロダクトマネージャー・ディレクターのようなことをしています。 機械学習 に関する案件を初めて進めてみようと思い、 プロダクトマネージャー・ディレクター目線 で 、やってきたことや学んだことをまとめます。 知識がなくてもプロジェクトや案件は進めれるとは思いますが、ある程度理解がある

LiNGAM入門。気軽に因果関係を推定する(統計的因果探索)

この記事は Enigmo Advent Calendar 2018の22日目 です。 はじめに https://atarimae.biz/archives/7374 交番と犯罪件数が正の相関があるからといって、交番を減らして犯罪件数は減らないですよね。 さて、データ分析を行う上では、相関関係と因果関係を切り分けることが重要になることがあります。 例えば、KPIとある数値xが相関しているとします。 x → KPI という因果関係であれば、xの
技術ブログを絞り込む

TECH PLAY でイベントをはじめよう

グループを作れば、無料で誰でもイベントページが作成できます。情報発信や交流のためのイベントをTECH PLAY で公開してみませんか?