「データ分析」に関連する技術ブログ
企業やコミュニティが発信する「データ分析」に関連する技術ブログの一覧です。
全438件中 421 - 435件目
alpine linuxベースのdocker imageに移行したはなし
2016/06/24
ブックマーク
こんにちは、神崎( @tknzk )です。ElasticBeanstalk w/ multi-container Docker で構成しているad-serverのdocker image を alpine linuxベースのimageに置き換えました。 alpine linuxは、非常に軽量なdistributionで、DockerHubに登録されているmiddlewareなどの公式のdocker imageでも採用が進んでいるOSです。 http://www.alpinelinux.org/ 以前の ブログ にも書いたとおり、ad-serverは ElasticBeanstalkで管理された
BASEとPAY.JPを支える日常の技術について 〜 Commerce & Payment - BASE Talk
2016/05/11
ブックマーク
こんにちは！BASE CTOの藤川 ( id:f-shin )です！ 連休直前の4/27にBASE社開催のMeetup「Commerce & Payment - BASE Talk」を開催しました。 いつもは、BASE drinkというプレゼン資料なしのカジュアルトークイベントをやっているのですが、今回はLT形式で当社のエンジニアと外部参加の方にプレゼンしていただきました。 今回は、その内容であるBASEとPAY.JPのプレゼンの紹介をいたします。
システム運用で役立つAPIカテゴリ
2016/04/08
ブックマーク
システム開発時にAPIを利用するというのはよくあることですが、運用時においても役立つAPIはたくさんあります。今回はまずカテゴリについて紹介します。APIを活用することで運用負荷を軽減しましょう。 バージョン管理 最近のプロジェクトではGitが一番よく使われているかと思います。その中でも最も有名なGitHubは多数のAPIを有しており、コードの取得や更新、課題の
データ分析基盤としての BigQuery 運用のベストプラクティス
2016/01/12
ブックマーク
あけましておめでとうございます。データサイエンティストの金田です。現在 iQON では、データ分析の基盤として BigQuery を利用しており、データ分析や計算負荷の高いバッチ処理等に活用しています。しかしながら、通常のデータベースとは若干異なる点があり、効率的な運用ができるまでに様々な試行錯誤がありました。今回はそれらの試行錯誤によって得られた知
Embulkと戯れる
2015/11/20
ブックマーク
飛行機代を省略したのをいいことに、またIYHしたカメラマンの竹永です。 次の目標は三脚です。次の次の目標は洗濯機でしょうか。 前回、前々回とFluentdを扱いましたが、S3に入っていくデータは貯めるだけで何にも使っていませんでした。 今回は、色々なところにあるデータを色々なところへ一気にガガッと突っ込めるEmbulkをご紹介します。
Fashion Tech meetup #1開催しました！
2015/11/16
ブックマーク
こんにちはVASILYエンジニアの松本です。先日 MERY を運営する株式会社ペロリと合同で Fashion Tech meetup #1 と題した勉強会を開催しました。 当日は約100名のエンジニアの方々に集まっていただき、Fashion × Technologyを題材として各社のエンジニアが、お互いのサービスを支える技術について発表しました。今回はFashion Tech meetup #1でのVASILYの発表資料をご紹介します。 iQONを支
Amazon Elasticsearch ServiceとFluentdで遊ぶ
2015/10/30
ブックマーク
カメラマン（ｒｙの竹永です。 秋になり、気温的にも湿度的にも良い具合に過ごしやすいがため良い感じに眠い日が続いています。 睡眠時間を稼ぐためにAmazon Elasticsearch Service(Amazon ES)を使って、Elasticsearchサーバーづくりをサボってみました。 前回のおさらい ElasticsearchとS3にApacheのログをつっこむ、Fluentd環境をつくりました。 良くも悪くもベタな構成ですが、Elasticsearch
クローラーの並列処理でresqueを捨ててsidekiqに移行した話
2015/10/21
ブックマーク
こんにちは、VASILYエンジニアの塩崎です。 今回はiQONを支えているクローラーの並列処理について紹介したいと思います。 並列処理の効率化をする過程でresqueを見限りsidekiqに移行した理由、移行時に書き換えた部分などについてもお話ししたいと思います。 iQONのクローラーの並列処理の仕組み iQONでは毎日数100万点のアイテムのクローリングを行っています。 一度クロ
多腕バンディットを活用したプッシュ配信の最適化施策
2015/10/13
ブックマーク
こんにちは。VASILYに入社して、オシャレぶるようになったと周りにイジられているデータサイエンティストの金田です。 VASILYでは、プッシュ通知の開封数を上げるために様々な施策を行っていますが、その一つとして、多腕バンディット問題を応用し、複数の異なるタイトル文の配信比率を動的に最適化することで、開封数を高めるといった取り組みを行っています。今
人工知能学会誌に特集「イノベーションとAI研究」を組みました
2015/04/28
ブックマーク
こんにちは、リッテルラボラトリーの清田です。 まもなく発刊予定の 人工知能学会誌 2015年5月号 に、「イノベーションとAI研究」と題した特集が掲載されます。 今回、人工知能学会編集委員として特集を企画・担当させていただきました。 企業のR&Dや新規事業、ベンチャー創業、産学連携など、イノベーション創出の最前線で活躍中の方々に、8編もの記事をご寄稿
iQONの広告配信システム
2015/02/25
ブックマーク
「iQON AD」 VASILYでは2014年10月から、インフィード型ネイティブ広告「iQON AD」をiQONのiOSとAndroidアプリ、スマートフォンサイトに向けて配信しています。 国内最大級のファッションアプリ「iQON」、 女性向けネイティブ広告「iQON AD」を開始。 「iQON AD」は、iQON内に配置された独自広告ユニットに対して広告を配信できるサービスになります。本プロジェクトでの開発要素
いろんな家電を制御してみてスマートハウス化について思ったこと
2015/02/05
ブックマーク
こんにちは。iOS開発Gの石田です。 最近家電を操作して、自分の部屋をスマートハウス化しようといろいろやっているのですが、そこで考えたことをまとめてみました。 我が家の現状 我が家で最も活躍しているのは、ネットワーク対応学習型リモコンのIRKitです。家電が規格に対応していなくても赤外線リモコンさえあれば操作できるので、自作アプリに組み込んで赤外
アクセスログを可視化しました
2015/01/14
ブックマーク
Fluentdによるログ可視化が話題になってからだいぶ経ちますが、 エニグモ でも(念願の)ログの可視化を本番投入しましたのでその内容を紹介したいと思います。(完全系ではないですが、実用段階です！) 主な使用技術 Fluentd Elasticsearch Kibana AWS 構成図 構成の説明 各WEBサーバーが出力したログをFluentdが拾ってログ集約サーバーに転送、ログ集約サーバーが AWS にたてたElasticse
自由に使える巨大なWebログデータはないの？
2014/07/04
ブックマーク
こんにちは、リッテルラボラトリーの清田です。 現在、巨大なWebログデータを活用して、ユーザーの潜在的なニーズを解析するという取り組みが盛んにおこなわれています。ネクストでも、HOME'Sのログデータを主な対象として、住まい探しのユーザーのニーズをとらえてサイト改善や情報レコメンデーションに活用するための取り組みが進められています。 「Webログデー
「ホームズくんのこれからシアター」リリースしました！
2014/05/09
ブックマーク
はじめまして、株式会社ネクスト リッテルラボラトリーの清田です。 もともと、私は大学の研究者だったころに創業メンバーとして関わった大学発ベンチャー「リッテル」にて、図書館などの膨大な情報をさがしやすくするシステムなどの研究開発にたずさわっていました。 2011年にネクストにジョイン してからは、 HOME'S の膨大なログデータの裏にかくれた潜在的な