「Apache Mesos」に関連する技術ブログ（4件）
企業やコミュニティが発信する技術ブログから「Apache Mesos」に関連するものを表示しています。
UserData、OpsWorks、Lambdaを組み合わせ、常に新鮮なSpotFleetインスタンスでサービスを運用する
2018/03/02
インフラエンジニアの光野（@kotatsu360）です。 今週のテックブログは豪華二本立てでお送りいたします。 一本目はバックエンドエンジニアの木曽による「 福利厚生を使ってAWSソリューションアーキテクト アソシエイトを取得しました 」でした。 二本目は UserData、OpsWorks、Lambdaを組み合わせ、常に新鮮なSpotFleetインスタンスでサービスを運用する という取り組みについて
Apache Mesos / Marathon を本番で運用するための5つのTips
2017/05/12
こんにちは。 インフラエンジニアの光野です。 先日の ブログ記事 でご紹介したとおり、弊社のクローラーはDockerコンテナ化されています。このコンテナはApache MesosとMarathonのクラスタ上で動いています。 先日の記事はクローラーシステム全体を取り扱いましたが、本記事ではMesos/Marathonを導入するにあたって必要だった設定について「〜したい」という形で紹介いたし
数百サイトのクローラーを効率よく運用する仕組み
2017/04/10
こんにちは！ バックエンドエンジニアのりほやんです！ 2017年の2月28日にIQONはリブランディングを行い、タグラインを "わたしの「好き」がここにある” に刷新しました。 この “わたしの「好き」がここにある” という体験をユーザーにしていただくには、IQONに掲載されている商品情報がとても重要になります。 そして、正確な商品情報の掲載にはクローラーが正し
Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築
2017/03/17
わーい！コンテナたのしー！🐾 こんにちは。流行りには積極的に乗っていきたい。インフラエンジニアの光野です。 弊社が運営するファッションサイト IQON では、日々200以上の提携ECサイトから100万のオーダーで商品をクロールしています。 新商品の追加・商品の在庫状況・セールの開催など情報は日々変化するため、弊社において「正しくクロールすること」と「速