こんにちは。ラスベガスには行ってないけど、深夜のキーノートを連日見て寝不足気味の照井@さっぽろです。 Lambdaやデータ分析方面の革新的で魅力的なサービス群で遊びたい気持ちを抑えつつ、今すぐ業務に役立ちそうな新サービスのSystems Managerの検証を始めたので、ファーストインプレッションをまとめておきたいと思います。

こんにちは。広告システム開発部の杉本です。 10/13(金) - 10/14(土)にかけて開発合宿を実施しました。今回はその報告を。 今後実施する際の記録と、思い出。あとは、他社の方が実施する際の参考になれればと思いブログとして残させてもらいました。 合宿に参加したメンバーは、自分含めて41名。 特段の事情で参加できなかったメンバーを除く、medibaシステム本部の正社員ほぼ全員が参加する合宿となりました。 メンバー構成としてはこんな感じ 制作部 11名（デザイン・コーディング・JSなどを主としたフロント

こんにちは、新卒三年目のナガサキです。 新卒一年目の椎橋くんがブログを書いていたので、私も負けじと書いてみます。 nextdeveloper.hatenablog.com まずは簡単に自己紹介をさせて頂きます。 私は2014年に弊社（株式会社ネクスト）に入社しましたが、この年は30歳になる年でした。大学院で博士課程まで進み、就職しようと思ったときにはそんな歳になっていました。。新卒研修中の健康診断で、一人だけバリウムを飲むことになり、先輩に気を遣って頂いたのはこれまででも私くらいでしょう。 さらに私はエン

こんにちは！技術1課@大阪オフィスの柏尾です。 久々のブログになってしまいましたが、今回は「Treasure Data」について書いてみようと思います。 以前から名前は知っていたものの、サーバーワークスに入ってから初めて使うことになり、とてもイケてるクラウドサービスであることを知りました。 Treasure Dataとは Treasure Dataはトレジャーデータ株式会社が提供する、データ収集・保管・分析が可能なフルマネージドなクラウドサービスです。 初期費用は不要 インフラ構築・運用が不要 月額課金で

こんにちは。おうちハッカーの石田@リッテルラボラトリーです。 みなさんは、 ReTech って言葉を聞いたことはありますか？ おそらく聞いたことのあるFinTechは、Financial Technologyの略で、金融をITや情報技術で新しいサービスを生み出したり、既存の問題を解決する動きのことです。 ReTechは、 Real Estate Tech の略で、 不動産領域の問題をテクノロジーで解決する 動きのことです。 アメリカでは、FinTechは既に様々な分野で技術が導入され、レッドオーシャン状態

みなさん、機械学習やってますか？ お久しぶりです。mediba広告システム開発部の原です。 前回はChrome Extensionを活用して広告のプレビューとかに活用しよう！って記事を書きました。 広告のプレビューをchrome-extensionで解決する その後、部署が広告システム開発部に移りましての再登板。今回は機械学習について記事を書いていきます。 アドテク分野でも活用できますしね。 今回の記事では機械学習でどんなことが出来るのか、という紹介ができればな、贅沢を言えば、読んだ皆さんに「よし、じゃあ

こんにちは。技術基盤部の磯野です。 先日に引き続きZipkinです。 今回は PHP + Symfony で動いている Webアプリケーションへのトレーサーの導入です。 前回の記事 → Zipkinを導入してみた（サーバー編） 構成 処理の流れ 処理の流れを追跡するためのリクエストヘッダ fluentdの設定 PHP(Symfony)側の実装 クライアントライブラリ Hoopak Apache Thrift ソースコード DI用設定ファイル(抜粋) イベントリスナクラス サービスコンテナクラス（イベントリ

こんにちは、神崎( @tknzk )です。ElasticBeanstalk w/ multi-container Docker で構成しているad-serverのdocker image を alpine linuxベースのimageに置き換えました。 alpine linuxは、非常に軽量なdistributionで、DockerHubに登録されているmiddlewareなどの公式のdocker imageでも採用が進んでいるOSです。 http://www.alpinelinux.org/ 以前の &

こんにちは！BASE CTOの藤川 ( id:f-shin )です！ 連休直前の4/27にBASE社開催のMeetup「Commerce & Payment - BASE Talk」を開催しました。 いつもは、BASE drinkというプレゼン資料なしのカジュアルトークイベントをやっているのですが、今回はLT形式で当社のエンジニアと外部参加の方にプレゼンしていただきました。 今回は、その内容であるBASEとPAY.JPのプレゼンの紹介をいたします。 どれも決済とECに携わっている人であれば当たり前

システム開発時にAPIを利用するというのはよくあることですが、運用時においても役立つAPIはたくさんあります。今回はまずカテゴリについて紹介します。APIを活用することで運用負荷を軽減しましょう。 バージョン管理 最近のプロジェクトではGitが一番よく使われているかと思います。その中でも最も有名なGitHubは多数のAPIを有しており、コードの取得や更新、課題の登録や更新もAPI経由で操作が可能です。 後述するCIではエラーがあった時にGitHub上に課題を自動作成するものもあります。コードはシステムの要

  あけましておめでとうございます。データサイエンティストの金田です。現在 iQON では、データ分析の基盤として BigQuery を利用しており、データ分析や計算負荷の高いバッチ処理等に活用しています。しかしながら、通常のデータベースとは若干異なる点があり、効率的な運用ができるまでに様々な試行錯誤がありました。今回はそれらの試行錯誤によって得られた知見をベストプラクティスとして紹介したいと思います。   ログデータのテーブル名に日付を入れる BigQuery でログを保存する場合は、テーブル名の最後に

飛行機代を省略したのをいいことに、またIYHしたカメラマンの竹永です。 次の目標は三脚です。次の次の目標は洗濯機でしょうか。 前回、前々回とFluentdを扱いましたが、S3に入っていくデータは貯めるだけで何にも使っていませんでした。 今回は、色々なところにあるデータを色々なところへ一気にガガッと突っ込めるEmbulkをご紹介します。

こんにちはVASILYエンジニアの松本です。先日 MERY を運営する株式会社ペロリと合同で Fashion Tech meetup #1 と題した勉強会を開催しました。   当日は約100名のエンジニアの方々に集まっていただき、Fashion × Technologyを題材として各社のエンジニアが、お互いのサービスを支える技術について発表しました。今回はFashion Tech meetup #1でのVASILYの発表資料をご紹介します。 iQONを支えるクローラーの裏側 iQONでは提携先ECサイトか

カメラマン（ｒｙの竹永です。 秋になり、気温的にも湿度的にも良い具合に過ごしやすいがため良い感じに眠い日が続いています。 睡眠時間を稼ぐためにAmazon Elasticsearch Service(Amazon ES)を使って、Elasticsearchサーバーづくりをサボってみました。 前回のおさらい ElasticsearchとS3にApacheのログをつっこむ、Fluentd環境をつくりました。 良くも悪くもベタな構成ですが、ElasticsearchがEC2上で動いているのが気に喰わないので、A

こんにちは、VASILYエンジニアの塩崎です。 今回はiQONを支えているクローラーの並列処理について紹介したいと思います。 並列処理の効率化をする過程でresqueを見限りsidekiqに移行した理由、移行時に書き換えた部分などについてもお話ししたいと思います。 iQONのクローラーの並列処理の仕組み iQONでは毎日数100万点のアイテムのクローリングを行っています。 一度クローリングしたアイテムも毎日1回再クロールし在庫や値下げをiQON内のDBと同期しているため、大量のアイテムを効率良くクロールす