この記事は 一休.comアドベントカレンダー2017 の6日目です。 一休.comレストラン 検索・集客担当のにがうりです。 一休.com、一休.comレストランともに、検索には主に Solr を利用しています。 (一部、RDBで検索しているところもあります) RDB(SQL)ベースでの検索と比べると色々とメリットがありますが、その中でもファセットナビゲーションに必要な機能が揃っているのは大きな魅力と言えるでしょう。 ファセット例 Solr5.xからは、旧来のファセットとは異なるJSON Facetという

こんにちは。 使うSQLが200行を超えるのが当たり前になってきたデータチームの後藤です。 本記事では、VASILYデータチームで利用しているBigQueryによるデータの前処理のTipsを紹介します。 VASILYではサービスのマスタデータやログデータをGoogle BigQueryに集約して分析に活用しています。機械学習やデータ分析のための前処理を行う際、軽量なデータであれば抽出結果をPythonに渡して処理させることもできます。しかし、分析環境のメモリに載り切らないほど大きなデータを扱う場合、Big

はじめに 記事をご覧のみなさん、はじめまして。新卒1年目エンジニアのkasuke18と申します。 ブラウザは圧倒的に Chrome 派です。 今回の記事では私が作ってしまった2大 脆弱性 の XSS と SQLインジェクション について、ソース例を踏まえて原因を追及します。なお、ソースの言語については PHP を利用しています。 この記事が初めてのブログ投稿ですので、「この書き方はヘンだな」と感じるときがあると思いますが、そこは温かい目で見守ってくださると幸いです。。 もくじ はじめに もくじ この記事の

単一のエンドポイントで、クライアント側で指定することで任意のデータを取得できるGraphQLですが、ビジネスで利用する際に必ず注意しなければならないのがセキュリティでしょう。GraphQLを利用、提供する上での注意点を紹介します。 認証 GraphQLではサーバサイドのデータベースのようにID/パスワードのような仕組みは用意されていません。他のAPIと同様に、認証技術と組み合わせることができます。例えばOAuth2であったり、トークン認証になります。これらは自分で実装する必要があります。 そのため、RES

ジョブメドレーの開発運用を担当している 新居 です。 メドレーでは開発本部のメンバーの技術力底上げや課題解決を目的とした短期プロジェクト（タスクフォースと呼んでいます）を実施しています。この取り組みの一環として、6〜8 月はセキュリティ知識の底上げを目指した「セキュリティタスクフォース」を実施しました。今回は、その取り組み内容を紹介します。 背景 現在、メドレーの開発本部には約 20 名のエンジニアが在籍しており、それぞれ多種多様な開発経験やスキルセットを持ったエンジニアが集まっています。 そして、前職で

こんにちは。 delyでISE(In-house System Engineer)をやっている @_skuwa です。 kurashiru[クラシル]のグロース、プロダクト改善の為の基盤の設計・開発を行っています。 今日はユーザーの検索行動のUXを向上させるために立ち上がった、検索改善プロジェクトについて書こうと思います。 検索機能における、UX上の課題点 検索したものの、レシピ数が少ない 豚肉、パスタなどの曖昧なワードでの検索時に結果が多すぎる（ユーザーが求めているレシピの割合が低くなってしまう） 明ら

こんにちは。バックエンドエンジニアインターンの田島です。 VASILYでは分析にBigQueryを使用しており、MySQLのデータを毎日BigQueryに同期しています。この同期処理を行うシステムは、約2年前にRubyで書かれたもので、プロダクトの成長に伴うデータ量の増加に耐えることができなくなり始めていました。そのため、同期処理を行うシステムを一から作り直しましたので、その詳細についてご紹介します。 弊社DEVELOPERS BLOGでは以前、『 インターン生がデータ転送基盤を一から設計する、VASIL

こんにちは、AmazonESでElasticsearch2.3を使っての環境構築が終わった直後にElasticsearch5.1が利用可能になってショックを受けてる技術基盤部の磯野です。 ちょっとだけ時間ができたのでzipkinのバックエンドをAmazon Elasticsearch Serviceに差し替えてみました。 CassandraとElasticsearchどっちにしようかなぁと悩んでいたのですが、zipkinがいつの間にかElasticsearch Serviceに対応していたのでサーバー構築

こんにちは。技術1課@大阪オフィスの柏尾です。 今回はre:Inventで発表された「Amazon Athena」について書いてみようと思います。（re:Inventの動画はこちら） Amazon Athena とは Amazon Athenaはまとめると、下記のようなサービスです。 Athenaは新しいサーバーレスのクエリサービスで、分散SQLエンジンのためのクラスタ構築・運用が不要Amazon S3に保存された膨大な量のデータを、標準SQLを使って簡単に分析できる（分散SQLエンジンPrestoベース

こんにちは、インフラストラクチャー部の沼沢です。 今回は、先日開催された AWS のグローバルカンファレンス「re:Invent」に、弊社山下と山子澤の3人で参加してきましたので、レポートさせていただきます。 2日間の Keynote では、大量のサービスが発表されお腹いっぱいな状況ですので、本稿では1日目の Keynote で発表されたサービスの概要を一挙にご紹介していきたいと思います。 Amazon Lightsail 所謂 VPS のサービス WordPress など、よく使われる構成が、構成済みの

こんにちは、VASILYバックエンドエンジニアの塩崎です。 VASILYでは様々なログデータの分析にBigQueryを使用しています。 インデックスについて何も考えなくても良いのが特に便利です。 さて、そんなBigQueryですが、数か月前にStandard SQLという新しい仕様のSQLがサポートされました。 BigQuery 1.11, now with Standard SQL, IAM, and partitioned tables! VASILYでも徐々にStandard SQLに移行をしている

こんにちは! サーバーワークス IoT担当の中村です。 去年のre:InventでAWS IoTが発表されて早くも1年が経とうとしています。みなさん、AWS IoT使っていますか？AWS IoTはRuleを使って色々なAWSサービスと連携できたり、QueryのFunctionを使って動的にペイロードを加工できたりと、とても高機能です。とくに私はAWS IoTのSQL Functionが好きです。さて、今日はAWS IoTのSQL Functionのひとつをご紹介しましょう。

こんにちは。技術基盤部の磯野です。 弊社ではここ数年、HOME'Sのクラウド化やマイクロサービス化を推進しています。 アプリケーションのクラウドサービスへの移行に関してはそろそろ終わりが見えてきているのですが、 マイクロサービスに関してはまだまだ道半ばということもあり、推進していくにあたって、 各サービス間の依存関係やトレース情報を可視化する手段としてzipkinをAWS上に試験的に導入してみました。 今回はZipkinサーバーの導入までの手順についてまとめたいと思います。 Zipkin とは データスト

データサイエンスチームの後藤です。 学生のみなさんはそろそろ夏のインターンの時期ですね。 私も、ちょうど一年前に学生の立場でVASILYのインターンに参加して熱い夏を過ごしたことを思い出します。 本記事では、データサイエンスチームの実際の仕事と夏のインターンについてご紹介します。 記事の最後に、インターン募集の案内も貼っていますので、インターンに参加したいと思ってくれた方はぜひチェックしてください！ VASILYのインターンの特徴 エンジニア向けのインターンでは、VASILYのプロダクトであるiQONに直

こんにちは、メディアシステム開発部の山浦です。 年が明けたばかりだし、なにか新しいことを始めたいと思いまして、β版から正式版になったAWS IoTを取り上げてみることにしました。 AWS IoTとは 昨年10月のre:Inventで発表され、同年12月に正式リリースされたAWSサービスの１つです。 IoTに特化しており、デバイス同士の接続やAWS SNS、DynamoDBなどと連携することができます。 これまでIoT環境を構築するには、メッセージブローカーの構築やセキュリティ対策などいくつものハードルがあ