みなさんこんにちは。フジサワです。 前回の記事 でお伝えしていたElasticsearchの検証がひと段落しましたので、検証結果をレポートいたします。 連載目次 『全文検索 〜 Elasticsearchとデータ匿名化手法』 『全文検索の探求 Elasticsearch(1) 』: プロジェクト方針およびElasticsearch概要 大量データを検索するサービスでElasticsearchはRDBの代替候補になりうるか？(Elasticsearch vs pg_bigm)』 ←今読んでいる記事 データ匿

こんにちは、株式会社 ラク スで横断的にITエンジニアの育成や、技術推進、採用促進などを行っている開発管理課に所属している鈴木( @moomooya )です。 前回はデータを匿名化する際の一般化の例についてお話ししました。 tech-blog.rakus.co.jp 今回は匿名化したデータがどの程度匿名化されているか数値化する方法についてお話ししていこうと思います。 連載目次 『全文検索 〜 Elasticsearchとデータ匿名化手法』 『全文検索の探求 Elasticsearch(1) 』: プロジェ

こんにちは、株式会社 ラク スで横断的にITエンジニアの育成や、技術推進、採用促進などを行っている開発管理課に所属している鈴木( @moomooya )です。 前回はデータを匿名化していく手順と、匿名化したデータを比較するための情報量の算出についてお話ししました。 tech-blog.rakus.co.jp 今回は匿名化する中で一般化をする際の具体的な値の置き換え方法についてお話ししていこうと思います。 連載目次 『全文検索 〜 Elasticsearchとデータ匿名化手法』 『全文検索の探求 Elast

こんにちは、株式会社 ラク スで横断的にITエンジニアの育成や、技術推進、採用促進などを行っている開発管理課に所属している鈴木( @moomooya )です。 前回は匿名化された個人情報において 個人が特定されない とはどういうことなのかについてお話ししました。 tech-blog.rakus.co.jp 今回は匿名化のプロセスについてどういった手順で行うのかをお話ししていこうと思います。 第1回、第2回がこってりした文量になってしまったので今回は軽めに行きたいと思います。 連載目次 『全文検索 〜 El

こんにちは、株式会社 ラク スで横断的にITエンジニアの育成や、技術推進、採用促進などを行っている開発管理課に所属している鈴木( @moomooya )です。 前回は個人情報の匿名化とはどういうことなのかについてお話ししました。 tech-blog.rakus.co.jp 今回は個人情報の匿名加工についてどういった状態になっていれば良いのかをお話ししていこうと思います。 連載目次 『全文検索 〜 Elasticsearchとデータ匿名化手法』 『全文検索の探求 Elasticsearch(1) 』: プロ

TL;DR こんにちは、スタメンの 津田 です。スタメンが提供しているサービス、TUNAGには、チャット機能があります。ブラウザベース、 Rails による REST API + Reactで構築されていたのですが、特にモバイルアプリケーションのユーザー体験を向上させたいということで、昨年末にモバイルアプリケーションチャット機能のネイティブ化と、それに伴うサーバー側の一部再構築を行いました。 その際、 Cloud Firestore を クラウド 上のキャッシュデータのような形で利用したため、その利用方法

※公開時から一部訂正しています※ 文中で個人識別符号の例としてクレジットカード番号をあげていましたが、 個人情報保護委員会 から発行されている『 「個人情報の保護に関する法律についてのガイドライン」及び「個人データの漏えい等の事案が発生した場合等の対応について」に関するQ&A 』（PDFへの直接リンクは こちら ）のQ1-22にてクレジットカード番号 単体では 個人識別符号として該当しない旨が記載されていましたので修正しています。 こんにちは、株式会社 ラク スで横断的にITエンジニアの育成や、技

こんにちは、技術3課の城です。 これまでにいくつかElasticsearch Serviceに関するブログを書きましたが、ほぼほぼ初心者の状態からなんとか運用するところまでこぎつけました。 初めからこのドキュメントをきちんと読んでおけば、、、というものが多々あったので簡単ではありますが、まとめておきます。 ついでですが、これまで私が書いたAmazon Elasticsearch Service関連のブログです。 【Amazon Elasticsearch Service】CloudTrail、VPC Fl

こんにちは、技術3課の城です。 以前、【Amazon Elasticsearch Service】CloudTrail、VPC Flowlogsを集約するというブログを書いたのですが、このままだとデータがたまる一方なので、Lambdaを利用したローテーションを実装してみました。 下記のドキュメントほぼそのままなのですが、必要なモジュールやライブラリを含めるなど、Lambdaをあまり利用していなった私にとっては色々と調べつつの実装だったので、記録として残しておきたいと思います。 https://docs.a

みなさんこんにちは。フジサワです。今回は、 前回の記事 でご紹介いたしました、「 開 （ か ） 発の 未 （ み ） 来に 先 （ せん ） 手をうつプロジェクト（通称：かみせんプロジェクト）」についての途中経過をレポートさせていただきます。 今年度のかみせんプロジェクトでは、大きく以下の２つのテーマ Elasticsearch データ匿名化手法 について検証を進めており、本記事ではElasticsearchの検証について記載いたします。 連載目次 『全文検索 〜 Elasticsearchとデータ匿名

こんにちは、技術3課の城です。 先日、Amazon Elasticsearch Service（以降、AES）にVPC Flowlogsのデータを投入するという内容のブログ記事を書きました。 今回はこのAESを用いてアラート機能を用いて時間当たりのリジェクトの異常発生を検知、Slack投稿する、というのをやってみたいと思います。 1.前提条件 AESにVPC Flowlogsのデータが投入できていること 2.SlackのIncomming Webhookの用意 こちらの当社ブログの「PowerShellが

こんにちは、技術３課、Elasticsearch初心者の城です。 Amazon Elasticsearch ServiceはオープンソースであるElasticsearchの完全マネージド型のサービスです。 ログ分析や全文検索に適しており、複数のログを集約して可視化するのに有用なサービスです。 https://aws.amazon.com/jp/elasticsearch-service/ 先日、1つのドメインに対し、CloudTrail、及び、複数のVPC Flowlogsのデータを投入するというのをやっ

最近 RAKUS Meetup 関連の宣伝ばかりしている鈴木( @moomooya )です。今回は ラク ス開発部で実施している取り組みについて複数回にわたって紹介していければと思います。 ラク スの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「 開 （ か ） 発の 未 （ み ） 来に 先 （ せん ） 手をうつプロジェクト（通称：かみせんプロジェクト）」 というプロジェクトがあります。こちらのプロジェクトの成果

平成も残るところわずかとなりましたね。 ティム・バーナーズ＝リーによって、WWWの原型が生み出されたのが平成元年(1989年)なんですよね。 そんなことをエンジニア達で話していて、せっかくなので 平成に登場した情報技術を時系列にしてまとめる 自由研究をしてみることにしました 。 「自分の生まれ年になにができたのか」 「こんな技術もあったなあ」 など思いを馳せていただければ幸いです。 ※ スマホなどでは見にくいかと思いますので、 画像版やPDF版などもお試しください 。 ※ 片手間でまとめたので、「年が間違

こんにちは、スタメンのエンジニア、津田です。以前、弊ブログでも「 TUNAGの全文検索を支える Elasticsearch × Rails 」として紹介させていただいたように、TUNAGでは検索機能の実装にElasticsearchを利用しています。検索クエリとしては主にMulti Matchを利用しているのですが、RDBに登録されているレコードを利用しやすい形でElasticsearchのドキュメント化する方法について試行錯誤したため、共有させていただきます。 TL;DR (概要) Elasticsea