この記事は Enigmo Advent Calendar 2018 の 20日 目の記事です。 概要 GCP (GKE)を利用してログからユーザ属性を 機械学習 により予測し、 その結果を API で返却するシステムを構築しました。 運用していく上でCI/CDツールは何にしようかなぁというところで、 今後社内でGitlabを使っていくという流れがあったのと GKEとの相性も良さそうということでGitlab CIを利用することにしました。 1 今回はGitlabと GCP (GKE)環境を連携する方法と、

NTT Com Tech Night #1を開催しました! (レポート) こんにちは、クラウドサービス部の堀内です。 普段は、Enterprise Cloud 2.0のベアメタルサーバー・専用ハイパーバイザーの開発をしています。 2018/12/18(木)に、NTT Com Tech Night #1を開催したので、その様子をお届けします。 NTT Com Tech Nightとは? 社内のエンジニアが集って、ビールを片手に技術を語り合う夜会です。 業務や趣味で技術的に挑戦したことや、サービスの裏側につい

はじめに この記事は Enigmo Advent Calendar 2018の11日目 です。 Enigmoでは、データウェアハウス（DWH）としてBigQueryを使っていて、サービスの アクセスログ やサイト内の行動ログ、データベースのデータをBigQueryへ集約させています。 データベースからBigQueryへのデータ同期には Apache Airflow を使っていて、今日はその仕組みについて紹介します。 Apache Airflowとは Airflowは、 python でワークフロー（DAG

こんにちは。サーバーサイドエンジニア兼、新米slackBot整備士のjoe (@joooee0000) です。 本記事はdely Advent Calendar 2018の11日目の記事です。 Qiita: https://qiita.com/advent-calendar/2018/dely Adventar: https://adventar.org/calendars/3535 前日は、iOSデザインエンジニアの John が という記事でXcodeのDebugging View Hierarchi

こんにちは。 ストリーム・パイプラインエンジニアの辻です。   早速ですが、ストリーム・パイプラインってご存知でしょうか？ 社内でもよく「ストリーム・パイプライン」って何だ？「ストリーム・パイプラインエンジニア」ってどんなことをするポジション？というふうに聞かれる機会が多いです。同じエンジニアでさえその実態を正確には把握できないという事もあり、改めてその仕事の内容について少しご紹介したいと思っています。 実は知られていないというのもそのはずでして、日本にはまだこのポジションを明確に示す名前がありません。（

こんにちは。イノベーション推進部の武田です。 Google Assistantアプリを開発するときの本番環境と開発環境の切り分けについて紹介します。 はじめに 最近Google AssistantやAlexaなどのVoice User Interfaceが熱いですね。 毎日のように新しい記事を目にしますし、新しいハードもどんどん登場しています。 プラットフォームごとにSDKも公開されており、誰でもアプリを開発し公開できます。 開発の初期段階では自分だけが触るので、試せる環境が1つあれば十分です。 しかし、

こんにちは、機械学習エンジニアの辻です。   先日、SageMakerの活用事例で登壇させて頂きました。 machinelearningnighttokyo20181.splashthat.com     機械学習で一番時間の掛かる作業といえば、やはり 前処理 ですよね。データレイクからデータを取得して、必要に応じて様々なデータストアからデータをかき集めて、加工して、また別のデータストアに入れてと。。。 大量のデータをあっちにやったりこっちにやったりして、もう一体最初は何がしたかったのかさっぱりわからなく

こんにちは、MasaKuです。 ビッグデータ という言葉をよく目にしますが、その背後にある技術についてはあまり理解していませんでした。 そこで、 ビッグデータ を支える技術のひとつであるNoSQLについて興味が生まれたので、今回の記事では、NoSQLについて勉強した結果についてまとめようと思います。 （本記事の執筆には以下の書籍を参考にさせていただきました） NOSQLの基礎知識 ビッグデータを活かすデータベース技術 はじめに NoSQLとは RDBとの違い NoSQLに期待すること NoSQLのデータモ

はじめまして、BASEでSREに所属している浜谷です。現在は主にAWSを使用したインフラ構築と運用を担当しています。 そこで今回は前回好評だったBASEビール部部長が語ってくれた「 Yahoo!の近傍探索ツールNGTを使って類似商品APIをつくる 」のインフラ環境の構築についてお話をしようかと思います。 1. 背景 BASEでは機械学習の環境以前に今本番で何が動作しているのか、又その全体を把握するにはAWSのコンソールにログインして調査する方法しかありませんでした。 AWSの運用をしているとよくある事かと

Kotlin Fest2018参加レポート 福岡研究所の渡辺（しかじろう @shikajiro）です。Kotlinのおっきなイベントが東京で開催されるということで福岡から飛んで✈いきました。 福岡でもFukuoka.ktという名前で過去に2回ほどイベントを主催しており、KotlinFest主催の太郎さんに登壇していただいたこともありました。僕自身3か月ほどKotlinから離れてましたが、直近の技術情報などをフォローできたらいいなと思い参加しました。 KotlinFestとは 2018/08/25（土）に開

こんにちは！ スタートトゥデイテクノロジーズ新事業創造部の塩崎です。 2018年7月24日〜26日にかけてサンフランシスコでGoogle Cloud Next '18が開催されました。 このイベントに新事業創造部の塩崎、今村、そして代表取締役CIOの金山の3名で参加してきました。 この記事では多数あった講演の中で特に印象に残ったものをいくつか紹介いたします。 講演 Building A Petabyte Scale Warehouse in BigQuery How to Do Predictive An

一休のSQL Server AWS移行事例（前編） からの続きです。 実施当日 kudoy: 準備段階で色々踏んだので、だいぶリハーサルもしましたし、当日は作業スケジュール組んで、その通りにやった感じです。バッチを事前に流したり… ninjinkun: バッチというのは何ですか？ kudoy 宿泊とかレストランシステムなどで夜間に定時実行されているバッチ処理ですね。 ninjinkun: ああ集計系の。 kudoy そうですね。それを事前に流せるものは流して。 今回移行対象のDBが十数個あったんですが、各

全国のPacker愛好家の皆様こんにちは。 技術四課 岩本です。 早速ではござますが、Packerを使って、AMIの構築自動化をやってみました＆作ってみました。 Packerとは？ Packerとは、HashiCorp社が提供するマシンイメージの自動生成・管理を行うコマンドライン・ツールです。 Templateと呼ばれるテンプレートファイルから、マシンイメージの作成が行えます。 AWS以外にも、HyperV、GCP、DigitalOceanやVMwareなどにも対応しています。 詳しくは、こちらをご覧くだ

こんにちは。 デバイスソリューションユニット開発グループの衛藤です。 本日はGoogle I/O 2018の2日目です！ 疲れが徐々に溜まってきていますが、毎日新鮮な技術情報により浄化されていくようです！ でも肩が痛いです！ 今回はAndroidやFirebaseの他にGCPやMachine Learning関連など分野を広げて見てみました。 本日メインで参加したセッションをメインに、レポートをお届けします！！ Machine learning and medicine 今年のKeynoteはほぼAIが絡

こんにちは。 デバイスソリューションユニット開発グループでAndroid開発をしている衛藤です。 私は今年で2回目のGoogle I/O参戦！！どんな発表がされるのか楽しみです！ 個人的にはAndroid以外にも視野を広げてGCPやMachine Learning系のセッションも聞いてみようと思っています。 今年は同じくI/Oに参戦している崔と交代でブログをお届けしますのでお楽しみに！ 成田空港〜San Jose 5/7、東京の朝はどんよりとした曇り空です。午後から雨との予報を受けて早めに成田空港へGO！