「Google Cloud」に関連する技術ブログ
企業やコミュニティが発信する「Google Cloud」に関連する技術ブログの一覧です。
全1138件中 1096 - 1110件目
CloudFormationテンプレートに秘密情報を渡す方法
2019/02/05
ブックマーク
こんにちは！ ZOZOテクノロジーズ開発部の塩崎です。 この記事ではCloudFormationにDBのマスタパスワードなどの秘密情報を渡す3つの方法を説明いたします。 前提 我々のチームではAWSインフラリソースのプロビジョニングにCloudFormationを使用しています。 CloudFormationのテンプレートファイルはGitHubでバージョン管理されており、スタックに対するチェンジセットの作成をCircleCI
BigQueryだけでRedashから個人情報見えなくする方法解説
2019/02/04
ブックマーク
データエンジニアの瀧川です。 Redash使ってますか！？ Redashが出てここ数年、加速度的に導入事例が聞かれるようになり、もうスタートアップのデファクトスタンダードとも言えるのではないでしょうか。 その導入事例の中でよく聞かれるのが、 全社的に Redashを公開して、だれでもデータにアクセスできるようにしたよという話です。 確かにRedashは、クエリの蓄積・共
TerraformとCircleCIによるAWSアカウント管理のコード化
2019/01/22
ブックマーク
この1月に普通自動二輪の免許を取得したので、早く暖かくなってツーリングに行きたいなとそわそわしている笹原です。 みなさんはAWSを使った開発をするときに、どうやってIAMユーザを管理してますか？ 開発者に権限を与えすぎれば セキュリティリスクは高まる ので、与える権限を少なくしたいですが、少なくしすぎても 開発・運用時に作業や権限の申請が頻繁に必
Gitlab CIを利用したGCP(GKE)への自動デプロイ
2018/12/20
ブックマーク
この記事は Enigmo Advent Calendar 2018 の 20日 目の記事です。 概要 GCP (GKE)を利用してログからユーザ属性を 機械学習 により予測し、 その結果を API で返却するシステムを構築しました。 運用していく上でCI/CDツールは何にしようかなぁというところで、 今後社内でGitlabを使っていくという流れがあったのと GKEとの相性も良さそうということでGitlab CIを利用することにしまし
NTT Com Tech Night #1を開催しました! (レポート)
2018/12/19
ブックマーク
NTT Com Tech Night #1を開催しました! (レポート) こんにちは、クラウドサービス部の堀内です。 普段は、Enterprise Cloud 2.0のベアメタルサーバー・専用ハイパーバイザーの開発をしています。 2018/12/18(木)に、NTT Com Tech Night #1を開催したので、その様子をお届けします。 NTT Com Tech Nightとは? 社内のエンジニアが集って、ビールを片手に技術を語り合う夜会です。 業務や趣味で技術
Apache Airflow で実現するSQL ServerからBigQueryへのデータ同期
2018/12/11
ブックマーク
はじめに この記事は Enigmo Advent Calendar 2018の11日目 です。 Enigmoでは、データウェアハウス（DWH）としてBigQueryを使っていて、サービスの アクセスログ やサイト内の行動ログ、データベースのデータをBigQueryへ集約させています。 データベースからBigQueryへのデータ同期には Apache Airflow を使っていて、今日はその仕組みについて紹介します。 Apache Airflowとは Airflowは、 python
好きな技術を使って作る！くだらないslackBot運用のすゝめ
2018/12/11
ブックマーク
こんにちは。サーバーサイドエンジニア兼、新米slackBot整備士のjoe (@joooee0000) です。 本記事はdely Advent Calendar 2018の11日目の記事です。 Qiita: https://qiita.com/advent-calendar/2018/dely Adventar: https://adventar.org/calendars/3535 前日は、iOSデザインエンジニアの John が という記事でXcodeのDebugging View Hierarchiesの紹介をしました！ はじめに 皆さんは、触ったことのない技術をプライベートで触
ストリーム・パイプラインエンジニアってなんですか？
2018/11/19
ブックマーク
こんにちは。 ストリーム・パイプラインエンジニアの辻です。 早速ですが、ストリーム・パイプラインってご存知でしょうか？ 社内でもよく「ストリーム・パイプライン」って何だ？「ストリーム・パイプラインエンジニア」ってどんなことをするポジション？というふうに聞かれる機会が多いです。同じエンジニアでさえその実態を正確には把握できないという事
Google Assistantアプリの本番環境と開発環境の分け方
2018/11/15
ブックマーク
こんにちは。イノベーション推進部の武田です。 Google Assistantアプリを開発するときの本番環境と開発環境の切り分けについて紹介します。 はじめに 最近Google AssistantやAlexaなどのVoice User Interfaceが熱いですね。 毎日のように新しい記事を目にしますし、新しいハードもどんどん登場しています。 プラットフォームごとにSDKも公開されており、誰でもアプリを開発し公開で
MLストリームパイプライン・プラットフォーム
2018/10/23
ブックマーク
こんにちは、機械学習エンジニアの辻です。 先日、SageMakerの活用事例で登壇させて頂きました。 machinelearningnighttokyo20181.splashthat.com 機械学習で一番時間の掛かる作業といえば、やはり 前処理 ですよね。データレイクからデータを取得して、必要に応じて様々なデータストアからデータをかき集めて、加工して、また別のデータストアに入れてと。。。 大量のデー
【超入門】RDBとNoSQLの違いに着目！NoSQLに求めるものとは？
2018/09/19
ブックマーク
こんにちは、MasaKuです。 ビッグデータ という言葉をよく目にしますが、その背後にある技術についてはあまり理解していませんでした。 そこで、 ビッグデータ を支える技術のひとつであるNoSQLについて興味が生まれたので、今回の記事では、NoSQLについて勉強した結果についてまとめようと思います。 （本記事の執筆には以下の書籍を参考にさせていただきました） NOS
TerraformでNGTのポータブル環境を作った
2018/09/12
ブックマーク
はじめまして、BASEでSREに所属している浜谷です。現在は主にAWSを使用したインフラ構築と運用を担当しています。 そこで今回は前回好評だったBASEビール部部長が語ってくれた「 Yahoo!の近傍探索ツールNGTを使って類似商品APIをつくる 」のインフラ環境の構築についてお話をしようかと思います。 1. 背景 BASEでは機械学習の環境以前に今本番で何が動作しているのか、又そ
Kotlin Fest 2018参加レポート
2018/09/03
ブックマーク
Kotlin Fest2018参加レポート 福岡研究所の渡辺（しかじろう @shikajiro）です。Kotlinのおっきなイベントが東京で開催されるということで福岡から飛んで✈いきました。 福岡でもFukuoka.ktという名前で過去に2回ほどイベントを主催しており、KotlinFest主催の太郎さんに登壇していただいたこともありました。僕自身3か月ほどKotlinから離れてましたが、直近の技術情報などをフォロ
Google Cloud Next '18 参加レポート
2018/08/09
ブックマーク
こんにちは！ スタートトゥデイテクノロジーズ新事業創造部の塩崎です。 2018年7月24日〜26日にかけてサンフランシスコでGoogle Cloud Next '18が開催されました。 このイベントに新事業創造部の塩崎、今村、そして代表取締役CIOの金山の3名で参加してきました。 この記事では多数あった講演の中で特に印象に残ったものをいくつか紹介いたします。 講演 Building A Petabyte Scale Wa
一休のSQL Server AWS移行事例（後編）
2018/07/26
ブックマーク
一休のSQL Server AWS移行事例（前編） からの続きです。 実施当日 kudoy: 準備段階で色々踏んだので、だいぶリハーサルもしましたし、当日は作業スケジュール組んで、その通りにやった感じです。バッチを事前に流したり… ninjinkun: バッチというのは何ですか？ kudoy 宿泊とかレストランシステムなどで夜間に定時実行されているバッチ処理ですね。 ninjinkun: ああ集計系の。