サーバーワークス の技術ブログ
全4563件
AWS GlueでS3に入っているデータを加工してみた
2018/04/23
ブックマーク
2017年12月から東京リージョンでも使用可能になったAWS Glue。データの加工や収集ができるともっぱらの噂ですが、どんなことに使えるんだろう・・・？ということで、S3に保存したデータを、Glueを使って加工してみました、というブログです。 はじめに 4月は花見で酒が飲めるぞ、5月は何で酒が飲めるんだっけ・・・？ 技術1課の原です。昨年発表されたAWS Glue。どんな内
踏み台経由でプライベートサブネットのWindowsサーバーにAnsibleで接続してみました。
2018/04/23
ブックマーク
こんにちは、技術4課の城です。 タイトルのとおり、踏み台として用意したLinuxサーバーを経由して、プライベートサブネットに配置されたWindowsサーバーにAnsibleで接続してみました。 以前、こちらのブログにて紹介しましたDocker for Windowsの環境から実施しています。 構成について 構成イメージは下記となります。 Dockerfileについて 踏み台経由でアクセスするには、踏み
「Microsoft licensing on AWS」のまとめ
2018/04/19
ブックマーク
相変わらず、「センスがいいね」と一向に言われません。 ライセンスの話題を書くと、入力ミスで、 「あの人、ライセンスの記事書いてるよ」 「あの人、センスのある記事書いてるよ」 このような奇跡が起きそうなので、 Microsoftのライセンスの話しを書こうと思ったのでした。 はじめに 「Microsoft licensing on AWS」という資料が素敵でして、こちらの内容をまとめてみま
異なる AWS アカウントの S3 バケットに Lambda からエンドポイント経由でアクセスする
2018/04/17
ブックマーク
技術 1 課の山中です。 今日、屋上で作業をしようとおもって上がったら、小雨が降っていてすぐに断念しました。 というわけで、本日は異なるアカウントの S3 バケットに対して VPC エンドポイント経由でアクセスしてみたいとおもいます。 構成について 今回は異なるアカウントとしてアカウント A とアカウント B を想定しています。 アカウント B には S3 バケットが存
Facebook ：アメリカ議会における質疑応答
2018/04/17
ブックマーク
皆さん、こんにちは。 カリフォルニアオフィスの臼坂です。 今回のブログでは、先日4/11と4/12に行われましたFacebook CEOのMark Zuckerberg氏によるアメリカ議会における質疑応答について書きたいと思います。 今回の質疑応答に関しては、2日間にわたり行われ、600以上の質問があり、合計10時間以上の会議となりました。 何故、Facebookが議会に招集されたのか？ まず、昨今発
OneLogin ブラウザアドオンが便利になりました
2018/04/17
ブックマーク
OneLoginを利用していて、各クラウドサービスを利用する場合、OneLoginのポータル画面からアイコンをクリックしてログインを実施する必要がありました。 今回追加されたブラウザアドオン機能では、各サービスのログインページに移動して、OneLoginアドオンをクリックすると、ログインページと一致しているサービスが、ドロップダウンリストの上部に表示されるようにな
ELBのProxy Protocolを有効にしてApacheで送信元IPアドレスを確認してみる
2018/04/16
ブックマーク
こんにちは、技術4課の井関です。入社して半年ほど経過しましたが、初のブログ投稿となります。 ポートをTCPにしてロードバランシングした場合、バッググランドのEC2では送信元のIPアドレスを取得することができません。 クライアント証明書を利用したい時などは、要件によってTCPを利用するケースがあるかと思います。 バッググランドのEC2で送信元のIPアドレスを扱
Roadworkerを使ってRoute53の管理
2018/04/16
ブックマーク
DNSが苦手な皆様、こんにちは。 技術4課、岩本です。 DNSサーバーの設定変更は、サービス全体への影響が大きくなる場合が多く、いつも神経使います。 AWSでは、マネジメントコンソールから比較的に簡単なGUIでRoute53を利用することが可能です。 ただし、GUI全般の弱点として、差分の確認や実行結果の確認（ドライラン）は難しいです。 そこでRoadworkerを使って、CUIからRou
Classic Load Balancer で Proxy Protocol を構成する
2018/04/13
ブックマーク
クライアントからの通信をCLBを経由してサーバにTCPで分散する際に、クライアントのIPアドレスがCLBのIPアドレスに書き換えられます。CLBの背後に、Proxyがあった場合、送信元がCLBのIPアドレスになってしまうため、クライアントのIPアドレスによるアクセス制御ができなくなります。そんなとき、Classic Load Balancerで `Proxy Protocol` を有効にすることで、CLBを経由した後でも、
Serverless Frameworkで出たエラーの対処法（ちょっとだけ）
2018/04/13
ブックマーク
はじめに 花粉がかなり舞って、マスクしてる方多いですよね。僕の周りの方々もくしゃみしたりして大変そうです。 今回はエラー特集と題して、Serverless Frameworkを使ってて出たエラーの対処法（ちょっとだけ）をお送りします。 （後、やったほうがいいことも） エラーその１ 「Missing required key 'Bucket' in params」 エラー内容 最初にserverless.ymlの「service」名を変更した後、sl
VPC エンドポイント経由で SNS が実行できるようになりました！
2018/04/12
ブックマーク
はじめに AWS PrivateLink が遂に SNS をサポートしました！ Securing messages published to Amazon SNS with AWS PrivateLink これまでは Private サブネットの Lambda から処理の結果を SNS で送りたいときなどはわざわざ NAT やプロキシを経由してインターネット経由で SNS の API をコールしなければなりませんでした。 しかし、今回 PrivateLink が SNS をサポートしたことで NAT 等がなくても Lambda から SN
Docker for WindowsからAnsibleを使ってみました。
2018/04/11
ブックマーク
こんにちは、技術4課の城です。 先日Ansibleの記事を書いたのですが、実行環境が違うと同じコマンドを投入しても、様々な原因でErrorとなってしまうことがあります。 特に当社はBYOD（BringYourOwnDevice)制度によりメンバーの端末がMACだったり、Windowsだったりしますので、対応が必要です。 簡単に実行環境をそろえるにはコンテナじゃないですか！ということで、Docker for Windo
AWS Database Migration Service（DMS）入門 その3（データ移行編）
2018/04/11
ブックマーク
技術課の柏尾です。 「準備編」「スキーマ変換編」に続き、今回は「AWS DMS レプリケーションインスタンス」を利用したデータ移行を試してみたいと思います。 AWS DMS レプリケーションインスタンスの作成 AWS マネジメントコンソールにサインインし、AWS DMS を選択して、「移行の作成」ボタンを押します。 「レプリケーションインスタンスの作成」で、レプリケーション
AWS Database Migration Service（DMS）入門 その2（スキーマ変換編）
2018/04/11
ブックマーク
技術課の柏尾です。 前回の「準備編」に続き、今回は「AWS スキーマ移行ツール（AWS Schema Conversion Tool）」を利用したスキーマ変更を試してみたいと思います。 事前準備 事前設定でJDBCドライバの設定をしていない場合は、「Global Settings」から「Oracle Driver Path」「MySQL Driver Path」にダウンロードした、それぞれのJDBCドライバへのパスを入力します。 AWS スキーマ移行ツール
AWS Database Migration Service（DMS）入門 その1（準備編）
2018/04/11
ブックマーク
技術課の柏尾です。 AWS Database Migration Service（DMS）が発表されてから随分経ちますが、自分はまだ使ったことが無かったので、下記のAWSのドキュメントで提供されているチュートリアルを利用して学習してみました。 Amazon RDS Oracle データベースの Amazon Aurora MySQL への移行 https://docs.aws.amazon.com/ja_jp/dms/latest/sbs/CHAP_RDSOracle2Aurora.html ※チュートリアルの所要時間は約 2 時間です