サーバーワークス の技術ブログ
全4468件
AWS Glue Python Shell ジョブで CSV → Parquet 変換する ETL を実装する
2021/08/31
ブックマーク
はじめに こんにちは。アプリケーションサービス部 河野です。 最近 Glue の Python Shell ジョブを初めて触ったのですが、その際に検証した ETL 実装について備忘録として記載します。 検証では、以下処理を実行する単一の Python Shell ジョブを実装しました。 S3 から CSV ファイルをダウンロード CSV ファイルを Pandas DataFrame に読み込む データ加工（列を削除） Parquet に変換 S3
Macで動画を録画(Blackhole + QuickTime Player)
2021/08/31
ブックマーク
入社時から使っていたMacBook Pro(2016 Late)がミーティング中に文字が打てないレベルまできたので、 M1 MacBook Proを購入して色々やってるのですが、自分で作った発表スライドを録画することになりました。 やり方は色々あるのですが、Blackhole + QuickTime Playerに行き着いたので、設定から実際に録画するところまでを書いていきます。 今回使用する機器 MacBook Pro 2020 13-inch(PC) Open
Trend Micro Cloud One Conformity の自動修復機能をAWS環境で試してみた
2021/08/31
ブックマーク
概要 当エントリーでは、CSPM(Cloud Security Posture Management)製品の Trend Micro Cloud One - Conformity (以後 Conformity) の自動修復機能を設定手順と動作イメージを自分の備忘も兼ねて情報として残します。 概要 はじめに 導入手順 1.READMEの指定手順通りインストールを実施する Lambda関数 IAMロール SNSトピック 2. Conformity で Amazon SNSチャンネルを設定手順の確認 3. Amazon KMS で CMK を作成 4. Con
【ANGEL Dojo】振り返り
2021/08/28
ブックマーク
はじめに ANGEL Dojoとは 自信をもって人前へ「リハする」 コンセプト サービス概要 学んだこと Working Backwardsの考え アジャイル・スクラム開発 まとめ 追記 はじめに PE部の谷です。 AWSJ様が主催するANGEL（APN Next Generation Engineer Leaders）Dojoという疑似プロジェクトに参加しています。 9月3日に最終発表があり、仕上げの真っ最中です。 少し早いですが、もうすぐ終わりという
【初心者向け】unittestライブラリを使ってPythonテストコードを書いてみる
2021/08/28
ブックマーク
はじめに テストコードってなに unittest 書いてみる まとめ はじめに PE部谷です。 テストコードという言葉は聞いたことあるけど、書いたことがなかったので、初めて調べてみました。 Pythonにはテストをサポートしてくれるライブラリがいくつかあるようで、今回はunittestを使ってみました。 テストコードってなに 自分が書いたコードが想定した通りに動いているかを確
Zappa で内部 ALB を作成するまでの道のり
2021/08/27
ブックマーク
はじめに こんにちは。アプリケーションサービス部の保田（ほだ）です。 たまに Python 製の軽量サーバーレスアプリケーションのデプロイツールである Zappa を使う場面があるのですが、誰も Frank Zappa の話をしないので少し寂しいです。 ちなみに Pound for a Brown という曲が好きです。 そんな訳で今回は Zappa の tips についてお話します。 要約 README.md には書いてないけど、z
AWS Clinet VPNの接続を通知する（Macの場合）
2021/08/27
ブックマーク
自分はAWS Clinet VPNを接続した後、よく切り忘れます。 切り忘れないように通知センターに通知されまくるようにしました。
プライベート API Gateway にカスタムドメインを設定したい
2021/08/26
ブックマーク
はじめに こんにちは。アプリケーションサービス部の保田（ほだ）です。 最近二度寝にハマっています。安心して二度寝するために一度目は5時ぐらいに起きるのがポイントです。 そんな訳で今回はプライベート API に何とかしてカスタムドメインを割り当てる方法を考えます。 背景 VPC エンドポイント経由で API Gateway を実行したい場合、プライベート API を利用するこ
【バックアップ】AWS BackupでRDSのバックアップを取得する
2021/08/26
ブックマーク
こんにちは、CI部 柿﨑です。 最近はダイエットに励んでおります！ 今回はAWS BackupでRDSのバックアップを取得していこうと思います。 数か月前に自動バックアップにも対応し、たまたま使用する機会があったため、記事に残すこととしました。 AWS Backupの詳細な解説はせず、RDSのバックアップ取得についてフォーカスします。 AWS Backup が Amazon RDS インスタンスの継続的な
ドメインコントローラーでセッションマネージャーを使う前に必要な設定
2021/08/26
ブックマーク
こんにちは、SWX3人目の熊谷（悠）です。 困ったので備忘として残します。 結論 ユーザー名がssm-userのアカウントを作成しておく （アカウントのパスワードはポリシーに抵触しなければ何でも良い） 環境 ・AWSで公式のクイックスタートAMIを使用しました。 Microsoft Windows Server 2019 Base - ami-0f3651a900e33262f Microsoft Windows 2019 Datacenter edition. [English] ※SSM Agentがデフォルトで入って
Datadog Agent導入時注意事項（ドメインコントローラー等）
2021/08/26
ブックマーク
こんにちは、SWX3人目の熊谷（悠）です。 ADよく分かってない私がよく調べもせずドメインコントローラーにインストールしようとしてハマったので備忘として残しておきます。 実は本当に書きたかった記事は本稿で、WindowsにDatadog Agent導入は前座だった。 環境 基本的なインストールを実施した時と同様 Datadog Agent Version：7.26.0 ※2021/04/02 時点最新のインストーラーを使用
【初心者向け】構築したFSx for Windowsの設定をPowershellからやってみた
2021/08/25
ブックマーク
こんにちは！ クラウドインテグレーション部（CI部）技術2課の反町です。 Amazon FSx for Windows File Serverを構築してクォータなどの設定をする機会があったのですが、ところどころはまった部分があったので注意点を含めつつ、設定手順を紹介したいと思います。（以下、FSxと記載します） 構成図 FSx設定手順 1. FSx接続用EC2をドメイン参加させる 2. PowerShellからFSxに接続 2-1. Act
【サンプルコマンドあり】ElastiCache(Redis)の パラメータグループまとめ
2021/08/25
ブックマーク
はじめに ElastiCache(Redis) のパラメータグループについてまとめました。 Memcached は触ってないので、今回は対象外です。 追加でわかったことがあれば追記します。 記事目安...5分 はじめに ElastiCache(Redis) パラメータグループとは? パラメータグループの全体像 ①デフォルトかカスタムかで分かれる デフォルトパラメータグループ カスタムパラメータグループ 比較表 ②Redis
SSMエージェントの自動アップデート設定
2021/08/25
ブックマーク
EC2インスタンスの運用には、AWS Systems Manager（以下、SSM）の活用が重要です。 SSMの動作には、EC2インスタンスのOS上で amazon-ssm-agent が起動している必要があります。 amazon-ssm-agentは頻繁にアップデートされているので、各インスタンスに手動で更新を適用するのは大変な手間です。 公式ドキュメントでは、自動更新が推奨されています。 docs.aws.amazon.com ということで、やっ
SSM を活用し m5 から m6i へ Windows Server 2019 のインスタンスタイプを変更する
2021/08/25
ブックマーク
CI部佐竹です。 本日は東京リージョンで利用可能となった m6i インスタンスへとインスタンスタイプを変更する作業を実際に検証してみました。第6世代の利用には ENA のドライバーバージョンが v3 以上の必要があるという制限から、SSM Automation ドキュメントである AWSSupport-UpgradeWindowsAWSDrivers を活用して対応を行います。