「AWS」に関連する技術ブログ

企業やコミュニティが発信する「AWS」に関連する技術ブログの一覧です。

AWS GlueのCI/CD環境を作ってみた

こんにちは、カケハシの横田です。今回は我々の会社で実践しているテクノロジーについてお話しします。我々の開発チームは、日々 Apache Spark を活用し 100 個以上のバッチ処理を運用する中で、 AWS Glue という Apache Spark のマネージドサービスに大いにお世話になっています。 しかし、バッチ処理のテストを行う際にはいくつかの課題に直面します。特に想定外のデータへ

AWS CLI を MFA を都度入力せずにスイッチロールと共に12時間連続で利用する方法

マネージドサービス部 佐竹です。本ブログでは、AWS CLI を MFA を都度入力せずにスイッチロールと共に12時間連続で利用する方法として、実際のコマンドと設定について記載しています。この内容に関するブログは世の中に色々あると思うのですが、今回は比較的 AWS CLI 初心な方向けになるべく詳細な検証結果を添えてお伝えします。
AWS

そもそもコンテナって何?

技術1課の櫻井です。 近頃、新サービスの開発や実装でコンテナを利用する企業も増えてきている中で、 「コンテナって名称は聞くけど実はどんなものなのかよくわかっていない」、「仮想化技術は触れたことがあるけどコンテナはさっぱり」という方もいらっしゃるのではないでしょうか。恥ずかしながら私自身がそうです。 そこで、自分の勉強も兼ねて今回はコンテ
AWS

AWSコンテナ入門〜コンテナイメージの作成からECSまでのデプロイ〜

技術1課の櫻井です。 自分の勉強も兼ねてECSでコンテナをデプロイするハンズオンを行ってみました。 といっても最初からECSに触れるのではなく、自分でコンテナイメージを作成するところから行ってみようと思います。 今回の目標 コンテナイメージの作成 Cloud9の準備 自分でコンテナイメージを作成してみる Dockerfileからコンテナイメージを作成 コンテナイメージをECR

CodeCommitリポジトリのブランチごとにgit pullのアクセス制御をしようとして失敗した話

はじめまして。新卒入社2年目の大林です。 本記事ではCodeCommitリポジトリのブランチごとにgit pullのアクセス制御をしようとして失敗した話を紹介します。 やろうとしたこと テスト実施/結果 結論 さいごに やろうとしたこと ローカル環境からIAMユーザーにログインする。 環境操作権限があるIAMロールにスイッチして、環境サービス内のEC2インスタンスに接続する。 本番

ココナラのAWS Organizationsを再構築しよう

こんにちは。 株式会社ココナラのシステムプラットフォーム部インフラ・SREチームのかたぎりと申します。 今回はAWS Organizationsを再構築した話のご紹介です。 経緯 弊社では複数のAWSアカウントを管理・運用しており、メインとなるアカウント(Main Account)をAWS Organizations(Org)の管理アカウント(Payer)、他をメンバーアカウント(Linked)として配下に置く体制で運用し

「しまった!EC2インスタンス夜間つけっぱなしにしてたああああ😭💰 」を防ぐ方法(Cloud Automatorの場合)

はじめに 「しまった!、EC2インスタンス(使わないのに)夜間つけっぱなしにしてたああああ😭💰 」ってこと、AWSをお使いの方であれば、1度や2度に限らずあるのではないでしょうか。 EC2インスタンスは起動時間による従量課金があるため、使わない時間帯はできるだけ停止しておくことで、余分な利用料の発生は防ぎたいものです。 今回は、そのような事態を防ぐ方
AWS

AWS PrivateLink で AZ の異なる EC2 インスタンス同士を疎通させる構成について

マネージドサービス部 佐竹です。 本ブログでは AWS PrivateLink をクロスゾーンで構成する必要が出た場合に取り得ることが可能な実装方法2種類を紹介します。1つは接続元の AWS アカウントでクロスゾーンする実装であり、もう1つは接続先である NLB を構築するアカウントでクロスゾーンする実装となります。
AWS

[中級] ハマグリ式! AWS で使う Terraform の落とし穴

はじめに この記事を見つけたけど、後で見ようと思ったそこのあなた! ぜひ下のボタンから、ハッシュタグ #ハマグリ式 でツイートしておきましょう! こんにちハマグリ。貝藤らんまだぞ。 今回は AWS および Terraform の中級者向けに、ハマグリ式! AWS で使う Terraform の落とし穴をご紹介します! 中級者って? ハマグリ式では、下記のようにレベルを設定しています。

クラシルにおけるElasticsearch v7へのアップグレードおよびElastic Cloudへの移行

はじめに 移行が必要となった背景 Elastic Cloudへの移行およびv7へのバージョンアップ 旧構成について 構成図 なぜElastic Cloudか なぜ移行と同時にアップグレードを行ったか なぜ最新のv8ではなくv7か サーバサイドの修正内容 新構成について 構成図 Traffic Filter経由での接続 監視 Datadog Elastic Status ログ deprecation slowlog audit 権限管理 S3バックアップ Kibana Spaceのロゴ調整 辞書・

GitHub ActionsとCodeシリーズを使用してモノレポ用のデプロイパイプラインを構築した話

はじめに こんにちは。ニフティ株式会社の添野翔太です。 今回はモノレポ用のデプロイパイプラインを構築した話を共有します。 背景 現在、 @niftyトップページ ではアプリケーション基盤の刷新を進めていますが、その過程で一部においてモノレポを採用しています。このリポジトリは、Web3層アーキテクチャにおけるWeb層にあたるもの、App層にあたるもの、およびその

reStack/reScale Premium League AWS Game Dayに参加してきました

エンタープライズクラウド部技術3課の大浪です。 2023年7月7日に行われたAWSのGame Dayに同僚の橋本さん、島村さんと参加してきました。 AWS GameDayとは 当日の進行 Amazon Chimeに集合 12:15 Opening & introduction 12:40 GameDay Start! 16:00 Announcing winners & Conclusion 感想 参加メンバー: 大浪 参加メンバー: 橋本 参加メンバー: 島村 最後に 参考 AWS GameDayとは AWS GameDay は、ゲーム化されたリスクの

驚き!AutoML課金テクニック解説〜Vertex Forecast編〜

はじめに  こんにちは。Insight Edge, Data Scientistのnakanoです。  これまで機械学習モデルを使用する際は、データの前処理、特徴量エンジニアリング、モデルの選択、 ハイパーパラメータの調整といった複雑な手順を専門知識を持つデータサイエンティストが手作業で行う必要がありました。 しかし最近は、クラウドベンダーが提供しているAutoMLサービスの認知度も上がり

[Amazon RDS] スナップショットから復元する時に元のエンドポイント名を設定する方法

こんにちは!イーゴリです。 問題点 理由 対策方法 作業流れ 手順 RDSをアップグレードする場合、この方法もご検討ください! 問題点 RDSを復元したい時に同じエンドポイント名に設定したい場合、スナップショットから復元し、[DB 識別子]を既存RDSと同じ名前で設定しようとすると[DB instance already exists]というエラーが発生しています。 理由 DB 識別子名がエンドポイント
AWS

AWS ⇔ Google Cloud 間で Cross-Cloud Interconnect のパフォーマンスを測定してみた

はじめに ! 2024/02 Update!! 一部情報を最新の情報へアップデートしました。 追記した情報は、各章に記載しておりますのでご確認ください。 こんにちは、クラウドエースでSREディビジョンに所属している Shanks と申します。 2023/06/01 に Cross-Cloud Interconnect(以降、CCIと呼ぶ。)という Cloud Interconnect の派生機能が新たに追加されました。 これまで、CCI の概要をまとめた記事と
技術ブログを絞り込む

TECH PLAY でイベントをはじめよう

グループを作れば、無料で誰でもイベントページが作成できます。情報発信や交流のためのイベントをTECH PLAY で公開してみませんか?