はじめに パターン1. 直接Publish パターン メリット デメリット パターン2. DLQパターン メリット デメリット パターン3. 失敗時送信先パターン メリット デメリット パターン4. メトリクスフィルターパターン メリット デメリット パターン5. サブスクリプションフィルターパターン メリット デメリット 各パターン比較表 まとめ はじめに アプリケーションサービス部の宮本です。 お仕事でLambda を使ったバッチ処理を構築することが多いのですが、バッチ処理でエラーが発生した場合、通知

はじめに こんにちは。アプリケーションサービス部の保田（ほだ）です。 最近 Future Funk なる音楽ジャンルにハマっており、仕事中 BGM としてずっと流しています。 というわけで今回は DynamoDB のストレージ容量を自力で算出することを試みます。 注意: 私の推測を多分に含むため、無理やり概算したければこういう方法もありかもしれない、と参考程度に見ていただければと思います。 要約 フラットなテーブル構造であれば 「キー1」「値1」「キー2」「値2」… とツメツメに並べたデータ量がどうやらス

こんにちは。ユーザベース Product Team の old_horizon です。 早速ですが明日 8/5 (木) 19:30 から、Qiita さんと合同で Qiita x Uzabase Tech Meetup #3 を開催します！ぜひ皆様ご参加ください。 今回は登壇するチームメンバーと日々取り組んでいる E2E テストにおける改善についてご紹介します。 開発チームにおける E2E のこれまで ファイルダウンロードを行う E2E テストの課題 Selenium Grid でファイルダウンロードを行

はじめに 起きたエラーと経緯について エラーメッセージについて エラーの原因 ダブルクォートへ修正後のコマンド結果 まとめ はじめに コマンドプロンプトで、AWS CLIを利用した際に発生したエラーについて調べたことをまとめます。 起きたエラーと経緯について 例 3: Amazon Kinesis Data Firehose を使用したサブスクリプションフィルターの設定を行っており、コマンドサンプルを修正して実行しました。 コマンドサンプル（抜粋） aws s3api get-object --bucke

こんにちは、データプラットフォームグループの樋口です。エンジニアとしてデータ基盤の構築・運用を約4年ほど担当しています。 今回は私達が「データの民主化」を目指してこれまでに取り組んできた事を振り返りながらご紹介したいと思います。 はじまり（2017年10月〜） 当時社内では以下のようなキーワードがトレンドでした。 データドリブン経営 データの民主化 データウェアハウス しかしデータが十分に活用されているのは一部の部署や施策に限られており、「データの民主化」と呼ぶには程遠い状態でした。 データのサイロ化 デ

CI部の村上です。 小ネタ的な記事ですが、掲題の件について紹介します。 前提 Helmとは Helmのインストール Kubeconfigとは 環境設定について EKSクラスターの状態 kubeconfigの設定 Helmのバージョン test02のEKSクラスターにデプロイしたい場合どうするか contextの切り替え デプロイ やりたいこと 手順 kubeconfigの設定 Helmでデプロイ先のEKSクラスターを指定する まとめ 前提 ここでは用語の説明をします。すでにご存知の方は読み飛ばしてください

RDDとは何かおよびRDDオブジェクトに対して使用できるAPIを紹介して、実際データを操作してみましょう。

最近足つぼマットにハマっているCI部2課の山﨑です。 本日はCloudFormation StackSetsを使ってマルチアカウント/マルチリージョンでAWS Configを有効化してみましたので検証内容を記録していきます。 CloudFormation StackSetsとは 検証イメージ いざ検証 ログ出力用S3バケットの作成 Configの有効化 特定リージョンでのみIAMロールを作成する StackSetsで大阪リージョンからStackを流すように設定する 動作確認 補足: StackSets の

はじめに 前置き some every filter find findIndex map forEach reduce reduceRight さいごに 参考文献 はじめに こんにちは。UI開発課のmtaaaです。UI開発課のフロントエンドチームでは、定期的にメンバー間で勉強会や輪読会を行っております。 JavaScript のArray関数をテーマにした会で主導となって動く機会があったため、記録も兼ねて今回記事にしました。 Array関数は業務での利用機会も非常に多く、細かい部分を再確認できる良い機会

みなさん、こんにちは。介護経営支援開発グループでグループ長をしている岩田文彦です。 事業やサービスの成長に合わせて開発組織も大きくなると、新しい課題が浮かび上がってくることがあります。とくに、複数のチームに分かれて開発を進めていると、各チームで最善を尽くしていても、サービスやプロダクト全体で取り組む課題や舵取りが必要になってきます。サービス全体の技術的な課題にトップダウンで取り組んでしまうと、現場のエンジニアに、コミュニケーションの乖離やモチベーションの低下が生じがちになります。 そこで、私たちは、複数の

はじめに はじめまして。 データストラテジストの田中です。普段は『DELISH KITCHEN』レシピ視聴実態の可視化やオーディエンス配信のレポート作成、サービス好意度の分析などの業務を行っています。 サービス好意度など定性的な要素が多い分析ではWEBアンケート調査のデータを活用していますが、WEBアンケート調査のローデータは質問内容がカラムとして横持ちで存在することが多いのが特徴です。 今回はデータベースでも扱いやすいよう「Apache Spark環境下で横持ちのデータを縦持ちにする」TIPSをお伝えし

CI部 佐竹です。 本日は、ちょっとした運用知見の共有です。 はじめに 結論 何が起きたのか AWSSupport-TroubleshootManagedInstance を実行してみる SSM Agent のログを確認してみる OS の時刻がズレていることに気付く まとめ はじめに 今回のブログは、以下の公式トラブルシューティング（[Connection Lost] ステータスの Systems Manager のマネージドインスタンスをトラブルシューティングする方法を教えてください。）に掲載がないトラ

こんにちは、イノベーションセンターの前田です。今回は、前回に引き続き、私のチームで開発中の制御（OT）システム向けセキュリティ対策技術OsecT（オーセクト）についてご紹介します。 前回の記事（前編）では、以下の内容をご紹介しました。 OTネットワークの概要 OTネットワークのセキュリティ対策と課題 OsecTの概要 OsecTのネットワーク可視化機能の詳細 本記事では、 OsecTの脅威検知機能の詳細 について、ご紹介します。 前編のおさらい 工場・ビル等のスマート化に伴い、OTネットワークのセキュリテ

こんにちは。EC基盤本部 検索基盤部 検索基盤チームの有村（ @paki0o ）です。 みなさん、Elasticsearchのマッピングはどこまで厳密に管理されているでしょうか。 弊社では以前のテックブログでご紹介した通り、一部を除き Explicit Mapping にてデータを管理しています。 techblog.zozo.com 設定している項目は、フィールド名・タイプ・適用するアナライザなど一般的な項目であり、詳細まで詰め切れているとは言い切れない状況でした。今回、マッピング設定の変更がパフォーマン

こんにちは。クルーズ株式会社CTOの鈴木です。   以前の「 SHOPLISTのシステムをモダンなアーキテクチャに変えようとしたら予想以上に闇が深かった話   」でも書いたのですが、現行のSHOPLISTにおけるOSや ミドルウェア がとにかく古い状態でした。 今回はOS ミドルウェア をバージョンアップした話について共有していこうと思います。 OS/ ミドルウェア のバージョンアップはインフラ的な山場の一つです。 CentOS の6.4は2020年の11月でサポート終了、PHP5.4は2015年に終了し