はじめに 前提 この記事の対象とする読者の方 スポットインスタンスについて 2つのシグナル 2分前中断シグナル 再調整推奨シグナル スポットインスタンスのリソース確保 マネージド型ノードグループの利用 Mixed Instance Policyの利用 Cluster Autoscalerを有効にする。 ノードグループのAZごとの分散 Priority Expander スポットインスタンスの中断に備える ワークロードを停止させないために考慮すること Graceful Shutdownされるようになっている

はじめに 前提 この記事の対象とする読者の方 スポットインスタンスについて 2つのシグナル 2分前中断シグナル 再調整推奨シグナル スポットインスタンスのリソース確保 マネージド型ノードグループの利用 Mixed Instance Policyの利用 Cluster Autoscalerを有効にする。 ノードグループのAZごとの分散 Priority Expander スポットインスタンスの中断に備える ワークロードを停止させないために考慮すること Graceful Shutdownされるようになっている

当記事では、Cloud Workflows と Dataform を用いてデータ分析パイプラインを構築してみたいと思います。 前提知識 Cloud Workflows Dataform ETL と ELT 概要 今回の構成 Cloud Workflows のスコープ Dataform のスコープ 準備 ディレクトリ構造 main.tf gcf_source_code/etl_raw_data main.py requirements.txt gcf_source_code/etl_weather_data

本記事は 【いまさら聞けない○○ウィーク～Git編～】 1日目の記事です。 🍦 告知記事 ▶▶ 本記事 ▶▶ 2日目 💻 はじめに 前提 Gitのステージングとコミット HEAD どんなときに実装を取り消したいか 実装を取り消す方法 revertコマンド resetコマンド 結局どの方法がいいのか 逆に、もう一方のコマンドが活躍する場面はどこか コミットの取り消し機能を有効に活用するために 終わりに はじめに みなさん初めまして。2022年11月にNRIネットコム株式会社に中途入社した上村です。入社してか

こんにちは、ブログ運営担当の喜早です。 連日晴れと暑さが続いててもうとっくに梅雨明けしてると思ったらまだしてなかったんですね。（関東在住者） 千葉の勝浦が真夏でもクーラーいらずという話を聞いてちょっと気になっています。 さて、7月のブログイベントのお知らせです。 業務の中で、周りとの会話に当たり前のように出てきて、「あれ、知らないのは自分だけ？」というようなこと、ありますよね。 または、ちょっと知っていたり、ツール入れたりすると実は業務効率や仕事の質がグッと上がったりするものもあると思います。 そういった

こんにちは、Insight EdgeでData ScientistのKNです。Insight Edgeでは多種多様なDX案件を手掛けており、その多くでは機械学習や統計解析を用いた分析コードを作成することが求められます。 分析チームの開発言語は基本的にPythonが使われています。PoCの段階ではJupyter Notebookを用いてEDAや可視化、モデル構築がよく行われます。そして、PoCを終え期待した効果が確かめられた場合はPoCで作成したコードをそのまま採用せずに、長期運用を前提としたproduct

Hello, My name is Ashi Singh. I joined KINTO Technologies in Feb 2022, and am part of the Global Development Group. I am an application developer and currently working as an engineer on the back office system being developed by Global Development G. Overv

はじめに こんにちは！KINTOテクノロジーズの開発支援部に所属する「 きんちゃん 」です。 普段はコーポレートエンジニアとして「全社利用するITシステムの維持管理」を行っています。 今回、私が社内で実施している「アジャイルな活動を組織横断的に推進する」取り組みについて、ご紹介します。「自身に熱い想いがあり、ゼロから新しい取り組みを推進していきたい！」と考えている方のご参考になれば幸いです。 ※この記事は「アジャイル」をテーマにした一連の連載記事となります。 私たちは「組織としてアジャイルな状態」になって

Turing株式会社の自動運転MLチームでインターンをしている東大B4の中村です。 突然ですが、web検索のように簡単に、ストレージ内に保存されている、日時以外のメタ情報のない動画が検索出来るようになったら幸せになれると思いませんか？ 例えば「赤信号で車が停止している」という検索クエリに対して、実際に赤信号で停止している動画が返ってきたら、簡単にそれを信号検知＋停止のモデル学習に使えるようになります。 今回私が開発した動画検索システムはこれをAIの力を借りて実現しました。これにより、格段に動画検索の利便性

こんにちは！BC チームでエンジニアをしている id:d-kimuson です。 最近、弊チームで構築した社内向け Web API のバックエンド設計をしたので事例として紹介しようと思います。 フレームワークとして NestJS を採用していますが、NestJS Way よりも TS Way を意識した設計をしており、このエントリの主題でもあるため、TS Backend の設計事例として読んでいただければと思います。 対象システムの概要 社内の他サービス向けの Web API で、他チームのサービスを経由

こんにちは。 株式会社ココナラのシステムプラットフォーム部インフラ・SREチームに所属している ぐっさん です。 本記事ではココナラで利用しているAWSのログイン方法の仕組み見直しを行ったので紹介したいと思います。 経緯 先日、弊社の かたぎり が公開した ココナラのAWS Organizationsを再構築しよう にある通り、ココナラのAWSアカウント管理体制がAWS Control Towerを用いた形に移行されました。 その結果、AWS IAM Identity Center（以降、Identity

※本記事は、 技術評論社 「Software Design」(2023年5月号) に寄稿した連載記事「 Google Cloudで実践するSREプ ラク ティス」からの転載です。発行元からの許可を得て掲載しております。 はじめに 第1回(本誌2023年4月号)では、キャディにおける Google Cloudを中心としたサービス基盤の全体像を紹介し、信頼性向上のために筆者らが心掛けている技術選定基準について触れました。 今回からは数回にわたって、 Terraform を中心としたIaC(Infrastruc

こんにちは。アプリケーションサービス部ディベロップメントサービス2課の森田です。 サーバーワークスでは Amazon Connect を使用したコールセンター開発を行おり、お客様に提案できる Amazon Connect パッケージをいくつかご用意しています。 その中でも、Amazon Connect パッケージの中で最も早く・安く・安心して 導入できる 「ミニマムスタートプラン」 というパッケージがあります。 このミニマムスタートプラン、提案開始当初は弊社エンジニアが手作業で構築していましたが、最近は構

はじめに こんにちは〜。 クラシルでデータエンジニアをしておりますharry( @gappy50 )です。 これまで、クラシルではデータ基盤からのデータをアプリケーションや推薦システムへ活用するためにDWHにSnowflakeを導入し、様々な活用をしてきました。 tech.dely.jp その一方で、データ「分析」基盤としての利用を推し進めていくために現在はdbtでのデータモデリングを中心として、一貫性のあるデータ分析が行えるような土台作りに注力しています。 今回は、Snowflakeのコスト監視やdbt

インフラグループ所属の佐伯です。 2023年4月20日、21日に開催された AWS Summit Tokyo で「18 万台のカメラが接続する Safie のモダナイゼーションへの取り組み」というタイトルで登壇してきました。 登壇資料 概要 補足 伝えたかったこと 登壇を終えて 登壇資料 概要 サービスが成長するにつれてトイルが増えつつある状況のなか、トイル削減のためにチームで取り組んだ改善内容についていくつかピックアップし内容と工夫した点などについて紹介させていただきました。 補足 P31〜36 の「A