はじめに こんにちは、データシステム部データ基盤ブロックの纐纈です。9月から22卒内定者として、チームにジョインしました。 本記事では、弊社のデータ基盤チームが抱えていた課題と、その解決のために公開したOSSツール「Coppe」を紹介します。Coppeは、以下のような方にお勧めできるツールです。 BigQueryを使用したデータ基盤の監視に興味がある BigQueryの監視ツールとしてRedashを採用しているが、運用が面倒に感じている インフラの設定なしにBigQueryの監視を行えるツールが欲しい な

aptpod Advent Calendar 2021 の21日目を担当します、SREチームの金澤です。 私が所属する SRE チームでは、担当業務の一つに、弊社の製品である intdash のインフラストラクチャをメインとしたクラウドシステムのインフラ設計・構築、監視・バックアップなどの運用業務があります。 バックアップについては、約1年半前、Amazon Web Service(AWS) のマネージドサービスである AWS Backup への移行を開始し、設定のチューニングを行いながら、現在ではバック

こんにちは。クラシル開発部でバックエンドエンジニアをしているyamanoiです この記事は dely Advent Calendar 2021 19日目の記事です。 昨日はparayaさんの「delyにAndroidエンジニアとして入社して5ヶ月が経ちました」という記事でした 今回は先日発表させていただいた新サービス「クラシルショート」の動画変換にAWS MediaConvertを利用してみたので Rubyから利用する方法や、実際に使ってみた感想を書きたいと思います! prtimes.jp aws.ama

【IIJ 2021 TECHアドベントカレンダー 12/18（土）の記事です】 あいさつ こんにちは、IIJの韮塚(にらづか)です。 私は基盤エンジニアリング本部 基盤技術部に所属しており、普段は「サ...

この記事は Enigmo Advent Calendar 2021 の12日目の記事です。 こんにちは。 BUYMA の検索やMLOps基盤周りを担当している竹田です。 この一年間はTerraformを業務で利用することが多かったため、普段気を付けていることなどを運用tipsとして紹介したいと思います。 Terraform Terraformは言わずと知れた Infrastructure as Code (IaC) を実現するためのツールです。 先日v1 🎉 になり、安定してきた印象があります。 Terr

BASEアドベントカレンダー2021 11日目の記事です。 BASEアドベントカレンダー2021 DataStrategyチームの齋藤( @pigooosuke )です。 DataStrategyチームでは機械学習のモデルや集計結果をAPI経由で配信することが多く、社内の他チームと連携する際にも、どういうリクエストパラメータが存在し、どういうレスポンスが期待されるのかを共有しています。 弊チームでは、AWSのAPI Gatewayを利用しているので、API Gatewayの機能として提供されているドキュメ

この記事はBASE Advent Calendar 2021の8日目の記事です。 こんにちは Slackの好きなショートカットは Shift + Esc の横山です。 SRE Groupに加わって4ヶ月が経ちました。 こちらの記事が書かれてからも4ヶ月が経ちました。 devblog.thebase.in ↑を未読の方がいましたらぜひぜひ読んでください。 同じ4ヶ月という事で振り返ってみたいと思います。 ちなみにこの記事を読む前に入社を決めていますがカジュアル面談の時に同じように説明して頂けました。 チーム

はじめに こんにちは、技術本部 データサイエンス部 MLOpsブロックの鹿山（ @Ash_Kayamin ）です。 みなさんは2021年4月にGCPから「GKE Gateway コントローラによる Kubernetes ネットワーキングの進化」という記事が投稿されたのを覚えていますでしょうか。 cloud.google.com この記事は、Kubernetesコミュニティが発表したKubernetes Gateway APIに対し、そのGKE（Google Kubernetes Engine）版実装である

こんにちは！サーバーワークスの松井です！ 今回は、Terraform state file(以下、state file)の操作方法について紹介します。 Terraformは、CloudFormationでのコード管理と違い、state fileにてクラウド環境の現在の状態を管理します。 手動で構築したリソースをTerraformの管理対象としたい、逆にTerraformの管理対象からリソースを外したいという場合にこの記事を役立てていただければと思います。 AWSのサービス Amazon API Gatew

こんにちは。Platform チームの飯迫 ( @minato128 )です。 CADDi ではこれまで Hosted Redash(app.redash.io) を利用していたのですが、残念ながら 2021/11/30 に End of Life になるので、10 月末に Self-Hosted Redash 環境を構築して移行しました。今回はそのときやったことを紹介します。 移行の流れ 新しい Redash 環境を v10 で構築する 公式の移行ツールを利用してデータ移行する 監視を追加する 新しい

はじめに こんにちは。プラットフォームサービス本部 データプラットフォームサービス部でSmart Data Platform (SDPF) のサービス企画を行っている安井・小野です。閲覧頂きありがとうございます。 DX推進にはデータ利活用が不可欠です。その実現には多くの困難が伴います。 当社では、そんな状況の解決をお手伝いすべくSDPFを提供しています。ここでは、当社が提供しているSDPFを皆様に知って頂くために、具体的な利用例と取り組みについてご紹介します。 Smart Data Platform (S

10月に入社しました技術1課の松田と申します。 初投稿となる今回は、WindowsでTerraformをお試しで触ってみよう、という記事です。 はじめに 対象読者 環境 Terraformのインストール 試しに使ってみる IAMユーザーの作成＆アクセスキーの発行（省略可） EC2インスタンスの作成 EC2インスタンスの更新 EC2インスタンスの削除 さいごに はじめに 対象読者 今回の記事では、次のような方を対象読者としています。 Terraformをとりあえず触ってみたい WindowsでTerrafo

はじめに こんにちは。メディアプラットフォーム本部 WEAR部 WEAR-SREの笹沢（ @sasamuku ）です。 ZOZOが新しく展開する「FAANS」というショップスタッフ向けアプリをクローズドβ版としてテスト運用しています。本アプリは、 WEAR と連携したコーディネート投稿や、その成果を可視化する機能などをショップスタッフの皆さんに提供するtoBのソリューションです。現在、正式リリースに向け開発を進めています。 そして、FAANSのAPIはCloud Runと呼ばれるサーバレスなコンテナ実行基

はじめに こんにちは。SRE部MLOpsチームの築山（ @2kyym ）です。 Infrastructure as Code（IaC）が一般的になり、またパブリッククラウドをフル活用したインフラ構築が当たり前となりつつあります。そんな中で、インフラの構成管理にTerraformを用いているチームも多いのではないでしょうか。本記事ではTerraformを用いたインフラ構成管理において避けては通れないTerraformやProviderのバージョンアップを自動化し、IaCの運用負荷を削減する方法をご紹介します

はじめに IoT Connect Gatewayとは？ IoT Connect Gatewayの特徴 閉域網がなくてもセキュアにクラウド接続を実現 処理負荷がかかる暗号化処理をサービス側で実施 暗号化通信によるデータ転送量を抑制 クラウドアダプタ機能で各種クラウドサービスに簡単接続 IoT Connect Gatewayにかける思い CI/CDの取り組みとサービスリリース Infrastructure as Code Test as Code GitOps 個人的な思い 最後に 次回予告 ICGWに関する