Quickwit は Rust 製の検索エンジンです。 Quickwit の利用用途として挙げられているのは、アプリケーションなどのログを検索したいケースなど、下記のようなデータ・ユースケースの検索に適したツールとなります。 データ自体が immutable レイテンシを気にしない Quickwit のアーキテクチャではインデックスされたデータは S3 などのオブジェクトストレージに保管されるます。 また、まだ beta 段階ではありますが、Quickwit を Lambda で動かすこともできるため、サ

こんにちは。 2024/05よりファインディ株式会社にデータエンジニアとして入社した田頭( tagasyksk )です。本記事では、データ変換サービスであるDataformについてその活用方法や導入後の効果についてご紹介します。 弊社では、現在次のような構成でデータ基盤を構成しており、BigQuery内でのデータ変換にDataformを利用しています。 この構成を踏まえてご覧いただければ幸いです。それでは見ていきましょう！ Dataformについて 導入の背景 データ基盤に必要な機能が揃っており、簡単に運

はじめに 技術評論社様より発刊されている Software Design の2024年5月号より「レガシーシステム攻略のプロセス」と題した全8回の連載が始まりました。 本連載では、ZOZOTOWNリプレイスプロジェクトについて紹介します。2020年に再始動したZOZOTOWNリプレイスでは、「マイクロサービス化」が大きなカギとなりました。今回は、SRE部が行った、リプレイス方針の決定から導入ツールの選定、マイクロサービスのリリース方法の改善までを紹介していきます。 目次 はじめに 目次 ZOZOTOWNリ

SREチームのあおしょん（本名：青木）です。 今回は 幕張メッセ で2024年6月20, 21日の二日間に渡って開催された AWS Summit Japan の内、二日目の6月21日（金）のみ参加することが出来たのでそのレポートについて発信します。 会場までの道のり AWS Summit ブース回り AWS Summit セッション聴講 オマケ：海浜幕張のランチ事情 おわりに 会場までの道のり 自宅を出る前に天気予報を見たら千葉県の最高気温は20℃前半でした。「割と涼しめで過ごしやすそうじゃん」と思い七分

はじめに 　レバレジーズ株式会社 テクノロジー戦略室 SREチームの中野です。レバレジーズでは「SRE化を通して、Developer Experienceの改善、事業の拡大への対応、お客様に信頼されるサービスの提供を実現する」をミッションとして、Embedded SREメンバーと協力しながら、サービス改善の文化的土俵の構築や開発生産性の向上を進めています。 　この記事では、開発体験を向上させるための取り組みとして、社内標準となるIaCツールの選定、IaC化の負荷軽減への取り組みについてご紹介します。具体的

Photo by Melanie Hughes on  Unsplash はじめに こんにちは、Finatextグループのナウキャストでデータエンジニアをしているけびん（X: @Kevinrobot34 ）です。Snowflake と dbt そして Terraform を使ってデータ分析基盤の構築をするとともに、POSデータのパイプラインの開発・運用を行っています。 POSデータの弊社のパイプラインは Snowflake と dbt で実装されているのですが、POSのトランザクションデータは大きく、差分

みなさんこんにちは、EMとSREの両立を何とか頑張っている杉山です。最近は Terraform も manifest もレビューしてばかりなので、そろそろ自分も書きたい今日この頃･･･です🥺 さて、去る6月14日(土)、札幌で開催された CloudNative Days Summer 2024 に現地参加してきましたので、今回はその中でも特に印象に残ったセッションについて、感想など書いていきたいと思います！（あくまでも個人の感想です。 CloudNative Days とは？ 参加したセッション感想など

はじめに

本記事は マイグレーションウィーク 1日目の記事です。 💻🖥 告知記事 ▶▶ 本記事 ▶▶ 2日目 🖥💻 こんにちは、後藤です。 マイグレーションWeekということで普段、業務で触れている技術であるIaCツールの移行について書きたいと思います。 有名なIaCツールにはTerraformやCloudFormation、Pulumiなどがあり、それぞれに一長一短の特徴があります。使っていくうちに「やっぱり変えたい」と思うこともあるかもしれません。例えば「現状AWSのみ管理しているがGCPも扱うことになったので

はじめに こんにちは、最近運動不足が気になり chocoZAP に通い始めた SRE 部門の 潘 (Han) です。今回は、Google Cloud で使われている様々な認証・認可の仕組みと推奨方法をまとめました。 概要 Google Cloud では基本の IAM をはじめとしてプリンシパル (ユーザーやサービスアカウントのこと) を認証・認可する仕組みがいくつか存在しています。 アプリケーションから Google Cloud 上のリソースにアクセスするためのクレデンシャルを取得する手段もいくつか存在し

はじめに

はじめに 2024年4月から1ヶ月、株式会社MG-DXでバックエンド開発に参加させていただいた谷口健 ...

はじめに こんにちは、クラウドエース SRE 部所属の大槻です。クラウドエースでは、Terraform による Google Cloud リソース管理を実践する機会が多くあります。 そこで今回は、Google Cloud での CI/CD 手法を 1 つ紹介したいと思います。GitHub Actions のワークフローを使用して、Open ID Connect (以下、OIDC) による認証を行い、 Terraform で Google Cloud リソースを管理する方法をハンズオン形式で紹介していきます

この記事は every Tech Blog Advent Calendar 2024（夏） の18日目の記事です DELISH KITCHEN 開発部で小売様向き合いで主にアプリ開発をしている野口です。 Flutterエンジニアをしておりますが、直近インフラやサーバーサイドもやらせていただいております。 今回は事業譲渡されたネットスーパーアプリでインフラで使用しているFJcloud-V（旧ニフクラ）で抱えていた問題を一部AWSに置き換えることで解決した話について紹介します。 課題 課題①　　SSL証明書更

この記事は、リレーブログ企画「チーム紹介」の記事です。 ニフティでシニアエンジニアをしている伊達です。今回は、私がEMをしている第一開発チームを紹介いたします（伊達については 社員インタビュー をご覧ください）。 第一開発チームとは 第一開発チームはいくつかの役割を持っています。 一つ目は、 @niftyトップページ 、 @nifty天気予報 、 @niftyビジネス といった@niftyの接続会員のお客様向けのポータルサイトや有償コンテンツ、あるいは ニフティキッズ のような広く子どもたちのためのサイト