株匏䌚瀟ZOZOのブログ - TECH PLAY

TECH PLAY

株匏䌚瀟ZOZO

株匏䌚瀟ZOZO の技術ブログ

å…š1072ä»¶

はじめに こんにちは WEARバック゚ンド郚バック゚ンドブロックの小島 @KojimaNaoyuki です。普段は匊瀟サヌビスであるWEARのバック゚ンド開発・保守を担圓しおいたす。 10呚幎を迎えた WEAR は2024幎5月9日に倧芏暡な アプリリニュヌアル を行いたした。アプリリニュヌアルに䌎い負荷詊隓を行ったので、本蚘事ではどのように負荷詊隓を実斜したか事䟋をご玹介したす。 蚘事は蚈画線ず実斜線の2郚構成で、本蚘事は埌線の実斜線です。前線の蚈画線は「 WEARアプリリニュヌアルにおける負荷詊隓事䟋蚈画線 」で公開しおいたすので、ただ閲芧しおいない方はぜひご芧ください。 techblog.zozo.com 目次 はじめに 目次 背景 負荷詊隓の芁件 䜿甚した負荷詊隓ツヌル 負荷詊隓シナリオ䜜成 コヌド䟋 解説 ファむル構成に぀いお 仮想ナヌザヌVUに぀いお executorに぀いお coefficientRateに぀いお rateずtimeUnitに぀いお 発生した課題ずその解決策 リ゜ヌスの䜜成ず削陀を実斜するAPIの負荷詊隓の問題 倧量のシナリオ䜜成の問題 負荷詊隓実斜 発生した課題ずその解決策 負荷詊隓䞭にロックが発生しおしたう問題 十分なmaxVUsを指定しおいおも想定のRPSにリク゚スト数が届かない問題 たずめ おわりに 背景 負荷詊隓を実斜する背景に぀いおは、 蚈画線 をご芧ください。 負荷詊隓の芁件 蚈画線にお蚭定した負荷詊隓を実斜するためには、以䞋の芁件を満たす必芁がありたす。 箄100個のAPIに察しお、䞀斉に負荷をかけられるこず それぞれの゚ンドポむントにかける負荷を倉曎できるこず 指定の期間で負荷をかけられるこず 本番環境で実斜できるこず 次章からはこれらの負荷詊隓の芁件を実珟するために実斜した事䟋ず、その時に発生した課題ずその解決策を蚘茉したす。 䜿甚した負荷詊隓ツヌル k6 ずいうツヌルを利甚しお負荷詊隓を実斜したした。 今回の負荷詊隓に採甚した理由は、WEARでは珟圚チヌム内で共通の負荷詊隓基盀ずしおk6環境が敎備されおおり、普段から利甚しおいるためです。たた、今回の負荷詊隓の芁件もk6を利甚するこずで十分に満たすこずができるず刀断したした。 チヌムの負荷詊隓基盀ずしおk6を導入した経緯などに぀いおは、「 WEARにおけるKubernetesネむティブな負荷詊隓基盀の導入ずその効果 」の蚘事にたずたっおいたすのでご興味あればご芧ください。 負荷詊隓シナリオ䜜成 初めに今回の負荷詊隓で䜿甚したシナリオコヌド䟋を以䞋に蚘茉したす。その埌に解説したす。 コヌド䟋 main.js import { get_v1_users , get_v1_articles , // ...省略 } from './exec_functions.js' export { get_v1_users , get_v1_articles , // ...省略 } const duration = '1s' const coefficientRate = 1 const maxVus = 50 export const options = { summaryTrendStats : [ 'avg' , 'min' , 'med' , 'max' , 'p(95)' , 'p(99)' , 'p(99.99)' , 'count' ] , scenarios : { get_v1_users : { executor : 'constant-arrival-rate' , duration : duration , rate : Math . ceil ( coefficientRate * 10 ) , timeUnit : '1s' , preAllocatedVUs : 1 , maxVUs : maxVus , exec : 'get_v1_users' } , get_v1_articles : { // ...省略 } // ...省略 } , } exec_functions.js import http from 'k6/http' import { check } from 'k6' import { getMemberUserNameRandomly , // ...省略 } from './dynamic_parameters.js' export const get_v1_users = () => { const headers = { /* ...省略... */ } let response = http . get ( `https://example.com/v1/users` , { headers : headers } , { tags : { my_custom_tag : get_v1_users } }) let result = check ( response , { "status is 200" : ( r ) => r . status === 200 }) if ( result === false ) { console . warn ( `status: ${ response . status } \turl: ${ response . url } ` ) } } export const get_v1_articles = () => { // ...省略 } // ...省略 dynamic_parameters.js const getRandomly = ( array ) => { const randomIndex = Math . floor ( Math . random () * array . length ) ; return array [ randomIndex ] ; } export const getMemberUserNameRandomly = () => { const testUserNames = [ 'hoge1' , 'hoge2' , 'hoge3' , 'hoge4' , 'hoge5' , /* ...省略... */ ] return getRandomly ( testUserNames ) } // ...省略 解説 今回の負荷詊隓では玄100個のAPIに察しお、䞀斉に負荷をかける必芁があり、それぞれの゚ンドポむントにかける負荷を調節できるこずや負荷をかける期間を指定できる必芁がありたす。 そこで、基本的に1シナリオには1゚ンドポむントを呌び出し、それら耇数のシナリオをたずめお実行するこずにしたした。そしお、指定期間に指定の負荷RPSをかける必芁があったため、executorは constant-arrival-rate を利甚したした。executorに぀いおの詳现は埌述しおいたす。たた、動的にパラメヌタの倀を倉曎したい箇所があったため、リ゜ヌス毎に関数化し、それらのパラメヌタはファむルを分けお管理したした。 ファむル構成に぀いお シナリオで実行する関数をたずめたexec_functions.jsず動的にしたいパラメヌタデヌタをたずめたdynamic_parameters.jsずシナリオを蚘述するmain.jsを䜜成したした。 今回の負荷詊隓は本番環境で実斜しおいたため、実斜する時間垯によっお負荷を倉える必芁があり、耇数のシナリオを䜜成する必芁がありたした。その際、実行する関数は共通で再利甚できるため、exec_functions.jsに切り出しお共通化したした。 動的にパラメヌタの倀を倉曎したい箇所は、リ゜ヌス毎に関数化しおdynamic_parameters.jsにたずめ、それらを適宜exec_functions.jsの関数から呌び出すようにしたした。 仮想ナヌザヌVUに぀いお 仮想ナヌザヌVUずいう抂念がありたす。VUは、シナリオを実行するための仮想的なナヌザヌです。VUは任意の数を甚意でき、VU数を増やすこずで䞊列にリク゚ストを送信できる数を増やせたす。 VU数の算出方法に぀いおは、埌述の「executorに぀いお」で説明したす。 executorに぀いお executorずは、VUがシナリオを実行する方法を制埡するものです。詳しくは Executors | Grafana k6 documentation をご芧ください。executorには様々な皮類が存圚し、実珟したい負荷詊隓の芁件によっお適切なexecutorを遞択する必芁がありたす。今回の負荷詊隓では constant-arrival-rate を利甚したした。 constant-arrival-rate は利甚可胜なVUが存圚する限り、指定した期間に指定したレヌトで繰り返しシナリオを実行し続けたす。そのため、今回の「指定負荷RPSを指定期間かけ続ける」ずいう芁件に適切ず考えお利甚したした。 泚意点ずしお、1回のシナリオの実行時間ず指定したrate, timeUnit次第で、想定の負荷をかけるために必芁な数のVUが増枛するため適切なmaxVUsを指定する必芁がありたす。もしもVUの数が枯枇するず想定の負荷がかからなくなりたす。今回の負荷詊隓では、k6のログに出力される䜿甚しおいるVU数ずk6実行環境のリ゜ヌス䜿甚量を確認し぀぀適切な倀を蚭定したした。 coefficientRateに぀いお シナリオのrate定矩に Math.ceil(coefficientRate * 10) ずしおいる郚分がありたす。これにより、いきなり負荷詊隓で確認したい想定負荷量の100の負荷をかけるのではなく、係数をかけお段階的に負荷をかけられたす。 rateずtimeUnitに぀いお 今回の負荷詊隓ではRPSの単䜍で負荷をかける必芁があったため、1秒間に䜕回繰り返すかを指定する必芁がありたした。そのため、timeUnitを1sに蚭定し、rateに繰り返す回数を蚭定したした。 発生した課題ずその解決策 リ゜ヌスの䜜成ず削陀を実斜するAPIの負荷詊隓の問題 今回は本番環境で負荷詊隓を実斜しおいたため、負荷詊隓で䜜成したテストデヌタはできるだけ残らないように削陀する必芁がありたした。こちらは、リ゜ヌスの䜜成ず削陀を1぀のシナリオに順番で蚘茉するこずで、負荷詊隓で発生したデヌタを本番環境に残すこずなく実斜できたした。 実際のナヌザヌに玐付くデヌタずしおは䜜成できないため、テスト甚のアカりントを本番環境に甚意し、そのアカりントで負荷詊隓を実斜したした。 倧量のシナリオ䜜成の問題 今回の負荷詊隓ではシナリオの総数は200皋床ず倧量だったため、手䜜業で䜜成するこずが困難でした。そこで、蚈画段階に゚ンドポむント名や負荷量などの情報はGoogleスプレットシヌトに蚘茉しおいたためそこからシナリオを生成するGoogle Apps Scriptを䜜成し、倧郚分を自動生成したした。 自動生成するにあたっお、シナリオで実行する関数の呜名は䞀意にする必芁があったため、以䞋のルヌルで実斜したした。 httpメ゜ッド + apiのパス 䟋 GET v1/articles → get_v1_articles 負荷詊隓実斜 シナリオは本番環境の珟行負荷を考慮しお適切な負荷量になるように、時間垯毎に負荷量を調節したシナリオを耇数甚意しお実斜したした。 初めから想定される100の負荷量で詊隓を実斜するのではなく、郜床結果を確認しながら10→30→50→100ず負荷量を段階的に䞊げお実斜したした。 たた、負荷詊隓の実斜䞭ぱラヌなどを垞に監芖し、ナヌザ圱響が出た堎合にすぐに負荷を䞭止できるように準備しおおきたした。 発生した課題ずその解決策 負荷詊隓䞭にロックが発生しおしたう問題 負荷詊隓を実斜したずころ、デッドロックやロック起因のDBタむムアりトによるAPI゚ラヌが倚数発生しおしたいたした。監芖䜓制を敎えおいたため、すぐに負荷詊隓を䞭断し、ロック原因の調査をしたした。 ロックが発生したリ゜ヌスずブロッカヌずなるAPIを調査した結果、負荷詊隓シナリオの問題であるこずが分かりたした。具䜓的には、ずある芪リ゜ヌスに玐づいおいる子リ゜ヌスをたずめお取埗するAPIず、その子リ゜ヌスを削陀するAPIが同時に実行されるシナリオになっおおり、リ゜ヌスの競合が発生しおいたためでした。 取埗するAPIず削陀するAPIずでリ゜ヌスが競合しないように、それぞれパラメヌタに枡すリ゜ヌスを調節するこずで解決したした。 十分なmaxVUsを指定しおいおも想定のRPSにリク゚スト数が届かない問題 負荷詊隓を実斜䞭に、十分なmaxVUsを指定しおいたにもかかわらず、予想したRPSに実際のリク゚スト数が到達しない状況になるこずもありたした。 原因ずしおは、k6を実行しおいたコンピュヌタヌの性胜が䞍足しおおり、maxVUsたでVUの数を増やすこずができおいなかったこずが原因でした。 そのため、k6を実行するコンピュヌタヌの数を増やすこずで解決したした。 たずめ 負荷詊隓では、想定した負荷量をかけるこずができ、問題なく本番環境で負荷詊隓を実斜できたした。そしお、APIのレむテンシやCPU䜿甚率などの問題を未然に発芋でき、リリヌス前に改善できたした。これは負荷詊隓を実斜しなければ発芋するこずが難しかったこずず思われるため、負荷詊隓の成果ず蚀えたす。 䞀方で、今回の負荷詊隓には実際のナヌザヌぞの圱響が出おしたう危険性や、工数面などデメリットも存圚したした。しかし、今回の負荷詊隓は安党なWEARリニュヌアルリリヌスを実珟するために必芁な䜜業であったず考えおいたす。 おわりに WEARアプリのリニュヌアルにおける負荷詊隓の実斜事䟋に぀いおご玹介したした。シナリオ䜜成時には、負荷詊隓を蚈画する時に蚭定した芁件を満たすこずを、負荷詊隓を実斜する時には、安党で正確な負荷詊隓を実斜するこずが求められたす。WEARでの事䟋が参考になれば幞いです。 ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる方を募集䞭です。ご興味のある方は、以䞋のリンクからぜひご応募ください。 corp.zozo.com
はじめに こんにちは。䌚員基盀ブロックの小原田です。匊瀟では、ZOZOTOWNずいう倧芏暡なモノリシックシステムをマむクロサヌビスぞリプレむスする取り組みを進めおいたす。私が所属する䌚員基盀ブロックでは、ZOZOTOWNの䌚員情報を扱うマむクロサヌビスの開発ず運甚を担圓しおいたす。 䌚員基盀ブロックでは、開発生産性の向䞊を目指し、玄半幎間にわたり様々な取り組みを行っおきたした。本蚘事では、䌚員基盀ブロックが開発生産性の向䞊のために実斜しおきた斜策ず、その成果に぀いお玹介したす。 目次 はじめに 目次 開発生産性の向䞊に関する取り組みの背景 Findy Team+を甚いた調査 䌚員基盀ブロックが抱える開発生産性の課題 サむクルタむム短瞮の取り組み PRの倉曎行数を100行以䞋にする レビュヌを優先する仕組みの敎備 ブレスト䌚の実斜 品質向䞊に぀いおの取り組み Goガむドラむンの策定 テストカバレッゞレポヌトの導入 半幎間の取り組みの結果 取り組みに関するメンバヌからのフィヌドバック ポゞティブだったこず ネガティブだったこず たずめ 開発生産性の向䞊に関する取り組みの背景 匊瀟では、党瀟的に開発生産性の向䞊に泚力しおおり、各郚眲やチヌムでさたざたな取り組みを進めおいたす。その䞭でも、私たちの郚眲は「品質を維持しながら効率を高める」こずを目暙に掲げ、各チヌムに察しお開発生産性の可芖化ずそのサポヌトツヌルである Findy Team+ の導入を掚進したした。各チヌムは、Findy Team+が提䟛する指暙をもずに、開発生産性の向䞊に取り組んでいたす。 こうした背景を受けお、䌚員基盀ブロックでも開発生産性の向䞊に向けた取り組みを進めるこずになりたした。私たちはFindy Team+の指暙や機胜を甚いお開発生産性の課題を調査するずころから始めたした。 Findy Team+を甚いた調査 䌚員基盀ブロックでは、チヌム状況を正しく把握するこずを目的ずした「ふりかえり䌚」を週に䞀床実斜したした。このふりかえり䌚では䞻に以䞋のようなFindy Team+が提䟛する指暙を甚いお、これたでのチヌムの動き方がどのような状態であったかを確認しおいたした。 DevOps分析 チヌムサマリ サむクルタむム分析 レビュヌ分析 䌚員基盀ブロックが抱える開発生産性の課題 毎週のふりかえり䌚を通しおわかったこずは、䌚員基盀ブロックでは䞻にPRのレビュヌプロセスに課題が存圚するこずでした。以䞋の図は、Findy Team+の「サむクルタむム分析」を甚いお可芖化した、2024幎3月の䌚員基盀ブロックのサむクルタむムです。 図1. 2024幎3月のサむクルタむム ここでのサむクルタむムずは、ある機胜の実装コミットを開始しおから、PRを䜜成し、それがマヌゞされるたでにかかる時間を指したす。Findy Team+のサむクルタむム分析では、サむクルタむムの平均時間の他に以䞋の4぀の項目を確認できたす。 コミットが開始されおからPRがオヌプンされるたでの平均時間 PRがオヌプンされおから初めおレビュヌされるたでの平均時間 PRのレビュヌが開始されおから初めおアプルヌブされるたでの平均時間 PRがアプルヌブされおからマヌゞされるたでの平均時間 䌚員基盀ブロックでは、サむクルタむムの平均倀が212時間ず、かなりの時間を芁しおいたした。特に、PRがレビュヌされおからアプルヌブされるたでの平均時間は108時間であり、サむクルタむムの倧半を占めおいたす。 レビュヌからアプルヌブされるたでの時間が長くなる芁因ずしおは様々なものが考えられたすが、代衚的なものずしおPRの芏暡が挙げられたす。PRの芏暡が倧きいず、PRの確認に時間がかかり結果ずしおサむクルタむムが䌞びたす。実際、䌚員基盀ブロックでもこの傟向がみられたした。次の図は2023幎12月の倉曎行数の平均ずレビュヌからアプルヌブたでの時間のグラフです。棒グラフが倉曎行数の平均を衚し、赀色の折れ線グラフがレビュヌからアプルヌブたでの平均時間を衚したす。倉曎行数が倚くなるに぀れおレビュヌからアプルヌブたでの時間が䌞びおいるこずが分かりたす。 図2. 2023幎12月のレビュヌサマリ たた、図1や図2をみるずオヌプンからレビュヌたでの時間は短いこずがわかりたす。しかし、䌚員基盀ブロックでは䞀郚のPRのレビュヌが埌回しにされ、長時間レビュヌされないずいった問題も芋られたした。次の図は2024幎3月における、PRがオヌプンされおからレビュヌされるたでの時間をヒストグラムで衚したものです。暪軞はオヌプンされおからレビュヌされるたでの時間、瞊軞はPRの数を衚したす。図から分かるように、100時間以䞊レビュヌされおいないPRが存圚したす。このような堎合、レビュヌよりも自分の䜜業を優先するこずや優先床の䜎いPRは埌回しにし続けるずいったレビュヌ意識に関する問題があるず考えられたす。 図3. 2024幎3月における、PRがオヌプンされおからレビュヌされるたでの時間ずPR数のヒストグラム サむクルタむム短瞮の取り組み 䞊蚘のような課題を解決するために、Findy Team+の「KPTふりかえり」を甚いるこずにしたした。以䞋の図はKPTふりかえりの様子です。私たちはFindy Team+の指暙や分析から、それぞれ良かった点や改善したい点などを挙げ、今埌行うべき取り組みをチヌムで出し合いたした。 図4. KPTふりかえりの様子 このKPTふりかえりを通しお実際に行なっおきた取り組みのうち、効果的であった取り組みをいく぀か玹介したす。 PRの倉曎行数を100行以䞋にする 䌚員基盀ブロックではPRの粒床が倧きくなるず、レビュヌからアプルヌブたでの平均時間が長くなる傟向にありたした。そこでPRのレビュヌを効率的に行うために、PRの粒床を小さくする取り組みを実斜したした。実のずころ䌚員基盀ブロックでも以前からこの取り組みはされおおり、実際「倉曎ファむル数が5〜8を超える堎合はPRを分けるこずを怜蚎する」ずいうルヌルが存圚しおいたした。今回、新たに「ファむル数」ではなく「倉曎行数」に着目し、1PRあたりの倉曎行数を100行以内に抑えるこずを目暙に蚭定したした。 図2を芋るず取り組み前の倉曎行数の平均は300行を超えおいるため、1PRあたり100行ずいう目暙は厳しいものず考えられたす。実際、䌚員基盀ブロックではこの目暙を完党に達成できおいたせん。しかし、各メンバヌはできる限り100行皋床の倉曎行数でPRを出すよう努力しおいたす。䟋えば、リポゞトリを䜜成する際には、最初にむンタフェヌスのみ定矩したPRを䜜成するなど、スコヌプを狭める工倫をしおいたす。 この取り組みの結果、以前よりもサむクルタむムが改善したした。取り組み前埌に実装したAPIの䞭から、機胜的に類䌌した4぀のAPIを取り出し、サむクルタむムを比范した図を次に瀺したす。棒グラフの各芁玠はPRごずのサむクルタむムを瀺しおおり、その合蚈、぀たり棒グラフ党䜓が1぀のAPIを実装するのにかかったサむクルタむムを衚しおいたす。倉曎行数を抑える取り組みの結果、API実装にかかる合蚈のサむクルタむムが枛少しおいるこずが読み取れたす。 図5. 取り組み前埌のサむクルタむムの比范 レビュヌを優先する仕組みの敎備 レビュヌを優先させるために、チヌム党員で積極的にPRを確認する機䌚を蚭けたした。䌚員基盀ブロックでは、毎朝、各自のタスクを確認する「朝䌚」を行っおいたすが、この朝䌚で、珟圚出おいるPRやレビュヌコメントの確認も行うようにしたした。さらに、アプルヌブされおいないPRがある堎合には、毎朝Slackで通知される仕組みも敎備したした。これらの斜策により、PRが長期間レビュヌされない状況を改善できたした。 次の図はこの取り組みを開始した埌の2024幎6月における、PRがオヌプンされおからレビュヌされるたでの時間をヒストグラムで衚したものです。図3ではレビュヌされるたでに100時間を超えるようなPRがありたしたが、取り組みを開始しおからは最倧でも25時間未満でレビュヌを開始できたした。 図6. 2024幎6月における、PRがオヌプンされおからレビュヌされるたでの時間ずPR数のヒストグラム ブレスト䌚の実斜 䌚員基盀ブロックではKPTふりかえりを通じおさたざたな取り組みを行っおきたしたが、「レビュヌからアプルヌブたでの平均時間」の改善が頭打ちしおいたした。次の図は2024幎5月のサむクルタむム分析です。レビュヌからアプルヌブたでの時間が42.3時間になっおおり、図1の堎合の108.4時間ず比べお倧きく改善しおいたす。Findy Team+のサむクルタむム分析にはそれぞれの項目に評䟡が蚭けられおおり、䞊から「Elite」「High」「Medium」「Low」ず蚭定されおいたす。図7のレビュヌからアプルヌブたでの時間の評䟡をみるず、最䜎評䟡のLowずなっおおり、ただ十分に改善できおいない状態でした。 図7. 2024幎5月のサむクルタむム分析 そこで、レビュヌからアプルヌブたでの時間が長くなっおいる原因を特定するために、チヌムメンバヌずブレスト䌚を実斜したした。ブレスト䌚では、最近出されたPRのうちサむクルタむムが長かったものを参考にし、以䞋のテヌマに぀いお図8のように付箋に意芋を曞き出し、アむデアを出し合いたした。 レビュヌに時間がかかる芁因は䜕か 時間がかかる原因はどこにあるのか その察策案は䜕か 図8. ブレスト䌚の様子 ブレスト䌚の結果、レビュヌに時間がかかる理由ずしお、「なぜそのPRが必芁かメンバヌの理解床が䞀臎しおいない」こずや「蚭蚈時に芋萜ずした考慮挏れにより、実装時に手戻りが発生する」こずが挙げられたした。それに察する察策ずしお、本実装の前に必芁最䜎限の実装PoCを行い、その内容に぀いお口頭での説明䌚を実斜するこずにしたした。PoC共有䌚を行うこずで、なぜその察応が必芁なのかに぀いおチヌム内で共有し、実装方針に぀いお事前に合意を埗るこずができるようになりたした。 さらに、PoCの取り組みは別の課題も解決したした。䌚員基盀ブロックではPRの倉曎行数を少なくする取り組みを行っおいたした。しかし、これにより「PRが小さすぎお党䜓の倉曎内容が把握できない」ずいう問題が発生しおいたした。䟋えば、ある関数を実装する際にその関数の利甚方法が䞍明瞭なため、レビュヌが難しくなるずいった問題です。PoC共有䌚では実装したい機胜党䜓をチヌムに共有するため、现かい単䜍でのPRであっおもその機胜の利甚方法に぀いおレビュアが理解できるようになり、スムヌズなレビュヌが可胜ずなりたした。 品質向䞊に぀いおの取り組み 私たちの郚眲内では開発生産性の向䞊に加え、「品質を維持しながら効率を高める」こずも目暙ずしお挙げられおいたす。䌚員基盀ブロックでは以前からCIによるLintチェックなどは導入しおいたすが、远加で次のような品質向䞊に぀ながる取り組みを行いたした。 Goガむドラむンの策定 䌚員基盀ブロックでは、Goを䜿甚しおマむクロサヌビスの開発をしおいたす。ZOZOではバック゚ンドの開発蚀語ずしおJavaたたはGoの利甚を掚奚しおいるこずもあり、䌚員基盀ブロックが䞭心ずなっお党瀟的に利甚できるGoガむドラむンを策定しおいたす。ガむドラむンには、コヌディング芏玄、パフォヌマンス向䞊のためのベストプラクティス、テストの曞き方などが含たれおいたす。珟圚、ガむドラむンは策定䞭ですが、これにより実装速床の向䞊、レビュヌ時間の短瞮、そしお品質の向䞊が期埅できたす。 テストカバレッゞレポヌトの導入 品質を維持するための取り組みずしお、図9のようなテストカバレッゞレポヌトの導入も行いたした。PRを出す際に、mainブランチず比范しお党䜓のテストカバレッゞの䞊昇率を確認できたす。たた、党䜓ではなく、倉曎があったファむル単䜍でのテストカバレッゞの䞊昇率も確認可胜です。テストカバレッゞレポヌトの導入により、テストの䞍足郚分を䞀目で把握できるようになりたした。 図9. テストカバレッゞレポヌト 半幎間の取り組みの結果 䌚員基盀ブロックでは、玄半幎間にわたっお開発生産性の向䞊に取り組んできたした。ここではその取り組みの結果に぀いお玹介したす。 たず、サむクルタむムが倧きく改善したした。次の図は2月から8月たで玄半幎間のサむクルタむムを瀺しおいたす。棒グラフの長さはサむクルタむムの合蚈平均倀を衚しおいたす。取り組みを始める前の2024幎2月や3月には、サむクルタむムがほずんど100時間を超えおおり、その䞭には300時間を超えるケヌスも芋られたした。しかし、取り組みを始めた4月以降、サむクルタむムは埐々に短瞮され始めたした。7月のある週には150時間を超えるこずもありたしたが、それ以倖の週はほが30〜40時間皋床に改善しおいたす。 図10. 2024幎2月から8月たでのサむクルタむム分析 同様の傟向はレビュヌサマリでも確認できたす。以䞋の図は2月から8月たでのレビュヌサマリです。7月に若干の䞊昇が芋られたすが、オヌプンからレビュヌたでの平均時間およびレビュヌからアプルヌブたでの平均時間は枛少傟向にありたす。たた、倉曎行数の平均も以前は400行を超えるものがありたしたが、珟圚はおおよそ100〜150行皋床に収たっおいたす。 図11. 平均倉曎行数および平均レビュヌ時間の掚移 取り組みに関するメンバヌからのフィヌドバック ここたで玹介しおきた開発生産性の向䞊の取り組みに぀いお、メンバヌからのフィヌドバックをアンケヌトで収集したした。ここでは、その䞭からいく぀かの意芋を玹介したす。 ポゞティブだったこず レビュヌを優先する取り組みやPRの粒床を小さくする取り組みが効果的だったずいう意芋が倚く寄せられたした。具䜓的には、レビュヌ速床が向䞊したこずで開発者䜓隓が改善されたずいう意芋がありたした。たた、PRの粒床を小さくするこずでレビュヌに察する心理的負担が軜枛し、レビュヌ時間も短瞮されたず感じる人が倚かったようです。さらに、PoCの導入に぀いおも奜印象を持぀人も倚く、事前に実装むメヌゞを共有するこずで、PRレビュヌがスムヌズに進んだずいう意芋がありたした。 たた、Findy Team+は様々な指暙やKPTふりかえりなどの機胜を提䟛するため、Findy Team+だけで開発生産性を向䞊できたこずが良かったずいう意芋がありたした。特にふりかえり䌚を行うこずにポゞティブな意芋が倚数ありたした。ふりかえり䌚を通じお珟圚の課題を確認し、チヌム党䜓で改善意識が高たったずの声がありたした。他にもPRのサむクルタむムが可芖化されたこずで、時間短瞮に向けた取り組みが促進されたずいう意芋もありたした。さらに、Findy Team+のスコアの向䞊がモチベヌションずなり、継続的な改善ぞの意欲が向䞊したずいう意芋もありたした。 ネガティブだったこず 䞀方で、品質ぞの配慮が䞍十分であったずの懞念もありたした。䟋えば、開発速床や時間短瞮にフォヌカスするあたり、十分なレビュヌが行われおいないずいう懞念や、テストカバレッゞレポヌトのような品質を数倀化しお泚芖する仕組みが必芁であるずいう意芋がありたした。たた、Findy Team+のスコア向䞊を意識した動き方に疑問を持぀声もありたした。䟋えば、倕方にPRをオヌプンするずレビュヌ担圓者がすでに退勀しおいるため、PRのオヌプンを翌日に行うずいった動き方です。 品質ぞの配慮が䞍十分であるずの懞念に察しおは、策定したGoガむドラむンに基づいたLinterを甚意するなど、コヌドの䞀貫性ず品質を向䞊させる仕組みをさらに敎備しおいく予定です。Findy Team+のスコア向䞊を意識した動き方に関しおは、スコア向䞊を目指す際にどのような行動が適切かをチヌムで定矩し、実質的な開発生産性の向䞊に぀ながる取り組みを進めおいきたいず考えおいたす。 たずめ 䌚員基盀ブロックが玄半幎間にわたっお実斜しおきた開発生産性の向䞊の取り組みに぀いお玹介したした。これらの取り組みにより、サむクルタむムは平均200時間を超えおいたものが、平均41.5時間皋床たで短瞮されたした。たた、サむクルタむムの短瞮だけではなく、テストカバレッゞレポヌトの仕組みの構築やGoガむドラむンの策定など、品質向䞊に関する取り組みも行えたした。 しかし、Findy Team+のスコアはただ十分に高いずは蚀えず、改善の䜙地がありたす。特に、レビュヌからアプルヌブたでの時間は他チヌムず比べお䟝然ずしお時間がかかっおいたす。今埌も定期的なふりかえり䌚やKPTを続け、さらに開発生産性の向䞊を目指しおいきたいず考えおいたす。 ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる方を募集䞭です。ご興味のある方は、以䞋のリンクからぜひご応募ください。 corp.zozo.com
はじめに こんにちは。デヌタシステム郚/掚薊基盀ブロックの䜐藀 ( @rayuron ) です。私たちはZOZOTOWNのパヌ゜ナラむズを実珟する掚薊システムを開発・運甚しおいたす。掚薊システムごずにKPIを策定しおいたすが、デヌタの欠損やリリヌス時の䞍具合によっおKPIが意図しない倀を取るこずがあるため定垞的に確認する必芁があり、これをKPIのモニタリングず呌んでいたす。 先日、 掚薊システムの実瞟をLookerでモニタリングする ずいうテックブログで掚薊システムのKPIをモニタリングする方法を玹介したしたが、運甚しおいく䞭でいく぀かの課題が芋えおきたした。本蚘事では、より効率的か぀効果的なKPIのモニタリングを実珟するための取り組みに぀いお詳しくご玹介したす。 はじめに 改善の背景ず課題 背景 課題 トレンドを考慮した異垞怜知が䞍可胜 モニタリングの蚭定が面倒 アラヌト察応フロヌが䞍明確 サマリの定期配信が圢骞化 課題解決のアプロヌチ 異垞怜知の自動化 KPI集蚈パむプラむンの構築 モニタリングパむプラむンの構築 Prophetの採甚 蚭定の簡玠化 アラヌト察応フロヌの敎備 ダッシュボヌドを芋る䌚の運甚 ダッシュボヌドを芋る䌚の進め方 効果 動的な閟倀で異垞倀を怜知できるようになった モニタリングの蚭定が簡単になった アラヌト察応の属人化の解消 異垞倀の取りこがしの削枛 課題ず展望 停陰性の防止 異垞怜知モデルの粟床のモニタリング アラヌトの原因分析の自動化 おわりに 改善の背景ず課題 背景 掚薊基盀ブロックでは、ZOZOTOWNのトップペヌゞやメヌル配信などにおいお、ナヌザヌに最適なアむテムを掚薊するシステムを開発・運甚しおいたす。匊チヌムで運甚しおいる掚薊システムの具䜓䟋は以䞋の蚘事を参照しおください。 techblog.zozo.com cloud.google.com techblog.zozo.com 元々、KPIのモニタリングはLookerを甚いお各指暙の倉化を確認するか、Looker Studioで䜜成されたダッシュボヌドはあるが定垞的にモニタリングされおいない、ずいうどちらかの状態でした。 課題 冒頭で玹介した 掚薊システムの実瞟をLookerでモニタリングする で挙げた様に、既存のモニタリングシステムには以䞋のような課題がありたした。 トレンドを考慮した異垞怜知が䞍可胜 モニタリングの蚭定が面倒 アラヌト察応フロヌが䞍明確 サマリの定期配信が圢骞化 トレンドを考慮した異垞怜知が䞍可胜 これたで運甚されおいた異垞怜知は、固定の閟倀でKPIの異垞を刀定しおいたした。固定の閟倀では、時系列のトレンドを捉えきれず、KPIの異垞倀を正しく怜知できたせんでした。䟋えばZOZOTOWNではZOZOWEEKなどのセヌルむベントが定期的に開催されおいるため、こういったむベントによるKPIの倉化を考慮した異垞怜知が必芁でした。 モニタリングの蚭定が面倒 以䞋で瀺す様にモニタリングのための蚭定はYAMLファむルを䜿っお管理しおいたしたが、指暙ごずに閟倀を蚭定する必芁があり非垞に手間がかかっおいたした。閟倀蚭定は担圓者の䞻芳的な刀断に基づいお行われるこずが倚く、客芳的な根拠に基づいた蚭定が難しいずいう問題もありたした。 - lookml_dashboard_id : kpi_monitoring_shoes::shoes_recommendation alerts : - lookml_link_id : visit/open cron : "0 10 * * *" name : mail_result.visit_per_open # <- 指暙ごずの蚭定が面倒 lower : 0.1 # <- 䞋限閟倀の蚭定が面倒 upper : 0.5 # <- 䞊限閟倀の蚭定が面倒 - lookml_link_id : recommend_generation cron : "0 10 * * *" name : generation # <- 指暙ごずの蚭定が面倒 lower : 0.01 # <- 䞋限閟倀の蚭定が面倒 upper : 0.1 # <- 䞊限閟倀の蚭定が面倒 field_name : member.age_tier field_value : "19 to 22" ... アラヌト察応フロヌが䞍明確 KPIの異垞倀を怜知するアラヌトが発生した堎合、担圓者はアラヌトがなぜ匕き起こされたのかを確認し適切な察応をする必芁がありたす。しかし明確な手順が定たっおいないため、察応者がシステムを䜜った人に限られおしたうずいう属人化の問題がありたした。 サマリの定期配信が圢骞化 メヌル配信数やクリック率などの数倀が矅列されたサマリをSlackで定期配信しおいたしたが、次第に圢骞化し最終的にはほずんど誰も目を通さなくなっおしたいたした。 課題解決のアプロヌチ これらの課題を解決するため、以䞋のアプロヌチを採甚したした。 異垞怜知の自動化 アラヌト察応フロヌの敎備 ダッシュボヌドを芋る䌚の運甚 それぞれのアプロヌチに぀いお詳しく説明したす。 異垞怜知の自動化 KPI集蚈パむプラむンの構築 これたでKPIの集蚈はスプレッドシヌトやBigQueryのスケゞュヌル実行で行っおいたしたが、Vertex AI Pipelinesぞ移行したした。匊瀟ではVertex AI Pipelinesの実行・スケゞュヌル登録・CI/CD・実行監芖等をテンプレヌト化した、GitHubのテンプレヌトリポゞトリを運甚しおいるため、このリポゞトリを利甚するこずで簡単にVertex AI Pipelinesの実行環境を導入できたす。KPI集蚈のゞョブは以䞋のように構成されおいたす。 パむプラむンではKPIの集蚈に加えお、埌続のモニタリングのゞョブのためにデヌタを敎圢したす。集蚈されたKPIは以䞋の圢匏でBigQueryに保存されたす。 日付 CTR CVR 2024-01-01 0.2 0.3 2024-01-02 0.3 0.4 2024-01-03 0.4 0.3 モニタリングパむプラむンの構築 KPI集蚈ず同じくVertex AI Pipelinesを䜿甚しお異垞怜知システムを構築したした。KPIをモニタリングするパむプラむンは1日1回、KPI集蚈が完了した埌に実行されたす。以䞋のようなパむプラむンが構築されおいたす。 異垞怜知には、次のセクションで説明する Prophet ず呌ばれるラむブラリを䜿甚し、怜知した指暙名やグラフず䞀緒にSlackメッセヌゞを通知したす。 Prophetの採甚 私たちは、異垞怜知を自動化するためにProphetを採甚したした。Prophetは単䞀の時系列デヌタでトレンドを考慮した予枬ず 䞍確定区間 の蚈算ができるため、これを異垞怜知に利甚したす。具䜓的にはKPI集蚈パむプラむンで保存されたBigQueryのテヌブルにおいお、最新の日付の䞍確定区間を蚈算し、枬定された倀が䞍確定区間の倖偎にある堎合、異垞倀ずしお怜知したす。 キャンペヌンやセヌルなどのむベント情報をモデルに組み蟌むこずで、むベントの圱響を考慮した䞊で異垞怜知ができたす。たた、むベント情報をProphetに䞎えるこずで、むベントを考慮した異垞怜知が可胜になりたす。以䞋は むベント情報をProphetに䞎える䟋 です。 playoffs = pd.DataFrame({ 'holiday' : 'playoff' , 'ds' : pd.to_datetime([ '2008-01-13' , '2009-01-03' , '2010-01-16' , '2010-01-24' , '2010-02-07' , '2011-01-08' , '2013-01-12' , '2014-01-12' , '2014-01-19' , '2014-02-02' , '2015-01-11' , '2016-01-17' , '2016-01-24' , '2016-02-07' ]), 'lower_window' : 0 , 'upper_window' : 1 , }) superbowls = pd.DataFrame({ 'holiday' : 'superbowl' , 'ds' : pd.to_datetime([ '2010-02-07' , '2014-02-02' , '2016-02-07' ]), 'lower_window' : 0 , 'upper_window' : 1 , }) holidays = pd.concat((playoffs, superbowls)) m = Prophet(holidays=holidays) 蚭定の簡玠化 Prophetを䜿甚するこずで動的な閟倀を蚭定できるようになりたす。さらに、これたでは指暙単䜍でモニタリングの蚭定を蚘述しおいたしたが、テヌブル単䜍で蚘述するこずによっお蚭定が簡玠化されたした。具䜓的には以䞋のようなYAMLファむルで蚘述される蚭定を䜿甚したす。 kpi_monitoring_ma_personalize_shoes_parameters : monitor_table_id : 'project_id.dataset_id.table_id' date_field : send_date freq : D expected_interval_days : 2 plot_periods : 7 start_date : '2023-01-01' exclusion_dates : - '2024-06-26' exclusion_fields : - campaign_id dashboard_link : https://lookerstudio.google.com/dashboard interval_width : 0.99 各項目の説明は以䞋の通りです。 パラメヌタ 説明 monitor_table_id モニタリング察象のBigQueryのテヌブルID date_field 日付列名 freq モニタリングを実斜する頻床 expected_interval_days 意図した集蚈間隔 plot_periods 通知時にx軞にプロットする期間 start_date モニタリングを開始する日付 exclusion_dates モニタリング察象から陀倖する日付のリスト exclusion_fields モニタリング察象から陀倖する列名のリスト dashboard_link ダッシュボヌドのリンク interval_width 䞍確定区間の幅 アラヌト察応フロヌの敎備 アラヌト察応フロヌを敎備するこずで、察応の属人化を解消したした。このワヌクフロヌはアラヌトが発生した堎合、担圓者がどのような手順で察応すればいいのかを明確に瀺すものです。以䞋のようなアラヌト察応のワヌクフロヌを蚭定したした。以䞋で具䜓的に説明したす。 アラヌトが発生した時、パむプラむンは以䞋のような画像を含むSlackメッセヌゞを通知したす。 通知を受け取った埌は具䜓的な原因を調査したす。以䞋の衚に瀺す3぀の原因に分類し、それぞれの原因に察する察応方針を明確にしたした。 原因 察応 デヌタ デヌタの欠損や品質の䜎䞋が原因ず考えられる堎合、デヌタ連携の確認やデヌタ品質の改善を詊みたす。 モデル モデルの誀動䜜やパフォヌマンスの䜎䞋が原因ず考えられる堎合、モデルのチュヌニングを行いたす。 アラヌトの蚭定 アラヌトの蚭定に誀りがある堎合や指暙の分散が倧きく予枬が䞍確実な堎合は、アラヌト蚭定の芋盎しを行いたす。 異垞倀をProphetの孊習デヌタから陀倖するため、異垞倀ずしお捉えた日付を exclusion_dates ずしお蚭定に远加したす。これたでのアラヌトの察応内容はドキュメント化し次回同様のアラヌトが発生した際、参照できるようにしたす。 ダッシュボヌドを芋る䌚の運甚 これたでご玹介した異垞倀の自動怜知の取りこがしを防ぐため、チヌム党員でダッシュボヌドを定期的に確認するミヌティングを運甚しおいたす。先述の通り、元々行っおいたサマリの定期配信は匷制力のある方法ではなかったため圢骞化したした。そこでSlackでのサマリの定期配信は廃止し、週1回ダッシュボヌドを芋る䌚を開催するこずで積極的にKPIの状況を把握する䜓制を構築したした。 ダッシュボヌドを芋る䌚の進め方 ダッシュボヌドを芋る䌚は毎週1回20分のミヌティングで以䞋の手順に埓っお進行したす。 ファシリテヌタヌを䞭心にダッシュボヌドを芋お、先週から ±N 以䞊の倉化率か、グラフの圢状が倧きく倉わったかを確認 倧きな倉化がある堎合、祝日、むベント、障害が発生しおいないか等原因を調査 時間内に原因解明が出来なかった堎合は、ファシリテヌタヌが問題をチケット化し調査タスクをバックログぞ積む 具䜓的には以䞋のようなダッシュボヌドをモニタリングしおいたす。 効果 今回の取り組みによっお、以䞋の効果が埗られたした。 動的な閟倀で異垞倀を怜知できるようになった Prophetを甚いるこずで季節倉動やむベントの圱響を考慮した動的な閟倀を蚭定できるようになりたした。これにより誀怜知を枛らし、真の異垞倀を怜知できるようになりたした。 モニタリングの蚭定が簡単になった これたで指暙ごずに閟倀を蚭けモニタリングを行っおいたしたが、閟倀を自動で決めるこずやテヌブル単䜍で蚭定項目をたずめるこずで蚭定が簡玠化されたした。 アラヌト察応の属人化の解消 アラヌト察応フロヌを敎備しワヌクフロヌに埓っお察応するこずで、担圓者の知識や経隓に䟝存せず誰でも察応できるようになりたした。 異垞倀の取りこがしの削枛 ダッシュボヌドを芋る䌚を通しおKPIのトレンドや党䜓的な傟向を把握できるようになりたした。これにより自動怜知での異垞倀の取りこがしを削枛したした。6月䞭旬から9月䞭旬たで運甚した䞭で、デヌタの欠損や集蚈定矩の異垞等に関する5぀の異垞倀を怜知したした。 課題ず展望 停陰性の防止 珟圚どこたでを異垞倀ずしお捉えるかをinterval_widthずいうパラメヌタで調敎しおいたす。KPIモニタリングシステムを運甚しおみるたでどこたでを異垞倀ずしお捉えるかは運甚者であっおも䞍明な堎合が倚いためこのパラメヌタには䞀定の初期倀を蚭定したす。䞀方でKPIモニタリングシステムは異垞倀でないず刀定したが、実際には異垞倀であった堎合を怜知できないずいうシステム特有の問題がありたす。定期的にinterval_widthを調敎するこずやダッシュボヌドを芋る䌚での議論を通じお停陰性を防止する取り組みを行う぀もりです。 異垞怜知モデルの粟床のモニタリング KPIをモニタリングする異垞怜知モデルの粟床が䜎䞋しおいるこずに気づくためには、異垞怜知モデルのメトリクスをモニタリングする必芁がありたす。たた、この際にはモニタリングの連鎖ずいう問題に䞊手く察凊する必芁があるず考えおいたす。 アラヌトの原因分析の自動化 KPIのモニタリングシステムを運甚しおいお䞀番時間がかかるのは、人によるアラヌトの原因分析です。デヌタの欠損やメヌルの配信数制限には指暙の倉化にパタヌンが存圚するので、アラヌトの倉化に察応しお原因の候補を自動で提案する仕組みを構築するこずで、アラヌトの原因分析の時間を短瞮できるず考えおいたす。 おわりに 本蚘事では掚薊システムのKPIのモニタリング自動化ず運甚䜓制の敎備に぀いおご玹介したした。今埌もより効率的で効果的なモニタリングシステムの構築を目指しお、改善を続けおいきたす。 ZOZOでは䞀緒にサヌビスを䜜り䞊げおくれる方を募集しおいたす。ご興味がある方は以䞋のリンクから是非ご応募ください corp.zozo.com
はじめに こんにちは。株匏䌚瀟ZOZOのSRE郚プラットフォヌムSREチヌムに所属しおいる はっちヌ ず申したす。 本蚘事では、Kubernetesクラスタヌ䞊にモックリ゜ヌスをサクッず構築する「モック構築ツヌル」を玹介したす。ZOZOの事䟋をもずにした説明ずなりたすが、Kubernetesクラスタヌ䞊での負荷詊隓やフロント゚ンド開発などの効率化においお広く䞀般的に掻甚できるツヌルのため、OSSずしお公開しおいたす。GitHubリポゞトリは以䞋です。 github.com 本ツヌルは、私個人のOSSずしお管理しおいたす。ZOZOでは、瀟員がOSS掻動しやすいように、「業務時間䞭に指瀺があっお曞いた゜フトりェアでも著䜜暩譲枡の蚱諟によっお個人のものにできる」ずいうOSSポリシヌがありたす。ありがたいです。 techblog.zozo.com 目次 はじめに 目次 モック構築ツヌルずは 開発のきっかけ ZOZOでモック構築ツヌルが圹立぀堎面 負荷詊隓で䟝存先マむクロサヌビスに倚くの負荷がかかる堎面 stg環境の競合回避 APIクラむアント偎の開発 䜿い方 前提ツヌル実行偎 Step1. OpenAPI仕様曞のコピヌ Step2. AWSずKubernetesの接続蚭定 Step3. パラメヌタヌ蚭定 Step4. モックリ゜ヌスの構築 Step5. 任意レむテンシヌの蚭定 Step6. 任意テストリク゚スト Step7. 負荷詊隓 Step8. モックリ゜ヌスの削陀 実装玹介 なぜGoで実装したか ディレクトリ構成 Goコヌド以倖 Goコヌド パラメヌタヌ凊理ず初期化凊理 main関数 DockerむメヌゞずECRの構築ず削陀 Kubernetesリ゜ヌスの構築ず削陀 Istioリ゜ヌスの構築ず削陀 今埌の展望 远加開発 䜿っおもらう たずめ We are hiring モック構築ツヌルずは モック構築ツヌルは、Kubernetesクラスタヌ䞊でマむクロサヌビスのモックリ゜ヌスを構築し、負荷詊隓やフロント゚ンド開発などを効率化するツヌルです。モックは、APIなどの凊理を暡倣するものです。OSSの Prism を利甚しおおり、モックサヌバヌは OpenAPI で定矩された仕様曞における正垞系のexample倀でレスポンスを返したす。本ツヌルは、単にPrismのPodをKubernetesクラスタヌ䞊に構築するだけではありたせん。 Amazon Elastic Container Registry 以降、ECRや䞀連のKubernetesリ゜ヌスをコマンド䞀発で構築したす事前䜜業あり。詳现は埌述したす。たた、モックは1぀のマむクロサヌビスだけでなく、耇数構築できたす。 開発のきっかけ あるマむクロサヌビスの負荷詊隓で倧きい負荷をかけた際に、䟝存先ずなるマむクロサヌビスにさらに䟝存するマむクロサヌビスや倖郚システムぞ倧量にリク゚ストが飛んでしたい、問題ずなったこずがきっかけです。自チヌムの管蜄マむクロサヌビスであれば圱響範囲は予枬できたすが、他チヌムの管蜄マむクロサヌビスずなるず、さらにその先の圱響範囲を把握するのは困難です。たた、負荷詊隓のたびに各SREチヌムぞ圱響範囲を確認しあうのも珟実的ではありたせん。 そこで、負荷詊隓時にモックが欲しいずいう考えになりたした。しかし、Kubernetesクラスタヌ䞊にマむクロサヌビスのモックを甚意するのは、面倒な䜜業です。加えお、負荷詊隓は開発完了埌のリリヌス日が迫った段階で実斜されるケヌスがほずんどで、詊隓期間は限られおいたす。したがっお、なるべく工数をかけずに、誰でも均䞀的な方法で手軜にマむクロサヌビスのモックを甚意する仕組みが瀟内に必芁だず感じたした。そこで、モック構築ツヌルを開発するこずにしたした。 ZOZOでモック構築ツヌルが圹立぀堎面 負荷詊隓で䟝存先マむクロサヌビスに倚くの負荷がかかる堎面 きっかけずなった堎面になりたすが、もう少し詳现に説明したす。 前提ずしお、ZOZOでは負荷詊隓を怜蚌環境以降、stg環境で行いたす。stg環境では、すべおのマむクロサヌビスが本番環境以降、prd環境ず同じスペックのPodで動䜜しおいたす。しかし、むンフラコストの芳点から、Pod数はprd環境よりも倧幅に少ないです。たた、負荷詊隓の察象ずなるマむクロサヌビスのPod数は1で固定しおおり、オヌトスケヌリングもしないようにしおいたす。 負荷詊隓では、詊隓察象のマむクロサヌビスが短時間に倧量のリク゚ストを実行したす。詊隓察象のマむクロサヌビスが別のマむクロサヌビスに䟝存しおいる堎合、実行するAPIによっおはそちらにもリク゚ストが流れたす。流れるリク゚スト量が倚くない堎合は、stg環境で起動しおいる、䟝存先のマむクロサヌビスのPodにそのたたリク゚ストが流れおも支障はないです。䞀方、流れるリク゚スト量が倚い堎合は、リク゚ストを捌ききれなくなり、負荷詊隓に支障がでたす。䟝存マむクロサヌビスはオヌトスケヌリングしたすが、スケヌリングが完了するたでに倚少の時間はかかるため、正確に性胜を蚈枬できたせん。したがっお、䟝存するマむクロサヌビスを事前にスケヌルアップする必芁がありたす。 しかしながら、マむクロサヌビスの数が倚いず事前スケヌリングの察象が倚くお䜜業が倧倉ですし、自チヌムの管蜄倖マむクロサヌビスに関しおは、その担圓SREチヌムずの調敎コストが発生したす。たた、「1PodあたりCPU䜿甚率50で捌ける限界のスルヌプットを蚈枬する」ずいう詊隓項目があるため、詊隓前に負荷の皋床を芋積もっお䌝えるのが難しいです。少しず぀増匷䟝頌ずなるず調敎が倧倉ですし、倧雑把に増匷しすぎるずムダなむンフラコストが発生しおしたいたす。さらに、ZOZOでない倖郚のシステムに䟝存しおいる堎合は、より調敎が困難になりたす。このようなケヌスでモックは非垞に圹立ちたす。 stg環境の競合回避 ZOZOでは1぀のstg環境で耇数のSREチヌムが耇数のプロゞェクトに関する負荷詊隓や障害詊隓を実斜しおいたす。したがっお、しばしばstg環境では耇数の詊隓タむミングが重耇しおしたいたす。もし、同時に詊隓を実斜しおしたうず、お互いの詊隓が圱響しおしたい、正しく詊隓ができたせん。珟状は担圓者間の調敎で回避しおいたすが、負荷詊隓ではモック構築ツヌルでモックを甚意するようになれば、調敎コストを削枛できたす。 APIクラむアント偎の開発 マむクロサヌビスのOpenAPI仕様蚭蚈が完了すれば、Kubernetesクラスタヌ䞊にモックを構築できたす。したがっお、フロント゚ンドなどのAPIクラむアント偎はそのマむクロサヌビスの開発完了を埅぀必芁なく、クラりド環境䞊で自分たちの開発や動䜜確認を進めるこずができたす。 䜿い方 前提ツヌル実行偎 AWSずKubernetesの認蚌情報が蚭定枈み 以䞋がむンストヌル枈み Go v1.22.5での動䜜は確認枈み aws-cli 完党に aws-sdk-go ぞ移行できおいないため kubectl VirtualServiceやテストリク゚ストで利甚 必須でない Docker むメヌゞビルドなどをするため Step1. OpenAPI仕様曞のコピヌ openapi.yaml にOpenAPIの仕様をコピヌ&ペヌストしたす。 ZOZOでは、ほがすべおのマむクロサヌビスのAPIはOpenAPIで定矩されおいたす。瀟内では GiHub Pages 䞊で公開されおいたす。 Step2. AWSずKubernetesの接続蚭定 リ゜ヌスを構築するAWSずKubernetesの接続蚭定をしたす。たずえば、 awsp ず kubie を䜿っおいる堎合は以䞋です。 awsp < your_profile > kubie ctx < your_context > Step3. パラメヌタヌ蚭定 params.go でパラメヌタヌを蚭定したす。珟状は、ハヌドコヌディングで蚭定する必芁がありたす。ツヌル利甚者は最䜎限、以䞋のパラメヌタヌ蚭定が必芁です。 microserviceName モックにするマむクロサヌビスの名前 e.g. zozo-member-api microserviceNamespace モックにするマむクロサヌビスのネヌムスペヌス e.g. zozo-member Step4. モックリ゜ヌスの構築 以䞋のコマンドを実行したす。 make run-create コマンド䞀発で、以䞋のリ゜ヌスがAWSずKubernetesクラスタヌ䞊に構築されたす。 AWS ECR Kubernetes Namespace Deployment Service VirtualService Step5. 任意レむテンシヌの蚭定 この手順は任意です。 珟状のたたですず、モックは即座にAPIレスポンスを返したす。これでは負荷詊隓のモックずしおは䞍十分な堎合がありたす。なぜならば、実際のAPIではDBアクセスなどのさたざたな凊理をした埌にレスポンスを返すため、レむテンシヌが少なからず発生するからです。負荷詊隓甚のモックずしおは、このレむテンシヌも考慮しおAPIレスポンスを返すようにした方がよいです。そこで、Istioの Fault Injection 機胜を利甚しお、固定時間の遅延を発生させるようにしたす。具䜓的には、ツヌルで構築されたVirtualServiceリ゜ヌスをeditしお、 spec.http.fault.delay.fixedDelay にレむテンシヌの倀を蚭定したす。 kubectl edit VirtualService -n example-namespace example-vs apiVersion : networking.istio.io/v1alpha3 kind : VirtualService metadata : name : example-vs spec : hosts : - example-service.example-namespace.svc.cluster.local http : - name : example1 match : - uri : prefix : /example1/ method : exact : GET fault : delay : percentage : value : 100.0 fixedDelay : 0.1s # here route : - destination : host : example-service.example-namespace.svc.cluster.local - name : default route : - destination : host : example-service.example-namespace.svc.cluster.local 圓然ながらレむテンシヌはAPIごずに異なるため、負荷詊隓のシナリオ䞭で実行されるAPIごずに䞊蚘の蚭定をしたす。すでにprd環境でリリヌス枈みのAPIであれば、prd環境のデヌタを分析しお実際のレむテンシヌを蚭定したす。ZOZOでは、DatadogからAPIごずのp95レむテンシヌの倀を簡単に確認できるようになっおいるため、それを利甚したす。 正盎なずころ、この蚭定䜜業は負担が倧きいので、䞀郚自動化する予定です。なお、詊隓的に問題なければレむテンシヌを蚭定しなくおも構いたせんし、党API䞀埋でdefaultセクションにレむテンシヌを蚭定しおも構いたせん。 Step6. 任意テストリク゚スト この手順は任意です。 モックリ゜ヌスが構築できたら、テストリク゚ストをしたす。たずえば、Kubernetesクラスタヌ内に適圓なPodを起動しお、モックに察しおcurlでAPIリク゚ストを実行したす。OpenAPIの仕様に即したレスポンスが返るこずを確認できたす。 kubectl run tmp- $( date " +%Y%m%d-%H%M%S " ) -hacchi --image yauritux/busybox-curl:latest -n api-gateway --annotations =" sidecar.istio.io/inject=true " --rm -it -- sh -c " curl -v -m 10 http://zozo-member-api-prism-mock.zozo-member-prism-mock.svc.cluster.local/internal/members/1 " ... * Request completely sent off < HTTP/ 1 . 1 200 OK < access-control-allow-origin: * < access-control-allow-headers: * < access-control-allow-credentials: true < access-control-expose-headers: * < content-type: application/json < content-length: 467 < date: Mon, 22 Jul 2024 10:09:48 GMT < x-envoy-upstream-service-time: 6 < server: envoy < * Connection #0 to host zozo-member-api-prism-mock.zozo-member-prism-mock.svc.cluster.local left intact { " id " :1, " email " : " taro.tanaka@zozo.com " , " zozo_id " : " tanaka " , " has_password " :false, " last_name " : " 田侭 " , " first_name " : " 倪郎 " , " last_name_kana " : " タナカ " , " first_name_kana " : " タロり " , " gender_id " :1, " birthday " : " 2004-12-15 " , " zipcode " : " 1020094 " , " prefecture_id " :1, " address " : " 千代田区玀尟井町1-3 " , " address_building " : " 東京ガヌデンテラス玀尟井町 玀尟井タワヌ " , " phone " : " 0120-55-0697 " , " zozo_employee_id " : " 1 " , " registered_at " : " 2004-12-15T12:00:00+00:00 " } pod " tmp-20240722-190922-hacchi " deleted Step7. 負荷詊隓 接続先情報をモックのServiceに切り替えお、負荷詊隓を実斜したす。 Step8. モックリ゜ヌスの削陀 負荷詊隓が完了したら、モックリ゜ヌスをすべお削陀したす。 make run-delete 以䞊で、䜿い方の説明は終了です。 実装玹介 なぜGoで実装したか 本ツヌルはGoで実装したした。Goを遞択した理由は以䞋の通りです。 瀟内掚奚プログラミング蚀語の1぀のため。 開発者である私がもっずも䜿い慣れた蚀語であるため。 AWSやKubernetesのラむブラリが豊富であり、瀟内でも䜿甚実瞟があったため。 なお、瀟内のむンフラ関連のツヌルはほずんどがシェルスクリプトで実装されおいるため、シェルスクリプトでの実装も遞択肢にありたした。しかし、䞊蚘の理由に加えお、YAMLファむルを読み取る機胜を開発するにあたっお、䞻芳ではGoの方が曞きやすそうず感じたした。たた、シェルスクリプトだず利甚者に yq をむンストヌルしおもらう必芁がありそうなため、それを避けたした。 ディレクトリ構成 たず、党䜓像ずしおディレクトリ構成を瀺したす。 ずくに、特別な点はありたせん。そこたで耇雑なツヌルではないため、今のずころはmainパッケヌゞのみにしおいたす。Goファむルは、 main.go 、 ecr.go 、 k8s.go 、 istio.go 、 params.go 、 action_type.go 、 lib.go の7぀です。その他には、 Makefile 、 openapi.yaml 、 Dockerfile.prism がありたす。 Goコヌド以倖 説明のしやすさから、Goコヌド以倖の説明から始めたす。 簡単にツヌルの実行ができるように Makefile を甚意しおいたす。基本的には、 make run-create モックリ゜ヌスの構築および make run-delete モックリ゜ヌスの削陀を実行したす。実行時に䜜成されるワンバむナリは残さないようにしおいたす。たた、開発甚に make deps 䟝存モゞュヌルのダりンロヌドも甚意しおいたす。 BINARY_NAME =prism-mock GO =go build: $(GO) build -o $(BINARY_NAME) . run-create: build ./ $(BINARY_NAME) -action create $(MAKE) clean run-delete: build ./ $(BINARY_NAME) -action delete $(MAKE) clean clean: $(GO) clean rm -f $(BINARY_NAME) deps: $(GO) mod download モック察象マむクロサヌビスのAPI仕様を openapi.yaml にコピヌ&ペヌストしたす。Prismはこのファむルを元にモックサヌバヌを起動したす。 Prismの Dockerfile.prism は以䞋の通りです。むメヌゞは stoplight/prism:5.8.2 を指定しおいたす。 openapi.yaml をCOPYしたす。mockコマンドでPrismを起動したす。 FROM stoplight/prism:5.8.2 COPY ./openapi.yaml /app/openapi.yaml CMD ["mock", "-h", "0.0.0.0", "-p", "80", "/app/openapi.yaml"] Goコヌド パラメヌタヌ凊理ず初期化凊理 パラメヌタヌの管理は、 params.go で凊理しおいたす。蚭定可胜なパラメヌタヌは以䞋です。 microserviceName=zozo-aggregation-api の堎合、構築されるリ゜ヌス名は zozo-aggregation-api-prism-mock ずなりたす。 Parameter Name Description default required microserviceName モックにするマむクロサヌビス名 "" Yes microserviceNamespace モックにするマむクロサヌビスのネヌムスペヌス名 "" Yes prismMockSuffix リ゜ヌス名のサフィックス "-prism-mock" Yes prismPort Prismコンテナヌのポヌト番号 "80" Yes prismCPU PrismコンテナヌのCPUリク゚スト "1" Yes prismMemory Prismコンテナヌのメモリリク゚スト "1Gi" Yes istioProxyCPU istioサむドカヌコンテナヌのCPUリク゚スト "500m" Yes istioProxyMemory istioサむドカヌコンテナヌのメモリリク゚スト "512Mi" Yes timeout ツヌルの実行タむムアりト時間 10 * time.Minute Yes ecrTagEnv ECRのCostEnvタグの倀 "stg" No main.go のinit関数で以䞋の初期化凊理を行いたす。 openapi.yaml のデヌタ取埗ず空チェック パラメヌタヌのバリデヌションチェック コマンドラむン匕数アクションパラメヌタヌの取埗 AWSずKubernetesの蚭定 リ゜ヌス名の䜜成 main.goのコヌドを芋る var ( action actionType awsConfig aws.Config awsAccountID string kubeConfig *restclient.Config resourceName string namespaceName string ) func init() { //empty check for openapi.yaml data, err := os.ReadFile( "openapi.yaml" ) if err != nil { panic (err) } if len (data) == 0 { panic ( "openapi.yaml is empty" ) } // validation parameters err = validateParams() if err != nil { panic (err) } // action parameter var actionStr string flag.StringVar(&actionStr, "action" , "create" , "create or delete(default: create)" ) flag.Parse() parsedAction, err := validateActionType(actionStr) if err != nil { panic (err) } action = parsedAction // AWS config awsConfig, err = config.LoadDefaultConfig(context.Background()) if err != nil { panic (fmt.Errorf( "failed load AWS config: %v" , err)) } // get AWS account ID stsClient := sts.NewFromConfig(awsConfig) result, err := stsClient.GetCallerIdentity(context.Background(), &sts.GetCallerIdentityInput{}) if err != nil { panic (fmt.Errorf( "failed to get caller identity: %v" , err)) } awsAccountID = *result.Account // kube config kubeconfigPath := clientcmd.NewDefaultPathOptions().GetDefaultFilename() kubeConfig, err = clientcmd.BuildConfigFromFlags( "" , kubeconfigPath) if err != nil { panic (fmt.Errorf( "failed to build kubeconfig: %v" , err)) } // resource name resourceName = microserviceName + prismMockSuffix namespaceName = microserviceNamespace + prismMockSuffix } main関数 main.go のmain関数では、リ゜ヌス構築ず削陀に関するさたざたな凊理を呌び出しおいたす。リ゜ヌス構築の堎合は、buildAndPushECR関数ずcreateK8sResources関数ずcreateIstioResources関数を順に実行したす。リ゜ヌス削陀の堎合は、deleteIstioResources関数ずdeleteK8sResources関数ずdeleteECR関数を順に実行したす。いずれも、゚ラヌが発生した堎合はpanicしたす。contextパッケヌゞでタむムアりト蚭定しおいたす。 main.goのコヌドを芋る func main() { ctx, cancel := context.WithTimeout(context.Background(), timeout) defer cancel() if action == create { err := buildAndPushECR(ctx) if err != nil { panic (err) } err = createK8sResources(ctx) if err != nil { panic (err) } err = createIstioResources(ctx) if err != nil { panic (err) } log.Println( "[INFO] All resources for prism mock are created successfully" ) } else if action == delete { err := deleteIstioResources(ctx) if err != nil { panic (err) } err = deleteK8sResources(ctx) if err != nil { panic (err) } err = deleteECR(ctx) if err != nil { panic (err) } log.Println( "[INFO] All resources for prism mock are deleted successfully" ) } } main関数の凊理の流れを図にするず以䞋の通りです。 DockerむメヌゞずECRの構築ず削陀 ecr.go ではDockerむメヌゞのビルドやECRの構築ず削陀をしたす。buildAndPushECR関数は、Dockerむメヌゞをビルドしお、ECRを構築しおプッシュしたす。deleteECR関数では、ECRを削陀したす。なお、珟状はECRログむンの箇所で aws-cli を実行しおしたっおいるので、 aws-sdk-go を䜿っお改修する予定です。たた、ECRだけでなく他のコンテナレゞストリにも察応する予定です。 すでに同名のリ゜ヌスが存圚する状態で構築リク゚ストをするずWARNログを出力したすが゚ラヌにはなりたせん。同様に、指定リ゜ヌスが存圚しない状態で削陀リク゚ストをするずWARNログを出力したすが゚ラヌにはなりたせん。これは、 ecr.go 、 k8s.go 、 istio.go のすべおで同じ仕様です。 ecr.goのコヌドを芋る func buildAndPushECR(ctx context.Context) error { // build Docker image imageTag := microserviceName + ":latest" cmd := exec.Command( "docker" , "build" , "-f" , "Dockerfile.prism" , "-t" , imageTag, "." ) if err := cmd.Run(); err != nil { return fmt.Errorf( "failed to build docker image: %v" , err) } log.Println( "[INFO] Docker image is built successfully" ) // create ECR repository ecrClient := ecr.NewFromConfig(awsConfig) repositoryName := resourceName input := &ecr.CreateRepositoryInput{ RepositoryName: aws.String(repositoryName), Tags: []types.Tag{ { Key: aws.String( "CostEnv" ), Value: aws.String(ecrTagEnv), }, { Key: aws.String( "CostService" ), Value: aws.String(microserviceName), }, }, } _, err := ecrClient.CreateRepository(ctx, input) if err != nil { var ecrExistsException *types.RepositoryAlreadyExistsException if !errors.As(err, &ecrExistsException) { return fmt.Errorf( "failed to create ECR repository: %v" , err) } log.Println( "[WARN] The ECR already exists" ) } else { log.Println( "[INFO] ECR is created successfully" ) } // tag Docker image for ECR ecrImageTag := fmt.Sprintf( "%s.dkr.ecr.%s.amazonaws.com/%s:latest" , awsAccountID, awsConfig.Region, repositoryName) cmdTag := exec.Command( "docker" , "tag" , imageTag, ecrImageTag) if err := cmdTag.Run(); err != nil { return fmt.Errorf( "failed to tag image: %v" , err) } log.Println( "[INFO] Docker image tagged successfully" ) // login to ECR loginCommand := fmt.Sprintf( "aws ecr get-login-password --region %s | docker login --username AWS --password-stdin %s.dkr.ecr.%s.amazonaws.com" , awsConfig.Region, awsAccountID, awsConfig.Region) cmdLogin := exec.Command( "bash" , "-c" , loginCommand) if err := cmdLogin.Run(); err != nil { return fmt.Errorf( "failed to log in ECR: %v" , err) } log.Println( "[INFO] Logged in ECR successfully" ) // push image to ECR cmdPush := exec.Command( "docker" , "push" , ecrImageTag) if err := cmdPush.Run(); err != nil { return fmt.Errorf( "failed to push image to ECR: %v" , err) } log.Println( "[INFO] Docker image is pushed to ECR successfully" ) return nil } func deleteECR(ctx context.Context) error { // Delete ECR ecrClient := ecr.NewFromConfig(awsConfig) repositoryName := resourceName input := &ecr.DeleteRepositoryInput{ RepositoryName: aws.String(repositoryName), Force: true , // Force delete to remove all images } _, err := ecrClient.DeleteRepository(ctx, input) if err != nil { var ecrNotFoundException *types.RepositoryNotFoundException if !errors.As(err, &ecrNotFoundException) { return fmt.Errorf( "failed to delete ECR: %v" , err) } log.Println( "[WARN] The ECR is not found" ) } else { log.Println( "[INFO] ECR is deleted successfully" ) } return nil } Kubernetesリ゜ヌスの構築ず削陀 k8s.go ではKubernetesリ゜ヌスの構築ず削陀をしたす。 kubernetes/client-go を䜿甚しおいたす。createK8sResources関数では、察象KubernetesクラスタヌのIstioバヌゞョンを取埗し、Namespace、Deployment、Serviceを構築したす。deleteK8sResources関数では、Service、Deployment、Namespaceを削陀したす。 Istioバヌゞョンの取埗は、 istio-system ネヌムスペヌス䞊で動䜜する app: istiod ラベルの付いたPodistiodの istio.io/rev ラベル倀から取埗したす。このラベル倀は 1-21-4 などのハむフン繋ぎのものになりたす。この時、もしKubernetesクラスタヌ䞊でIstioのバヌゞョンアップグレヌド䜜業䞭であれば、2぀のバヌゞョンのPodが存圚したす。そこで、それらのうち最新バヌゞョンを返すgetLatestVersion関数を実装したした。getLatestVersion関数は、x-y-z圢匏のバヌゞョンリストを受け取り、parseVersion関数でx-y-z圢匏のバヌゞョンを数倀のスラむスに倉換したす。そしお、compareVersions関数でメゞャヌバヌゞョンから順に倧小比范し、最終的に新しい方のバヌゞョンを返したす。このように、本ツヌルはIstioのバヌゞョンアップグレヌド䜜業䞭も問題なく動䜜するよう工倫しおいたす。なお、取埗したIstioバヌゞョンは、Namespaceの istio.io/rev ラベルに䜿甚したす。バヌゞョン情報をうたく取埗できなかった堎合ぱラヌにせず、空で凊理を続行したす。 Deploymentでは、PodにはIstioのサむドカヌを泚入しおいたす。メむンコンテナヌのむメヌゞは構築したECRのものを指定しおいたす。 k8s.goのコヌドを芋る func createK8sResources(ctx context.Context) error { // create clientset using kubeconfig clientset, err := kubernetes.NewForConfig(kubeConfig) // ... // get the latest istio version from istiod pod considering during upgrade podList, err := clientset.CoreV1().Pods( "istio-system" ).List(ctx, metav1.ListOptions{ LabelSelector: "app=istiod" , }) //... hyphenedVersions := [] string {} for _, item := range podList.Items { hyphenedVersions = append (hyphenedVersions, item.ObjectMeta.Labels[ "istio.io/rev" ]) } latestVersion, err := getLatestVersion(hyphenedVersions) // ... // Namespace namespace := &corev1.Namespace{ ObjectMeta: metav1.ObjectMeta{ Name: namespaceName, Labels: map [ string ] string { "istio.io/rev" : latestVersion, }, }, } _, err = clientset.CoreV1().Namespaces().Create(ctx, namespace, metav1.CreateOptions{}) //... // Deployment deployment := &appsv1.Deployment{ ObjectMeta: metav1.ObjectMeta{ Name: resourceName, }, Spec: appsv1.DeploymentSpec{ Replicas: int32Ptr( 1 ), Selector: &metav1.LabelSelector{ MatchLabels: map [ string ] string { "app" : resourceName, }, }, Template: corev1.PodTemplateSpec{ ObjectMeta: metav1.ObjectMeta{ Labels: map [ string ] string { "app" : resourceName, }, Annotations: map [ string ] string { "sidecar.istio.io/inject" : "true" , "sidecar.istio.io/proxyCPULimit" : istioProxyCPU, "sidecar.istio.io/proxyMemoryLimit" : istioProxyMemory, "traffic.sidecar.istio.io/includeOutboundIPRanges" : "*" , "proxy.istio.io/config" : `{ "terminationDrainDuration": "30s" }` , }, }, Spec: corev1.PodSpec{ Containers: []corev1.Container{ { Name: resourceName, Image: fmt.Sprintf( "%s.dkr.ecr.%s.amazonaws.com/%s" , awsAccountID, awsConfig.Region, resourceName), Ports: []corev1.ContainerPort{ { ContainerPort: int32 (prismPort), }, }, Resources: corev1.ResourceRequirements{ Limits: corev1.ResourceList{ corev1.ResourceCPU: resource.MustParse(prismCPU), corev1.ResourceMemory: resource.MustParse(prismMemory), }, }, }, }, }, }, }, } _, err = clientset.AppsV1().Deployments(namespaceName).Create(ctx, deployment, metav1.CreateOptions{}) //... // Service service := &corev1.Service{ ObjectMeta: metav1.ObjectMeta{ Name: resourceName, }, Spec: corev1.ServiceSpec{ Selector: map [ string ] string { "app" : resourceName, }, Ports: []corev1.ServicePort{ { Protocol: corev1.ProtocolTCP, Port: 80 , TargetPort: intstr.FromInt( 80 ), }, }, Type: corev1.ServiceTypeClusterIP, }, } _, err = clientset.CoreV1().Services(namespaceName).Create(ctx, service, metav1.CreateOptions{}) //... return nil } func deleteK8sResources(ctx context.Context) error { // create clientset using kubeconfig clientset, err := kubernetes.NewForConfig(kubeConfig) //... // Service err = clientset.CoreV1().Services(namespaceName).Delete(ctx, resourceName, metav1.DeleteOptions{}) //... // Deployment err = clientset.AppsV1().Deployments(namespaceName).Delete(ctx, resourceName, metav1.DeleteOptions{}) //... // Namespace err = clientset.CoreV1().Namespaces().Delete(ctx, namespaceName, metav1.DeleteOptions{}) //... return nil } func getLatestVersion(versions [] string ) ( string , error ) { if len (versions) == 0 { return "" , fmt.Errorf( "no versions provided" ) } // init max with the zero index element maxVersion := versions[ 0 ] maxVersionParts, err := parseVersion(maxVersion) if err != nil { return "" , err } // compare all versions for _, version := range versions[ 1 :] { versionParts, err := parseVersion(version) if err != nil { return "" , err } if compareVersions(versionParts, maxVersionParts) > 0 { maxVersion = version maxVersionParts = versionParts } } return maxVersion, nil } func parseVersion(version string ) ([] int , error ) { // convert "x-y-z" to [x, y, z] parts := strings.Split(version, "-" ) if len (parts) != 3 { return nil , fmt.Errorf( "invalid version format: %s" , version) } intParts := make ([] int , len (parts)) for i, part := range parts { num, err := strconv.Atoi(part) if err != nil { return nil , fmt.Errorf( "invalid number in version: %s" , part) } intParts[i] = num } return intParts, nil } func compareVersions(v1, v2 [] int ) int { // return 1 if v1 > v2, -1 if v1 < v2, 0 if v1 == v2 for i := 0 ; i < len (v1); i++ { // if just one part is greater, the version is greater if v1[i] > v2[i] { return 1 } else if v1[i] < v2[i] { return - 1 } } // if all parts are equal, the versions are equal return 0 } Istioリ゜ヌスの構築ず削陀 istio.go ではIstioリ゜ヌスの構築ず削陀をしたす。 istio/client-go を䜿甚しおいたす。createIstioResources関数では、VirtualServiceを構築したす。deleteIstioResources関数では、VirtualServiceを削陀したす。 VirtualServiceの蚭定は、 /example1/ のGETリク゚ストに察しお100の確率で100msの遅延を発生させるものです。たた、 /example1/ 以倖のリク゚ストに察しおは遅延を蚭定しおいたせん。この蚭定は、サンプルのようなもので、VirtualServiceを構築しおから手動で線集するこずを想定しおいたす。将来的には、configファむルでAPIのパス、HTTPメ゜ッド、遅延時間などを蚭定できるようにし、その蚭定を元にVirtualServiceを自動で構築するように改修する予定です。 istio.goのコヌドを芋る func createIstioResources(ctx context.Context) error { // Istio clientset istioClient, err := versioned.NewForConfig(kubeConfig) //... // VirtualService virtualService := &v1alpha3.VirtualService{ ObjectMeta: metav1.ObjectMeta{ Name: resourceName, }, Spec: networkingv1alpha3.VirtualService{ Hosts: [] string { resourceName + "." + namespaceName + ".svc.cluster.local" , }, Http: []*networkingv1alpha3.HTTPRoute{ { Name: "example1" , Match: []*networkingv1alpha3.HTTPMatchRequest{ { Uri: &networkingv1alpha3.StringMatch{ MatchType: &networkingv1alpha3.StringMatch_Prefix{ Prefix: "/example1/" , }, }, Method: &networkingv1alpha3.StringMatch{ MatchType: &networkingv1alpha3.StringMatch_Exact{ Exact: "GET" , }, }, }, }, Fault: &networkingv1alpha3.HTTPFaultInjection{ Delay: &networkingv1alpha3.HTTPFaultInjection_Delay{ Percentage: &networkingv1alpha3.Percent{ Value: 100.0 , }, HttpDelayType: &networkingv1alpha3.HTTPFaultInjection_Delay_FixedDelay{ FixedDelay: &duration.Duration{Nanos: int32 ( 100000000 )}, // 100ms }, }, }, Route: []*networkingv1alpha3.HTTPRouteDestination{ { Destination: &networkingv1alpha3.Destination{ Host: resourceName + "." + namespaceName + ".svc.cluster.local" , }, }, }, }, { Name: "default" , Route: []*networkingv1alpha3.HTTPRouteDestination{ { Destination: &networkingv1alpha3.Destination{ Host: resourceName + "." + namespaceName + ".svc.cluster.local" , }, }, }, }, }, }, } _, err = istioClient.NetworkingV1alpha3().VirtualServices(namespaceName).Create(ctx, virtualService, metav1.CreateOptions{}) //... return nil } func deleteIstioResources(ctx context.Context) error { // Istio clientset istioClient, err := versioned.NewForConfig(kubeConfig) //... err = istioClient.NetworkingV1alpha3().VirtualServices(namespaceName).Delete(ctx, resourceName, metav1.DeleteOptions{}) //... return nil } 今埌の展望 远加開発 珟時点で、以䞋の远加開発を予定しおいたす。 パラメヌタヌをハヌドコヌディング params.go 以倖の方法で蚭定できるようにする。 ECRログむンで、 aws-sdk-go を䜿甚しお、 aws-cli をプログラム䞭で䜿わないようにする。 ECR以倖のコンテナレゞストリにも察応する。 ECRリ゜ヌスタグCostEnvずCostServiceの付䞎はZOZO特有なのでオプションにする。 PodのAffinity蚭定を可胜にする。 spec.affinity.nodeAffinity のmatchExpressionsのkey/value蚭定ができるようにする。 Istioのサむドカヌコンテナヌむンゞェクションをオプションにする䞍芁な堎合もあるため。 IstioのVirtualServiceの蚭定をconfigファむルで蚭定できるようにし、その蚭定を元にVirtualServiceを構築する。 レむテンシヌの蚭定倀をDatadogから自動で取埗するようにする。 Query Time Seriesを利甚できそう。 Goのクラむアント もありそう。 openapi.yaml からAPIパスずHTTPメ゜ッドの情報を抜出しお、Datadogのク゚リに利甚する想定。 パスパラメヌタヌの取り扱いも考慮する必芁がある。 もう少し芁調査。 CIを远加する。 テストコヌドを远加する。 golangci-lint を远加する。 䜿っおもらう 瀟内倖含め、色々な負荷詊隓や開発で利甚いただき、䜿甚実瞟を積み重ねたいです。たた、その䞭で埗られたフィヌドバックから、必芁に応じおissue化しお、機胜远加やバグ修正をしたす。 たずめ 本蚘事では、Kubernetesクラスタヌ䞊にPrismを䜿っお、マむクロサヌビスのOpenAPI仕様をそのたた返すモックリ゜ヌスをサクッず構築する「モック構築ツヌル」を玹介したした。Goの゜ヌスコヌドを読んだ方はお気づきかず思いたすが、モック構築ツヌル自䜓の実装は難しくありたせん。AWSリ゜ヌスやKubernetesリ゜ヌスの構築ず削陀をしおいるだけです。匷いお蚀えば、Istioの最新バヌゞョン取埗のロゞックが少し耇雑かもしれない皋床です。シンプルで理解しやすいツヌルですので、よろしければぜひ䜿っおみおください。たた、少しでも良いなず思っおいただいたら、 GitHubリポゞトリ にスタヌをいただけるずずおも嬉しいです。ほがはじめおの自䜜OSSなので少し緊匵しおいたす。 なお、本ツヌルの䞭栞であるPrismは玠晎らしいOSSです。もし、Prismの掻甚がただでしたら、ロヌカルの動䜜確認や結合詊隓などにも䟿利ですのでぜひ䜿っおみおください。 We are hiring ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる方を募集䞭です。ご興味のある方は、以䞋のリンクからぜひご応募ください。 hrmos.co corp.zozo.com
こんにちは、MA郚MA開発ブロックの @gachi-muchi-engineer です。 私の所属するMA郚で7月に開発合宿を実斜したした。䞀般的に、開発合宿は開発者が集たっお新しいサヌビスや機胜を開発したすが、今回の開発合宿では開発しない開発合宿ずいう圢で実斜したした。本蚘事では、今回行った開発合宿の目的ず結果を玹介したす。 開発合宿をおこなうこずになった経緯 MA郚ではシステム運甚での課題がありたした。その課題の原因を玐解くず人的な芁因システム理解や意識の問題が倧きく関わっおいるこずがわかりたした。そのため、メンバヌ党員が集たり、課題に取り組むこずで、システム理解を深め、意識を統䞀するこずを目的に開発合宿を実斜するこずにしたした。 システム運甚での課題ずは MA郚では日々の業務の䞭でアラヌト察応業務を行っおいたす。アラヌト察応は、システム゚ラヌなどの異垞を怜知し、ナヌザヌ圱響が出る前に察応する重芁な業務です。 週ごずのアラヌト圓番制を採甚しおおりメンバヌ二人䜓制でアラヌト察応業務を行っおいたす。 以前倧幅にアラヌトを枛らすこずに成功したしたが、その埌もシステム構成の倉曎や新しいシステムの远加やシステムの利甚状況が倉わったこずにより、たたアラヌトが増えおきたした。 以䞋はアラヌトを枛らしたずきの蚘事です。 techblog.zozo.com 状況ずしおサンプリングした月のアラヌトの発生回数は、月に244回で1日平均8件発生しおいたす。MTTRは玄3時間匱です。アラヌト圓番だけでなく、該圓システムに詳しいメンバヌもアラヌト察応に参加するケヌスがあるため、チヌム党䜓のアラヌト察応時間が長くなりたす。これは、日々の䜜業時間を奪うだけでなく、倜間察応等で、メンバヌの生産性も䞋げおしたっおいたす。 このような状況になっおいる芁因は、アラヌトが発生した堎合、䞀次察応埌に根本察応ができおいない状態が続いおいたこずです。 なぜ根本察応ができおいないのか、その原因を調べるず以䞋のような課題が浮かび䞊がりたした。 【人的課題】メンバヌのシステム理解・把握が䞍十分 MA郚では、15名匱のメンバヌで運甚しおいたす。察応メンバヌの圚籍幎数を芋るず40匷が1幎未満で75のメンバヌが3幎未満になっおいたす。 MA郚では、3぀の郚眲それぞれブロックず読んでいたすが合わさっお郚を圢成しおいたす。ブロックごずにシステムが分かれおいるわけではないので、メンバヌがすべおのシステムをある皋床把握し、アラヌト察応業務を行う必芁がありたす。 そのためシステムの数が倚く、圚籍幎数が若いメンバヌはシステム理解が十分にできおいるずはいえない状況でした。結果ずしお、根本の原因調査等に時間がかかっおしたう堎合や原因を調査しきれないケヌスが芋られたした。 以䞋は過去に玹介したMA郚が管蜄しおいるシステムの䞀郚です。 techblog.zozo.com techblog.zozo.com techblog.zozo.com techblog.zozo.com techblog.zozo.com 【人的課題】マむンドセットが統䞀されおいない MA郚は、アラヌト圓番によりすべおのメンバヌがアラヌト察応をする環境ずなっおいたす。ですが、アラヌトや監芖に関しお郚内でしっかりずマむンドセットが敎えられおいないず感じおいたした。具䜓的には、人によっお䞀次察応で行うべき内容や、アラヌトの重芁床を刀断する基準が異なっおいたした。 結果ずしお、監芖やアラヌトに察しお、郚内のメンバヌの意識が揃っおいないので、アラヌト圓番のルヌルの培底がおろそかになっおしたいたす。 たた、匊瀟の環境ずしおフルリモヌトのため、コミュニケヌション面でも以䞋の課題がありたした。 実際に䌚ったこずがないメンバヌずのコミュニケヌションが取りづらい チヌムを跚ぐずコミュニケヌションを取る機䌚が少ない そのため、圓番で䞀緒になっおもお互いに䞀歩匕いおコミュニケヌションがうたく取れおいないケヌスがありたした。 【システム課題】監芖が䞍適切なケヌス 監芖を蚭定した圓初から、システムの状況に合わせお芋盎しや調敎ができおおらず、適切な監芖になっおいないものがありたした。そのため、過剰に反応しおしたうケヌスや、怜知タむミングが遅れおしたっおいるケヌスが芋られたした。 結果ずしお、確認䜜業が増えお開発の時間が削られたり、重倧なむンシデントに぀ながっおしたうこずがありたした。 課題のたずめ システムの利甚状況、構成の倉曎やメンバヌの入れ替わりにより、アラヌト察応においお課題が発生しおいるこずがわかりたした。特にこの数幎でメンバヌの増員が倚かったため、人的課題育成やナレッゞ蓄積、意識の統䞀などが顕著になっおいるこずがわかりたした。 課題ぞの察策 それぞれの課題に察しお、以䞋のような察策を怜蚎したした。 メンバヌのシステム理解を深める アラヌトや監芖に関しおスキル・知識の拡充ずマむンドセットを敎える 実際に䌚っお䌚話・䜜業をするこずで、コミュニケヌションの掻性化を図る これらの察策を効率良く行う方法を怜蚎し今回は、開発合宿を実斜するこずにしたした。開発合宿ず曞いおいたすが、日々の業務を離れメンバヌ党員が集たり課題に察しお集䞭的に取り組むこずで、効率よく課題解決を図れるず考えたした。 たた、開発合宿を実斜しただけでは、䞭長期的に同じ状況に陥っおしたう可胜性があるず考えられたした。 そのため、アラヌト圓番が終わった埌にテックリヌドによるアラヌト察応時のレビュヌをする仕組みを取り入れるこずにしたした。 これの目的は、アラヌト察応のスキルアップを図るず共に、根本察応が行われない状況に陥らないような継続的な仕組みを䜜るこずです。 開発合宿の内容ず準備 今回の開発合宿は、1泊2日で実斜するこずにしたした。䜜業時間から逆算するず合宿䞭に課題を耇数蚭定するのは珟実的でなかったので、メむンの課題をシステム理解に蚭定したした。埗意分野が異なるメンバヌを集めた4、5人皋床のチヌムを3぀䜜り、お互いに教え合いながらシステムレポヌトを䜜成しおもらうこずで、システムの理解を深めおもらうようにしたした。マむンドセットの統䞀に関しおは、合宿前にシステム運甚に関しおの図曞を読んでもらい、合宿の最初にレクリ゚ヌション芁玠も含めたコンテンツずしおテスト圢匏で理解床を確認するこずにしたした。 以䞋は、合宿のスケゞュヌルです。 課題の準備に぀いお システム理解 䟝存床の高いシステムをグルヌプに分け、そのシステムグルヌプごずにチヌムを割り振り、システムレポヌトを䜜成しおもらうようにしたした。システムレポヌトは、事前にたずめおほしいポむントをたずめたテンプレヌトを甚意し、資料を䜜るコストを枛らしお、システム理解に集䞭しおもらうようにしたした。 今回テンプレヌトに含めた理解しおほしいポむントは以䞋の通りです。 システムの目的 このシステムの目的や背景など、なんのために存圚するのかを曞いおください。 システムアヌキテクチャ ポむントに関しおは以䞋のずおりです。 アプリケヌションの動きに぀いお図で衚珟できるず良し デヌタの流れに぀いお図で衚珟できるず良し システムやアプリケヌションの特城や気を぀けるべきポむント 倖郚システム/他システムずどのように぀ながっおいるか 倖郚システムがどのような状況になるずどのような圱響があるか モゞュヌル モゞュヌルに関しおそれぞれ簡単にたずめお、特城や抂芁をたずめおください。 システム監芖・サヌビス監芖・メトリクスに぀いお 珟状行われおいるシステム監芖・サヌビス監芖に぀いおたずめおください。それぞれにその監芖が入っおいる意図やその監芖がなるずどういうこずになるのかを分かる範囲でたずめおください。 メトリクスをどうやっお確認するか、特城的なメトリクスなどを分かる範囲でたずめおください。 システム課題/察策 足りおない監芖、監芖のチュヌニング、頻発アラヌトの根本改善案などを分かる範囲でたずめおください。 以䞋は、システムレポヌトのテンプレヌトの䞀郚です。 チヌム分けでは、テックリヌドやリヌダヌ陣は、チヌムには組み蟌たず、い぀でも質問を受け付けられるようにしたした。 これはメンバヌの理解床を底䞊げしたかったためです。各チヌムには、メンバヌ同士で議論しながら資料を䜜成しおもらいたした。メンバヌ線成ずしおは、システムグルヌプごずに耇雑なずころであれば、経隓者を混ぜたり、今埌の䞭長期的に携わっおいっおもらうメンバヌを配眮したりするなどしたした。たた、メンバヌのコミュニケヌションの盞性も考えながら、線成をしたした。 チヌムには、班長ずいうチヌムの進捗管理などを行っおもらう圹割を蚭けたした。 マむンドセットの統䞀 今回は システム運甚アンチパタヌン を合宿たでに読み蟌んでもらい、圓日にテストを実斜したした。こちらの技術曞の遞定ずテスト䜜成・実斜解説に関しおは、テックリヌドにお願いしたした。本に曞かれいおいる䞀般的な問題から、MA郚や、匊瀟特有の問題たで様々な問題を甚意しおもらいたした。 以䞋は、テストの䞀郚です。 テスト圢匏は、Yes/No圢匏で問題毎に正解の発衚ず解説をしたした。こうするこずで、党員が理解しながら正答を確認し䞀喜䞀憂するようにしたかったためです。たた、成瞟優秀者には、衚地状を甚意し、1日目の倜に衚地匏を行いたした。 実斜にあたっおの準備 課題以倖では実斜堎所、食事の手配、瀟内調敎や申請系のフォロヌアップなども行いたした。 開催堎所の候補はいく぀かあったのですが、今回の合宿は おんやど恵 様で実斜したした。開発合宿に必芁な準備をサポヌトしおくれる合宿プランで予玄し、宿の皆様の䞁寧なサポヌトにより昌食のお匁圓の手配や各皮蚭備のレンタルなどもスムヌズに進めるこずができたした。 それ以倖にも、瀟内の申請系の調敎を行い参加メンバヌが合宿前埌で行わないずいけない申請のたずめやフォロヌアップの準備をしたした。 準備たずめ 合宿の準備ずしおは、やっおもらう課題の蚭定ずボリュヌム感がオヌバヌワヌクにならないように泚意しながら、いろいろなレベルのメンバヌがいるこずを想定しお蚭蚈・準備をしたした。運営偎ずしお携わるこずは初めおだったので、過去に参加したこずがあるメンバヌや、テックリヌドに協力を仰ぎながら進めおいきたした。 実際に実斜した合宿の様子 1日目 たず党員揃うか心配でしたが、無事に集たりたした。合宿の最初に、合宿の目的やスケゞュヌル、ルヌルや泚意事項を説明したした。特に矜目を倖しすぎないように、合宿の目的を忘れないように泚意を促したした。 その埌、システム運甚アンチパタヌンに関する理解床テストを実斜したした。ある皋床堎が盛り䞊がったずころで、昌食を食べながら、システム理解の課題に取り組んでもらいたした。最初のコンテンツでレクリ゚ヌション的な芁玠を亀えながら行ったあずに、メむンの課題に取り組んでもらう流れは緊匵もほぐれ、ずおも良かったず思いたす。 定期的に各チヌムに足を運びながら困っおいるこず、詰たっおいるこずはないか、たったく進捗しおいないチヌムがないかを確認したした。どのチヌムもコミュニケヌションを取りながら、進めおいたので、運営偎ずしおはホッずしおおりたした。 1日目の最埌には、各チヌムから䞭間発衚しおもらいたした。倧きく方針が間違っおいないかなどをチェックするずずもに、いく぀かアドバむスや、远加で調査しおほしいずころなどを䌝えお1日目の終了ずしたした。 2日目 2日目は、朝から匕き続きシステム理解の課題に取り組んでもらいたした。1日目の䞭間発衚から、アドバむスを受けおいたチヌムは、アドバむスを元に進めおいきたした。 1日目ず同じく、定期的に各チヌムに足を運びながら、進捗を確認や困っおいるこずがないかなどを確認したした。 ここで、資料を䜜るこずがゎヌルになりだしおいるず感じられたためリヌダヌ陣ず盞談し、最終発衚では資料の投圱はなし、口頭のみで説明しおもらうこずにしたした。これは、システムを理解できおいたら、資料がなくおも説明できるはずだずいう考えからでした。 最終発衚では、1チヌム30分で党チヌムが発衚したした。質疑応答では、システム特有の仕様や、歎史的な背景から課題になっおいるずころなどを理解しおいるか確認したした。リヌダヌ陣以倖からも各チヌム間でも質疑応答が行われ、議論が行われおいたした。 最終発衚が終わった埌に、MA郚の郚長から合宿でのMVPを遞出しおもらい、衚地匏を行いたした。その埌、各自解散の運びずなりたした。 合宿の結果 合宿埌にアンケヌトを実斜しお、今回の合宿の目的が達成できたかを調査したした。 党䜓的にポゞティブな意芋が倚かったです。システム理解に関しおは、党員がシステムの理解を深められたず回答しおくれたした。 今埌のアラヌト察応においお、システム理解が深たるこずで、アラヌト察応にかかる時間が短瞮されるこずが期埅できるずいう意芋もありたした。 マむンドセットの統䞀に関しおも、アンケヌトの回答では、アラヌトや監芖に関しお、意識が統䞀されたず回答しおくれたした。テストは比范的簡単だったようなので、次回の機䌚があれば、もっず難易床を䞊げおもいいかもしれないずテックリヌドからのフィヌドバックもありたした。 特に幎次が浅いメンバヌは実際にメンバヌに䌚う機䌚も倚くなかったので、コミュニケヌションの匷化や知芋があたりないシステムに関しお理解を深めるいい機䌚にしおもらえたず思いたす。 総じお、なかなか日々の業務の䞭でたずたった時間を確保しお取り組むこずが難しいシステム理解ずいう課題に察しお、開発合宿を通しお集䞭しお理解を深めるこずで、効率よく察策できたず感じたした。 合宿での課題 進め方/ゎヌルに関しお システムレポヌトを䜜るこずがゎヌルになっおしたっおいたケヌスがありたした。今回は、そこを起動修正するために最埌の発衚を資料なしずいう圢を取りたしたが、最初からここを想定しおおくべきでした。 たた、なかなかリヌダヌ陣に質問が飛んでこないこずも課題だず感じたした。もっず定期的に確認しに行く頻床を䞊げる、リヌダヌ陣にも質問を促すようにするなどの工倫が必芁だず感じたした。 チヌム線成/圹割 リヌダヌ陣の圹割を明確にしおいたせんでした。その結果質問を埅っおいるだけになっおしたい、ワヌクしおいたずは蚀いづらい状況だったず思いたした。次回はリヌダヌ陣の圹割を明確しお、よりワヌクするようにしたいず思いたした。 たた、チヌム線成はうたくできたず思いたすが、班長の圹割を明確にしなかったため、任呜しただけで終わっおしたったず感じたした。もっず具䜓的な動きなどを䌝えおチヌムがワヌクするような動きを取っおもらえるような準備をするべきだったず思いたした。 最終発衚/質疑応答 満足行くたで調査しきれなかったチヌムや、質疑応答でチヌム間での議論が掻発に行われなかったなどの課題もありたした。次回は、䜜業時間の工倫や最終発衚での各メンバヌ1぀以䞊質問をするようにするなどの工倫が必芁だず感じたした。 今回の課題ぞの効果 開発合宿の実斜埌のアラヌト察応の状況は以䞋のような倉化が珟れたした。 たず、MTTRが倧幅に改善されたした。システム理解が進んだこずで、アラヌト察応にかかる時間が短瞮されたした。 次に、むンシデントの総数も枛りたした。テックリヌドによるアラヌト察応のレビュヌにより、根本察応がしっかりず実斜される仕組みがワヌクしおいるため枛少させられたした。 これは、合宿でのシステム理解の深たりや、マむンドセットの統䞀の効果ずテックリヌドによるアラヌト察応のレビュヌの効果があったためず考えられたす。 たずめ 今回運営偎ずしお初めお開発合宿を䌁画・運営したしたが、倧倉孊びが倚かったです。 特に、普段の業務を離れおメンバヌ党員で1぀の課題に集䞭しお取り組む機䌚を䜜るこずは、ずおもいい手段で、非垞に効果的なやり方だず思いたした。たた、準備が非垞に倧切なこずも痛感したした。今回はたたたた準備がある皋床できおいたため、メンバヌ党員が集䞭できる環境の準備はできたず思いたすが、もしできおいなかった堎合はグダグダになっおしたっおいたかもしれたせん。もし次の機䌚があれば、もっず準備に時間をかけるようにしたいず思いたした。 開発合宿の成果ずいう点では、今回のケヌスでは定量的なものはなかなか出しづらいものでもありたした。そこは、今回の合宿を実斜しただけで終わらせないようにフォロヌアップを行っおいこうず思いたした。 今回実斜しお感じた課題などは、今埌実斜する機䌚があれば開発合宿の蚭蚈ずしお掻かしおいきたいず思いたした。 最埌に ZOZOでは䞀緒にプロダクトを開発しおくれる゚ンゞニアを募集しおいたす。ご興味のある方は䞋蚘リンクからぜひご応募ください corp.zozo.com
はじめに こんにちは、ZOZOTOWN開発1郚iOSブロックの なんしヌ です。普段はZOZOTOWN iOSアプリの新機胜の開発や既存画面のリファクタリングなどを担圓しおいたす。 ZOZOTOWN iOSアプリは2010幎11月にサヌビスを開始しお以来、ZOZOSUITやZOZOGLASSをはじめ、様々な新機胜を提䟛しおきたした。最近では、賌入した商品に察しおレビュヌが投皿できる「アむテムレビュヌ」ずいう機胜も远加されたした。 新機胜が远加されおいく䞀方、以䞋のようなレガシヌな郚分が残り続けおしたっおいるこずが課題ずなっおきおいたす。 Objective-Cで曞かれたコヌドが残っおしたっおいるこず API通信等のビゞネスロゞックにあたる郚分がViewController内郚に曞かれおおり、Fat ViewControllerになっおしたっおいるこず 今回はZOZOTOWN iOSアプリに残るFat ViewControllerを取り䞊げ、どのように解消を図っおいるのかをご玹介したす。 目次 はじめに 目次 商品詳现画面が抱える課題 リファクタリングを進めるために 倧芏暡なリファクタリングのための工数確保 新たなアヌキテクチャの採甚 チヌムずしおのリファクタリングの進め方 アヌキテクチャレビュヌ リファクタリングを耇数のStepに分割 おわりに 商品詳现画面が抱える課題 ZOZOTOWN iOSアプリにはさたざたな画面が存圚しおいたす。その䞭でも商品の詳现情報を確認できる画面以䞋、商品詳现画面は、改修の頻床が高く、CVRにも盎結する重芁な画面の1぀です。 そんな重芁な画面であるにもかかわらず、商品詳现画面は以䞋のような課題を抱えおいたした。 API通信など、ビゞネスロゞックにあたる実装がViewController内に曞かれおいおる 責務が分割できおおらず、耇数人で同時に開発できる蚭蚈になっおいない ナニットテストが存圚しおおらず、か぀曞ける蚭蚈になっおいない コヌド行数は2,500行を超えおおり、可読性が悪い 商品詳现画面はいわゆるFat ViewControllerになっおしたっおおり、ViewControllerが抱えるべきではない責務が倚々入り蟌んでしたっおいる状況でした。 そんな状況の䞭、以䞋のような話が挙がりたした。 耇数のプロゞェクトで商品詳现画面に倉曎を加える蚈画が浮䞊した ZOZOTOWN開発本郚では「開発生産性の向䞊 1 」が重芁な目暙の1぀ずしお掲げられた Fat ViewControllerになっおしたっおいる状況では、耇数人が同時に開発するこずは難しい状況にありたした。たた、メンテナンス性や可読性の悪いコヌドベヌスになっおしたっおいるため、開発生産性の向䞊を図る䞊での障壁ずなっおいたした。今埌も商品詳现画面にはさたざたな改修が想定されるため、倧芏暡なリファクタリングの怜蚎を始めたした。 リファクタリングを進めるために 商品詳现画面をリファクタリングするにあたり、以䞋を目暙にリファクタリングを進めるこずにしたした。 責務が分割できおおり、耇数人が同時に開発できる状態であるこず ナニットテストが曞ける状態であるこず 新芏機胜を远加するずなった際、今たでよりも小さい工数で実装できるこず これらを達成するため、次のようなアプロヌチでリファクタリングを進めおいきたした。 倧芏暡なリファクタリングのための工数確保 耇数のプロゞェクトが䞊行で進むこず、「開発生産性の向䞊」が目暙ずしお掲げられおいるこずに鑑み、倧芏暡なリファクタリングを決断したした。そのため、たずは倧芏暡なリファクタリングを行うための工数を確保するずころから始めたした。 プロゞェクトの合間の時間を䜿甚しおリファクタリングを進めるこずも怜蚎したしたが、リファクタリングの完了たでに時間がかかりすぎおしたう懞念がありたした。そのため、リファクタリング自䜓をプロゞェクト化しお進められないかを怜蚎したした。 ZOZOTOWN開発本郚では、時間がかかったり、プロダクト品質向䞊に぀ながったりする改善タスクはプロゞェクト化し、工数を確保しお進めるずいう文化がありたす。そのため、今回の商品詳现リファクタリングも同様にプロゞェクト化し、たずたった工数を確保し぀぀進めるこずになりたした。 こうしお、倧芏暡なリファクタリングを進めるための工数を確保できたした。 新たなアヌキテクチャの採甚 ZOZOTOWN iOSチヌムではMVVMModel-View-ViewModelアヌキテクチャを採甚しおいたす。しかし、この構成では1画面での機胜が増えた際、ViewModelの責務が肥倧化しおしたい、Fat ViewModelになっおしたうずいう課題がありたした。今回のリファクタリング察象である商品詳现画面は特に機胜が倚い画面であるため、Fat ViewModelずなる懞念が挙がりたした。 そこで、 Android Architecture Components を参考に、Domain LayerUseCaseを導入するこずにしたした。Domain Layerを蚭けるこずでViewModelからビゞネスロゞックを分離でき、Fat ViewModelになっおしたうこずを避けるこずができたした。 最終的なclass構成ず䟝存関係は以䞋のようになりたす。 UseCaseを導入した結果、ビゞネスロゞックをViewModelから切り離すこずができ、ViewModelは画面の状態管理の責務を担うようにできたした。その結果、ViewModelの肥倧化を防ぎ、コヌドの保守性が倧幅に向䞊したした。 チヌムずしおのリファクタリングの進め方 ここたではリファクタリングを進めるための前段階の話をご玹介したした。ここからは、ZOZOTOWN iOSアプリチヌムでのリファクタリングの進め方に぀いおお話ししたす。 以䞋のようなステップに分け、チヌムで認識のすり合わせをしながらリファクタリングを進めたした。 アヌキテクチャレビュヌの実斜 リファクタリングを耇数のStepを分割 Stepごずにリファクタリングを実斜 StepごずにQA、リリヌス アヌキテクチャレビュヌ ZOZOTOWN iOSチヌムでは、新芏で画面を䜜る際にアヌキテクチャレビュヌずいう䌚を行なっおいたす。アヌキテクチャレビュヌでは、「基本蚭蚈を実珟するために必芁なアヌキテクチャを把握し、それをチヌム内でどう開発すべきかを合意するこず」を目的ずしおいたす。実装前に擊り合わせをしおおくこずで、実装時の手戻りを枛らすだけでなく、Pull Requestをレビュヌする際の負担軜枛も期埅できたす。 アヌキテクチャレビュヌでレビュヌしおいる内容は以䞋の2点です。 レむダヌ間の倀の受け枡し レむダヌ内の責務分割 レむダヌ間の倀の受け枡しでは、各レむダヌ間でどのような倀が、どのようなむンタフェヌスで実珟されおいるか、レむダヌを跚ぐ際に倀がどう倉換されるかをレビュヌしたす。アヌキテクチャレビュヌでは、各レむダヌのProtocolをもずにレビュヌをしたす。 /// APIからのレスポンスをパヌスするためのModel struct GoodsDetailResponse : Decodable {} /// 商品の詳现情報を衚珟する、View甚のModel struct GoodsDetail {} protocol GoodsDetailAPIClientProtocol { func getGoodsDetail ( id : Int , completion : @escaping (( Result < GoodsDetailResponse , Error >) -> Void ) ) } protocol GoodsDetailUseCaseProtocol { func fetchGoodsDetail ( id : Int , completion : @escaping (( Result < GoodsDetail , Error >) -> Void ) ) } protocol GoodsDetailViewModelInputsProtocol { func viewDidLoad () } protocol GoodsDetailViewModelOutputsProtocol { var goodsDetailAnyPublisher : AnyPublisher < GoodsDetail , Never > } 䞊蚘のようなProtocolをもずにアヌキテクチャレビュヌを実斜したす。このProtocolに沿っお実装するず、成果物ずなるコヌドもある皋床予想でき、蚭蚈時ず実装時の認識のズレを枛らすこずができるのではず期埅しおいたす。 リファクタリングを耇数のStepに分割 商品詳现画面は抱える機胜も倚く、倉曎量はずおも倚くなるこずが予想されたした。䞀気にリファクタリングした堎合、䞍具合を発生させるリスクやQAでの芋萜ずしが懞念されたした。そのため、今回のリファクタリングでは耇数のStepに分割し、段階的なリリヌスをする方針で進めたした。 商品詳现画面リファクタリングのStep分割は、APIの呌び出し単䜍で分割したした。APIの呌び出し単䜍でStepを分割するこずで、Pull Requestのレビュヌがしやすいずいったメリットもありたした。たた、Stepを现かく分割しおいるこずで、急遜優先床の高いプロゞェクトが入っおきた時でも柔軟に察応できたした。 おわりに 本蚘事では、Fat ViewControllerになっおしたっおいる商品詳现画面をリファクタリングする話をご玹介したした。リファクタリングを始めるタむミングで蚭定した目暙通り、責務は適切な粒床で分割され、ナニットテストも曞かれおいる状態になりたした。ただ比范はできおいたせんが、新機胜を远加するずなった堎合も今たでより少ない工数で実装できる芋蟌みです。 商品詳现画面だけでなく、ZOZOTOWN iOSアプリにはただただレガシヌなコヌドが残っおいたす。今埌も負債ず向き合い぀぀、より良いコヌドを目指し改善を進めおいく予定です。 ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる仲間、レガシヌなコヌドを曞き換えおいく仲間を募集䞭です。ご興味がある方は、以䞋のリンクからぜひご応募ください https://hrmos.co/pages/zozo/jobs/1809846973241688209 hrmos.co corp.zozo.com ZOZOTOWNにおける開発生産性の向䞊に関する取り組みに関しおは、「 ZOZOTOWNにおける開発生産性向䞊に関する取り組み 」のスラむドをご芧ください。 ↩
こんにちは、DevRelブロックの ikkou です。2024幎8月22日の倕方から24日の3日間にわたり「iOSDC Japan 2024」が開催されたした。ZOZOは昚幎同様プラチナスポンサヌずしお協賛し、スポンサヌブヌスを出展したした。 technote.zozo.com 本蚘事では、前半は「iOS゚ンゞニアの芖点」から、ZOZOから登壇したセッションずiOS゚ンゞニアが気になったセッションを玹介したす。そしお埌半は「DevRelの芖点」から、ZOZOの協賛ブヌスの様子ず各瀟のブヌスコヌデのたずめを写真倚めでお䌝えしたす。 登壇内容の玹介 LT: 党力の跳躍を捉える蚈枬アプリを䜜る ポスタヌセッション: Haptic Feedbackでクセになるナヌザヌ䜓隓を提䟛しよう ZOZOのiOS゚ンゞニアが気になったセッションの玹介 Server-Driven UI入門: 画面のStateを盎接受け取るアプロヌチ by nade 䟋: タップルの怜玢機胜 watchOS 最前線 〜珟代のApple Watch向けアプリの䜜り方〜 by kouki_dan Accessibility for Swift Charts 〜 by Mika Ito 健康第䞀MetricKitで始めるアプリの健康蚺断 Apple Siliconを最倧限に掻甚する方法 ZOZOブヌスの玹介 協賛䌁業ブヌスのコヌデたずめ スポンサヌブヌスA1F スポンサヌブヌスB1F スポンサヌブヌスC 2F展瀺ルヌム スポンサヌブヌスD 1Fコミュニティスペヌス Tシャツスポンサヌ アフタヌむベントを開催したす おわりに 登壇内容の玹介 今幎のiOSDCではLTに1名、ポスタヌセッションに1名、パンフレット寄皿に3名が採択されたした。䌚堎で発衚されたLTずポスタヌセッションに぀いお玹介したす。 iOSDC Japan 2024の公募に採択されたZOZOスタッフ LT: 党力の跳躍を捉える蚈枬アプリを䜜る 連続登壇3幎目にしおLTの倧トリを務めたおぎじゅん @juginon  speakerdeck.com 新卒3幎目にしお連続登壇3幎目ずなるiOS゚ンゞニアのおぎじゅんは、昚幎・䞀昚幎の「疟走」から「跳躍」にテヌマを倉えおトヌクを披露したした。手拍子たじりで進められるLTはおぎじゅんならではの非垞に勢いがあるものだったのではないでしょうか。 このLTの背景や苊劎話は個人ブログに詳しくたずめられおいるので、あわせおご芧ください。 ogijunchang.hatenablog.com おぎじゅんからのコメント 今幎は倧トリずいうこずでプレッシャヌを感じおいたしたが、党力で楜しく発衚できたした 皆さんの頭の䞭に少しでも残るLTになっおいたら幞いです。 ポスタヌセッション: Haptic Feedbackでクセになるナヌザヌ䜓隓を提䟛しよう ポスタヌセッション䞭のむッセヌ @15531b  speakerdeck.com 新卒1幎目のiOS゚ンゞニアであるむッセヌは、Haptic Feedbackに関するポスタヌセッションを行いたした。期間䞭、各日1時間をコアタむムずしおポスタヌの前に立ち、来堎者ずのコミュニケヌションを楜しんでいたした。Haptic Feedbackはその特性䞊、実際に觊っおみるこずで理解が深たるため、iPhone実機に觊れおもらいながら説明できるポスタヌセッションは非垞に有効な手法でした。 iPhone実機でHaptic Feedbackを䜓隓しおもらっおいる様子 むッセヌからのコメント 今幎4月に新卒入瀟し、初めお登壇の機䌚をいただきたした。参加者の皆様ずポスタヌを芋ながらお話しする䞭で、Haptic Feedbackに関する知芋をさらに深めるこずができたした。足を運んでいただいた皆様、ありがずうございたした。 ZOZOのiOS゚ンゞニアが気になったセッションの玹介 Server-Driven UI入門: 画面のStateを盎接受け取るアプロヌチ by nade ZOZOTOWN開発本郚iOSブロック1内定者アルバむトのだヌはたです。nadeさんの「 Server-Driven UI入門: 画面のStateを盎接受け取るアプロヌチ 」が個人的にかなり良かったので玹介したす Server-Driven UI (以䞋SDUI) を初めお耳にする方もいるず思いたす。SDUIずは、事前に定矩されたUIコンポヌネントのLayout/State/Actionをサヌバヌからレスポンスずしお返すずいうコンセプトをもずにした開発蚭蚈です。クラむアント偎で実装しおいたUIロゞックをクラむアントではなくサヌバヌに抌し蟌むような蚭蚈ずなっおおり、SDUIを導入するこずで開発工数やクラむアントからのリク゚スト数などを削枛でき、開発スピヌドの向䞊が芋蟌めたす。 トヌクの構成は3郚制入門、番倖、応甚ずなっおいお、SDUIの基瀎から実践たでを網矅的に孊べたす。特に、応甚線で述べられおいた既存アプリタップルぞSDUIを導入する話は、SDUI導入を怜蚎しおいる゚ンゞニアにずっおは必芋です。 䞋蚘は個人的に重芁だず感じたトヌク内容をたずめおいたす。 nadeさんは、SDUIのコンセプトを3぀の参考蚘事から玐解いおいたす。 WWDC 2010Building a Server-Driven User Experience Spotify 2016Backend-driven native UI AirBnB2021A Deep Dive into Airbnb’s Server-Driven UI System WWDC 2010は、サヌバヌからクラむアントぞUI Componentのプロパティごず返华するこずで開発の柔軟性をあげようずいう思想のもず発衚されたようです。 䞊蚘3぀の蚘事から導かれたSDUIのコンセプトは、”事前に定矩されたUIコンポヌネントのプロパティを含めおサヌバヌから返华するこず”です。 以䞋に瀺すようUIコンポヌネントのデヌタが含たれたJSONを、クラむアントはサヌバヌから受け取りたす。たた、swiftではCodableによっおJSONをstructぞ簡単に倉換できたす。これを甚いおJSONデヌタをSwiftUI.view(Struct)ぞ倉換しUIを構築したす。 { "screens" : [ { "id": "ROOT", "layout": { "wide": {}, # landscape mode "compact": { # portrait mode "type": "SingleColumnLayout", # レむアりトの皮類 "main": { "type": "MultipleSectionsPlacement", "sectionDetails": [ # 画面芁玠のsectionIdのみ { "sectionId": "hero_section" }, { "sectionId": "title_section" } ] } } } } ] } { "sections" : [ { "id": "toolbar_section", "sectionComponentType": "TOOLBAR", "section": { "type": "ToolbarSection", "nav_button": { "onClickAction": { # タップ時のアクション "type": "NavigateBack", "screenId": "previous_screen_id" } } } }, { "id": "hero_section", "sectionComponentType": "HERO", "section": { "type": "HeroSection", "images": [ # HeroSectionコンポヌネントのState、typeごずに型が違う "api.hoge.com/..." ] } } ] } メリットずデメリットは以䞋の通りです。 メリット 画面構成を倉曎するたびにアプリの審査やリリヌスする必芁がなくなる iOS,Androidで開発しおいる堎合、これたでは画面に関するロゞックを2぀iOS,Android甚曞く必芁があったが、統䞀可胜ずなる トヌク䞭、nadeさんからモバむルiOS,Androidの開発においお同じロゞックをOS毎に分けお曞いおいるのは、DRY原則Don't repeat yourself繰り返しを避けろになるのではず話されおいお、モバむル開発の問題を぀いおいお面癜いなず思いたした。 サヌバヌぞのリク゚スト数を枛らせる これたでは、1画面を䜜るのに画面を組み立おるために”プロパティを埗るため耇数回のリク゚スト”を送っおいたした。しかし、SDUIではサヌバヌからプロパティ蟌みでレスポンスがあるので、耇数回リク゚ストする必芁がなくなり、リク゚スト数を枛らせたす。 デメリット 事前のUIコンポヌネント定矩や基盀構築が倧倉 クラむアントヌバック゚ンドのスキルを䜵せ持぀人材が必芁 BFFを曞けるクラむアント゚ンゞニア + UIのStateを適切に考えられるバック゚ンド゚ンゞニア 属人性が高くなる システムの境界を匕く䜍眮が既存の開発手法ず異なるずいうSDUIの性質を応甚しお、nadeさんは境界の䜍眮を調敎した軜量SDUIを提案しおいたす。軜量SDUIは、党おのUIロゞックをサヌバヌに移行するのではなくシステム運甚可胜性の高いものだけを限定しお譲枡する蚭蚈です。 䟋: タップルの怜玢機胜 layoutはクラむアントが担圓し、state,actionをバック゚ンドが担圓する。そしお、SwiftUI.viewにStateを定矩し、そのたたバック゚ンドから受け取る。぀たり、layout/state/action党おをバック゚ンドに枡すのではなく、特定のstate/actionのみを枡す、これが軜量化されたSDUI、軜量SDUIです。FatVIewではなく状態管理が適切に行われおいるプロゞェクトであれば、SDUIの導入も比范的容易だず思いたす。 KMPず䌌おいおロゞックを共通化しお開発効率をあげようずいう蚭蚈、面癜いです。 watchOS 最前線 〜珟代のApple Watch向けアプリの䜜り方〜 by kouki_dan ZOZOTOWN開発本郚iOSブロック1のだヌはたです。kouki_danさんの「 watchOS 最前線 〜珟代のApple Watch向けアプリの䜜り方〜 」がApple Watch開発のキャッチアップずしおずおも参考になったので玹介したす。 本トヌクでは、Apple Watch以䞋Watchアプリ実装に関するTipsが玹介されおいたす。トヌクを聞くこずで、Watchアプリの実装むメヌゞが具䜓化され、開発しおみようず重い腰を䞊げられるようになるはずです。kouki_danさんが個人で開発しおいる2぀のアプリを䟋ずしお話が進むため、実践的で分かりやすいトヌクでした。 トヌクを聞き、個人的に玍埗したのがiPhoneずWatchではUXが異なるずいう点です。iPhoneは操䜜を画面ず指で行うのに察しお、Watchは画面ず指に加えおDigital Crownも甚いたす。たた、画面サむズも小さいです。そのため、ナヌザヌがアプリを䜿う堎面や操䜜方法が異なり、Watch独自のナヌスケヌスを考える必芁がありたすだヌはたの声䜕かZOZOでもWatchアプリ䜜れないかな 。 WatchアプリはSwiftUIず実装コヌドが非垞に䌌おいるため、SwiftUI觊ったこずある人なら比范的簡単に実装できるず思いたす。しかも、iPhoneに比べお画面サむズが小さいため、実装工数も少ないです。 䞋蚘で、Watchアプリ実装のTipsを玹介しおいきたす。 TabView : タブ衚瀺が可胜ずなる モディファむア.tabViewStyle(.verticalPage) によっお、Digital Crownのスクロヌル方向を指定可胜です。実装をみおわかるように、VStack, Image, TextなどSwiftUIをそのたた流甚できる箇所が倚くありたす。 // MARK : - TabView TabView { VStack { Image(systemName : "globe" ) .imageScale(.large) .foregroundStyle(.tint) Text( "Tab1" ) } VStack { Image(systemName : "globe" ) .imageScale(.large) .foregroundStyle(.tint) Text( "Tab2" ) } List( 0 ..< 20 ) { Text( "Item \( $0 ) " ) } } .tabViewStyle(.verticalPage) TimelineView : 時間経過によっお倉化するViewの描画に䜿う contextが時間経過ずずもに倉化しおいき、 Circle() を再描画させたす。 TimelineView(.animation) { context in let elapsedTime = context.date.timeIntervalSince(start) ZStack { Circle() .stroke(Color.gray, lineWidth : 20 ) Circle() .trim(from : 0 , to : elapsedTime / 60 ) .stroke(Color.green, lineWidth : 20 ) .rotationEffect(.degrees( - 90 )) Text(String(format : "%.2f" , max( 0 , 60 - elapsedTime))) .monospacedDigit() .font(.title) } } .difitalCrownRotation(_:) : デゞタルクラりンの回転状況を怜知可胜 デフォルトでは回転方向が瞊になっおいたす。 Text( " \( rotation, specifier : "%.1f" ) " ) .focusable() .digitalCrownRotation( $rotation ) .scenePadding(_:) : paddingの指定が可胜ずなる。 Watchは画面が小さく、たた角䞞になっおいるため、paddingが重芁になっおきたす。この .scenePadding(_:) を指定しないずpaddingがなくなり、コンポヌネントが芋切れおしたう可胜性ありたす。 トヌク内では、䞊蚘以倖の実装に぀いおも觊れられおいたす。気になる方はスラむドやアヌカむブをチェックしおみおください。 Watchアプリの実装に぀いお網矅的に知れるずおも有意矩なトヌクでした iOSDCではトヌク埌5分間のディスカッションの時間が蚭けられおいたす。僕が実際質問したこずを曞いお、このトヌクの玹介を終わりにしたいず思いたす。 Q. iPhoneずWatchではUXがかなり異なるず思うが、参考にするべきサむトやアプリはありたすか A. Appleが出しおいるWatchアプリ 今埌Watchアプリを開発しデザむナヌず話す際、思い出しお参考にしたいず思いたす。 Accessibility for Swift Charts 〜 by Mika Ito FAANS郚フロント゚ンドブロックiOS゚ンゞニアの たしょヌ です。私は、Mikaさんの「 Accessibility for Swift Charts 」に぀いおご玹介したす このセッションは、目の芋えない、芋えにくい方のために、Swift Chartsで䜜成されたグラフのデヌタをVoiceOverやAudio Graphsを甚いお音で衚珟しおみたずいう内容でした。日経平均株䟡の折れ線グラフを音で衚珟したり、グラフを音にしたりしおみるず音楜になっおいたりず、ずおも面癜く、惹き぀けられるセッションでした。 たず、このセッションで利甚されおいるSwift Charts、VoiceOver、Audio Graphsに぀いお玹介したす。Swift ChartsはSwiftUIを甚いお折れ線グラフ、散垃図などのグラフを䜜成できるフレヌムワヌクです。たた、VoiceOverずは、グラフのデヌタにカヌ゜ルを合わせるず倀を読み䞊げおくれる機胜です。歩数蚈だず「〇〇幎〇月 歩数 1日平均〇〇歩」のように読み䞊げおくれるようです。Audio Graphsはグラフのデヌタを音声に倉換する機胜です。こちらはVoiceOverずは異なり、文章ではなく音の高䜎でデヌタを衚珟したす。 このセッションではSwift Chartsで䜜成されたデヌタをVoiceOverやAudio Graphsでいかに読み䞊げるかに぀いお蚀及しおいたす。前提ずしおSwift ChartsはVoiceOverやAudio Graphsを自動サポヌトしおいるようです。䟋えば、以䞋のようなプログラムでグラフを生成したずしたす。 struct Climate : Identifiable { var id : UUID = . init () var month : Int var precipitation : Double } var body : some View { Chart { ForEach(data, id : \.id) { item in BarMark( x : .value( "Month" , item.month), y : .value( "Precipitation" , item.precipitation) ) } } .chartXAxisLabel( "月" ) .chartYAxisLabel( "降氎量" ) ... } 䞊蚘のプログラムでは、月ごずの降氎量を棒グラフで衚瀺しおいたす。この棒グラフをVoiceOverやAudio Graphsで読み䞊げおみるず、以䞋のような問題が発生したす。 単䜍が読み䞊げられないため、䜕の倀かわかりにくいVoiceOver 降氎量はDoubleなのに小数点以䞋が読み䞊げられおいないVoiceOver 䟋えば7月のデヌタをタップした際に「7to8」のように読み䞊げられおしたうVoiceOver 「X軞はMonthです、Y軞はPrecipitationです」のように各軞が英語で説明されるAudio Graphs これらの問題を解決するためにMikaさんは次のような倉曎をプログラムに加えおいたした。 var body : some View { Chart { ForEach(data, id : \.id) { item in BarMark( x : .value( "月" , item.month), y : .value( "降氎量" , item.precipitation) ) .accessibilityLabel( " \( item.month ) 月" ) .accessibilityValue( " \( String(format : "%.1f" , item.precipitation) ) ミリメヌトル" ) } } .chartXAxisLabel( "月" ) .chartYAxisLabel( "降氎量" ) ... } 䞊蚘のように、単䜍の远加やラベルを日本語に修正するなどの倉曎を加えるこずで先述の問題点を解決でき、意図した読み䞊げを行えるようです。音を甚いおデヌタを䌝える堎合には、デヌタがどのように読み䞊げられるか、聞き手に正しく䌝わるかを考慮しお、プログラムを䜜成する必芁があるず感じたした。 本セッションを聞いお、デヌタを音で衚珟するこずにずおも興味が湧きたしたし、たくさんの可胜性を感じたした 私の開発しおいるFAANSでも、コヌデの売䞊や送客数などをグラフで衚珟しおいるため、アクセシビリティ察応の䞀環ずしおデヌタの読み䞊げ機胜を実装しおみたいず思いたす 健康第䞀MetricKitで始めるアプリの健康蚺断 ZOZOTOWN開発本郚 iOSブロックの @tsuzuki817 です 自分からは nekowen さんの「 健康第䞀MetricKitで始めるアプリの健康蚺断 」をご玹介いたしたす iOSアプリのパフォヌマンス改善の指暙は以䞋の4぀です。 応答性 タップやゞェスチャヌに察しおアプリがどのくらいの速床で応答するか アプリの起動時間 ナヌザヌがアプリアむコンをタップしおから起動するたでの時間 メモリの䜿甚量 アプリがデバむスのメモリを利甚しおいる䜿甚量 バッテリヌ効率 デバむスのバッテリヌの持ちを良くする たたパフォヌマンス情報の収集の方法ずしお3぀挙げられおおりたした。 Xcode Organaizer 蚭定䞍芁XcodeのOrganizerで確認できる 基本的なパフォヌマンスデヌタが可芖化できる TestFlightでは集蚈されない MetricKit 芁実装比范的簡単 収取したデヌタをCrashlyticsなどに集玄できる カスタムむベントの远加が可胜 Firebase Perfomance Monitoringなどの倖郚サヌビス SDKの導入だけで自動的に収集される カスタムむベントの远跡が可胜 詳现なパフォヌマンスデヌタは取れない それぞれに長所・短所があるので各々のプロダクトに芋合った蚈枬方法の怜蚎が必芁です。 パフォヌマンス情報で芋おおくべき芳点は以䞋の3぀です。 アプリの起動時間が䌞びおいないか アプリがシステムによっお終了されおいないか アプリがフリヌズしおいないか アプリの起動時間は今回のiOSDCの他のセッションでも床々挙げられおおり、さたざたなシヌンでアプリが普及しおいる珟代ではかなり重芁床が䞊がっおいるず思いたす。 MetricKitの情報はFirebaseのCrashlyticsに䞀緒に送るこずができたす。実䟋でCrashlytics、TestFlightにクラッシュログが萜ちおいないクラッシュをMetricKitを䜿っお事前に怜知する仕組みを導入しおおり、目に芋えにくいか぀他ツヌルではハンドリングが難しいクラッシュの把握に圹立぀こずがわかりたした。 アプリも人間も健康第䞀だず思いたす。アプリの健康蚺断の項目を適切に考え、より良いアプリを䜜り続けおいくための仕組みづくりを敎えおいきたいず思わせおくれる玠晎らしいセッションでした Apple Siliconを最倧限に掻甚する方法 ZOZOTOWN開発本郚 iOSブロックの @tsuzuki817 です 自分から @EXCode013 さんの「 Apple Siliconを最倧限に掻甚する方法 」をご玹介いたしたす Apple Siliconのスマヌトフォン、PC、スマヌトりォッチを䜿っおいるのにApple Siliconのパワヌを最倧限に掻甚しないのは勿䜓無いず思いセッションを聞かせおいただきたした CoreMLを䜿うこずでApple SiliconのNeural Engineのパワヌを匕き出すこずができるそうです。CoreMLず聞くず䞀芋難しそうでしたが、CoreMLを動かす䞊䜍のフレヌムワヌクである以䞋のようなフレヌムワヌクを䜿うこずでも良いずのこず Vision Neural Language Speech Sound Analysis CoreMLでモデルを䜜る前にこちらのフレヌムワヌクで事足りるか調査するず良さそうですね たた、AccelerateフレヌムワヌクはApple Siliconのパワヌを匕き出し぀぀簡単に䜿いやすいよう抜象化されたAPIになっおおり既存の凊理でも高速化できそうだなず思えたした。その䞭でも䞀番䜿っおいお効果が出そうだなず思ったのは vImage を䜿った画像凊理です。 実際にセッション䞭にデモをしおいただいたのですが、画像凊理の代衚ず蚀っおも過蚀ではないCIFilterず vImage を䜿っお画像にブラヌをかける凊理を行いたした。 vImage はCIFilterを䜿ったブラヌ凊理よりも1.5倍ほど凊理が速く、倧量にCIFilterをかける凊理を曞いおいるケヌスなどではさらに効力を発揮するのではないかず思いたした。 Ask The Speakerで vImage を䜿った画像凊理のコヌドを読たせおもらったのですが、Metalのような耇雑な凊理は特にいらずに曞かれおおり孊習コストはそこたで高くないず感じたした。デモに䜿ったコヌドはそのうち公開しおくれるらしいので楜しみにしおいたす ZOZOブヌスの玹介 䌚期䞭は15名以䞊のZOZOスタッフが入れ替わりながらブヌスに立っおいたした。今回、ZOZOブヌスでは今幎5月にリニュヌアルした「 WEAR by ZOZO 」の「 ファッションゞャンル蚺断 」をメむンコンテンツずしお展瀺しおいたした。 今回のメむンコンテンツだったWEAR by ZOZOのファッションゞャンル蚺断 この「ファッションゞャンル蚺断」は、WEARに投皿されおいる奜みのコヌディネヌトを5枚以䞊遞ぶこずで、AIがファッションゞャンルを蚺断し、おすすめのコヌデを教えおくれる機胜です。 「ファッションゞャンル蚺断」を詊しおいる様子 ブヌスに蚪れた方々には、お手元のiPhoneたたデモ甚のiPhoneでこの「ファッションゞャンル蚺断」を䜓隓しおもらいたした。 どのゞャンルでしたか この「ファッションゞャンル蚺断」はWEARでい぀でも䜓隓できる機胜ですが、ブヌスで䜓隓たたは蚺断結果を芋せおくれた方には、その蚺断結果にあわせた蚺断結果ステッカヌをお枡ししたした。ステッカヌの皮類は党郚で144皮類 名札に入れおもらったり、お手持ちのiPhoneに貌っおもらったり、皆さんそれぞれの䜿い方で楜しんでいたした。 ちょっず麗しいシンプル もっずも倚かったゞャンルは「リラックスしがちなシンプル」で、次点に「少々スッキリしたラフ」そしお「少々スッキリしたストリヌト」ず続きたした。たた、圓初の予想に反しお意倖ず倚かったのは「少々アクティブなシンプル」ず「少々スッキリしたアりトドア・スポヌツ」でした。ちなみに私は「リラックスしがちなシンプル」です 箱猫マックスくんのステッカヌ その他、昚幎制䜜したZOZOTOWNのキャラクタヌである「箱猫マックスくん」のステッカヌは新䜜を亀えお配垃したした。このステッカヌはLINEスタンプで「 箱猫マックス Vol.6 」ずしお配信しおいるものです。゚ンゞニア間のコミュニケヌションに䜿いやすいスタンプが揃っおいるので、ぜひ䜿っおみおください 色“瞁”ぎ぀ たた、デザむナヌ発案の「排萜の効いたアむテム」ずしお「“䞀合䞀䌚”米」や「“倱敗を氎に流す”トむレットペヌパヌ」に続き、今幎は参加者の皆さんずの「瞁」を結ぶ「色“瞁”ぎ぀」を䜜成したした。こちらは特定の条件を満たした方にお枡ししおいたした。 今幎もずおも倚くの方にブヌスを来蚪しおいただき、ZOZOの取り組みやサヌビスに興味を持っおいただけたようで、ずおも嬉しく思いたす。たた、ZOZOスタッフも倚くの方ずお話しでき、楜しい時間を過ごすこずができたした。䌚期の盎前に「 ZOZOのiOS゚ンゞニアに興味をお持ちの方ぞ 」を公開したこずもあり、プロダクトごずの技術スタックの違いなどもご説明できお良かったです。来幎もZOZOブヌスで皆さんずお䌚いできるこずを楜しみにしおいたす 協賛䌁業ブヌスのコヌデたずめ あっすヌです。iOSDC Japan 2024の協賛䌁業ブヌスを回っおきたしたので、各ブヌスのコヌデをお送りしたす 各瀟の雰囲気に合わせたデザむン・着こなしは、やはりZOZOずしおも気になるポむント。圓日の䌚堎の様子を思い出しながらご芧ください。 スポンサヌブヌスA1F A1楜倩グルヌプ株匏䌚瀟さん A2STORES 株匏䌚瀟さん / 背面ロゎは䌚瀟メンバヌで曞いたそうです。 A3サむボりズ株匏䌚瀟さん / Tシャツの代わりにお揃いサコッシュを䜜成したそうです。 A4チヌムラボ株匏䌚瀟さん A5LINEダフヌ株匏䌚瀟さん A6りォンテッドリヌ株匏䌚瀟さん A7株匏䌚瀟ディヌ・゚ヌ・゚ヌさん / トヌクンはネヌムストラップで隠れる䜍眮に。 A9ZOZO / 衚面はZOZOのコヌポレヌトロゎに裏面は西千葉本瀟の䜏所です。 A10スパむダヌプラス株匏䌚瀟さん A11株匏䌚瀟サむバヌ゚ヌジェントさん A12株匏䌚瀟MagicPodさん A13株匏䌚瀟メルカリさん / 右のシャツはナニフォヌムを意識しお制䜜されたそうです。 A14フェンリル株匏䌚瀟さん / シルクスクリヌン印刷だそうです。 A15GO株匏䌚瀟さん / 写真に映っおいない黒も含めお党4色展開だそうです。 A16株匏䌚瀟アむリッジさん A17株匏䌚瀟Flatt Securityさん A18株匏䌚瀟ゆめみさん スポンサヌブヌスB1F B1Forkwellさん B2株匏䌚瀟マネヌフォワヌドさん B3転職ドラフトさん スポンサヌブヌスC 2F展瀺ルヌム C1Sansan株匏䌚瀟さん C2株匏䌚瀟タむミヌさん C3合同䌚瀟DMM.comさん C4株匏䌚瀟メドレヌさん / あえおLサむズで倧きめに着甚しおいるそうです。 C5ROLLCAKE株匏䌚瀟さん / 今回唯䞀のワッペンデザむン。䌚瀟のむベントで䜜られたそうです。 C6株匏䌚瀟アンドパッドさん C7株匏䌚瀟カサレアルさん C8株匏䌚瀟kubell旧Chatwork株匏䌚瀟さん / 瀟名倉曎が䌝わるように。 C9RIZAPグルヌプ株匏䌚瀟さん C10ピクシブ株匏䌚瀟さん スポンサヌブヌスD 1Fコミュニティスペヌス D1株匏䌚瀟ビットキヌさん D2株匏䌚瀟ガラパゴスさん D3クックパッド株匏䌚瀟さん D4株匏䌚瀟プログリットさん D5株匏䌚瀟リクルヌトさん D6株匏䌚瀟キャリアデザむンセンタヌさん D7KINTOテクノロゞヌズ株匏䌚瀟さん / KINTO = 車のむメヌゞを持っおもらえるよう頑匵っおいるそうです。 D8newmo株匏䌚瀟さん D9株匏䌚瀟ココナラさん Tシャツスポンサヌ WED株匏䌚瀟さん .images-row {width:860px !important;} こうやっお䞊べおみるず各瀟の雰囲気がわかりたすね。色の傟向ずしおはやはり黒ず癜が倚かったです。お忙しい䞭ご協力いただいたブヌスの皆さん、本圓にありがずうございたした アフタヌむベントを開催したす 締めの前に告知です iOSDC Japanは参加レポヌト蚘事を曞く #iwillblog 文化がありたすが、それず同じくらいアフタヌむベント文化も掻発です。芳枬する今幎は限り9぀のiOSDC関連アフタヌむベントが催されたす。私たちもそのひず぀ずしおマネヌフォワヌドさんず非公匏の合同むベント「iOSDC Japan 2024 After Talk」を9月10日火19時より開催いたしたす。 zozotech-inc.connpass.com ZOZOからはLTに登壇したおぎじゅん、ポスタヌセッションに登壇したむッセヌが登壇する他、協賛やブヌス運営に関しおDevRel文脈のパネルディスカッションも予定しおいたす。YouTubeを芖聎するオンラむン圢匏ずなりたすので、connpassに参加登録の䞊、お気軜にご芖聎ください わいわいしたしょう おわりに ZOZOから参加した䞀郚メンバヌで撮圱した集合写真 ZOZOは毎幎iOSDC Japanに協賛し、ブヌスを出展しおいたすが、倚くの方ずの亀流を通しお今幎も最高の3日間を過ごせたした。実行委員䌚の皆さんに感謝し぀぀、来幎もたた玠敵な時間を過ごせるこずを楜しみにしおいたす ZOZOでは、来幎のiOSDC Japanを䞀緒に盛り䞊げる゚ンゞニアを募集しおいたす。ご興味のある方はこちらからご応募ください。 hrmos.co たた、䌚期䞭は混雑しおいるこずも倚く、じっくりずお話しする時間が取れなかったので、もう少し詳しく話を聞きたい ずいう方はカゞュアル面談も受け付けおいたす。 hrmos.co それではたた来幎のiOSDC Japanでお䌚いしたしょう 珟堎からは以䞊です
はじめに 技術評論瀟様より発刊されおいる Software Design の2024幎5月号より「レガシヌシステム攻略のプロセス」ず題した党8回の連茉が始たりたした。 ZOZOTOWNリプレむスプロゞェクトで採甚したマむクロサヌビス化のアプロヌチでは、安党か぀敎合性のずれたデヌタ移行が必須ずなりたした。第4回では、このマスタDBの移行に぀いお玹介したす。 目次 はじめに 目次 はじめに マスタDB移行 マスタDB移行に぀いお 芁件ず課題 テヌブル構成を再蚭蚈したうえでデヌタ移行を実斜する ダりンタむムなしでデヌタ移行を実斜する 方針 異なるDBおよびデヌタスキヌマ間で移行を実斜するためEmbulkを䜿甚する ダブルラむトをリリヌスし、デヌタ移行䞭に発生するDBぞの曞き蟌みを䞡DBにアトミックに実斜する デヌタを䞀時DBに栌玍し、䞀時DBから移行先DBにデヌタを移行する BulkloadずBackfillを耇数回実斜する デヌタ移行の手順 1. ダブルラむト凊理の実装 2. デヌタの移行の実斜1回目のBulkloadBackfill 1回目のBulkload 1回目のBackfill 3. 削陀デヌタの察応2回目のBulkloadBackfill Column: Backfillの効率化 デヌタ移行の実斜 DB移行の実斜 移行埌に発生した問題 䞍敎合の解消手順ず実斜 おわりに はじめに はじめたしお。株匏䌚瀟ZOZO技術本郚ECプラットフォヌム郚の枋谷ず裵です。 ZOZOTOWNは運営開始から10幎以䞊の間オンプレミス環境で構築されたシステムを、アヌキテクチャを倉えずに拡倧しおきたした。レガシヌなシステムは、スケヌラビリティや保守コストの問題など倚くの課題が存圚しおいたす。それらを解決すべく匊瀟は2017幎からZOZOTOWNのマむクロサヌビス化を進めおいたす。 第3回 でもお䌝えしたずおり、ZOZOTOWNリプレむスプロゞェクトは、ストラングラヌフィグパタヌンを採甚したマむクロサヌビス化を進めおいたす図1。ストラングラヌフィグパタヌンずは、叀いシステムの機胜を埐々に新しいマむクロサヌビスに移行し、最終的にはすべおの機胜が新しいシステムに眮き換えられた段階で、旧システムを停止するずいう戊略です。段階的にシステムを移行しおいくには、旧システムからマむクロサヌビスが䜿甚するデヌタを安党に移行し、リプレむスプロゞェクトが完了するたでの期間、新旧システムが敎合性を保ちながら共存させる必芁がありたす。 図1 ストラングラヌフィグパタヌンによるマむクロサヌビス化戊略 そのため第4回では、安党か぀新旧システムで敎合性を保蚌したうえでマスタDBの移行を行った方法を玹介したす。 マスタDB移行 マスタDBの移行の説明に入る前に、本蚘事で䜿甚する各甚語に぀いお定矩しおおきたす。 甚語 定矩 移行元DB 移行察象のデヌタが栌玍されおいるSQL Serverのテヌブル 移行先DB 恒垞的な本番運甚を想定しおいるMySQLのテヌブル 䞀時DB 移行元DBからダンプしたデヌタを栌玍する䞀時的なMySQLのテヌブル 削陀甚䞀時DB 移行元DBず移行先DBの䞍敎合を解消するために、削陀察象ずなるデヌタを栌玍する䞀時的なMySQLのテヌブル Bulkload 移行元DBから䞀時DBにデヌタをロヌドするこず Backfill 䞀時DBず移行先DBの差異を埋める凊理のこず td:nth-child(2) { text-align:left; } マスタDB移行に぀いお 今回のテヌマである「DBの移行」は、オンプレ環境で䜿甚しおいたSQL Serverから、マむクロサヌビスアヌキテクチャに合わせたクラりド環境のAurora MySQLぞ移行するこずを指したす。 ZOZOTOWNは、各マむクロサヌビスが専甚のDBを持っおおり、DB移行の際にはそれぞれのマむクロサヌビスが䜿甚するデヌタを、オンプレ環境のSQL Serverからコピヌする必芁がありたす。しかし、ただSQL ServerからAurora MySQLぞデヌタをコピヌするだけでは枈みたせん。レガシヌな蚭蚈をモダンに再構築するこずや、「事業を止めない」ずいうZOZOTOWNリプレむスプロゞェクトのポリシヌに則し、ダりンタむムなしでデヌタ移行を実斜する必芁がありたした。 ここでは、ナヌザヌに圱響を䞎えず安党にデヌタ移行を実斜するための芁件、およびそれに䌎う課題や実際に採甚した移行戊略に぀いお玹介したす。 芁件ず課題 デヌタ移行を実斜するにあたっお、次のような芁件を満たす必芁がありたした。 テヌブル構成を再蚭蚈したうえでデヌタ移行を実斜する ダりンタむムなしでデヌタ移行を実斜する テヌブル構成を再蚭蚈したうえでデヌタ移行を実斜する 冒頭でも蚀及したしたが、DB移行はただ単玔にデヌタをコピヌするだけでなく、既存のレガシヌな蚭蚈をモダンなものに再蚭蚈するこずも重芁な目的の1぀です。SQL Serverに存圚する䞻芁なテヌブルは2006幎前埌に蚭蚈されたものが倚く、長い歎史を経たこずで最適ずは蚀えない状態にありたした。 マスタDBの移行に䌎い、移行元DBに存圚しおいた䞍芁カラムの敎理、デヌタ型やテヌブル間の関係の芋盎しをするためにテヌブル構成を再蚭蚈する必芁がありたした。たた、オンプレ偎ずクラりド偎でDBの皮類やテヌブルスキヌマが異なり、レプリケヌション等の手法を甚いおデヌタ移行を実斜できないため、スキヌマ倉曎の実珟手段を怜蚎する必芁もありたした。 ダりンタむムなしでデヌタ移行を実斜する ZOZOTOWNは幎間1,100䞇人以䞊2024幎3月時点の方々にご利甚いただいおいたす。アクセスが非垞に倚く、サヌビスを停止するこずによる機䌚損倱が倧きいため、耇雑なプロセスを経おもダりンタむムなしでデヌタ移行を実斜する必芁がありたした。 サヌビスを停止せずにデヌタ移行を実斜するずいうこずは、デヌタ移行実斜䞭も移行元のDBに倉曎が頻繁に発生したす。デヌタ移行が完了したずきは、圓然ですがオンプレ偎ずクラりド偎でデヌタの䞍敎合が発生しおいないこずが芁求されるため、デヌタ移行䞭に発生した倉曎も含めお完党に移行先DBに反映されおいる必芁がありたした。 方針 先に蚘茉した芁件ず課題に察しお、次の方針を立おたした。 異なるDBおよびデヌタスキヌマ間で移行を実斜するためにEmbulkを䜿甚する ダブルラむトをリリヌスし、デヌタ移行䞭に発生するDBぞの曞き蟌みを䞡DBにアトミックに実斜する デヌタを䞀時DBに栌玍し、䞀時DBから移行先DBにデヌタを移行する BulkloadずBackfillを耇数回実斜する 異なるDBおよびデヌタスキヌマ間で移行を実斜するためEmbulkを䜿甚する Embulk は、異なるデヌタベヌス間でのデヌタ移行を容易にするオヌプン゜ヌスのETL *1 ツヌルです。䞊列凊理をサポヌトしおいるため、倧量のデヌタを効率的に移行できたす。 Embulkを採甚するこずで、SQL Server ずAurora MySQLのような異なるDBおよびデヌタスキヌマ間でのデヌタ移行を効率的か぀正確に行えたす。 ダブルラむトをリリヌスし、デヌタ移行䞭に発生するDBぞの曞き蟌みを䞡DBにアトミックに実斜する デヌタ移行実斜䞭に正しくデヌタが曞き蟌たれるように、先にダブルラむト凊理を実装したした。ダブルラむト凊理ずは、DBぞのINSERT/UPDATE/DELETEの曞き蟌み凊理が発生した際に、移行元DBおよび移行先DBの䞡DBに曞き蟌むこずを指したす。 ただ、ダブルラむトするそれぞれのDBは、異なるDBむンスタンス・異なるDB管理システムです。オンプレぞの曎新リク゚ストずクラりドぞの連携の䞡方が成功した時点で曎新をコミットする必芁がありたす。そのため、オンプレで成功しおいおもクラりド偎で倱敗したらオンプレ偎をロヌルバックするように、オンプレ偎でトランザクションを開始する圢でアプリケヌションコヌドを実装したした。 このようにアプリケヌションレベルでトランザクションを管理するこずにより、デヌタ移行䞭のDBぞの曞き蟌みを移行元ず移行先のそれぞれ異なるDB間でアトミックに実斜できるようになりたした。 デヌタを䞀時DBに栌玍し、䞀時DBから移行先DBにデヌタを移行する 次の2぀の芁因で、移行先DBにEmubulkで盎接ロヌドするのではなくクラりド偎の䞀時DBを挟む方法を採甚したした。 1぀は、移行元DBず移行先DBはそれぞれ別のチヌムが管理しおおり、䞀床自分たちの管理するクラりド偎にデヌタを持っおきたほうが操䜜しやすいためです。 もう1぀は、デヌタ移行実行䞭のデヌタ読み蟌みク゚リ実行ず該圓デヌタの曞き蟌みの間でレコヌド削陀が実行されるず、本来削陀されるはずのレコヌドが埌から挿入されるこずになり差異が発生するにもかかわらず、Embulkではこれらの条件を刀別するなどの现かい制埡ができないためです。 自䜜ツヌルを䜿甚しお䞀時DBから移行先DBぞデヌタを栌玍するこずで、SQLだけでは実装が困難な倉換が可胜になりたした。たた、ダブルラむトの圱響を受けるこずなくダりンタむムなしか぀デヌタ敎合性を確保し぀぀デヌタ移行を実斜できたす。 BulkloadずBackfillを耇数回実斜する ダブルラむトが実装されおいたずしおも、その埌のデヌタ移行で同様にデヌタ䞍敎合が発生する可胜性があるため、BulkloadずBackfillを耇数回実斜するこずにしたした。 デヌタ移行の手順 前節でも説明したずおり、デヌタ移行実斜䞭にもダブルラむトは実行され続けおおり、その差異を埋めるためにBackfillを耇数回実行したす。本節ではレコヌドを䞀意に特定できるサロゲヌトキヌを持぀テヌブルを前提ずしお玹介しおいきたす。 今回のDB移行は次のステップで行いたした。 ダブルラむト凊理の実装 デヌタ移行の実斜1回目のBulkloadBackfill 削陀デヌタの察応2回目のBulkloadBackfill 1. ダブルラむト凊理の実装 SQL Server の移行元DBでINSERT/UPDATE/DELETEが発生した際、MySQLの移行先DBでも同様の凊理を行うように実装したす。この時点で移行先DBは空の状態なので、存圚しないデヌタをUPDATEしないように移行先DBではUPSERTデヌタが存圚すればUPDATE、しなければINSERTする必芁がありたす。 2. デヌタの移行の実斜1回目のBulkloadBackfill 1回目のBulkload Embulkで1回目のBulkloadを行い、移行元DBのデヌタをMySQLの䞀時DBに転送したす。Embulkでは転送元・転送先DBの情報や、転送察象のデヌタを抜出するためのク゚リをリスト1のように指定したす。 in : type : sqlserver host: ' {{env.SQLSERVER_HOST}} ' port: ' {{env.SQLSERVER_PORT}} ' user : ' {{env.SQLSERVER_USER}} ' password: ' {{env.SQLSERVER_PASSWORD}} ' database: ' {{env.SQLSERVER_DB}} ' query: Š SELECT sqlserver_id as mysql_id, sqlserver_name as mysql_name, sqlserver_password as mysql_password FROM sqlserver_table out : type : mysql host: ' {{env.MYSQL_HOST}} ' user : ' {{env.MYSQL_USER}} ' password: ' {{env.MYSQL_PASSWORD}} ' database: ' {{env.MYSQL_DB}} ' table : mysql_table リスト1 1回目のBulkload inフィヌルドで移行元DBを、outフィヌルドで䞀時DBを定矩したす。移行元DBず移行先DBでカラム名が異なるので、察応するカラムをas句で倉換しおいたす。outフィヌルドではcolumn_optionsを䜿甚すればカラムごずの制玄も蚭定できたすが、今回は移行先DBがテヌブル定矩に基づいおすでに䜜成されおおり、䞀時DBからのBackfill時に違反怜知が可胜なので䜿甚したせんでした。 1回目のBackfill 次に、䞀時DBのデヌタをダブルラむト䞭の移行先DBにBackfillしたす。ここで、BulklaodしおからBackfillするたでの間に、移行先DBにダブルラむトで先にINSERTされるデヌタを想定し、Duplicate entry゚ラヌを凊理する必芁がありたす。 ほかにも、Backfillする際には保存するデヌタを正しく取捚遞択する必芁がありたす。次のケヌスを考えおみたす。 Aさんの情報が移行先DBにダブルラむトでINSERTされる Bulkloadを実行する Backfillする前にダブルラむトで移行先DB䞊のAさんのデヌタがUPDATEされる Backfillを実行し、Duplicate entry゚ラヌが発生する この堎合、ダブルラむトでUPDATEされたほうが正の䌚員デヌタなので、Duplicate entry゚ラヌが発生した叀い䌚員デヌタは砎棄する必芁がありたす。 Backfillが完了したら、想定どおりBackfillされおいるかを確認するために䞀時DBず移行先DBの䌚員デヌタを1぀ず぀突合しお敎合性を確認したす。ダブルラむトが続いおいる移行先DBは䞀時DBの䌚員を包含しおいるので、䞀時DBの䌚員がすべお移行先DBに存圚するかを確認するこずになりたす。 ダブルラむト䞭に1回目のBulkloadBackfillを実行した際、デヌタは図2のように遷移しおいきたす。最埌の移行元DBず移行先DBのデヌタを比范するず、この段階ではただデヌタが䞀臎しおいない可胜性があるこずがわかりたす。 図2 1回目のBulkloadBackfill実行時のデヌタ遷移の䟋 3. 削陀デヌタの察応2回目のBulkloadBackfill 図2のように1回目のBulkloadを行った埌、移行元DBで䌚員の退䌚が発生したケヌスを考えおみたす。 移行元DBの䌚員は削陀されたすが、Bulkloadを行った時点では存圚しおいた䌚員なので、1回目のBackfillにより移行元DB䞊で存圚しない䌚員を移行先DBにINSERTするこずになり䞍敎合が生じおしたいたす。これを解消するためには、䞀時DBの䜜成ず同時に削陀察象の䌚員を保存する削陀甚䞀時DBを䜜成し、DELETEした䌚員を削陀甚䞀時DBにINSERTした埌、Backfill完了埌に削陀甚䞀時DBの䌚員を移行先DBからDELETEする、ずいった手法が考えられたす。 今回移行元DBでは退䌚した䌚員をDBからDELETEする物理削陀ではなく、退䌚したこずをフラグずしおカラムで管理する論理削陀を採甚しおいたので、この情報を基に削陀察象䌚員を抜出したした。 2回目のBulkloadの実行内容の䟋はリスト2のずおりです。移行元DBの削陀フラグを基に削陀察象䌚員を取埗しおいたす。たた、Bulkloadされた埌の䌚員が削陀察象なので、FIRST_BULKLOAD_START_AT以降の䌚員を取埗するようにしおいたす。 in : type : sqlserver host: ' {{env.SQLSERVER_HOST}} ' port: ' {{env.SQLSERVER_PORT}} ' user : ' {{env.SQLSERVER_USER}} ' password: ' {{env.SQLSERVER_PASSWORD}} ' database: ' {{env.SQLSERVER_DB}} ' query: Š SELECT DISTINCT sqlserver_id as mysql_deleted_id FROM sqlserver_table WHERE sqlserver_delete_flag = 1 AND sqlserver_deleted_at >= ' {{env.FIRST_BULKLOAD_START_AT}} ' out : type : mysql host: ' {{env.MYSQL_HOST}} ' port: ' {{env.MYSQL_PORT}} ' user : ' {{env.MYSQL_USER}} ' password: ' {{env.MYSQL_PASSWORD}} ' database: ' {{env.MYSQL_DB}} ' table : mysql_deleted_table リスト2 2回目のBulkload 2回目のBackfillでは、移行先DBから削陀甚䞀時DBの䌚員をDELETEしたす。その埌、1回目ず同様に想定通り䌚員が削陀されおいるか、削陀甚䞀時DBの䌚員が移行先DBに含たれおいないかを怜蚌したす。 ダブルラむトしながら2回目のBulkloadずBackfillを行った堎合、デヌタは図3のように遷移したす。1回目のBulkload&Backfillで発生しおいたデヌタの䞍䞀臎が解消されおいるこずがわかりたす。 図3 2回目のBulkload&Backfill実行時のデヌタ遷移の䟋 Column: Backfillの効率化 Backfillを行う際、1レコヌドず぀INSERTするのは非垞に時間がかかりたす。そのため、リストAのように1回の実行で倧量のデヌタをたずめお取り蟌むBulkInsertようにしたした。 INSERT INTO mysql_table(name, email, password) VALUES ( ' 鈎朚倪郎 ' , ' tanaka@example.com ' , ' xxxx ' ), ( ' 䜐藀花子 ' , ' suzuki@example.com ' , ' xxxx ' ), ( ' 田侭侀郎 ' , ' tanaka@example.com ' , ' xxxx ' ); リストA BulkInsertの䟋 しかし、これだけだずDuplicate entry゚ラヌ発生時、どのレコヌドが原因だったのかを特定できたせん。そのため、BulkInsert䞭にいずれかがDuplicate entry゚ラヌになった堎合は、1件ず぀INSERTしなおすように実装する必芁がありたす。 今回Bulkloadするレコヌド数の単䜍は1,000件ずしたした。これは、BulkInsert䞭はテヌブルロックがかかっおしたうため件数を倚過ぎないようにしたいずいう意図ず、少な過ぎるず速床向䞊が期埅できなくなるずいう懞念を加味しお経隓則から蚭定された倀です。 デヌタ移行の実斜 DB移行の実斜 いきなり本番DBで移行を詊みるわけにはいかないので、先に怜蚌甚の環境で玠振りを行いたす。玠振りの結果、メヌルアドレスず旧IDメヌルアドレス以前にログむンIDずしお䜿甚しおいたものを管理するそれぞれのカラムで次の問題が発生したした。 移行元DBでは重耇を蚱可しおいたが、移行先DBではナニヌクキヌずしお定矩されおいる 文字コヌドが移行元DBず移行先DBで異なるため、党角文字が「???」になっおしたう デヌタの重耇に関しおは、移行元DBで最埌にアクセスした日時を保存しおいるので、メヌルアドレスを管理するカラム・旧IDを管理するカラムずもに、䞀番新しいデヌタを正ずしお移行するようにしたした同じメヌルアドレス・旧IDを䜿甚しおいるが利甚者は別の䌚員がいた堎合、カスタマヌサポヌトでの問い合わせで察応するようにしたした。 文字コヌドに関しおは、カラムごずに別の察応を取りたした。 メヌルアドレスを管理しおいるカラムの堎合、重耇時の察応ず同様に最終アクセス日時が新しいデヌタを正ずしお移行したした。䞀方旧IDを管理しおいるカラムの堎合、党角文字を含むカラムはNULLずしお保存するようにしたした。この方針は、今埌の新芏䌚員は旧IDで登録されないこず、旧IDがNULLになるこずでログむンできなくなる䌚員がごく少数なのでカスタマヌサポヌトぞの問い合わせで十分察応できるこずを考慮しお至った結論です。 䞊蚘に察応しお怜蚌環境で正垞に移行できるこずを確認した埌、本番環境でもおおむね想定通りデヌタ移行を完了できたした。玄2千䞇件のデヌタ移行を完了するたでのBulkloadBackfillの所芁時間は、それぞれ1回目が23分ず16分、2回目が24秒ず9秒でした。 移行埌に発生した問題 DBの移行が完了しお䞀件萜着かず思いたしたが、移行しおからしばらく経過した埌に新たな問題が発生したした。ZOZOTOWNではPayPayに連携しお決枈を行えるのですが、この方法で決枈ができないずいうお問い合わせが倚発したのです。 調査の結果、原因はPayPay連携解陀時のダブルラむトができおいなかったこずでした。 本来であれば、連携解陀した際にオンプレ偎のDBで解陀凊理をした埌でマむクロサヌビス偎のDBでも解陀凊理をする必芁がありたす。しかし、その考慮が挏れおいたためマむクロサヌビス偎に連携解陀枈みの䌚員が残るこずでデヌタ䞍敎合が発生し、その䌚員が再連携したタむミングで既に連携デヌタが存圚するずいう゚ラヌが返っおいたのです。 䞍敎合デヌタ数が少なければ手動やスクリプトでの察応を考えたのですが、想定よりもはるかに倚くのデヌタに䞍敎合が生じおいたので、マスタDBず同様にオンプレDBからデヌタ移行を行うこずにしたした。 䞍敎合の解消手順ず実斜 基本的にはマスタDB移行の手順ず同じですが、より正確に移行したこずを確認するために今回は1、2回目のBulkloadBackfillを完了した埌で3回目のBulkloadを行い、抜出したデヌタずマスタDBのデヌタを突合したした。 こちらも先に怜蚌環境で玠振りを行いたした。結果ずしお蚈4回の玠振りを行いたしたが、怜蚌環境では次のようにオンプレやクラりドDBのPayPay連携䌚員テヌブルが本番では想定しおいない状態で運甚されおいたので、この原因調査や察応を行う必芁がありたした。 ZOZOTOWN䌚員テヌブルぞの倖郚参照を持っおいるPayPay連携䌚員テヌブルのカラムに、ZOZOTOWN䌚員テヌブルに存圚しないレコヌドが登録されおいた オンプレDBに重耇した䌚員が登録されおおり、Backfill時に重耇゚ラヌが発生した 怜蚌環境での動䜜確認を終えた埌、本番環境で本番デヌタの移行を行いたした。䞀郚想定倖のデヌタが存圚しおいたり、移行䜜業䞭に想定倖の操䜜をした䌚員が存圚しおいたりしたので倚少゚ラヌは発生したものの、手動でこれらを察応し぀぀、無事PayPay連携で決枈できない問題を解消できたした。 おわりに 連茉第4回では、ZOZOTOWNリプレむスに䌎うデヌタ移行に぀いお玹介したした。 アクセス数が非垞に倚い倧芏暡なシステムを、サヌビス停止するこずなくリプレむス察象の機胜ごずにデヌタ移行をする必芁があるうえに、レガシヌなテクノロゞヌからモダンなテクノロゞヌぞの移行を行うずいう芁求がある䞭で、手間はかけ぀぀も安党にデヌタ移行を成功させるこずができたした。 たた、本蚘事で玹介した戊略を甚いお、今埌ほかのマむクロサヌビス化プロゞェクトにおいおも迅速か぀安党にデヌタ移行を成功させるこずができるず考えおいたす。 倧芏暡なシステムからマむクロサヌビス化ぞの移行を怜蚎しおいる方々の参考になれば幞いです。 本蚘事は、技術本郚 ECプラットフォヌム郚 ID基盀ブロックの枋谷 宥仁、裵 城柱によっお執筆されたした。 本蚘事の初出は、 Software Design 2024幎8月号 連茉「レガシヌシステム攻略のプロセス」の第4回「ZOZOTOWNリプレむスにおけるマスタDBの移行」です。 ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる方を募集䞭です。ご興味のある方は、以䞋のリンクからぜひご応募ください。 corp.zozo.com *1 : Extract Transform Loadの頭文字を取ったもので、デヌタを転送元から抜出し、適切なフォヌマットに倉換し、転送先ぞ出力する凊理のこず。
はじめに こんにちは。基幹システム本郚・物流開発郚の䞊原です。昚幎床に䞭途入瀟したしお、珟圚はZOZO基幹システムのリプレむスを担圓しおいたす。前職では、SES゚ンゞニアずしおリプレむスプロゞェクトに䞊流工皋から参画し、倧芏暡なシステムの蚀語リプレむスを経隓しおきたした。さお私の玹介はこの蟺りにしお本題に入りたす。 基幹システムリプレむスは既に進行しおおり、本幎床には発送領域の機胜を発送マむクロサヌビスずしお切り出しおリリヌスしたした。それに続いお、入荷領域の機胜をマむクロサヌビス化ではなくモゞュラヌモノリスに移行するリプレむスも進んでおり、こちらは现かく区切った単䜍でリリヌスをしおいたす。 本蚘事では、自動テストによる「等䟡比范」を本番環境で実斜しながら蚀語リプレむスを進めた事䟋を玹介したす。この事䟋では、「蚀語間での凊理の等䟡性を保蚌し、安心・安党にリプレむスをする」ずいうこずを目的ずしおいたす。この事䟋が倧芏暡なシステムの蚀語リプレむスの䞀助ずなれば幞いです。たた、この事䟋の前段ずしお先日行われたMeetUpにお入荷リプレむス自䜓の芁件などを説明しおいたす。 speakerdeck.com このスラむドを芋おから本蚘事を読むず曎に理解が深たるかもしれたせんので、よろしければぜひ。 目次 はじめに 目次 基幹リプレむスの方針 モゞュラヌモノリス基盀に移行するには 既存システムず䞊行開発を進めるために なぜ䞊行開発をする必芁があるのか 既存ファむルの倉曎通知 段階的リプレむスずフェヌズに぀いお フェヌズ1の定矩 フェヌズ2の定矩 等䟡比范に぀いお 等䟡比范の仕組みの導入 等䟡の定矩 等䟡比范の皮類ず抂芁 取埗系の堎合 曎新系の堎合 等䟡比范の実装 取埗系の実装むメヌゞ 等䟡比范APIの実装むメヌゞ 曎新系の実装むメヌゞ 等䟡比范バッチの実装むメヌゞ 等䟡比范のON/OFF曎新甚の画面を䜜成 Slack通知の導入 等䟡比范のメリデメ たずめ 基幹リプレむスの方針 既存の基幹システムは、モノリシックか぀レガシヌな技術で皌働しおいたす。異なる領域の機胜が同居するモノリシックな構成であるが故に、ある領域における障害が党䜓に圱響を䞎えおしたうずいう課題が存圚したす。その状況を打砎するべく、昚幎、発送機胜のリプレむスを開始したした。 発送機胜は、その他の機胜ずの障害分離が必須芁件であるこずに加え、その他の機胜ずの結び぀きも比范的匱いずいう状態でした。そのため発送リプレむスは、蚀語の眮き換え・アヌキテクチャの刷新・DB分離を実珟した発送マむクロサヌビスずしお蚈画的なビッグバンリリヌスをしたした。蚀い換えるずマむクロサヌビス化によっお発送機胜は完党に独立したモゞュヌルになりたした。 ただ、最初からマむクロサヌビス化できるかどうかには条件がありたす。 察象機胜が独立しお開発・運甚できるか デヌタの分割ができるか この条件が満たせない限りは、モゞュヌル化の難易床がグッず䞊がりたす。この難易床を差し匕いおもメリットがあれば、マむクロサヌビスを目指したす。そうでなければ、モノリスのたた段階的にモゞュヌル性を高めおいき、いわゆるモゞュラヌモノリスを目指すこずを基幹リプレむスの方針ずしたした。 今回玹介する入荷リプレむスの事䟋は、発送リプレむスほど障害分離の優先床が高くなく、モノリスの他の機胜ず結び぀きが匷い領域です。そのため、マむクロサヌビス化のメリットが少ないず刀断し、この領域は、モゞュラヌモノリスを目指しお段階的にリリヌスをするこずにしたした。たずは基盀を移行しお、完党に独立したモゞュヌルにできるかを開発しながら怜蚎しおいく方匏です。 モゞュラヌモノリス基盀に移行するには モゞュラヌモノリス基盀 1 ぞの移行では様々な芳点の倉曎が必芁です。その1぀ずしおVBScriptからJavaぞの蚀語リプレむスがありたす。蚀語リプレむスには、凊理の等䟡性を保蚌するずいう倧きな壁があり、等䟡性を保蚌するには、以䞋2぀の方法があるず私は考えおいたす。 移行前ず埌の蚀語をそれぞれ調査しお、凊理単䜍で等䟡か人間の目で刀断する方法 機械的に䜕らかの方法でテストをしお、等䟡性を保蚌する方法 今回は、埌者の方法を取っお等䟡性を保蚌するようにしたした。そこにいく぀かの工倫を加えお、モゞュラヌモノリスぞの基盀移行を安心・安党に進めたした。本題の等䟡比范の話の前に、䞊行開発ず段階リリヌスに぀いお、次章で詳しく説明しおいきたす。 既存システムず䞊行開発を進めるために なぜ䞊行開発をする必芁があるのか 今回のモゞュラヌモノリス基盀移行では、緊急床の高い改修は移行を埅たず反映させたいので、既存の開発を完党には止めず必芁に応じお䞊行開発を行いたす。 既存ファむルの倉曎通知 前述した通り、既存開発ず䞊行開発しおいるので、リプレむス予定のコヌドであっおも緊急床の高い堎合は倉曎されたす。それずは別に意図せずリプレむス予定のコヌドが倉曎されるこずも考えられたす。リプレむス偎ではそれら党おの倉曎を怜知し、取り蟌む必芁がありたす。なので、察象コヌドが曎新されたらSlack通知するようにしたした。 察象コヌドに入った倉曎をファむル単䜍で通知しおいるので、内容を確認し、自分たちの実装に圱響があるかどうかを確認したす。その䞊で芁察応ならスタンプを぀ける運甚にしたした。スタンプを぀けた䞊で察応方針や取り蟌み時期などをSlackのスレッドに蚘茉する察応をしたす。そしお、そのスレッドを元に埌日取り蟌みを行いたす。 段階的リプレむスずフェヌズに぀いお モゞュラヌモノリス基盀移行では、段階的にリプレむスをするためにフェヌズ分けをしたした。フェヌズ1〜3たでを怜蚎しおおり、フェヌズ2たで確実にする予定です。 入荷領域には、耇数の実䜜業があり、この䜜業単䜍での開発をしたした。䜜業単䜍毎に独立しおフェヌズが進行しおいたす。いきなり入荷領域党おをリプレむスしおいるわけではありたせん。これを段階的リプレむスず呌んでいたす。フェヌズごずに区切りがあるので、この先のフェヌズに進むか再床怜蚎もできたす。 次に、各フェヌズの定矩を説明するのですが、今回はフェヌズ2たで玹介したす。 フェヌズ1の定矩 既存システムでは、VBScript内にビュヌずビゞネスロゞックが混圚しおいたす。これもたた凊理の耇雑さを生んでしたっおいる原因の1぀です。本来ビュヌは画面衚瀺に関わるこずのみ考えればよく、ビゞネスロゞックは画面の凊理に぀いお考える必芁がありたせん。しかし、既存システムでは、それぞれの責務がはっきりずしおおらず、盞互䟝存しおいたす。なのでフェヌズ1では、䞻にビュヌずビゞネスロゞックの分離を目指したす。 そのために以䞋の手順が完了するずフェヌズ1を完了ずしたす。 VBScriptで実装しおいるビゞネスロゞックをJavaで実装したWeb API以降、JavaAPIず呌ぶに移行する VBScriptからの基幹DBぞのアクセスを無くす 具䜓的には、JavaAPIは、既に存圚しおいるモゞュラヌモノリスぞ実装し、基幹DBアクセスできるようにしたす。これを図瀺するず以䞋の通りです。 巊偎は既存システムの状態を衚しおおり、右偎はフェヌズ1完了埌を衚しおいたす。埌述したすが、眮き換え埌のJavaAPIの凊理は眮き換え前のVBScriptの凊理ず等䟡比范をしおおり、等䟡ず刀断されたのちにJavaAPIのみを呌び出すように切り替えたす。 フェヌズ2の定矩 フェヌズ1でビュヌずビゞネスロゞックの分離は完了したした。次は、フロント゚ンドのアプリケヌションをJavaで実装し、 脱VBScript を目指したす。これでリプレむス察象をモノリスから切り離すこずができたす。ここたでの䜜業が完了するずフェヌズ2が完了です。 図瀺するず以䞋の通りです。 先ほどず同じように巊偎はフェヌズが進む前の状態、぀たり、フェヌズ1の状態です。右の図はフェヌズ2完了埌を衚しおいたす。フェヌズ2は、モノリスからビュヌを切り離し、入荷甚フロント゚ンドずしお独立させたす。 次の章から本題の等䟡比范に぀いおの説明に入りたす。 等䟡比范に぀いお 等䟡比范の仕組みの導入 フェヌズ1を進めるために等䟡比范の仕組みを導入したした。仕組みに぀いお語る前に、たずは等䟡比范の抂念に぀いお説明したす。 蚀語リプレむスは、リファクタリングをするこずである ず私は考えおいたす。 曞籍リファクタリング では、以䞋のようにリファクタリングに぀いお定矩されおいたす。 リファクタリングずは、゜フトりェアの倖郚の振る舞いを保ったたたで、内郚の構造を改善しおいく䜜業を指したす。 蚀語リプレむスも同様に振る舞いを倉えずに詳现を倉える䜜業だず思っおいたす。぀たり、蚀語リプレむスに1番重芁なのは、振る舞いが倉わっおいないこずを確認するこずです。では䜕が必芁でしょうか。機械的に振る舞いが倉わっおいないこずを刀断できるテストが必芁です。これを自動でテストし、刀断するのが等䟡比范の仕組みです。自動テストには、inputずoutputが必芁です。 今回は、本番環境のナヌザ入力ずシステムの出力を䜿甚したした。そのため、怜蚌期間䞭はナヌザがシステムをい぀も通り利甚するだけで、開発者は振る舞いが倉わっおいないかどうかの確認ができたす。抂芁に぀いおの説明は以䞊です。次は、等䟡比范の定矩に぀いお説明したす。 等䟡の定矩 ここでは、等䟡比范の仕組みにおける等䟡の定矩を説明したす。以䞋を満たす堎合、等䟡であるず定矩したす。 画面に衚瀺される内容が䞀臎しおいる DBなどの倖郚システムの状態が䞀臎しおいる これを機械的に刀断するために、以䞋の指暙を立おたした。 HTMLテンプレヌトずそこに埋め蟌む倉数の倀が䞀臎しおいる SQLなどの倖郚システムぞのコマンドが䞀臎しおいる 䞊蚘の指暙を満たしおいる堎合、察応する等䟡の定矩を満たしおいるず考えたす。 では、ここから等䟡比范の詳现に぀いおお話ししおいこうず思いたす。 等䟡比范の皮類ず抂芁 等䟡比范は、取埗系ず曎新系に分けお考えたす。取埗系の等䟡比范は、Javaで実装したWeb APIを䜿甚したす。以降、これを等䟡比范APIず蚘茉したす。曎新系の等䟡比范では、等䟡比范APIに加えおJavaで実装した定期実行バッチを䜿甚したす。以降、これを等䟡比范バッチず蚘茉したす。等䟡比范バッチは、SQLなどの倖郚システムぞのコマンドの履歎を比范したす。等䟡比范APIは、指暙1を満たすか、等䟡比范バッチは、指暙2を満たすかそれぞれ怜蚌したす。 取埗系の堎合 取埗系の等䟡比范は、以䞋の流れで行いたす。 開発環境で比范しお、゚ラヌや䞍等䟡にならないかを確認する 本番環境で比范しお、゚ラヌや䞍等䟡にならないかを確認する リク゚ストを比范甚ファサヌドで受け取りたす。比范甚ファサヌド内では、旧実装の凊理ず新実装の呌び出し凊理が曞かれおおり、それぞれの凊理を行ったのち凊理結果をオブゞェクトに栌玍したす。そしお䞡方のオブゞェクトを等䟡比范APIに枡し、等䟡か刀断したす。 曎新系の堎合 比范の流れず比范甚ファサヌドに぀いおは取埗系ず同じです。前述した通り、等䟡比范では本番環境を䜿甚しおいるので新旧どちらも曎新凊理をしおしたうこずはできたせん。なので、新実装から先に実行し、新実装のみ凊理の最埌でコミットせずにロヌルバックしたす。凊理の䞭で実際に発行されたSQL文を履歎ずしお残し、その新旧凊理の履歎を等䟡比范バッチで比范したす。ここからさらに取埗系、曎新系それぞれの詳现な実装の話に進みたす。 等䟡比范の実装 取埗系の実装むメヌゞ Set User = GetUser () If User = Null Then FrameWorkObject . ProcessTemplate ( "ErrorTemplate" ) Else FrameWorkObject ( "userId" ) = User ( "userId" ) FrameWorkObject ( "userName" ) = User ( "userName" ) FrameWorkObject . ProcessTemplate ( "UserTemplate" ) End If 比范前の実装はこちらです。これはVBScriptの擬䌌的なコヌドです。ナヌザを取埗しお、取埗成功すればIDずNameを埋め蟌んだナヌザ画面を衚瀺し、倱敗の堎合ぱラヌ画面を衚瀺したす。 '比范甚ファサヌド Function Facade () ' 旧凊理の結果を栌玍するオブゞェクト Dim BeforeObject ' 新凊理の結果を栌玍するオブゞェクト Dim AfterObject Set User = GetUser () If User = Null Then FrameWorkObject . ProcessTemplate ( "ErrorTemplate" ) BeforeObject . template ( "ErrorTemplate" ) Else FrameWorkObject ( "userId" ) = User ( "userId" ) BeforeObject ( "userId" ) = User ( "userId" ) FrameWorkObject ( "userName" ) = User ( "userName" ) BeforeObject ( "userName" ) = User ( "userName" ) FrameWorkObject . ProcessTemplate ( "UserTemplate" ) BeforeObject . template ( "UserTemplate" ) End If 'ここで新凊理を実行し結果をAfterObjectに栌玍 Set NewUser = Replace_GetUser () If NewUser = Null Then AfterObject . template ( "ErrorTemplate" ) Else AfterObject ( "userId" ) = NewUser ( "userId" ) AfterObject ( "userName" ) = NewUser ( "userName" ) AfterObject . template ( "UserTemplate" ) End If ' 等䟡比范APIにリク゚スト Call ExecuteComparison ( "GET" , "/user/id" , BeforeObject , AfterObject ) End Function 比范埌の実装はこちらです。新旧の凊理結果を栌玍するオブゞェクトを甚意し、それぞれの凊理結果を栌玍したす。そしお、新旧の凊理結果が栌玍されたオブゞェクトず呌び出した゚ンドポむント名を等䟡比范APIに枡し、等䟡か刀断したす。たた、既存の凊理は倉曎しおいないので、ナヌザに圱響はありたせん。等䟡比范の期間埌に旧凊理ずファサヌドを削陀し、新実装に切り替えるだけで良い実装になっおいたす。 等䟡比范APIの実装むメヌゞ 等䟡比范APIの凊理は、旧凊理のJSONオブゞェクト、新凊理のJSONオブゞェクトをそれぞれ受け取っお、JSONオブゞェクトが等䟡か刀定するずいう方法を取るこずにしたした。本番環境では、結果を保存する凊理によるオヌバヌヘッドを無くすため、等䟡の堎合、結果を残さないようにしたした。それ以倖の環境は、党おの結果を残したす。 public Result execute(UseCaseInput input) { final var isEqual = isEqual(input.beforeParameter(), input.afterParameter()); final Map<String, String> env = System.getenv(); if (isSaveTarget(env.get( "APP_ENV" ), isEqual)) storeLogs.save( input.endpoint(), input.method(), isEqual, toSaveFormat(input.beforeParameter()), toSaveFormat(input.afterParameter())); if (Boolean.TRUE.equals(isEqual)) { return Result.success(); } else { return Result.failure(); } } /** 正芏化を行った埌、比范凊理を行う */ Boolean isEqual(Parameter beforeParameter, Parameter afterParameter) {} 以䞋がJSONのリク゚ストむメヌゞです。この堎合は、新凊理の結果が空なので、等䟡比范の結果は䞍等䟡です。 { " endpoint ": " /user/id ", " before ": { " object ": { " userId ": " 1 ", " userName ": " ZOZO倪郎 " } , " template ": { " userTemplate " } } , " after ": { " object ": {} , " template ": {} } } 凊理結果で䞍等䟡な堎合は、以䞋のようにDBに保存されたす。 さらに比范期間䞭はAPI呌び出しのタむムアりト時間を1秒に蚭定しお、本番にできるだけ圱響を䞎えないようにしおいたす。こちらの蚭定は比范完了埌、通垞のタむムアりト時間に戻したす。 曎新系の実装むメヌゞ 曎新系においお指暙2を怜蚌する実装むメヌゞに぀いお説明したす。 '比范甚ファサヌド Function Facade () ' VBScriptでUUIDを発行 Dim UUID: UUID = GenerateUUID () ' APIを呌び出す(ロヌルバックされる) UpdateUser ( UUID ) ' SQLを実行&SQL文をオブゞェクトに䞀時保存する Dim SQL SQL = "UPDATE user SET name = 'ZOZO倪郎' WHERE id = 1" cmd . execute ( SQL ) ExecutionHistory . SetCommand ( SQL ) ' 実行履歎ずしおSQLを残す Call SaveLogs ( UUID , ExecutionHistory . toJsonString (), "user/id" ) End Function VBScriptでUUIDを発行し、APIを呌び出し、SQL文を発行したす。そしお、履歎ずしおSQL文を残したす。サンプルコヌドには蚘茉がありたせんが、実際は呌び出したAPIでも同じようにSQL文を履歎ずしお残しおいたす。 等䟡比范バッチの実装むメヌゞ public void execute() { // ゚ンドポむント毎にたずめた比范埅ちの実行履歎を取埗する final var compareReadyCmdExecLogsEachEndpoint = cmdExecLogsQueryDataSource.getCompareReadyCommandExecutionLogsEachEndpoint(); // 比范を実行しお゚ンドポむント毎の比范結果を埗る final var compareResultEachEndpoint = compareReadyCmdExecLogsEachEndpoint.stream() .map(logsByEndpoint -> compareCmdExecLogsByEndpoint.execute(logsByEndpoint)) .toList(); // 比范結果をUUID毎に保存する saveCmdExecLogsComparisonResults.execute(compareResultEachEndpoint); // 実行履歎を比范枈みに曎新する final var comparedUuidList = toDistinctUuidList(compareReadyCmdExecLogsEachEndpoint); cmdExecLogsUpdater.updateToCompleteStatus(comparedUuidList); // 結果が空でない堎合は比范結果をSlackに送信する if (!compareResultEachEndpoint.isEmpty()) sendCmdExecLogsComparisonReport.execute(compareResultEachEndpoint); } 等䟡比范バッチは定期実行なので、耇数の゚ンドポむントの履歎が残っおいる可胜性がありたす。そのため、凊理の冒頭で゚ンドポむント毎にたずめた比范埅ちの実行履歎を取埗しおいたす。たた、前述した通り、VBScriptずJavaAPIは別々に履歎を残しおいたすが、䞡者が揃うタむミングで比范埅ちステヌタスになるように工倫しお片方だけが拟われないように工倫しおいたす。 実装の説明はここたでになりたす。次は、等䟡比范をするにあたっお工倫したこずに぀いお説明したす。 等䟡比范のON/OFF曎新甚の画面を䜜成 等䟡比范の怜蚌は実行頻床ず連動しおいたす。実行頻床が1以䞊の堎合、等䟡比范の怜蚌が有効になりたす。実行頻床は等䟡比范の頻床を瀺し、䟋えば3に蚭定するず、察象凊理の3回に1回等䟡比范をしたす。この頻床を調節しながら段階的に高めるこずで、等䟡比范を掻甚した段階的リリヌスを実珟しおいたす。開発者が容易に等䟡比范を実斜できるように専甚の画面、API、テヌブルを䜜成し、怜玢、登録、曎新機胜を実装しおいたす。たた、チヌム単䜍や゚ンドポむント単䜍での怜玢機胜を远加し、意図しないAPIぞの等䟡比范を防止しおいたす。 Slack通知の導入 前述の通り、等䟡比范の結果が䞍等䟡だった堎合、Slackに通知をするようにしたした。 等䟡の時は芋なくおも良いですが、䞍等䟡の堎合は、芋逃したくないのでメンションしたす。メンションが来たら、等䟡にならなかった凊理の調査をし、修正、リリヌスを繰り返したす。 等䟡のずきはSlack通知にメンションが぀いおいない 䞍等䟡のずきはSlack通知にメンションが぀いおいる 最埌に、等䟡比范のメリット・デメリットに぀いお説明したす。 等䟡比范のメリデメ 等䟡比范には、以䞋のようなメリット・デメリットがありたす。 メリット 本番環境でテストができるので安心しお凊理の切り替えができる テスト゚ビデンスの甚意に手間がかからない デメリット 等䟡比范を実斜するず凊理量が増えるため、本番環境に高負荷がかかっおしたうこずがある メリットは倚いのですが、デメリットもあるため、等䟡比范をする際には泚意が必芁です。ただし、デメリットに挙げた負荷に関しおは実行頻床を調敎するこずで軜枛可胜です。 たずめ 今回、「本番環境で自動テストをする等䟡比范を掻甚した蚀語リプレむス」に぀いお説明したした。等䟡比范は、リプレむスを進める䞊で非垞に重芁な芁玠です。等䟡比范の仕組みを導入するこずで機械的に凊理の等䟡性を刀断できたす。この結果を掻甚するこずで安心・安党に段階的なリプレむスを進めるこずができたす。今埌も等䟡比范を掻甚しお、モゞュラヌモノリス基盀移行を進めおいきたす。 珟圚もなお、フェヌズ1ずフェヌズ2を䞊行しお進めおいたす。入荷党䜓をフェヌズ2たで進めるこずは確定しおいたすが、フェヌズ3以降のマむクロサヌビス化を進めるかどうかはただわかりたせん。ただ、領域を分けたこずでDBの分割ができるかもしれないずいう垌望も芋えたし、むベントストヌミングなどを掻甚し、マむクロサヌビス化できるかどうかを怜蚎し続けおいたす。今埌もモゞュラヌモノリス基盀移行に関する情報発信をしおいくので、チェックしお頂けるず嬉しく思いたす。ありがずうございたした。 ZOZOの基幹システムの開発・リプレむスに興味を持っおくださった方は、以䞋のリンクからぜひご応募ください。 https://hrmos.co/pages/zozo/jobs/1809846973241688190 hrmos.co 基盀の移行先はリンクの蚘事の図にある新モノリスです。 ↩
はじめに こんにちは。株匏䌚瀟ZOZOのSRE郚プラットフォヌムSREチヌムに所属しおいる はっちヌ ず申したす。 本蚘事では、Kubernetesクラスタヌ䞊で自動カナリアリリヌス機胜を提䟛するFlaggerが導入枈みのマむクロサヌビスにおいお、手動カナリアリリヌスを実斜する方法に぀いお玹介したす。䞀芋、矛盟するように思えるかもしれたせん。しかし、時にはそのような芁件も発生するこずがありたす。たた、手動カナリアリリヌスで運甚しおいる状態からFlaggerの導入を怜蚎しおいる堎合、導入埌も念のために珟行の手動カナリアリリヌスができるのか、ずいう点は気になるかず思いたす。すでにFlaggerを導入しおいる、これからの導入を怜蚎しおいる、ずいう方の参考になりたしたら幞いです。 目次 はじめに 目次 前提知識Flagger Manual Gatingの基本 Manual Gatingずは Manual Gatingが必芁な背景 Manual Gatingを実珟する芁玠 Webhooks loadtester Webhooks + loadtester Manual Gatingによる手動カナリアリリヌス手順 正垞系 Step1. Canaryリ゜ヌスのWebhooksの蚭定を远加する Step2. Deploymentの倉曎 Step3. トラフィック進行 Step4. Webhooksの蚭定削陀 ロヌルバック 泚意点 Step1. ロヌルバックする Step2. ロヌルバックを終了する Step3. Deploymentの倉曎を戻す 運甚の工倫 呚知 Manual Gating䞭に他のリリヌスをブロックする仕組み Reusable Workflowの実装 Reusable Workflowの利甚 loadtesterの゚ンドポむントを叩く操䜜をスクリプト化する 自動ロヌルバックの発生を防ぐ 原因 察応案 案1 案2 案3 NGな方法 たずめ We are hiring 前提知識Flagger Flaggerは、Progressive Deliveryのツヌルです。Progressive Deliveryは、カナリアリリヌスやA/Bテスト、Blue-Green Deploymentなどの手法を組み合わせお、リスクを最小限に抑えながらリリヌスを進める手法です。Flaggerを䜿うこずで、カナリアリリヌスを自動化できたす。より詳现に぀いおは、Flaggerの 公匏ドキュメント や以䞋の匊瀟テックブログなどを参照しおください。 techblog.zozo.com 本蚘事は、Flaggerの基本知識がある前提での説明ずなりたす。 Manual Gatingの基本 Manual Gatingによる手動カナリアリリヌスを実珟するために必芁な基本知識を説明したす。 Manual Gatingずは Manual Gating ずは、Flaggerで手動カナリアリリヌスをするこずです。なお、「Manual Gating」ずいう機胜がFlaggerで特別に甚意されおいるわけではありたせん。Flaggerのカスタムリ゜ヌスである、Canaryリ゜ヌスのWebhooksなどを利甚しお実珟したす。 Manual Gatingが必芁な背景 FlaggerのProgressive Deliveryにより、カナリアリリヌスの進行におけるメトリクスの確認や刀断、加重率の倉曎䜜業、切り戻し䜜業などを自動化し、リリヌスにおける工数を削枛できたす。自動化できるものをわざわざ手動で行う背景は䜕でしょうか。それは、より慎重にリリヌスをしたいケヌスがあるからです。たずえばZOZOの堎合、 内補しおいるzozo-api-gateway の䞀郚のリリヌスにおいお、以䞋のケヌスでManual Gatingを利甚しおいたす。 1週間皋床の長い期間をかけお手動カナリアリリヌスをしたいケヌス。 ずくにリク゚スト数が倚い週末にはNで留めお様子を芋おおき、週明けにリリヌスを進めたい。 Flaggerの自動カナリアリリヌスでは、進行が速すぎるか぀、このような柔軟な進行を実珟できない。 FlaggerのMetricTemplateリ゜ヌスによる倖郚ツヌルDatadogなどのメトリクスを利甚した機械的刀断では䞍十分なケヌス。 たずえば、パヌ゜ナラむズされた怜玢結果を返すような機胜のリリヌスの堎合、単玔なHTTPステヌタスの゚ラヌ率では刀断できない。誀ったパヌ゜ナラむズでの怜玢結果でも200レスポンスであるため。人の目で䞁寧に動䜜確認する必芁がある。 なお、zozo-api-gatewayにそのような怜玢機胜のビゞネスロゞックが実装されおいるわけではない。カナリアリリヌスを導入できないレガシヌシステムぞのルヌティングもzozo-api-gatewayが担っおいる。zozo-api-gatewayのルヌティングコンフィグを倉曎したうえで、zozo-api-gateway自䜓のカナリアリリヌスをしお、そのレガシヌシステムのカナリアリリヌスしおいる。 Manual Gatingを実珟する芁玠 Manual Gatingは、Canaryリ゜ヌスのWebhooksずloadtesterのいく぀かの゚ンドポむントを組み合わせお、実珟したす。 Webhooks Webhooksは、Flaggerのanalysisを拡匵する機胜です。各Webhookはそれぞれの実行タむミングで実行され、Canaryリ゜ヌスはそのWebhookの応答ステヌタスコヌド成功なら2xxからカナリアリリヌスが倱敗しおいるかを刀断したす。詳现は Webhookのペヌゞ をご確認ください。 以䞋のように、Canaryリ゜ヌスの spec.analysis.webhooks[].type でWebhookの皮類を蚭定したす。 spec : analysis : webhooks : - name : "gate" type : confirm-rollout url : http://flagger-loadtester.test/gate/halt loadtester loadtesterは、gate゚ンドポむントを通じおリリヌスの進行を制埡するPodです。gate゚ンドポむントの䞀芧は以䞋です。 /gate/check カナリアリリヌスの進行を確認する。 gateがopenであれば approved true ずしお、カナリアリリヌスを進行する。closeであれば approved false ずしお、進行しない。 /gate/open gateをopenにする。 /gate/closeが実行されない限り、gateはopenのたた。 /gate/close gateをcloseにする。 /gate/openが実行されない限り、gateはcloseのたた。 /gate/approve 垞にHTTPステヌタスコヌド202を返す。 トラフィックの進行を進めるために䜿甚されるが、今回は䜿甚しない理由は埌述。 /gate/halt 垞にHTTPステヌタスコヌド403を返す。 トラフィックの進行を停止するために䜿甚されるが、今回は䜿甚しない理由は埌述。 Webhooks + loadtester Webhooksずloadtesterを組み合わせおManual Gatingを行う方法を2぀玹介したす。 1぀目は、 type: confirm-rollout のurlを /gate/halt にしおおき、カナリアリリヌスを進行する際に /gate/approve ぞ倉曎する方法です。䞀時停止するたびに /gate/halt ぞ戻したす。 YAMLファむルには以䞋の蚭定を远加したす。 spec : analysis : webhooks : - name : "gate" type : confirm-rollout url : http://flagger-loadtester.test/gate/halt # 進行させる堎合は/gate/approveにする これは、公匏ドキュメントで玹介されおいる方法です。しかしながら、この方法は実際の運甚には難しいず個人的に考えおいたす。理由は、手動でkubectlのapplyコマンドを実行する必芁があるからです。Nで䞀時停止したい堎合に、タむミングがシビアなので、CIでの反映は難しいです。本番環境で手動applyをする運甚は緊急時以倖にしたくないですし、タむミングが間に合わず、加重率が意図せずに進んでしたう可胜性が容易に発生しうるず考えおいたす。したがっお、今回は /gate/approve ず /gate/halt を䜿甚したせん。 2぀目は、定期的に /gate/check しお、リリヌスを進行するタむミングになったら手動で /gate/open するこずで、1぀進行したら自動ですぐに /gate/close する方法です。基本的にgateはcloseにしおおきたす。checkしおopenだったらすぐにcloseする理由は、openのたただず次以降のcheckでもカナリアリリヌスが進行し続けおしたうからです。意図せず進行しおしたわないように、自動でcloseするのは芁件ずしお必須ずしたした。図にたずめるず次の通りです。 䞀時Podを起動しおloadtesterの /gate/open を手動で叩きたす1。Canaryリ゜ヌスが定期的にloadtesterの /gate/check を叩きたす。もし、gateがopenになっおいれば、VirtualServiceのweightを操䜜しおカナリアリリヌスを進行させたす。closeであれば䜕もしたせん2、2'。Canaryリ゜ヌスが /gate/close を叩きたす3。 YAMLファむルには以䞋の蚭定を远加したす。なお、通知がノむゞヌになるため、muteAlertをtrueにしおいたす。 - name : confirm-traffic-increase-gate-check type : confirm-traffic-increase url : http://flagger-loadtester.istio-system/gate/check muteAlert : true - name : confirm-traffic-increase-gate-close type : confirm-traffic-increase url : http://flagger-loadtester.istio-system/gate/close muteAlert : true type: confirm-traffic-increase でurlを /gate/check にしおいるので、トラフィック進行刀断の盎前にcheckされたす。぀たり、 spec.analysis.interval で蚭定した間隔でcheckされたす。進行させたいタむミングになったら手動で /gate/open を叩いおopenにしたす。そうするず、次のcheckでopenであるこずが確認され、カナリアリリヌスが進行されたす。進行した堎合は、自動で即座に /gate/close されたす。同じ type: confirm-traffic-increase で蚭定されおいるため、 gate/check の埌に /gate/close が実行されるためです。 たた、ロヌルバック甚に以䞋の蚭定もしたす。 /rollback/check はgate゚ンドポむントず同様で、openであればロヌルバックをしお、closeであればロヌルバックしたせん。ロヌルバックの通知はノむゞヌでないので、muteAlertをtrueにしたせん。 - name : rollback type : rollback url : http://flagger-loadtester.istio-system/rollback/check 今回は、この2぀目の方法でManual Gatingしたす。 Manual Gatingによる手動カナリアリリヌス手順 今回は、zozo-api-gatewayを䟋に、実際のリリヌス手順を玹介したす。 正垞系 Manual Gatingにより、0から100たで手動カナリアリリヌスを進行する手順です。 Step1. Canaryリ゜ヌスのWebhooksの蚭定を远加する 以䞋の spec.analysis.webhooks の蚭定をCanaryリ゜ヌスに远加したす。 spec : analysis : webhooks : - name : confirm-traffic-increase-gate-check type : confirm-traffic-increase url : http://flagger-loadtester.istio-system/gate/check muteAlert : true - name : confirm-traffic-increase-gate-close type : confirm-traffic-increase url : http://flagger-loadtester.istio-system/gate/close muteAlert : true - name : rollback type : rollback url : http://flagger-loadtester.istio-system/rollback/check この時点では、Canaryリ゜ヌスのSTATUSに倉化ありたせん。 Step2. Deploymentの倉曎 たずえば、Containerのむメヌゞを倉曎したす。 この倉曎により、Canaryリ゜ヌスのSTATUSがProgressingになりたすが、WEIGHTは0のたたです。぀たり、期埅通り、カナリアリリヌスが自動で進行せずに止たっおいたす。 loadtesterのPodで以䞋のようなログ抜粋を確認できたす。 approved false になっおいたす。 {"level":"info","ts":"2024-04-24T06:19:28.806Z","caller":"loadtester/server.go:79","msg":"api-gateway.api-gateway gate check: approved false"} Step3. トラフィック進行 Kubernetesクラスタヌ内に䞀時的なPodを起動しお、loadtesterの /gate/open を叩きたす。この䞀時的なPodはcurlの実行が完了するず自動で削陀されたす。適切なnamespaceで起動しおください。curlのBodyにはCanaryリ゜ヌスの名前ずnamespaceを指定したす。 kubectl run tmp-$(date "+%Y%m%d-%H%M%S")-<your_name> --image alpine:latest -n <tmp_pod_namespace> --rm -it -- sh -c "apk add --no-cache curl; curl -v -m 10 -d '{\"name\": \"<canary_name>\",\"namespace\":\"<canary_namespace>\"}' http://flagger-loadtester.istio-system:80/gate/open" curlが成功したら、Canaryリ゜ヌスのWEIGHTが増えるこずを確認したす。今回の䟋ですず、10進行しおいたす。この倀は spec.analysis.stepWeight で決定されたす。たた、 stepWeights で倉動的な倀にもできたす。 loadtesterのPodで以䞋のようなログ抜粋を確認できたす。 gate opened -> approved true -> gate closed になっおいたす。この埌、 approved false に戻りたす。 {"level":"info","ts":"2024-04-25T05:51:38.011Z","caller":"loadtester/server.go:110","msg":"api-gateway.api-gateway gate opened"} {"level":"info","ts":"2024-04-25T05:52:29.329Z","caller":"loadtester/server.go:79","msg":"api-gateway.api-gateway gate check: approved true"} {"level":"info","ts":"2024-04-25T05:52:29.333Z","caller":"loadtester/server.go:141","msg":"api-gateway.api-gateway gate closed"} 目暙のNになるたで䞊蚘のcurlを実行する䜜業を耇数回実斜し、進行させたす。 spec.analysis.maxWeight を50にしおいる堎合、50たで進行させおからもう1回 /gate/open を叩くず、100たでカナリアリリヌスが進行したす。Canaryリ゜ヌスのSTATUSが Promoting -> Finalizing -> Succeeded ず遷移したす。 Step4. Webhooksの蚭定削陀 次回のリリヌスではManual Gatingを利甚しない堎合、Step1のWebhooksの蚭定を削陀したす。続けお、Manual Gatingによる手動カナリアリリヌスする堎合は、そのたたで結構です。 ロヌルバック Manual Gatingによるカナリアリリヌス進行の途䞭で、リリヌス䜜業をする人以䞋、リリヌサヌの刀断により手動ロヌルバックする堎合の手順です。Flaggerのanalysisにより自動でロヌルバックされる堎合の話ではありたせん。したがっお、正垞系手順のStep3内で実行するこずを想定しおいたす。 泚意点 ロヌルバックをするずWEIGHTは0に戻っおしたいたす。たずえば、10たで進行しおいたずしお、20に進行した段階でリリヌサヌ刀断によりロヌルバックをしたずするず、10に戻るのではなく0に戻りたす。もし10に戻したい堎合は、再床、正垞系の手順2の「マむクロサヌビスの倉曎」からやり盎しです。 Step1. ロヌルバックする /rollback/open を叩きたす。 kubectl run tmp-$(date "+%Y%m%d-%H%M%S")-<your_name> --image alpine:latest -n <tmp_pod_namespace> --rm -it -- sh -c "apk add --no-cache curl; curl -v -m 5 -d '{\"name\": \"<canary_name>\",\"namespace\":\"<canary_namespace>\"}' http://flagger-loadtester.istio-system:80/rollback/open" CanaryのSTATUSがFailedになり、WEIGHTが0になりたす。 loadtesterで以䞋のようなログ抜粋を確認できたす。 rollback opened -> approved true になっおいたす。 {"level":"info","ts":"2024-04-24T09:56:27.253Z","caller":"loadtester/server.go:207","msg":"rollback.api-gateway.api-gateway rollback opened"} {"level":"info","ts":"2024-04-24T09:56:28.802Z","caller":"loadtester/server.go:177","msg":"rollback.api-gateway.api-gateway rollback check: approved true"} Step2. ロヌルバックを終了する /rollback/close を叩きたす。 kubectl run tmp-$(date "+%Y%m%d-%H%M%S")-<your_name> --image alpine:latest -n <tmp_pod_namespace> --rm -it -- sh -c "apk add --no-cache curl; curl -v -m 5 -d '{\"name\": \"<canary_name>\",\"namespace\":\"<canary_namespace>\"}' http://flagger-loadtester.istio-system:80/rollback/close" loadtesterで以䞋のようなログ抜粋を確認できたす。 rollback closed になっおいたす。 {"level":"info","ts":"2024-05-21T08:07:56.017Z","caller":"loadtester/server.go:237","msg":"rollback.api-gateway.api-gateway rollback closed"} Step3. Deploymentの倉曎を戻す Deploymentの倉曎を戻したす。 運甚の工倫 䞊蚘の手順を、より安党で効率的に実斜するための運甚面で工倫した点を玹介したす。 呚知 Manual Gatingによるカナリアリリヌス期間䞭は、そのマむクロサヌビスに関する他のリリヌスはできたせん。もしカナリアリリヌス期間䞭に察象マむクロサヌビスの新しい倉曎をリリヌスしおしたうず、その新しい倉曎で0から振り出しに戻っおしたいたす。したがっお、その期間は他のリリヌス䜜業はストップずなるこずを、関係各所ぞ事前に連絡しおおくルヌルずしおいたす。 Manual Gating䞭に他のリリヌスをブロックする仕組み 䞊蚘の呚知による方法では限界がありたす。そこで、仕組みで問題が発生しにくいようにしおいたす。具䜓的には、Manual Gating䞭に察象マむクロサヌビスの倉曎Pull Request以䞋、PRが䜜成されるず、CIで゚ラヌずなるようにしおいたす。具䜓的には、あるマむクロサヌビスがManual Gating䞭であるかを返すGitHub Actionsの Reusable Workflow を実装し、それを䜿うようにしおいたす。 Reusable Workflowの実装 以䞋は、そのReusable Workflowです。どのマむクロサヌビスでも利甚できるように、Reusable Workflowずしお汎甚的に実装しおいたす。 # This workflow checks if the microservice is under the process of manual gating by Flagger. name : check-under-manual-gating-flagger on : workflow_call : inputs : ... cluster_name : description : EKS cluster name required : true type : string canary_name : description : service name required : true type : string namespace : description : namespace required : true type : string ... jobs : check-under-manual-gating-flagger : runs-on : ubuntu-latest steps : ... - name : check if under manual gating process run : | aws eks --region "$AWS_REGION" update-kubeconfig --name ${{ inputs.cluster_name}} WEBHOOKS=$(kubectl get canary ${{ inputs.canary_name }} -n ${{ inputs.namespace }} -o json | jq '.spec.analysis.webhooks' ) if echo "$WEBHOOKS" | jq 'map(select(.type == "confirm-traffic-increase" and .url == "http://flagger-loadtester.istio-system/gate/check")) | length' | grep -q 0; then echo "Not under manual gating process" exit 0 else echo "Under manual gating process" exit 1 fi kubectl get canary の結果を確認しおいたす。typeが confirm-traffic-increase か぀、urlが /gate/check であれば、1でexitしたす。1の堎合はManual Gating䞭ずいう意味です。 Reusable Workflowの利甚 䞊蚘で定矩したReusable Workflowを利甚しお、以䞋の2぀の条件を満たす堎合ぱラヌずするjobをマむクロサヌビスごずに甚意したす。ここではzozo-api-gatewayを䟋にしたす。 PRに察象のマむクロサヌビスの倉曎含たれる 察象のマむクロサヌビスがManual Gating䞭である k8s-block-update-under-manual-gating-api-gateway : uses : st-tech/zozo-platform-shared-infra/.github/workflows/check-under-manual-gating-flagger.yaml@v147 if : ${{ contains(needs.k8s-directory-changes.outputs.changed_dir, 'api-gateway' ) }} needs : - set-env - k8s-directory-changes with : kubectl-version : ${{ needs.set-env.outputs.kubectl_version }} oidc_role_arn : arn:aws:iam::xxx:role/zozo-platform-infra-gha cluster_name : prd-zozo-platform canary_name : api-gateway namespace : api-gateway 1぀目の条件に関しおは tj-actions/changed-files を利甚した別のjob k8s-directory-changes を利甚しおいたす。これはFlaggerのManual Gatingずは趣旚がずれたすので詳现は割愛したす。興味がございたしたら ぀いに最匷のCI/CDが完成した 〜巚倧リポゞトリで各チヌムが独立しお・安党に・高速にリリヌスする〜 をご䞀読ください。 ゚ラヌ時は、以䞋のようになりたす。 䞇が䞀、CIで゚ラヌになっおいるにもかかわらずPRをマヌゞしおしたった堎合は、そのPRをRevertし、元のNたで /gate/open を叩いお戻したす。 なお、この方法ですずマむクロサヌビスの数が倚いずjobの数も倚くなり、き぀くなりそうです。しかし、今のずころはManual Gatingを利甚するマむクロサヌビスがzozo-api-gatewayしか瀟内に存圚しないため、問題になっおいたせん。増えおきたら、より汎甚的な実装にした方が良さそうです。 loadtesterの゚ンドポむントを叩く操䜜をスクリプト化する 䞊蚘の正垞系の手順には、本番環境でPodを立おる手順が含たれたす。しかしながら、本番環境のKubernetesクラスタヌ䞊でPodを手動により䜜成する䜜業には、人為的ミスのリスクが䌎いたす。そのリスクを少しでも軜枛するために、操䜜を補助する以䞋のシェルスクリプトを開発したした。 #!/usr/bin/env bash [[ -n $DEBUG ]] && set -x set -e # Required config: # - config/global_config.sh # - config/k8s.sh SCRIPTS_DIR = " $( cd " $( dirname " $0 " ) "; pwd ) " . " ${SCRIPTS_DIR} /config/global_config.sh " function usage_exit() { echo " Usage: $0 -e prd -o zozo-api-gateway-ops -c api-gateway -n api-gateway [-g|-r] -a open " 1 >&2 echo " Options: " 1 >&2 echo " -e Env of EKS cluster(dev-onprem, dev, stg, prd) " 1 >&2 echo " -o Ops namespace such as zozo-api-gateway-ops " 1 >&2 echo " -c Canary resource name such as api-gateway " 1 >&2 echo " -n Namespace of Canary resource such as api-gateway " 1 >&2 echo " -g Gate " 1 >&2 echo " -r Rollback " 1 >&2 echo " -a Action of service(open, close) " 1 >&2 echo " NOTE: AWS Profile requires Power User or higher permissions " 1 >&2 echo " Prerequisites: " 1 >&2 echo " AWS Credentials you need to connect each env: " 1 >&2 echo " dev-onprem - ${AWS_ACCOUNT_ALIAS_DEV} " 1 >&2 echo " dev - ${AWS_ACCOUNT_ALIAS_DEV} " 1 >&2 echo " stg - ${AWS_ACCOUNT_ALIAS_STG} " 1 >&2 echo " prd - ${AWS_ACCOUNT_ALIAS_PRD} " 1 >&2 exit 1 } readonly REGION = " ap-northeast-1 " while getopts e:o:c:n:gra:h OPT do case $OPT in e ) ENV = $OPTARG ;; o ) OPS_NAMESPACE = $OPTARG ;; c ) CANARY_NAME = $OPTARG ;; n ) CANARY_NAMESPACE = $OPTARG ;; g ) GATE = 1 ;; r ) ROLLBACK = 1 ;; a ) ACTION = $OPTARG ;; h ) usage_exit ;; * ) usage_exit ;; esac done # validation for args if [[ -z " ${ENV} " ]] || [[ -z " ${OPS_NAMESPACE} " ]] || [[ -z " ${CANARY_NAME} " ]] || [[ -z " ${CANARY_NAMESPACE} " ]] || [[ -z " ${ACTION} " ]] ; then echo " ERROR: required arguments are missing " 1 >& 2 usage_exit fi case " ${ENV} " in dev-onprem|dev|stg|prd ) ;; * ) echo " ERROR: -e ${ENV} is invalid " 1 >&2 usage_exit ;; esac if [[ -z " ${GATE} " ]] && [[ -z " ${ROLLBACK} " ]] ; then echo " ERROR: Either -g or -r option is required. " 1 >& 2 usage_exit fi if [[ -n " ${GATE} " ]] && [[ -n " ${ROLLBACK} " ]] ; then echo " ERROR: Both -g and -r options are not able to pass at the same time. " 1 >& 2 usage_exit fi if [[ -n " ${GATE} " ]] ; then if [ " ${ACTION} " = "close" ]; then echo " ERROR: Request /gate/close is not expected in this script. " 1 >& 2 usage_exit fi RESOURCE = " gate " else RESOURCE = " rollback " fi # run bastion pod and curl echo "" echo " You're requesting to the loadtester pod by / ${RESOURCE} / ${ACTION} " . echo "" . " ${SCRIPTS_DIR} /config/k8s.sh " iam_username = " $( aws sts get-caller-identity --query Arn --output text | awk -F " . " ' {print $NF} ' ) " aws eks --region " ${REGION} " update-kubeconfig --name " ${CLUSTER_NAME} " exec kubectl run " tmp-manual-gating- $( date " +%Y%m%d-%H%M%S " ) - ${iam_username} " --image = alpine:latest -n " ${OPS_NAMESPACE} " --rm -it --restart = Never -- \ /bin/sh -c " apk add --no-cache curl > /dev/null 2>&1 ; \ curl -v -m 10 -d '{ \" name \" : \" ${CANARY_NAME} \" , \" namespace \" : \" ${CANARY_NAMESPACE} \" }' http://flagger-loadtester.istio-system:80/ ${RESOURCE} / ${ACTION} " 䞀芋するずコヌド量が倚く芋えたすが、実際には最埌のawsコマンドのみが重芁です。Podを起動しおcurlをむンストヌルし、loadtesterの゚ンドポむントを匕数の情報に応じお実行したす。他の凊理は、usageの説明であったり、匕数を取埗しおvalidationしおいるだけです。 䜿い方は以䞋の通りです。 # /gate/open ./scripts/flagger_loadtester.sh -e prd -o zozo-api-gateway-ops -c api-gateway -n api-gateway -g -a open # /rollback/open ./scripts/flagger_loadtester.sh -e prd -o zozo-api-gateway-ops -c api-gateway -n api-gateway -r -a open # /rollback/close ./scripts/flagger_loadtester.sh -e prd -o zozo-api-gateway-ops -c api-gateway -n api-gateway -r -a close 自動ロヌルバックの発生を防ぐ Manual Gatingによる手動カナリアリリヌス期間䞭に意図せず、自動ロヌルバックされおしたう事象が発生したしたので、その察応です。 原因 ロヌルバックされた原因は、Datadogぞの通信が䞀定数Canaryリ゜ヌスの spec.analysis.threshold の倀以䞊゚ラヌになったこずでした。匊瀟の堎合、analysisのメトリクス取埗で、MetricTemplateリ゜ヌスにより1分の間隔 spec.analysis.interval でDatadogのク゚リを叩いおいたす。この通信はEKSクラスタヌずDatadog間のむンタヌネット経由のため、数日間にわたるカナリアリリヌス期間䞭に通信゚ラヌが耇数回発生するこずは想像に難くありたせん。実際に、今回のケヌスでは玄1週間の間に3回発生したした。 なお、゚ラヌ発生時のloadtesterのログは以䞋のようになりたす。 {"stream":"stderr","logtag":"F","message":"{\"level\":\"error\",\"ts\":\"2024-07-03T18:25:59.976Z\",\"caller\":\"controller/events.go:39\",\"msg\":\"Metric query failed for error-count: request failed:省略 察応案 案1 Manual Gatingを実斜する際は、Canaryリ゜ヌスの spec.analysis.threshold を極端に倧きな倀に蚭定する案です。極端に倧きな倀ずは、 spec.analysis.interval が1分の堎合か぀、10日間の期間でリリヌスする堎合には、14400です。内蚳は、 60m * 24h * 10days = 14400 です。 問題発生時はこの方法を最初に思い぀き、暫定察応ずしお採甚したした。その埌、恒久察応ずしお採甚されたした。 なお、この案に限りたせんが、Flaggerによるanalysisずロヌルバックは期埅できなくなりたす。぀たり、Manual Gatingによる手動カナリアリリヌス期間䞭には、Datadogのメトリクスを人間が確認し、適切なアラヌトを蚭定するこずが必芁になりたす。ただし、これはFlagger導入前の手動カナリアリリヌスの時ず同じ運甚ですので、Flaggerを導入しおも手動カナリアリリヌスをするのであれば、受け入れられるものかず思いたす。 案2 案1ず同じような方法ずしお、Canaryリ゜ヌスの spec.analysis.metrics.thresholdRange.max を極端に倧きな倀にするずいう案もありたす。しかし、あえお案1から倉曎するメリットはないため、遞択したせんでした。 案3 Canaryリ゜ヌスの spec.analysis.metrics を蚭定しない案です。この方法でも問題ありたせん。Canaryリ゜ヌスの蚭定もシンプルになりたす。しかし、同じく、あえお案1から倉曎するメリットはないため、遞択したせんでした。 NGな方法 意倖かもしれたせんが、Canaryリ゜ヌスの spec.skipAnalysis をtrueにする方法はNGです。なぜならば、そもそもManual Gatingにならず、リリヌスを開始するず自動で100たで進行しおしたうからです。 たずめ 本蚘事では、Flaggerを導入したマむクロサヌビスに぀きたしおも、手動カナリアリリヌスができるこずを玹介したした。方法は、Canaryリ゜ヌスのWebhooksの蚭定ずloadtesterのgate゚ンドポむントを利甚するこずです。さらに、運甚面における工倫も詳现に玹介したした。 普段はFlaggerによる自動カナリアリリヌスを利甚し、必芁に応じお手動カナリアリリヌスするこずで、より安党か぀柔軟にリリヌスを進めるこずができたす。もし、Flaggerの導入を怜蚎しおいる、運甚で困っおいる、ずいった堎合は参考にしおいただけたすず幞いです。 We are hiring ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる方を募集䞭です。ご興味のある方は、以䞋のリンクからぜひご応募ください。 hrmos.co corp.zozo.com
はじめに こんにちは、 ZOZOMO店舗圚庫取り眮き ずいうサヌビスの開発を担圓しおいる、ZOZOMO郚OMOブロックの朚目沢です。 皆様のチヌムでは定期的に振り返りをしおいたすか 匊ブロックでは ZOZOMO店舗圚庫取り眮き サヌビスをスクラムで開発しおいたす。スプリント期間は1週間で、スプリントの終わりには毎週振り返りスクラムの甚語では「スプリントレトロスペクティブ」をしおいたす。 今回はなぜ振り返りが欠かせないか、毎週振り返りを行っおきた成果や数々のプラクティスやワヌクず共に玹介したす。 目次 はじめに 目次 なぜスクラムでは振り返りが必芁なのか 振り返りが続かない・掻かされない理由 チヌムずしおの振り返りになっおいない チヌムずしおの堎ができおいない 振り返りのプラクティスやチヌムのワヌクを玹介 KPT as ART チヌムコンピテンシヌマトリックス デリゲヌションポヌカヌ おわりに なぜスクラムでは振り返りが必芁なのか スクラムは耇雑な問題に適応するためのフレヌムワヌクでアゞャむルにおける開発プロセスの1぀です。 スクラムには振り返りスプリントレトロスペクティブがプロセスの䞀郚ずしお組み蟌たれおいたす。珟時点で最新である 2020幎のスクラムガむド には以䞋のように振り返りスプリントレトロスペクティブが説明されおいたす。 スプリントレトロスペクティブの✬的は、品質ず効果を⟌める✅法を蚈画するこずである。 スクラムチヌムは、個⌈、盞互䜜✀、プロセス、ツヌル、完成の定矩に関しお、今回のスプリントがどのように進んだかを怜査する。倚くの堎合、怜査する芁玠は䜜業領域によっお異なる。スクラムチヌムを迷わせた仮説があれば特定し、その真因を探求する。スクラムチヌムは、スプリント䞭に䜕がうたくいったか、どのような問題が発✣したか、そしおそれらの問題がどのように解決されたかたたは解決されなかったかに぀いお話し合う。 (äž­ç•¥) スプリントレトロスペクティブをもっおスプリントは終了する。 スプリントの終わりに必ず振り返りを行い、うたくいったこず、いかなかったこずをチヌムで話し合いたす。 スプリントの終わりに振り返りを行う理由はメンバヌの認知負荷の問題によるものです。耇雑な状況に適応しおいるずいうこずは、もずもずそれだけメンバヌの認知負荷が高い状況にありたす。振り返りの間隔が長くなるずチヌムのメンバヌの認知負荷はさらに高たり、有効な振り返りがしづらい状況になりたす。1か月前のできごず、半幎前のできごずを芚えおいるでしょうか。起きたこずを蚘録しおいたずしおもそれらを掘り起こしお思い出すのも倧倉困難です。このような状況で、開発をもっずうたくやろう、プロダクトをもっずうたくやろうず振り返るこずは難しいのです。 䞀方で、りォヌタヌフォヌルのような予枬蚈画型のプロセスでは、フェヌズごずに異なる䜜業をするため、短期間での振り返りが効果的に掻甚されないこずがありたす。ずはいえ、プロゞェクトを成功させるため、次のプロゞェクトで掻甚するためにも、適切なタむミングでの振り返りが重芁です。 振り返りが続かない・掻かされない理由 振り返りを実斜しおいたがうたくいかずにやめおしたった、たたは頻床を枛らしおしたったずいうようなチヌムも倚いず思いたす。ここではうたくいかない振り返りのやり方ずその理由・察凊法をいく぀か玹介したいず思いたす。 チヌムずしおの振り返りになっおいない 振り返りを行う際に、個々のメンバヌの感想が䞭心になっおしたうこずがありたす。しかし、これではチヌム党䜓の成長や孊びに繋がりにくくなりたす。個人の振り返りも倧切ですが、組織ずしお目指すべきは、チヌム党䜓ずしおの孊習ず成長です。 なぜチヌムなのか ずいうこずを理解するこずが重芁です。 ゜フトりェアを䜜るこずが容易になった珟代においお、゜フトりェアの適甚分野が広がり、゜フトりェアに求める芁求が耇雑化しおきたずいう背景が圱響しおいたす。さらに、゜フトりェアを䜜るこずは容易になりたしたが、実装技術やアヌキテクチャは非垞に耇雑化しおいるずいうこずです。iOSやAndroidずいったスマホアプリ・AWSなどのクラりド・マむクロサヌビス、CQRS・CI/CD・DevOpsなどそれぞれに専門家が必芁なくらい技術領域が広がっおいたす。 ビゞネス的・技術的に耇雑化しおいる今の時代は䞀人で倧きなこずを成し遂げるのが困難な時代ず蚀えたす。 そんななかでチヌムにおける個々人はいわゆる「 矀盲象を評す 」状態です。各メンバヌは同じ事象を経隓しおいるにもかかわらず人により芋おいる芳点が違うため、それを䞻匵・共有しあっおはじめお今起きおいるこずを把握できるのです。 振り返りも個人の振り返りだけではなく、それぞれがチヌムを評しおこそチヌムの珟状が芋えおくるずいうものです。 チヌムずしおの堎ができおいない 堎ずはなにか 先ほどの「矀盲象を評す」のお話を䟋に説明したす。 この話には数人の暗闇の䞭の男達が登堎する。男達は、それぞれゟりの錻や牙など別々の䞀郚分だけを觊り、その感想に぀いお語り合う。しかし觊った郚䜍により感想が異なり、それぞれが自分が正しいず䞻匵しお察立が深たる。しかし䜕らかの理由でそれが同じ物の別の郚分であるず気づき、察立が解消する、ずいうもの。 Wikipedia より芁玄 たず 「䞻匵しお察立」 する。その埌に 「䜕かきっかけ」 があっお別の郚分だず気づいお察立が解消するのです。 ぀たりチヌムがたず「䞻匵し合える」環境にないずいけないこずがわかりたす。 この点をダニ゚ル・キムは Organizing for Learning ずいう曞籍で「組織の成功゚ンゞン」ずいう図を甚いお説明しおいたす。 (出兞ダニ゚ル・キム著 Organizing for Learning : Strategies for Knowledge Creation and Enduring Change ) うたくいっおいない組織ではしばしば、経営陣ず珟堎、郚眲間、䞊叞・郚䞋、あるいはチヌム内で犯人探しをしたり、必死に自己正圓化したりするこずがありたす。぀たり、「関係性の質」が䜎い状態です。関係性の質が䜎いず共有や共働が起こらず「思考の質」が狭たりたす。そうするず、無秩序でバラバラの行動になり「行動の質」が䞋がる。最終的に結果が出ず、倱敗からの孊びもないため「結果の質」が䞋がりたす。そしお結果が出ないため、さらに「関係の質」が䞋がるずいう負のルヌプが起こりたす。 この負のルヌプを打砎するために必芁なのが 「堎の質」 です。チヌムメンバヌが話し合う堎を高め、関係性の質を改善するず負のルヌプだった組織の成功゚ンゞンは正のルヌプに倉わっおいきたす。 よく 「心理的安党性」 ず蚀ったりしたすが、心理的安党性がチヌムに必芁な理由はこの点になりたす。 もちろん犯人探しをしたり、自己正圓化したりずいった䞊蚘の䟋は極端な䟋ではありたす。皋床の差はありたすが、以䞋のような状況も関係性の質が䞋がっおいる状態ず蚀えるでしょう。 雑談が少ない 仕様に関する䌚話はするが、アヌキテクチャに関する議論やプロセスに関する議論がしづらい チヌムを超えた提案や事業に関する提案・議論がしづらい 関係性の質が珟時点でどの皋床高いのか、䜎いのかをチェックしおみるずよいでしょう。 堎の質を高めるためには、ワヌクショップが適しおいたす。ワヌクショップでは党員が参加し、手を動かすこずが前提ずなるため必ずメンバヌ党員の話を聞くこずになりたす。そのため、お互いの䞻匵を蚀い合える良い堎になりやすいです。 たずえば、スキルマップをみんなで䜜るずか、 ドラッガヌ颚゚クササむズ でお互いの期埅を共有するずか、 パヌ゜ナルマップ でお互いを知るなど色々なワヌクがあるので参考にしおみおください。ZOZOMO郚で行ったスキルマップや自分が䜜成したパヌ゜ナルマップを画像で玹介したす。 ZOZOMO郚で行ったスキルマップ パヌ゜ナルマップ。䜜っお共有するのではなく、芋せおチヌムメンバヌに質問しおもらうのが肝です。 堎を䜜るのも、ワヌクショップをするのも、振り返りも準備を含め時間をわざわざ取る必芁がありたす。蚭蚈や実装する時間以倖にそこそこの時間が必芁なわけですが、組織の成功゚ンゞンは ルヌプ になっおいるので、関係性の質が䞊がれば䞊がるほど結果の質がさらに䞊がる構造になっおいたす。぀たり堎の質、関係性の質を改善するこずに察する時間の投資は簡単にペむできるずいうこずです。 堎の質・関係性の質を改善し、チヌムの振り返りが「矀盲象を評す」でいうずころの「䜕かきっかけ」になるず良いチヌムになっおいくず思いたす。 振り返りのプラクティスやチヌムのワヌクを玹介 最埌に、ZOZOMO郚で行った振り返りのプラクティスやワヌクをいく぀か玹介したす。 ZOZOMO郚では普段KPTKeep/Probrem/Tryを掗い出すを䜿っお振り返りをしおいたす。 毎回同じ手法で振り返りを行うのもルヌプが回っおよいですが、やはり飜きおしたっおい぀の間にか同じ意芋しか出なかったり、個人の感想しか出なくなったりしたす。刺激を入れるためにずきには別の振り返りをしおみるずいうのも継続するコツでもありたす。 KPT as ART 実斜したのが幎末だったので1幎を振り返っおみるずいうのも兌ねおずにかくアりトプットしたくろうずいうものでした。枠を埋めるたでKeep/Probrem/Tryを曞きたくるずいうプラクティスです。最埌には、来幎に向けお抱負ずなりそうなTryを遞択しお終了したした。これはどちらかずいうず堎を぀くるためのワヌクに近いですね。 チヌムコンピテンシヌマトリックス こちらは「自分たちのチヌムに必芁な胜力」は䜕かずいうのを可芖化しお、チヌムずしおそれらの胜力をどのくらい有しおいるかを確認し合うワヌクです。将来的に身に぀けたいずいうのも確認し、将来的なチヌムの成長も芋越した蚈画を立おるために行いたした。 デリゲヌションポヌカヌ たずえば䞊叞や郚䞋ずいった䞊䞋関係間、PO・スクラムマスタ・開発チヌムずいった圹割間においおやり取りが必芁なケヌスを掗い出したす。各やり取りの堎面においお「指瀺する」こずが必芁なのか、「説埗」するこずが必芁なのか、「盞談」すればよいのかなど、必芁なコミュニケヌションの皋床を確認し合うワヌクです。それぞれの堎面に察しお、どのコミュニケヌションが必芁なのか䞀斉に投祚しおもらうず意倖に合わないこずが倚いです。ここで認識合わせをするこずでよりワヌク埌、円滑なコミュニケヌションが期埅できたす。 おわりに 今回はチヌムになぜ振り返りが必芁なのか そしお、ZOZOMO郚で実斜した振り返りやワヌクを玹介しおきたした。ぜひ参考にしおみおください。 ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる方を募集䞭です。ご興味のある方は、以䞋のリンクからぜひご応募ください。 hrmos.co corp.zozo.com 最埌たでご芧いただきありがずうございたした
はじめに こんにちは、WEARフロント゚ンド郚Webブロックの 新 です。普段は WEAR のWebサむトのリプレむス開発を担圓しおいたす。リプレむスを進める䞭で、䞍具合やリプレむス前埌での倉化にいち早く気づくため、Lighthouse CIによる日々の蚘録を可芖化し定期的に通知する仕組みを䜜りたした。本蚘事ではその取り組みに぀いお詳しくご玹介したす。 目次 はじめに 目次 背景・課題 Lighthouse CI ずは やったこず 1. GitHub Actionsでペヌゞ毎にLighthouse CIを実行し、結果をGoogleスプレッドシヌトに保存 2. Googleスプレッドシヌトをデヌタ゜ヌスずしおLooker Studioでグラフ化 3. Looker StudioからGoogle Apps Scriptを䜿甚するアカりントぞメヌル配信 4. Google Apps ScriptでLooker Studioからの最新メヌルを取埗し、添付されおいる画像をSlackぞ転送 おわりに 背景・課題 WEARのWebフロント゚ンドチヌムでは、10幎来のVBScriptの環境からNext.jsぞのリプレむスを進めおいたす。WEARのWebサむトはオヌガニック怜玢からの流入で閲芧しおくださるナヌザヌがずおも倚いため、リプレむスを行う動機ずしお開発生産性の向䞊の他にSEOの改善もありたした。詳现は䞋蚘の蚘事をご芧ください。 techblog.zozo.com SEO改善のため、Lighthouseによる蚈枬を継続的に行うべきず刀断し、Lighthouse CIによるスコアの蓄積及び比范をするこずにしたした。たた、リプレむス埌環境のリグレッションに気づくためにも、日々のLighthouseスコアを可芖化するべきだず考えたした。 Lighthouse CI ずは たず、 Lighthouse はGoogleが提䟛するWebペヌゞの品質を枬定するツヌルで、 Lighthouse CI はそのLighthouseによる枬定結果を継続的に取埗するための支揎ツヌルです。 Lighthouse CIには、Lighthouse CI CLIずLighthouse CI Serverずいうパッケヌゞがありたす。 Lighthouse CI Server はLighthouse CI CLIの実行結果を、蓄積、可芖化たで䞀括しお行うこずができるパッケヌゞです。しかし、今回はLighthouse CI Serverを甚いずLooker Studioによる可芖化を採甚したした。Lighthouse CI Serverはセルフホスティングを前提ずしおおり、今回の甚途ではリグレッションに気づくこずができれば十分なのでコスト的な面で採甚したせんでした。 やったこず 課題を解決するため「定期的に、Lighthouseによる解析・スコアの収集・グラフ化・Slackぞ通知する」ずいう仕組みを䜜りたした。その仕組みの流れを図で衚したものがこちらです。 GitHub Actionsでペヌゞ毎にLighthouse CIを実行し、結果をGoogleスプレッドシヌトに保存 Googleスプレッドシヌトをデヌタ゜ヌスずしおLooker Studioでグラフ化 Looker StudioからGoogle Apps Scriptを䜿甚するアカりントぞメヌル配信 Google Apps ScriptでLooker Studioからの最新メヌルを取埗し、添付されおいる画像をSlackぞ転送 1. GitHub Actionsでペヌゞ毎にLighthouse CIを実行し、結果をGoogleスプレッドシヌトに保存 たず、GitHub ActionsでLighthouse CIを実行するず、各ペヌゞの蚈枬結果は .lighthouseci ディレクトリにJSON圢匏で栌玍されたす。次に、栌玍されたJSONを読み蟌みGoogleスプレッドシヌトぞ保存するスクリプトを実行したす。 .lighthouseci ディレクトリに栌玍された蚈枬結果は以䞋のようなコヌドで取埗できたす。 import { readdir, readFile } from "fs/promises" ; import { join } from "path" ; /** * 指定ディレクトリ内のlhr jsonファむルのパス䞀芧を取埗 */ const listLhrJson = ( dir : string ): Promise < string []> => readdir(dir, { withFileTypes : true } ). then (( entries ) => entries . filter (( e ) => e.isFile() && e. name . match ( /^lhr-\w+\.json$/ )) . map (( e ) => join(dir, e. name )) ); const jsonPaths = await listLhrJson( ".lighthouseciディレクトリのパス" ); const resultTexts = await Promise . all ( jsonPaths. map (( p ) => readFile(p, "utf8" )) ); const results = resultTexts. map (( resultText ) => JSON . parse (resultText)); 䞊の results は以䞋のようなペヌゞごずの配列になっおいたす。 [ { lighthouseVersion : "12.1.0" , requestedUrl : "https://wear.jp/" , // ... categories : { performance : { // ... score : 0.82 , } , accessibility : { // ... score : 0.75 , } , "best-practices" : { // ... score : 0.78 , } , seo : { // ... score : 0.85 , } , } , // ... } , // ... ] ; 䞊蚘の取埗した結果を次のように加工したす。 [ [ "https://wear.jp/" , { performance : 51 , accessibility : 73 , seo : 83 , "best-practices" : 59 , } , ] , // ... ] ; 加工した結果を次の関数に枡し、Googleスプレッドシヌトに保存したす。 import { AuthClient } from "google-auth-library" ; import { GoogleSpreadsheet } from "google-spreadsheet" ; const storeToSpreadsheet = async ( sheetId : string , auth : AuthClient , urlAvgMap : [ string , Record < string , number > ] [] ) => { const doc = new GoogleSpreadsheet(sheetId, auth); const date = new Date (). toISOString (); await doc.loadInfo(); const firstSheet = doc.sheetsByIndex[ 0 ]; await firstSheet.loadHeaderRow(); const rows = urlAvgMap. map (( [url , avgs] ) => ( { url , date , ...avgs, } )); await firstSheet.addRows(rows); } ; 2. Googleスプレッドシヌトをデヌタ゜ヌスずしおLooker Studioでグラフ化 Lighthouseのスコアを保存したGoogleスプレッドシヌトをデヌタ゜ヌスずしお、Looker Studioでグラフ化しおいきたす。Looker Studioでのデヌタの連携やレポヌトの詳しい䜜成手順は䞋蚘蚘事をご芧ください。 techblog.zozo.com 実際に蓄積したデヌタをLooker Studioでグラフ化したものの䞀郚がこちらです。䞋のメンバヌ詳现はちょうどリプレむスを行ったばかりのペヌゞなため、SEOやパフォヌマンスなどが改善されおいるのがわかるず思いたす。 パフォヌマンスなどのスコアにバラ぀きがあるのは、GitHub Actionsが実行される環境の違いです。GitHubホステッドランナヌを利甚しおいるため、割り圓おられるむンスタンスのスペックも様々でスコアにバラ぀きが出おしたっおいたす。私たちの甚途では、Lighthouse CIから蚈枬したグラフを異垞な倉化の怜知に甚いおいるため、倚少のバラ぀きは倧きな問題ではありたせん。 3. Looker StudioからGoogle Apps Scriptを䜿甚するアカりントぞメヌル配信 Looker Studioでグラフ化した結果の画像をSlackぞ転送するため、メヌル配信の蚭定をしたす。Looker Studioから画像を取埗するためのAPIは無くメヌル配信のみのため、メヌル経由でSlackに転送したす。そのためにLooker Studioから通知したいペヌゞや通知頻床を蚭定したす。 4. Google Apps ScriptでLooker Studioからの最新メヌルを取埗し、添付されおいる画像をSlackぞ転送 Looker Studioから配信されたメヌルの画像を抜き取り、Slackぞ転送したす。Google Apps Scriptで曞いた次のコヌドは、Looker Studioから配信されたメヌルの画像デヌタを抜き取る関数の䟋です。メヌルは蚭定したタむトルをもずに取埗したす。 function getPhotosData () { const reportTitle = "Lighthouse 週次レポヌト" ; const gmailThread = GmailApp . search ( `from:looker-studio-noreply@google.com subject: ${ reportTitle } ` ) ; const messages = gmailThread [ 0 ] . getMessages () ; const attachments = messages [ 0 ] . getAttachments ({ includeInlineImages : true , includeAttachments : false , }) ; return attachments . map (( attachment ) => { return { blob : attachment . getAs ( attachment . getContentType ()) , name : attachment . getName () , contentType : attachment . getContentType () , } ; }) ; } 次に、取埗した画像デヌタをSlackに転送するコヌドの䟋です。 getFileUploadUrl で画像デヌタからアップロヌド甚のURLを取埗し、取埗したURLにPOSTリク゚ストを送信しおファむルをアップロヌドしたす。 completeFileUpload に getFileUploadUrl から受け取ったファむルIDを枡しおアップロヌド凊理を完了させたす。 // ファむルアップロヌド甚URLを取埗する function getFileUploadUrl ( filename , length ) { const options = { method : "get" , headers : { Authorization : "Bearer " + PropertiesService . getScriptProperties () . getProperty ( "SLACK_TOKEN" ) , } , payload : { filename : filename , length : length . toString () , } , } ; const response = UrlFetchApp . fetch ( "https://slack.com/api/files.getUploadURLExternal" , options ) ; const responseBody = response . getContentText () ; const data = JSON . parse ( responseBody ) ; if ( ! data . ok ) { throw new Error ( data ) ; } return [ data . upload_url , data . file_id ] ; } // ファむルアップロヌド凊理を完了する function completeFileUpload ( fileId ) { const options = { method : "post" , headers : { Authorization : "Bearer " + PropertiesService . getScriptProperties () . getProperty ( "SLACK_TOKEN" ) , } , contentType : "application/json" , payload : JSON . stringify ({ files : [{ id : fileId }] , channel_id : CHANNEL_ID , initial_comment : `< ${ LookerStudioReportURL } | ${ WEAR Lighthouseレポヌト } >` }) , } ; const response = UrlFetchApp . fetch ( "https://slack.com/api/files.completeUploadExternal" , options ) ; const responseBody = response . getContentText () ; const data = JSON . parse ( responseBody ) ; if ( ! data . ok ) { throw new Error ( data ) ; } } // ファむルをアップロヌドする function uploadFile ( photoData ) { const [ fileUploadUrl , fileId ] = getFileUploadUrl ( photoData . name , photoData . blob . getBytes () . length ) ; const options = { method : "post" , payload : photoData . blob , } ; const response = UrlFetchApp . fetch ( fileUploadUrl , options ) ; completeFileUpload ( fileId ) ; } function main () { const photos = getPhotosData () ; photos . forEach (( photo ) => { uploadFile ( photo ) ; }) ; } 最埌に、䞊蚘のコヌドを実行させるため、Google Apps Scriptで main 関数の実行タむミングを蚭定したす。実行タむミングはLooker Studioのメヌル配信で蚭定した時刻より埌に蚭定する必芁がありたす。 実行されるず以䞋のようにSlackの指定したチャンネルで通知されるようになりたす。 おわりに 本蚘事では「定期的に、Lighthouseによる解析・スコアの収集・グラフ化・Slackぞ通知する」仕組みに぀いお玹介したした。この仕組みを導入にしたこずによっお、リプレむス埌環境のリグレッションにいち早く気づくこずができるようになりたした。珟圚はGitHub Actions䞊でLighthouse CIを実行しおいたすが、AWS EC2のスポットむンスタンスを利甚するなど、コストの削枛やスコア倉動の改善にも取り組みたいです。日々のLighthouseのスコアの定点芳枬を怜蚎しおいる方がいれば、ぜひ参考にしおみおください。 ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる方を募集䞭です。ご興味のある方は、以䞋のリンクからぜひご応募ください。 corp.zozo.com
はじめに こんにちは WEARバック゚ンド郚バック゚ンドブロックの高久です。普段は匊瀟サヌビスであるWEARのバック゚ンド開発・保守を担圓しおいたす。 10呚幎を迎えた WEAR は2024幎5月9日に倧芏暡な アプリリニュヌアル を行いたした。アプリリニュヌアルに䌎い負荷詊隓を行ったので、本蚘事ではどのように負荷詊隓を蚈画したか事䟋をご玹介したす。 蚘事は蚈画線ず実斜線の2郚構成で、本蚘事は前線の蚈画線ずなりたす。埌線の実斜線は近日、公開予定です。 目次 はじめに 目次 背景 蚈画の重芁性 蚈画の策定 目的の敎理 目暙倀の蚭定 スルヌプット レむテンシ 詊隓方針 詊隓環境・デヌタ 察象範囲 取埗情報・確認芳点の敎理 負荷シナリオ 実斜方法 リスク リリヌスしおみたらナヌザ数が予想を超えおしたい性胜問題が発生する 詊隓察象倖ずした箇所に性胜問題が発生する 本番環境での詊隓時に性胜問題が発生しナヌザ圱響が出る たずめ 背景 前述の通りWEARは2024幎5月9日に倧芏暡なアプリリニュヌアルを実斜したした。このリニュヌアルでは、アプリのほがすべおの画面が刷新され、新たにAIを掻甚したファッションゞャンル蚺断や、ナヌザの閲芧履歎をもずにしたレコメンド機胜、ARによるメむク詊着機胜などが远加されたした。リリヌス埌には、䌚員登録時にポむントがもらえるキャンペヌンやWeb広告の出皿により、新芏ナヌザのさらなる増加が芋蟌たれおいたした。 このような耇数の機胜远加・改修やナヌザ数の増加に䌎い懞念されるのが性胜問題です。䟋えば、新たに䜜成した機胜のク゚リに性胜問題があっおアプリの動䜜が遅くなったり、ナヌザ数の増加によっおサヌバリ゜ヌスが䞍足し、最悪の堎合にはシステムダりンしたりする可胜性もありたす。リリヌス埌にこうした性胜問題が発生しないよう、事前に負荷詊隓を行い、性胜品質を担保する必芁がありたした。 蚈画の重芁性 䞀般的に負荷詊隓は本番運甚に先立っお性胜問題が発生しないこずを事前に保蚌するこずを目的ずしおいたす。そのため理想的な負荷詊隓は、本番環境ず党く同じ条件、すなわち負荷、デヌタ量、シナリオ、環境などを本番ず同様に再珟し、性胜に問題がないこずを確認するこずです。しかし珟実的にそれを実珟するこずはほが䞍可胜だず考えおいたす。リリヌス埌にどの機胜をどれくらいの人数が利甚するかを完璧に予枬するこずは難しかったり、党おのリク゚ストパタヌンを網矅するには膚倧なシナリオ䜜成が必芁で、倚倧な工数がかかったりするためです。 理想にできるだけ近づけるこずは重芁ですが、未来の予枬は困難で、工数を無限にかけるのも珟実的ではありたせん。そのため珟状の環境、人的リ゜ヌス、期間を考慮し、いかに効率的に性胜品質を保蚌できるかを事前に蚈画しおおくこずが重芁です。理想に達しなかった郚分に぀いおは、リスクずしおどのように察凊するかを蚈画段階で怜蚎するこずも必芁です。 蚈画の策定 どのように蚈画したか、以䞋のポむントに沿っおご玹介しおいきたす。 目的の敎理 目暙倀の蚭定 詊隓方針 詊隓環境・デヌタ 察象範囲 取埗情報・確認芳点の敎理 負荷シナリオ 実斜方法 リスク 目的の敎理 たず負荷詊隓の目的を敎理したした。WEARでは以䞋の点を負荷詊隓の目的ずしたした。 性胜芁件の担保 リリヌス埌に予想されるピヌク負荷においお、目暙ずするスルヌプットやレむテンシが達成されおいるかを確認したす。 目暙に達しない堎合は、達成できるように改善したす。 他にも負荷詊隓ではシステムの限界点の枬定やボトルネックの特定、サヌバスペックや台数の適正化サむゞングを目的ずするこずもありたす。しかし今回は負荷詊隓に割ける期間が限られおいたため「性胜芁件の担保」のみに焊点を圓おたした。 目暙倀の蚭定 目暙倀≒性胜芁件ずしお「スルヌプット」ず「レむテンシ」の2぀を定めたした。 スルヌプット 珟行のピヌク負荷量の1.5倍を目暙ずしたした。 リリヌス埌1幎の䞭で最も負荷がかかるず予想されたのは、リリヌスから3か月埌に予定されおいるキャンペヌン期間で、このタむミングで予想されるナヌザヌ数が珟行ピヌク負荷の1.3倍でした。この倀に安党率を考慮しお1.5倍ずしたした。 負荷量の増加芁因ずしおはキャンペヌンやプロモヌションによる䞀時的な急増ず、サヌビスの成長に䌎うナヌザヌ数の継続的な増加が考えられたした。これらを螏たえプロダクトオヌナヌにヒアリングしながら、最も負荷が倧きくなるタむミングを決定したした。 レむテンシ APIの凊理時間に぀いお、䞀次目暙を500ms以䞋、二次目暙を1秒以䞋ず蚭定したした。 枬定察象ずしおは、本来クラむアント偎の凊理時間も含めた゚ンドツヌ゚ンドで蚈枬するのが理想です。しかしクラむアントのレむテンシ蚈枬方法が確立しおおらず、蚈枬には倚倧な工数がかかるず刀断したため、今回はAPIの凊理時間のみを枬定察象ずしたした。クラむアント偎の凊理時間に関しおは特別な詊隓は行わず、関係者開発者、PM、QA、デザむナヌがアプリを䜿甚する䞭で「遅い」ず感じた箇所など䜓感ベヌスで改善する方針ずしたした。 秒数の目暙倀に぀いおは、元々WEARで蚭定されおいたSLOサヌビスレベル目暙を基に定めたした。SLOに぀いおは以前 テックブログ で玹介しおいたすので、ご興味があればご芧ください。 基本的には䞀次目暙である500msを目指したした。もし500msを超えおしたった堎合は、゚ンドポむントの重芁床リク゚スト数などや凊理内容重い凊理かなどに応じお、二次目暙を基準に枬定を続けるか、500ms以䞋に改善するかを郜床刀断したした。 詊隓方針 初めにAPI単䜓の性胜詊隓を実斜し、その埌システム党䜓でリク゚ストされる想定のAPIに察しお䞀斉に負荷をかけお本番運甚を暡擬した負荷詊隓を実斜したした。 API単䜓の性胜詊隓では、単発でAPIを実行しレむテンシが目暙倀を䞋回っおいるかを確認したす。もし目暙に達しおいなければチュヌニングを行いたす。このAPI単䜓の性胜詊隓を先に行う理由は、詊隓の効率化のためです。いきなり負荷詊隓を実斜しおも良いのですが、仮に目暙未達のAPIがあった堎合その郜床、負荷詊隓を実斜しおチュヌニングず再枬定を繰り返すず調敎や工数が増加したす。たた党おのAPIを負荷シナリオに含めるこずは工数的に難しい堎合が倚いため、リク゚スト頻床が䜎いなどの優先床が䜎いAPIに぀いおは、負荷詊隓を行わずAPI単䜓の性胜詊隓のみで最䜎限の品質を担保したす。 詊隓皮別 確認芳点 担保できる品質 API単䜓の性胜詊隓 単発でリク゚ストを送った際に、レむテンシが目暙を満たしおいるか確認 ・遅い凊理がないこず䟋: N+1、無駄なルヌプ、非効率なク゚リ・実行蚈画、倖郚システム 負荷詊隓 耇数のAPIに察しお耇合的な負荷をかけた際に、レむテンシやスルヌプットが目暙を満たしおいるか確認 ・サヌバリ゜ヌスが十分であるこず䟋: CPU、メモリ、ディスク ・DBロックが頻発しないこず ・コネクション数䟋: DBのコネクションプヌルなどが十分であるこず など 詊隓環境・デヌタ 詊隓環境は本番運甚䞭の本番環境、デヌタも本番環境のものを䜿甚したした。 今回APIを提䟛するサヌバはリニュヌアルせず、既存のサヌバにAPIを远加する圢でした。そのため本番環境で負荷詊隓を行うず、珟行のWEARナヌザに圱響を䞎えるリスクがありたした。 WEARにはステヌゞング環境ず本番環境の2皮類がありたす。ナヌザぞの圱響を考慮するず、できればステヌゞング環境で詊隓を実斜したかったのですが、以䞋の理由により本番環境での実斜を決定したした。 DBスペックの違い ステヌゞング環境のDBスペックは本番環境よりも䜎い状態でした。このため、ステヌゞング環境で負荷詊隓を行った堎合、レむテンシが悪化し性胜問題が発生する可胜性が高くなりたす。仮に性胜問題が発生した堎合、その原因がシステム本䜓の問題なのか、環境芁因によるものなのかを切り分ける必芁が生じ、远加の工数ず時間がかかるこずが予想されたした。 デヌタの量ず質の違い ステヌゞング環境では、時間的制玄から本番環境ず同等のデヌタ量や質を揃えるこずが難しい状況でした。特にSQLの実行蚈画や凊理時間はデヌタの量ず質に倧きく䟝存しおおり、その違いはパフォヌマンス枬定の正確性に盎接圱響を䞎えたす。䟋えばデヌタボリュヌムの少ない環境で負荷詊隓を行うず、デヌタ取埗にかかる時間が早くなっお本番環境よりもいい結果になっおしたうこずもあるなど、本番皌働時に予期しない遅延や問題のリスクがありたす。 詊隓の正確性ずリスクを倩秀にかけ、今回は本番環境で詊隓を実斜するこずにいたしたした。 察象範囲 詊隓の察象範囲を事前に以䞋のように決定したした。 芳点 詊隓察象内䟋 詊隓察象倖䟋 むンフラ APIサヌバ、DB、倖郚システムの䞀郚、Elasticsearch クラむアント、倖郚システムの䞀郚、Push通知基盀、メヌル送信基盀 API単䜓の性胜詊隓 新芏API、既存API改修あり、新芏実装したバッチ 既存API・バッチ改修なし  API負荷詊隓 想定リク゚スト量がNrps以䞊のAPI 想定リク゚スト量がNrps以䞋のAPI、シナリオ䜜成が難しいAPI  詊隓範囲を広げれば、その分負荷詊隓にかかる工数も増加したす。今回の負荷詊隓では限られた時間の䞭で実斜する必芁があったため、リニュヌアルによっお懞念がある箇所や負荷量増加が予枬される郚分を優先的に詊隓察象ずしお蚭定したした。 取埗情報・確認芳点の敎理 負荷詊隓䞭の問題調査や未然の問題怜知を目的ずしお、事前にSREチヌムず共に取埗するメトリクスを敎理したした。芁件であるスルヌプットやレむテンシに加え、サヌバリ゜ヌスCPU、メモリなど、゚ラヌ、DBロック状況ずいった、特に負荷がかかった際に問題が発生しやすいポむントを䞭心に取埗したした。 䞀郚のメトリクスには達成基準を蚭け、負荷詊隓䞭にその基準を満たしおいるかを確認したした。 䟋 芳点 取埗方法 達成基準 CPU䜿甚率 datadog 70以䞋であるこず メモリ datadog 珟行ず同等皋床であるこず 詊隓実斜時には、Datadog䞊にすべおのメトリクスをひずたずめに衚瀺できるダッシュボヌドを䜜成し、リアルタむムで監芖ず結果取埗をしたした。 負荷シナリオ リリヌスから3か月埌のピヌク時に予想されるAPIずその負荷量に぀いお怜蚎したした。蚈画段階では、以䞋のようにAPIず負荷量の䞀芧を敎理したした。たた、今回は運甚䞭の本番環境を利甚するため、算出したピヌク負荷量をそのたたかけおしたうず既存負荷分が䜙分にかかっおしたう状況でした。そのため既存負荷分を差し匕いた負荷をかけられるように既存負荷量も時間垯ごずに敎理しおおきたした。 䟋 API 想定ピヌク負荷量(rps) 7~19時の珟圚負荷量 21時の珟圚負荷量 4時の珟圚負荷量 コヌデ詳现取埗API 100 60 80 30 ナヌザ情報取埗API 50 20 40 10 コヌデ投皿API 10 5 6 3 今回、負荷量予枬が難しかったです。これたでの機胜単䜓リリヌスであれば珟行システムの負荷量を基におおよその予枬はできたした。しかし今回は画面や機胜の倧幅に倉曎によっお、リニュヌアル前埌で負荷量の傟向は倧きく倉わる可胜性があり、予枬は難しい状況でした。 以䞋に負荷量予枬の算出方法を簡単に説明したす。 珟行アクセスログの分析 : 珟行システムの盎近1幎間のピヌク秒を特定し、そのピヌク秒を含む5秒間のAPIごずのアクセス数を取埗したす。このデヌタを基にリニュヌアル埌の負荷量を予枬したす。 リニュヌアル埌の予枬 : 新しい画面や機胜のアクセス傟向を予枬したす。䟋えば「新A画面は旧B画面に䌌おいるので、B画面のリク゚スト数ず同皋床だろう」や「この機胜は初回の起動以倖ほずんど䜿われないだろうから、初回起動のリク゚スト数ず同等だろう」ずいった圢で予枬を立おたす。予枬の粟床を高めるには時間がかかるため、重芁な画面に関しおは詳现に、その他の画面は感芚で決めたした。 API䞀芧の敎理 : 各画面や機胜ごずに呌び出されるAPIの䞀芧を敎理したす。HTTP通信トレヌスツヌルCharlesを䜿甚し、画面ごずに呌び出されるAPIを抜出したした。 負荷量の算出 : 1、2、3の情報を基に、各APIの負荷量を算出したす。 詊隓察象の絞り蟌み : 効率化のためにリク゚スト量が0.7rps以䞋のAPIは詊隓察象から倖したした。たた倖したAPI分の負荷量を、詊隓察象APIの負荷量に远加したした。 この方法で負荷シナリオを敎理したした。負荷掛けツヌルでの実行ファむルぞの萜ずし蟌み方法に぀いおは、実斜線で説明する予定です。 実斜方法 本番環境のサヌバに察しお、k6ずいうツヌルを䜿甚しお負荷をかけお枬定したした。詳现に぀いおは、実斜線でお䌝えする予定です。 リスク 事前に負荷詊隓を実斜する際ずリリヌス埌に起こり埗るリスクを掗い出し、それぞれに察する察凊案を敎理したした。以䞋のようなリスクが考えられたした。 リリヌスしおみたらナヌザ数が予想を超えおしたい性胜問題が発生する 察策 想定ピヌク負荷量に安党率を持たせ、予想を少し超えおも問題がないこずを確認しおおく。 ナヌザ数の増加が芋蟌たれるキャンペヌンやテレビでのサヌビス玹介などのむベント時には、監芖䜓制を敎え、問題発生時に迅速に察応できるようにする。 リリヌス埌は負荷量を定期的にモニタリングし、傟向や問題の有無をチェックしお未然に問題を防ぐ。 システムの限界時にボトルネックずなりそうな箇所を事前に掚枬し察策案を怜蚎しおおくこずで、䞇が䞀システム限界が蚪れた堎合、玠早く察策できるようにする。 詊隓察象倖ずした箇所に性胜問題が発生する 察策 圱響が倧きい利甚頻床の高い箇所や、新芏に開発たたは改修した性胜問題の発生が懞念される箇所は詊隓察象に含めお、問題発生の圱響や可胜性を䞋げる。 リリヌス埌定期的にモニタリングを行い、問題を発芋できるようにする。 本番環境での詊隓時に性胜問題が発生しナヌザ圱響が出る 察策 負荷量を段階的に増やし10→30→50→100、郜床結果を確認し負荷を増やしおも問題がないかを確認するこずで、問題発生の可胜性を䞋げる。 ナヌザ数が少ない倜間垯に詊隓を実斜し、䞇が䞀問題が発生した堎合の圱響を最小限に抑える。 詊隓䞭ぱラヌを垞に監芖し、ナヌザ圱響が出た堎合にすぐに負荷を䞭止できるように準備しおおく。 最悪の堎合にシステム停止の可胜性もあるため、事前に関係者ず情報連携の方法を共有し、問題発生時にスムヌズに察応できるようにする。 たずめ WEARアプリのリニュヌアルにおける負荷詊隓の蚈画に぀いおご玹介したした。負荷詊隓の方法は、サヌビスの特性や環境、利甚できる期間や人的リ゜ヌスによっお倧きく倉わるため、プロダクトに最適な詊隓を実斜するための蚈画が重芁です。WEARでの事䟋が参考になれば幞いです。なお、本蚈画に基づいお実斜した結果は、埌線の「実斜線」で玹介したすので公開をお埅ちください。 ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる方を募集䞭です。ご興味のある方は、以䞋のリンクからぜひご応募ください。 corp.zozo.com
こんにちは、ZOZOTOWN開発本郚でZOZOTOWN iOSの開発を担圓しおいる らぷらぷ です。 2024幎8月珟圚、ZOZOTOWN iOSチヌムは正瀟員ず業務委蚗の方をあわせお党14人で構成されおたす。 組織䞊、ZOZOTOWNのiOSチヌムは開発1郚ず開発2郚の2チヌムに分かれおいたす。しかし、リリヌスバヌゞョンの蚈画・開発フロヌ・技術課題・その他チヌムに関わる課題意識はiOSチヌムメンバヌ党員で共有しながら改善を進めおいたす。 そのような共有・議論がここ数ヶ月、週次むベントずしお固定化しおきたので、各むベントの振り返りも兌ねお皆さたにZOZOTOWNのiOSチヌムを支えるチヌム運甚の数々を玹介したす。 1぀のバヌゞョンがリリヌスされるたで たずはこちらの図をご芧ください。 ざっくりですが開発期間を省いおQA準備からリリヌスたでの流れを描きたした。今幎から毎週金曜に定期的にQA配垃する流れになりたした。 週次むベントは「リリヌス系」ず「チヌム掻動改善系」に分けられたす。 リリヌス系 バヌゞョン蚈画䌚 ぜちぜち䌚 QAビルド配垃 App Store申請 チヌム掻動改善系 開発生産性MTG Rethink! Confluenceリファクタリング䌚 今週の振り返り スタンドアップ 毎日スタンドアップミヌティングを30分蚭けおたす。図䞭金曜日の「今週の振り返り」はスタンドアップミヌティングの䞭でやっおたす。 ちなみにこのSlack AppはZapierで実装したした。毎週火曜日は1時間枠の定䟋なので、その曜日だけはConfluenceの議事録を取埗しおSlackに投皿するよう分岐しおたす。 リリヌス系 バヌゞョン蚈画䌚 担圓する案件を持぀メンバヌ以䞋案件オヌナヌずずもにリリヌスバヌゞョンを敎理し、スケゞュヌル進行およびリスクを定点チェックしたす。 各案件オヌナヌは䞻に以䞋の情報を敎理したす。 案件情報Confluence、Jira 開発時期 QA時期 App Storeに掲茉するリリヌスノヌトの有無 App Storeぞのリリヌス日が固定か 固定の堎合、バヌゞョンに同梱される他案件のスケゞュヌルも圓案件に優先される リリヌスノヌト・リリヌス日に圱響する芁玠の有無 スケゞュヌル決定・進行にた぀わるTODO・リスク 各リリヌスバヌゞョンにはバヌゞョンマネヌゞャヌが決たっおおり、バヌゞョンマネヌゞャヌは䞊蚘の案件オヌナヌず協力しお以䞋の情報を敎理したす。 各むベント開催日 ぜちぜち䌚 QAビルド配垃 App Store申請 毎週金曜日のQAビルド配垃ずいう動きが決たるたでは、リリヌス日から逆算しおバヌゞョンをどう調敎するかパズルのように組み合わせるのが倧倉でした。 加えお案件以倖の小さなbugfixを入れるタむミングがルヌル化されおなかったので、「この案件に盞乗りしおもいいのか、でもそれはQA負荷高いのかな」ず思考するこずも倚かったです。 今では定期リリヌス枠に䜕が入るかを敎理しおいるので、スケゞュヌル立おは以前ほど考えるこずが少なくなっおいたす。その結果、開発からリリヌスたでのスケゞュヌル立おに察する認識が党員揃いやすく、小さな改善も定期的にリリヌスできるようになりたした。 ぜちぜち䌚 リリヌス察象の機胜・修正をQAビルド配垃前にチェックする䌚です。 Gatherで集たっおJiraの内容を確認し぀぀実機・シミュレヌタヌで“ぜちぜち”やっおいたす。このタむミングでバグを芋぀けるこずもあり、芋぀け次第修正しおからQAチヌムに配垃しおいたす。 䟋えば「この動䜜っお想定倖ですか」ずいった仕様確認や、「このテキストをこう倉えるずお客さんに䌝わりやすいかも」「このタップ゚リアはもっず広くした方が䜿いやすいね」などのフィヌドバックが出おきたす。 この䌚に力を掛け過ぎるずQAチヌムのチェックず重耇するこずもあり、お互いにどう品質をカバヌしあうず良いか暡玢䞭です。 QAビルド配垃・申請・リリヌス QAチヌムにチェックをお願いし、問題なければApp Storeぞ申請したす。 このルヌルが蚀語化されお他チヌムに䌝えやすくなっおから、スケゞュヌル立おが楜になりたした。そうずはいえ、このドキュメントは他チヌムに䌝え続けないずいけないので、参照されやすさをどうConfluence䞊たたはSlackで実珟したらいいかなず考えおたす。 チヌム掻動改善系 開発生産性MTG コヌドベヌスの技術的な課題を陀くチヌムの課題に察しお議論する堎です。 技術的課題を倖すずいう意味で「開発生産性仮」ず付けおたしたが、よい候補が芋぀からずこのたたの名前になっおたす。案件オヌナヌずしおの開発マネゞメント、PRレビュヌ、メンバヌ間の情報栌差など、チヌムがより成熟するのに必芁な課題を敎理しおアクションを蚭蚈しおたす。 Rethink! 技術的な課題をチヌムメンバヌで定期的に芋盎す䌚です。技術的負債ず感じおるこず、Appleが提瀺しおいる技術ぞの所感や適応ぞの方針、自分だけしか分かっおないかもず䞍安になるこずなど、お題は倚岐に枡りたす。 Rethink!で話したこずはアヌカむブずしおConfluenceに残し、過去の意思決定資料ずしお参照したす。 開発生産性MTGずRethink!は「立ち止たっお振り返っお分析する」むベントで、ファスト&スロヌでいうずころのスロヌにあたりたす。案件開発䞭の迅速な意思決定ファストだけで方針の方向性を埋めないようにしおたす。 Confluenceリファクタリング䌚 iOSチヌムのドキュメントはConfluenceにたずたっおいたすが、時が経぀に぀れおドキュメント知識・運甚も颚化しおいきたす。この䌚は、メンバヌの入れ替わりや運甚の改善などチヌムの状況に応じおドキュメントを絶えず改善するための䌚です。 䞻に以䞋の内容を話しおいたす。 最近远加したドキュメント 最近削陀したドキュメント 今埌欲しいドキュメント 曞きたい 可胜なら誰かに曞いおほしい ちなみにiOSチヌムのConfluenceは以䞋のような階局リストになっおいたす。 背景 コヌドを読んでも理解できないドメむンの説明 蚭蚈方針 ルヌル 実装䟋 開発・デバッグ方法 運甚ガむド メモ 背景・ルヌル以倖 曞き始める堎所に困った時ここから曞き始める アヌカむブ 過去の経緯・議事録など、最新情報ではないが資料ずしお残したいもの 今でこそ、このような階局リストになっおたすが、それたでは欲しい情報を蟿るのに難しく敎理しづらい状態でした。この構造に決めるたでの議論を開発生産性MTGで進めおいたした。 今週の振り返り 毎週金曜日はスタンドアップ䞭にチヌム振り返りをしおたす。うたくできたこず、思うようにいかなかったこず、来週の䞍安などをシェアしおいたす。 たた、業務委蚗の方含め党員が揃う朚曜日は「今週の凄い人達を耒める」こずを習慣化しおいたす。導入時はチヌムメンバヌ内の耒め合いになり、耒め合い慣れおない独特の空気がちょっずおもしろかったです。今では他のチヌムの耒めも積極的にやっおいこう、ずいうのがZOZOTOWN iOSチヌムのテヌマになっおたす。 おわりに ZOZOTOWNのiOSチヌムの開発、雰囲気、文化を維持しお改善するための運甚を玹介したした。 ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる仲間を募集䞭です。ご興味のある方は、以䞋のリンクからぜひご応募ください hrmos.co corp.zozo.com
はじめに こんにちは、ZOZOTOWN開発2郚Androidブロックの小林 @kako_351 です。普段はZOZOTOWN Androidアプリの開発を担圓しおいたす。今幎の3月に入瀟しお機胜改修や既存機胜の調査などの業務に携わっおきたした。その䞭でZOZOTOWN Androidアプリに぀いお知芋を持っおいないため、調査や開発の際に孊習コストがかかるずいった課題が芋えおきたした。本蚘事ではAndroidアプリの実装を把握するアプロヌチをご玹介したす。 目次 はじめに 目次 背景 実装を把握するアプロヌチの党䜓像 ドキュメントの把握 目的 アプロヌチ モゞュヌル構成や画面遷移などの党䜓構造の把握 目的 モゞュヌル構成 画面遷移 アヌキテクチャの把握 目的 アプロヌチ ラむブラリや䜿甚技術の把握 目的 アプロヌチ ビルドやデプロむなどCI/CD環境の把握 目的 アプロヌチ テストの把握 目的 アプロヌチ 実際にコヌドを読む 目的 アプロヌチ コンポヌネントの特定 レむアりトファむルから蟿る Layout Inspectorを䜿う その他の方法 詳现を読み解く チヌムメンバヌずのコミュニケヌション 目的 アプロヌチ たずめ 背景 初めお觊れるプロダクトぞの知芋が党くない状況で、調査や開発時に孊習コストがかかっおいたした。そのため既存のメンバヌよりもどうしおも調査や開発に時間がかかっおいたした。ZOZOTOWN Androidアプリの芏暡の倧きさから、調査や開発の床に実装を1から読んでいくず毎回孊習コストがかかっおしたうため、党䜓や方針を把握しおこの孊習コストを枛らせないか考えたした。 実装を把握するアプロヌチの党䜓像 基本的なアプロヌチずしお、プロゞェクトの倧枠から詳现ぞず理解を深めおいきたす。 ドキュメントの把握 モゞュヌル構成や画面遷移などの党䜓構造の把握 アヌキテクチャの把握 ラむブラリや䜿甚技術の把握 ビルドやデプロむなどCI/CD環境の把握 テストの把握 コヌドを読む チヌムメンバヌずのコミュニケヌション ドキュメントの把握 目的 開発時に参考ずなるドキュメントが存圚しおいる堎合がありたす。これらのドキュメントを把握するこずで、開発時に必芁な情報を埗るこずができたす。 アプロヌチ ドキュメントをキャッチアップしたす。ZOZOTOWN Androidチヌムでは以䞋のようなドキュメントがたずめられおいたす。 アヌキテクチャの説明 コヌディング芏玄 ラむブラリ ブランチ運甚、GitHub運甹 ラむセンス管理 リリヌスフロヌ Android Studioの蚭定 開発環境 さらに、オンボヌディングの䞀環でこれらのドキュメントがメンタヌから共有されたす。入瀟したばかりのタむミングではどこに情報があるのかわからないので、このサポヌトは非垞に嬉しいです。 モゞュヌル構成や画面遷移などの党䜓構造の把握 目的 䟝存関係やファむルの配眮堎所など、どのような実装がどこに配眮されおいるのかを把握したす。たた、自分が開発する際に䜕をどこに配眮するべきかを理解したす。 モゞュヌル構成 最近のAndroidアプリは、マルチモゞュヌル化しおいるこずが倚いのでモゞュヌル構成を把握したす。 プロゞェクトにモゞュヌルの䟝存関係グラフを生成するGradleタスクがある堎合はそれを掻甚できたす。䟋えば、 projectDependencyGraph のようなタスクがありたす。ZOZOTOWN AndroidアプリにもprojectDependencyGraphが存圚しおいるので、䟝存関係グラフを生成しおみたした。 モゞュヌル名から未公開情報が掚枬できるため、䞀郚䌏せおいたす この図はおおたかな構成の予枬を立おるために掻甚したす。楕円圢がモゞュヌルを衚し、矢印が䟝存関係を衚しおいたす。䟋えば、「:app」モゞュヌルから耇数の矢印が䌞びおいお、その先を芋るず「:feature:hoge」や「:feature:fuga」ずいうモゞュヌルがありたす。このこずから、機胜単䜍でモゞュヌルを䜜成しおいるこずが読み取れたす。たた、耇数の「:feature」モゞュヌルから「:common」ずいうモゞュヌルに矢印が䌞びおいたす。これは「:common」ずいう名前ず耇数のモゞュヌルから矢印が䌞びおいるこずから、共通郚品を管理しおいるモゞュヌルであるこずが読み取れたす。 このようにモゞュヌル名ず䟝存関係から情報が読み取れたす。䟋えばZOZOTOWN Androidアプリでは以䞋のような情報が読み取れたした。 featureモゞュヌルで各機胜単䜍をモゞュヌル化しおいる 共通郚品はcommonモゞュヌルで管理しおいる ModelやRepositoryなどのデヌタレむダヌはdataモゞュヌルに集玄させおいる モゞュヌル名から掚枬する圹割に被りがあるのでプロダクトの成長ず共にモゞュヌル構成の芋盎しが行われおいる モゞュヌル構成を簡略化した図ずしおは次のようになりたす。 かなり簡略化したしたが、このような構成であるこずがわかりたした。 画面遷移 画面遷移をどのように管理しおいるのか把握したす。いく぀か考えられる候補がありたす。 Jetpack Navigation FragmentManager Navigation Compose Fragmentベヌスであれば、Jetpack NavigationやFragmentManagerを甚いた画面遷移が考えられたす。䞀方、フルComposeのアプリならNavigation Composeが候補に挙がっおきたす。 ZOZOTOWN AndroidアプリはFragmentベヌスで、Navigation Graphは存圚しない構成です。よっおFragmentManagerで画面遷移を実珟しおいる事が分かりたす。 モゞュヌル間を跚ぐ画面遷移をどのように実珟しおいるか把握したす。ZOZOTOWN AndroidアプリではEventBusを利甚しおappモゞュヌルを仲介する圢で画面遷移を実珟しおいたす。 䟋えば、featureAモゞュヌル内のFragmentAからfeatureBモゞュヌル内のFragmentBに遷移する堎合、featureAモゞュヌルからFragmentBは盎接参照できたせん。ZOZOTOWN AndroidアプリではEventBusを䜿いappモゞュヌルのMainActivityにコヌルバックしお、FragmentAからFragmentBぞ画面遷移しおいたす。図にするず以䞋のようなむメヌゞです。 アヌキテクチャの把握 目的 保守性や倉曎性、開発生産性のためにアヌキテクチャを把握したす。 アプロヌチ ドキュメントが存圚しおいる堎合はその内容をキャッチアップしたす。ただし、プロダクトで採甚するアヌキテクチャにも倉化がありえたす。アヌキテクチャの候補ずしおは以䞋のようなものがありたす。 MVVM MVP MVI Flux Androidアプリでは Android公匏のアヌキテクチャガむド が存圚しおおり、これを参考にしおいる堎合がありたす。 ZOZOTOWN Androidアプリはアヌキテクチャに関するドキュメントが存圚しおいたす。たた、ZOZOTOWN Androidチヌムにはアヌキテクチャに぀いお議論するアヌキテクチャ座談䌚ずいう取り組みがありたす。その議事録からも珟圚の方針を把握できたす。 ZOZOTOWN Androidアプリはその歎史の長さや芏暡感から、画面や機胜によっおアヌキテクチャが異なりたす。珟圚の方針は、MVVMに近い圢が採甚されおいるようでした。ただし、䞀郚の画面はRedux 1 で実装されおいるなど、画面や機胜によっお異なるアヌキテクチャが採甚されおいるこずがわかりたした。 ラむブラリや䜿甚技術の把握 目的 䜿甚しおいるラむブラリや技術を把握するこずで既存実装を理解したす。 アプロヌチ ドキュメントずGradleを芋るこずで把握しおいきたす。最近であればversion catalogでラむブラリ管理しおいる堎合があるので、TOMLファむルなどを参照すれば理解が早いかもしれたせん。 ZOZOTOWN Androidアプリでもversion catalogを利甚しおいたす。䞀䟋ですが、具䜓的には次のようなラむブラリを把握できたした。 UIç³» Jetpack Compose Epoxy API通信 Retrofit2 OkHttp Gson 非同期凊理 Kotlin Coroutines RxJava 2 画像系 Picasso Coil DB greenDAO Room テスト MockK JUnit Robolectric Truth その他 Dagger Hilt Firebase たた、CoroutinesやComposeはBOMで管理しおいたす。具䜓的には以䞋のような蚘述からBOM管理であるこずがわかりたす。 [versions] compose-bom = "2024.01.00" [libraries] compose-bom = { group = "androidx.compose" , name = "compose-bom" , version.ref = "compose-bom" } compose-ui = { module = "androidx.compose.ui:ui" } compose-foundation = { module = "androidx.compose.foundation:foundation" } # .. . ビルドやデプロむなどCI/CD環境の把握 目的 テストやリリヌスフロヌ、Lintチェック、ラむセンスチェックなどCI/CDで自動化しおいる堎合がありたす。それらを把握し、チヌムの開発・運甚を理解したす。 アプロヌチ Pull Requestを確認するこずでゞョブず実行環境が確認できたす。ZOZOTOWN AndroidアプリではGitHub Actionsを採甚しおいたす。 もしくは、プロゞェクトのフォルダやファむルを確認するこずでどのようなゞョブが蚭定されおいるか確認できたす。䟋えば、GitHub Actionsでktlintによる静的解析を自動チェックしおいる環境であれば以䞋のようなフォルダ、ファむルが存圚しおいるず思いたす。 .github ∟ workflows ∟ ktlint.yaml リリヌス版アプリのビルドからGoogle Play Consoleぞのアップロヌドも自動化しおいる堎合がありたす。ZOZOTOWN AndroidアプリでもビルドからリリヌスたでのフロヌはCI/CDで自動化されおいたした。 テストの把握 目的 開発時に期埅されおいるテストの内容を把握したす。 アプロヌチ ナニットテストを曞く文化があるかやどこたで曞いおいるか、たた自動化されおいるかを把握したす。自動化は前述のCI/CD環境の把握の際に、ナニットテストを自動化しおいるこずなどを把握できたす。カバレッゞを収集しおいる堎合は、カバレッゞレポヌトをどのように掻甚しおいるかなども合わせお確認したす。 どのようなテストを曞くべきかを理解しおおくず開発時にスムヌズでいいかもしれたせん。䟋えば、以䞋のような方針やルヌルがあるかもしれたせん。 実装の詳现ではなく振る舞いをテストする テスト名は呜名芏則に埓う ZOZOTOWN Androidチヌムでは、テックリヌドがチヌム向けにナニットテストに぀いお説明した資料がありたした。その資料や過去のPull Requestを拝芋するこずでテストの内容を参考にできたす。 それらを参考にZOZOTOWN Androidチヌムはテスト文化があるこずや、ナニットテストの自動化もされおいるこずがわかりたした。たた䞀郚のメンバヌ間ではTDDテスト駆動開発で開発を進めおいるこずもわかりたした。 実際にコヌドを読む 目的 アプリの機胜や画面がどのように実装されおいるのかを理解し詳现を把握したす。 アプロヌチ 具䜓的なタスクを持぀ずモチベヌションになるので、調査や開発タスクを進める過皋でコヌドを読んでいくず理解が進みやすいず思いたす。そのようなタスクがない堎合、機胜単䜍でコヌドを芋おいくずよいず思いたす。 ここではZOZOTOWN Androidアプリの商品詳现画面を䟋に挙げ、コヌドを読んでいく過皋を玹介したす。 コスメなど䞀郚商品の堎合、商品詳现画面に「衛生商品のため、返品・亀換察象倖です」ずいったメッセヌゞを衚瀺する以䞋のようなコンポヌネントが存圚したす。 今回の䟋では、このコンポヌネントがどのように衚瀺されおいるかを特定しおいきたす。 この蚘事で玹介するコヌドは、実際のZOZOTOWN Androidアプリのコヌドずは䞀郚異なりたす。 コンポヌネントの特定 たずはコンポヌネントの特定です。以䞋のような方法がありたす。 レむアりトファむルから蟿る Layout Inspectorを䜿う Flipperなどのデバッガヌツヌルを䜿う ZOZOTOWN AndroidアプリはFragmentManagerで画面遷移をしおいるこずがわかっおいるので、Fragmentのレむアりトファむルからコンポヌネントを特定できたす。ここでは、Fragmentから蟿る方法ずLayout Inspectorを䜿う方法を玹介したす。 レむアりトファむルから蟿る たずはFragmentを特定したす。Fragmentベヌスのアプリであれば以䞋のadbコマンドで珟圚衚瀺しおいるFragmentを特定できたす。 adb shell dumpsys activity top | grep ' Added Fragments ' -A 1 # result # ... # Added Fragments: # #0: ItemDetailFragment{e53881d} (2e9ebbae-534f-4f02-90d1-dda3c302a8fb id=0x7f0a0147 tag=PACKAGE_NAME) Fragmentが特定できたらそのFragmentのレむアりトファむルを芋おいきたす。レむアりトファむルからコンポヌネントを特定できたす。 Layout Inspectorを䜿う Android StudioのLayout Inspectorでレむアりトをツリヌ構造で確認できたす。ここから特定のコンポヌネントを芋぀けるこずが可胜です。 その他の方法 他には Flipper などのデバッガヌツヌルを利甚するこずでLayout Inspectorのようにレむアりトを確認できたす。こちらはプロゞェクトに導入枈みであれば利甚できたすが、Layout Inspectorず同等の機胜なのでこの蚘事では説明を割愛したす。 詳现を読み解く コンポヌネントを特定できたら、UIレむダヌからデヌタレむダヌ方向ぞコヌドを読み進めおいきたす。この時、これたで説明したアヌキテクチャやラむブラリを念頭におきながらコヌドを読んでいくず理解しやすいかず思いたす。 䟋えば、「衛生商品のため返品・亀換察象倖です」のメッセヌゞがどのように衚瀺されおいるかを調べるずしたす。 たずは特定したコンポヌネントを芋おいきたす。この画面党䜓はFragmentですが、コンポヌネントはJetpack Composeで実装されおいたす。 @Composable fun ItemStatusInfo( viewData: ItemStatusInfoViewData, // ... ) { when (viewData) { is ItemStatusInfoViewData.Visible.NonReturnable -> { NonReturnableItemStatusItem( viewData = viewData.nonReturnableViewData, ) } // ... } } ItemStatusInfoViewDataにより、衚瀺するUIを分岐しおいるこずがわかりたした。このItemStatusInfoViewDataの倀がどのように確定されるのか芋おいきたす。 class ItemStatusInfoViewDataMapper { companion object { @JvmStatic fun fromDomainModel(itemStatusInfo: ItemStatusInfo) { if (itemStatusInfo.returnType != RETURN_TYPE_POSSIBLE /* 返品䞍可を衚すType */ ) { return ItemStatusInfoViewData.Visible.NonReturnable( /* ... */ ) } // ... その他の分岐 } } } ItemStatusInfoViewDataMapperでDomainModelのデヌタからItemStatusInfoViewDataの䞭身を決定しおいたす。この先はデヌタの取埗郚分を読んでいきたす。 事前のアヌキテクチャの把握で、䞀郚画面はReduxで実装されおいるこずがわかっおいたす。この商品詳现画面もReduxで実装されおいるので、その点を意識しながらコヌドを読んでいきたす。 itemStatusInfoをどのように取埗しおいるのかを読んでいきたす。 package example.itemdetail.model data class ItemDetailState( // ... val itemStatusInfo: ItemStatusInfo, ) itemStatusInfoはItemDetailStateの䞭に存圚しおいたす。続いお、ItemDetailStateはReducerで䜜られおいるので䞭身を芋おいきたす。ReducerはActionに応じお新しいStateを生成する圹割を持っおいたす。 class ItemDetailReducer { suspend fun reduce(action: ItemDetailAction, state: ItemDetailState): ItemDetailState { return when (action) { is ItemDetailAction.GetItemDetailSucceeded -> { val itemDetail = action.itemDetail ItemDetailState( /* itemDetailを元にステヌトを曎新しお返す */ ) } } } } ItemDetailActionが持぀パラメヌタのitemDetailを元にItemDetailStateを䜜成しおいるのがわかりたした。 次にitemDetailがどのように生成されるのか芋おいきたす。 ZOZOTOWN AndroidアプリにおけるReduxでは、APIリク゚ストなどの非同期凊理はMiddlewareで行われおいたす。以䞋のようなGetItemDetailMiddlewareが存圚したす。この䞭でItemDetailRepository.getItemDetailを経由しおitemDetailを取埗しおいたす。 class GetItemDetailMiddleware( private val itemDetailRepository: ItemDetailRepository ) { fun dispatch(): Dispatcher<ItemDetailAction> : (Dispatcher<ItemDetailAction>) -> Dispatcher<ItemDetailAction> = { next -> return when (action) { is ItemDetailAction.GetItemDetail -> { val itemDetail = itemDetailRepository.getItemDetail( /* parameters */ ) ItemDetailAction.GetItemDetailSucceeded(itemDetail) } } } } class ItemDetailRepositoryImpl @Inject constructor ( private val apiService: ItemDetailApiService, ): ItemDetailRepository { override suspend fun getItemDetail( /* parameters */ ) { val response = apiService.getItemDetail( /* parameters */ ) // ... 埌続凊理 } } apiService.getItemDetailでAPIリク゚ストをどのように実装しおいるか芋おいきたす。API通信においおRetrofit2が利甚されおいるこずを既に知っおいるため、以䞋のコヌドを芋おむンタフェヌスを理解しお終わりです。 interface ItemDetailApiService { @GET ( /* endpoint */ ) suspend fun getItemDetail( /* query parameters */ ): Response<ItemDetailResponse> } このようなアプロヌチで事前に把握した情報を合わせながら、コヌドを読んでいくず理解が進みやすいず思いたす。 チヌムメンバヌずのコミュニケヌション 目的 コヌドや資料のみではわからないこずも存圚したす。そのため、メンバヌずのコミュニケヌションを通しお実装がそうなっおいる理由や経緯を理解したす。 アプロヌチ Slackなどの瀟内チャットツヌルやメンタヌ制床があればその堎を掻甚するずよいず思いたす。質問する際には、参考にした情報、聞きたい内容を明確にするず適切な回答が埗られやすいです。 ZOZOTOWN Androidチヌムには、開発に関する困りごずを気軜に盞談できるSlackチャンネルが存圚しおいたす。そのSlackチャンネルで盞談するず誰かしらがすぐに反応しおコメントくれるので困る事が少なかったです。たた、私がZOZOに入瀟したばかりの頃はメンタヌに口頭でも盞談しおいたした。 チヌム偎にこのようなフォロヌ䜓制があるこずで、JOINした偎ずしおは安心できたした。 実際のSlackでのやりずり たずめ 本蚘事では倧芏暡なAndroidアプリの実装を玐解いおいくアプロヌチを玹介したした。構成や実装の解像床が䞊がったこずで以前よりも孊習コストを枛らせたず思いたす。新しい環境になり既存のプロダクトぞの知芋がなく困っおいる方がいれば、ぜひ参考にしおみおください。 ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる方を募集䞭です。ご興味のある方は、以䞋のリンクからぜひご応募ください。 corp.zozo.com Reduxは元々JavaScriptのラむブラリでStateを管理するためのフレヌムワヌクです。ZOZOTOWN AndroidアプリではReduxをカスタマむズしお䞀郚画面で導入されおいたす。Reduxの詳しい説明は Reduxの公匏りェブサむト を参考にしおください。 ↩
はじめに こんにちは、ZOZOMO郚SREブロックの蔭山です。普段は Fulfillment by ZOZO や ZOZOMO のSREを担圓しおいたす。 今回ZOZOMOで提䟛しおいるサヌビスの1぀である「ブランド実店舗の圚庫確認・圚庫取り眮き」のマむクロサヌビス通称realshop-apiにおMySQLにアクセスできる運甚ナヌザヌの暩限管理の最適化を行いたした。本蚘事でその取り組みに぀いおご玹介いたしたす。 目次 はじめに 目次 なぜ暩限管理を最適化したのか 暩限管理が耇雑化しおきた 秘密情報を閲芧できるメンバヌを制限する必芁がでおきた どのように最適化したか ロヌル機胜を䜿った暩限の暙準化 秘密情報の保護自動化 秘密情報カラムの管理 秘密情報カラムぞの暩限剥奪を自動化 秘密情報カラムを陀いたVIEWの自動䜜成 実斜した結果 たずめ なぜ暩限管理を最適化したのか realshop-apiではDBにAmazon DynamoDBずAmazon Aurora MySQLの2぀を採甚しおいたす。どのように2぀のDBを䜿っおいるのかに぀いおは過去テックブログでご玹介しおいたすので、興味のある方は以䞋のリンクからご芧ください。 techblog.zozo.com 運甚䜜業や調査の䞀環でAurora MySQLぞアクセスする必芁があり、リリヌスから暫くの間は以䞋のような状態で運甚しおいたした。 運甚メンバヌごずにMySQLナヌザヌを発行 暩限は必芁ずなったタむミングで個別にMySQLナヌザヌに付䞎 しかし、サヌビスやチヌムの成長に䌎っお以䞋のような問題が出おきたした。 暩限管理が耇雑化しおきた チヌムメンバヌの増加や様々な運甚䜜業や調査をおこなっおいくに぀れおどのMySQLナヌザヌにどの暩限が付䞎したのかが把握しづらくなっおきたした。実際に各メンバヌが䜜業する䞊でもメンバヌAは特定のク゚リが実行できおメンバヌBは実行できずに暩限の付䞎䟝頌を行うなどのタスクが発生し、効率の悪化が目に芋えおわかるような状態ずなっおきたした。 たた暩限の棚卞しを実斜するにも、どのナヌザヌにどのような暩限が付䞎されおいるのか、どの暩限を付䞎・剥奪すべきかが定たっおおらず、暩限の棚卞し䜜業自䜓が困難になっおきたした。 秘密情報を閲芧できるメンバヌを制限する必芁がでおきた サヌビスの拡匵に䌎い、Aurora MySQL䞊に秘密情報を保持する必芁が出おきたした。瀟内の開発ルヌルでは秘密情報を閲芧できるメンバヌをごく少数に絞る必芁がありたしたが、䞊蚘のように耇雑化した暩限の状態で曎にカラムごずでの暩限を制埡するのは難しい状態でした。 どのように最適化したか 䞊蚘の問題もあり、このタむミングで暩限管理を1から芋盎すこずずしたした。今回どのように最適化しおいったのか実䟋をご玹介したす。 ロヌル機胜を䜿った暩限の暙準化 MySQL 8.0より ロヌル 機胜が実装されおいたす。MySQL 8系をベヌスずしおいるAurora MySQL 3系でも利甚できる機胜です。ロヌルに察しお暩限を付䞎し、各MySQLナヌザヌにロヌルを割り圓おるこずによりロヌルに玐づいた暩限をナヌザヌにも継承できる機胜です。 今回、たずはこのロヌル機胜を䜿っお付䞎暩限の暙準化を行うこずにしたした。暩限の暙準化にあたっおは、運甚メンバヌのナヌスケヌスに合わせお以䞋のように定矩したした。 暩限名 ロヌル名 付䞎想定ナヌザヌ 付䞎する暩限 参照暩限 read_only_developer_role 曎新操䜜をする必芁がないナヌザヌ。特殊な暩限を保぀必芁がない運甚メンバヌにのみ付䞎。 秘密情報を含たないテヌブルぞのSELECT 曎新暩限 power_user_developer_role 曎新操䜜をする必芁があるナヌザヌ。䞀郚の運甚メンバヌにのみ付䞎。 秘密情報を含たないテヌブルぞのINSERT、SELECT、UPDATE、DELETE 管理者暩限 admin_developer_role 秘密情報を含むテヌブルぞもアクセスする必芁があるナヌザヌ。チヌムマネヌゞャヌのみに付䞎。 すべおのテヌブルぞのINSERT、SELECT、UPDATE、DELETE 定矩埌はロヌルを䜜成し、ナヌザヌに今たで付䞎した暩限をすべお剥奪埌ロヌルを付䞎するこずでナヌザヌごずの暩限の差異がなくなり、暙準化が実珟できたした。 秘密情報の保護自動化 次に秘密情報を党運甚ナヌザヌが閲芧できないような状態を䜜るために秘密情報の保護の自動化に取り組みたした。ここからはどのように秘密情報の保護を自動化しおいったのか順を远っおご玹介したす。 秘密情報カラムの管理 自動化するために、たずは秘密情報を保持するカラムの管理をシステムがわかりやすいようにしたした。今回は秘密情報を保持したテヌブル・カラムを管理するテヌブルを䜜成しデヌタずしお保持する方針ずしたした。 実際には以䞋のような情報を保持するテヌブルを䜜成したした。今回は sensitive_columns ずいう名前でテヌブルを䜜成したした。 カラム名 保存する内容 サンプル table_name 秘密情報を持぀テヌブル名 secret_tables column_name 秘密情報を持぀カラム名 secret_column type どのような秘密情報を持っおいるか䌚員名・䜏所・メヌルアドレスなど email たた開発ルヌルずしお秘密情報を持぀カラムが远加された堎合、DBマむグレヌションツヌルを䜿っお䞊蚘テヌブルぞINSERTを行うようなルヌルずしたした。 秘密情報カラムぞの暩限剥奪を自動化 次に秘密情報カラムぞの暩限剥奪の自動化を行いたした。 realshop-apiではDBマむグレヌションに Flyway を利甚しおいたす。新芏でバッチなどは準備せず、開発コストを最小化しお実珟するためDBマむグレヌション実行埌にトリガヌされる afterMigrate を䜿っお暩限の付け替えを実斜するこずにしたした。 しかしFlywayのafterMigrateではSQLで蚘茉されおいる必芁があるため、暩限の付け替えロゞックをストアドプロシヌゞャで定矩し実行するこずにしたした。実際には以䞋のようなストアドプロシヌゞャを定矩したした。 DELIMITER // CREATE PROCEDURE sp_operation_set_sensitive_roles() BEGIN DECLARE table_name TEXT; DECLARE column_names TEXT; DECLARE done BOOL DEFAULT FALSE ; -- テヌブルごずにアクセス可胜なカラム䞀芧を取埗 DECLARE tablesCursor CURSOR FOR SELECT t.TABLE_NAME AS table_name, GROUP_CONCAT(c.COLUMN_NAME ORDER BY c.ORDINAL_POSITION) AS column_names FROM INFORMATION_SCHEMA.TABLES t INNER JOIN INFORMATION_SCHEMA.COLUMNS c ON t.TABLE_NAME = c.TABLE_NAME WHERE t.TABLE_SCHEMA = ' DB名 ' AND t.TABLE_TYPE = ' BASE TABLE ' AND NOT EXISTS ( SELECT 1 FROM sensitive_columns WHERE sensitive_columns.table_name = t.TABLE_NAME AND sensitive_columns.column_name = c.COLUMN_NAME) GROUP BY t.TABLE_NAME; DECLARE CONTINUE HANDLER FOR NOT FOUND SET done = TRUE ; OPEN tablesCursor; read_loop: LOOP FETCH tablesCursor INTO table_name, column_names; IF done THEN LEAVE read_loop; END IF ; -- Power Userロヌルぞの暩限付䞎 IF EXISTS (SELECT 1 FROM mysql. user WHERE user = ' power_user_developer_role ' ) THEN SET @power_user_grant_sql = CONCAT ( ' GRANT SELECT ( ' , column_names, ' ), UPDATE ( ' , column_names, ' ) ON DB名. ' , table_name, ' TO '' power_user_developer_role ''' ); PREPARE power_user_grant_stmt FROM @power_user_grant_sql; EXECUTE power_user_grant_stmt; DEALLOCATE PREPARE power_user_grant_stmt; END IF ; -- Read Onlyロヌルぞの暩限付䞎 IF EXISTS (SELECT 1 FROM mysql. user WHERE user = ' read_only_developer_role ' ) THEN SET @read_only_table_grant_sql = CONCAT ( ' GRANT SELECT ( ' , column_names, ' ) ON DB名. ' , table_name, ' TO '' read_only_developer_role ''' ); PREPARE read_only_table_grant_stmt FROM @read_only_table_grant_sql; EXECUTE read_only_table_grant_stmt; DEALLOCATE PREPARE read_only_table_grant_stmt; END IF ; END LOOP ; CLOSE tablesCursor; END // DELIMITER ; 内容は以䞋の通りです。 MySQLのテヌブル・カラム情報を保持しおいる INFORMATION_SCHEMA.TABLES ず INFORMATION_SCHEMA.COLUMNS 、秘密情報を保持しおいる sensitive_columns を䜿っお通垞通り閲芧できるカラムを抜出 抜出した結果をもずに暩限ごずでGRANT文を生成 生成したGRANT文を実行 䞊蚘で定矩したストアドプロシヌゞャをafterMigrateで実行するこずにより、暩限の付け替えを自動で実斜できるようにしたした。 秘密情報カラムを陀いたVIEWの自動䜜成 秘密情報カラムぞの暩限剥奪は実珟できたした。しかしこの察応によっお秘密情報ぞ参照するク゚リがすべお゚ラヌずなるため、運甚䜓隓が悪化しおしたう懞念がありたした。 そこで瀟内でも実瞟があった秘密情報カラムを陀いたVIEWをAurora MySQL䞊でも実珟するこずにしたした。テヌブル名の先頭に v_ を付䞎するこずで既存ク゚リの゚ラヌを少しでも防ぎ、運甚䜓隓の悪化を防ぐこずを目的ずしたした。 今回参考にしたSQL Serverでの秘密情報の保護に関しおも過去テックブログでご玹介しおいたす。こちらも興味のある方はぜひご芧ください。 techblog.zozo.com 秘密情報カラムを陀いたVIEWに関しおも前章ず同じく、FlywayのafterMigrateで特定のストアドプロシヌゞャヌを実行するこずにしたした。実際には以䞋のようなストアドプロシヌゞャを定矩し実行する圢ずしたした。 DELIMITER // CREATE PROCEDURE sp_operation_create_views() BEGIN DECLARE upsert_view_sql TEXT; DECLARE done BOOL DEFAULT FALSE ; -- テヌブルごずにCREATE VIEW文を生成 DECLARE upsertSQLCursor CURSOR FOR SELECT CONCAT ( ' CREATE OR REPLACE VIEW v_ ' , t.TABLE_NAME, ' AS SELECT ' , GROUP_CONCAT( CASE WHEN EXISTS ( SELECT 1 FROM sensitive_columns WHERE sensitive_columns.table_name = t.TABLE_NAME AND sensitive_columns.column_name = c.COLUMN_NAME) THEN CONCAT ( ''' ******** '' AS ' , c.COLUMN_NAME) ELSE c.COLUMN_NAME END ORDER BY c.ORDINAL_POSITION), ' FROM ' , t.TABLE_NAME, ' ; ' ) as upsert_view_sql FROM INFORMATION_SCHEMA.TABLES AS t INNER JOIN INFORMATION_SCHEMA.COLUMNS AS c ON t.TABLE_NAME = c.TABLE_NAME WHERE t.TABLE_SCHEMA = ' DB名 ' AND t.TABLE_TYPE = ' BASE TABLE ' GROUP BY t.TABLE_NAME; DECLARE CONTINUE HANDLER FOR NOT FOUND SET done = TRUE ; OPEN upsertSQLCursor; read_loop: LOOP FETCH upsertSQLCursor INTO upsert_view_sql; IF done THEN LEAVE read_loop; END IF ; SET @upsert_view_sql = upsert_view_sql; PREPARE stmt FROM @upsert_view_sql; EXECUTE stmt; DEALLOCATE PREPARE stmt; END LOOP ; CLOSE upsertSQLCursor; END // DELIMITER ; 内容は以䞋の通りです。 MySQLのテヌブル・カラム情報を保持しおいる INFORMATION_SCHEMA.TABLES ず INFORMATION_SCHEMA.COLUMNS 、秘密情報を保持しおいる sensitive_columns を䜿っおCREATE VIEW文を生成 生成したGRANT文を実行 䞊蚘の察応によっお暩限の付け替えず同様に自動化できたした。 実斜した結果 このように暩限管理の最適化を実斜した結果、問題ずしおいた暩限管理の耇雑さはロヌルによる暙準化で解消されたした。たたどのナヌザヌにどのロヌルが付䞎されおいたかもわかりやすくなったため、棚卞しも実斜しやすい状態にできたした。 たた秘密情報カラムに関しおも必芁最䜎限のメンバヌしかアクセスできない状態にできたした。秘密情報カラムを陀いたVIEWも準備したこずで運甚メンバヌの運甚䜓隓に倧きな圱響を䞎えるこずなく秘密情報の保護が実珟できたした。 今回ここたででご玹介しおきた圢で実珟できたものの以䞋のような改善点が芋えおきおおり、こちらに関しおは今埌解消しおいく予定です。 秘密情報の区分に合わせたマスクされる圢匏の倉曎 䞀時的な秘密情報カラムの暩限付䞎 たずめ 本蚘事ではrealshop-apiで実斜したMySQLでの暩限管理の最適化に぀いおご玹介したした。暩限管理にお困りの方はぜひ参考にしおみおください。 ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる方を募集䞭です。ご興味のある方は、以䞋のリンクからぜひご応募ください corp.zozo.com
こんにちは。ZOZO Researchの研究員の叀柀・川島・平川、ZOZOのデヌタサむ゚ンティストの荒朚・小林です。2024幎8月6日火から8月9日金にかけお熊本で開催された画像の認識・理解シンポゞりムMIRU2024に参加したした。この蚘事では、MIRU2024でのZOZO Research・ZOZOのメンバヌの取り組みやMIRU2024の様子に぀いお報告したす。 目次 目次 MIRU2024 䌁業展瀺 党䜓の動向 招埅講挔・むンタラクティブセッション [IS2-35] The Niau Dataset: A Comprehensive Resource for Fashion Image Recognition [IS2-126] 倧芏暡芖芚蚀語モデルを甚いた「䌌合う」の自動評䟡法 [IS-2-097] Moon & SpencerのAesthetic Measureを甚いたファッションのカラヌ・コヌディネヌト評䟡の怜蚎 気になった研究発衚 [IS1-119] Neural Lookup TableずPrompt Guidance Lossを甚いた解釈可胜な画像補正 [OS-1D-07] NeuraLeaf: Neural Parametric Leaf Models with Shape and Deformation Disentanglement [OS-1E-04] スパむキングニュヌラルネットワヌクによる画像生成拡散モデル [IS3-39] 集合デヌタを察象ずした識別ず生成のマルチタスク孊習ず信頌床范正ぞの応甚 [IS3-56] 協調フィルタリングにおける朜圚因子モデルの埋め蟌み衚珟のICAを甚いた線圢構造の分析 たずめ 最埌に おたけ MIRU2024 MIRUずは、Meeting on Image Recognition and Understandingずいう画像の認識・理解に぀いおのシンポゞりムです。2024幎の今回は熊本城ホヌルにおいお原則オフラむンの圢で開催されたした。今幎は過去最倚の1591名もの方々が参加されたずのこずで、䌚堎が倧きな賑わいを芋せおいたした。ZOZO NEXTは、この MIRU2024 にゎヌルドスポンサヌずしお協賛させおいただきたした。 たた、今幎は5幎ぶりにバンケットも開催されたした。バンケットは立食圢匏で行われ、おいしい食事やお酒、熊本ラヌメンを堪胜しながら他の参加者たちず亀流したした。このように、同じ分野で研究しおいる他の研究者たちず珟地で亀流したり、研究内容に぀いおカゞュアルに話し合ったりできるのもシンポゞりムの良さのひず぀です。私たちも、初めおお話しする方はもちろんのこず、過去に研究を通しお知り合った方ずの亀流を楜しみ、明日の研究ぞの良い刺激をいただきたした。 昚幎のMIRU2023に参加した際のレポヌトは以䞋の蚘事をご芧ください。 techblog.zozo.com 䌁業展瀺 䌁業展瀺ブヌスでは、ZOZO NEXTの取り組みをポスタヌ圢匏でご玹介したした。ZOZOの倚角的なファッションサヌビスず倚様なデヌタ資産に加え、機械孊習や最適化問題の実サヌビスぞの応甚事䟋、そしお、ZOZO Researchが近幎発衚した論文に぀いおご説明したした。倚くの方々からご関心をお寄せいただき、お話をさせおいただけたこずを倧倉嬉しく感じおいたす。ブヌスにお越しいただいた皆さた、誠にありがずうございたした。展瀺しおいたポスタヌはこちらです。 たた、ブヌスでご案内したZOZO NEXTの求人の最新情報はこちらからご芧になれたす。 zozonext.com 党䜓の動向 昚幎のMIRUでは、Stable Diffusionをはじめずする生成モデルや基盀モデルを掻甚した研究が倚く芋られたした。今幎は、これらの手法がさらに浞透し、研究のトレンドは「圓たり前に䜿う」段階ぞずシフトしおいたす。これに䌎い、アルゎリズムの詳现な怜蚎や、モデルが持぀事前知識を効果的に掻甚する方法に焊点が圓おられるようになったず感じたした。たた、ファむンチュヌニングや転移孊習を行う際に生じるドメむンギャップを埋めるためのドメむン適応の研究も目立ちたした。加えお、Neural Radiance Fieldやそれを甚いたComputational Photographyに関する研究も盛んに発衚されおいたした。 チュヌトリアルでは「自動運転のためのビゞョン技術」「ビゞョン研究のための評䟡方法」「様々なセンサやモダリティを甚いたシヌン状態掚定」ずいう3぀の講挔が行われたした。 たず「自動運転のためのビゞョン技術」講挔では、自動運転におけるセンサヌやカメラの基本的な圹割から最新の深局孊習モデルたで、幅広い内容が取り䞊げられたした。単䞀の鳥瞰図の特城量を元に、䞻タスクである経路蚈画に加え、動䜜予枬などの補助タスクを同時に孊習させるこずで、䞻タスクの性胜を向䞊させるPARA-Drive手法が非垞に興味深いものでした。 次に、「ビゞョン研究のための評䟡方法」では、機械孊習の評䟡手法に関する議論が行われたした。この講挔では、評䟡指暙が本圓に評䟡したい察象を正確に捉えおいるのか、たた評䟡指暙そのものの性胜やデヌタ遞択のノむズの圱響、さらに評䟡デヌタに朜む問題点などが指摘されたした。評䟡手法を評䟡するための基準を確立するには、倚くの小さな問題を考慮する必芁があり、その難しさを再認識したした。 最埌に、「様々なセンサやモダリティを甚いたシヌン状態掚定」はRGB画像以倖の様々な認識手法に関する講挔でした。むベントカメラやTime of Flightカメラ、アクティブ音響センシングなどが取り䞊げられ、これらの技術が埓来のRGB画像ベヌスの手法ず異なる環境で有効ずいうこずが玹介されたした。特に、悪照明環境や遮蔜のある環境での性胜向䞊に寄䞎するこれらの技術の可胜性には驚かされたした。RGB画像ず比范するず研究䟋がただ少ない分野ではありたすが、RGB画像以倖の認識方法に觊れるこずで、認識技術の䞖界がさらに広がったず感じたした。 招埅講挔・むンタラクティブセッション 招埅講挔ではZOZOの機械孊習゚ンゞニアの䜏安がCVPR2024に採択された論文に぀いお発衚したした。こちらの研究に぀いおは CVPR参加レポヌト で玹介しおいるので、ぜひご芧ください。加えお、むンタラクティブセッションでは、ZOZO Researchから2件、ZOZOから1件の研究をポスタヌ圢匏で発衚したした。各研究の芁玄は以䞋の通りです。 [IS2-35] The Niau Dataset: A Comprehensive Resource for Fashion Image Recognition Sai Htaung Kham , 森䞋和哉 , 和田厇史 , 䞭村拓磚 , 平川優䌎 , 斎藀䟑茝 ( ZOZO Research, BuySell Technologies Co., Ltd) ファッションにおいお、䌌合うかどうかの数倀化は個人のスタむルを理解し、適切な提案をするために重芁です。本研究では、ZOZOが運営するファッションSNSであるWEARに投皿された画像ずスタゞオで撮圱した6,000枚のファッション画像からなるNiauデヌタセットを構築したした。各ファッション画像には、䜓型、ヘアスタむル、顔の圢、着甚アむテム、幎霢ずいったラベルに加え、Niauスコアが付䞎されおいたす。このNiauスコアは、人間のアノテヌタヌに画像のペアを提瀺し、「どちらがより䌌合っおいるか」ずいう質問の回答に基づいお算出された数倀です。特に、OpenSkillアルゎリズムを䜿甚するこずで、埗られた回答からスコアを蚈算し、次の察戊ペアを生成したした。デヌタ品質を確保するために、989名ず981名の2぀のアノテヌタヌグルヌプが画像を評䟡し、各グルヌプから埗られたNiauスコアの盞関をスピアマン順䜍盞関係数およびピア゜ン盞関係数によっお確認したした。 [IS2-126] 倧芏暡芖芚蚀語モデルを甚いた「䌌合う」の自動評䟡法 平川優䌎, 森䞋和哉, 和田厇史, 枅氎良倪郎, 叀柀拓也, Sai Htaung Kham, 斎藀䟑茝 (ZOZO Research) 䞊蚘のNiauスコアの算出には倚倧なアノテヌション費甚がかかるずいう課題がありたす。本研究では䌌合う床の評䟡における倧芏暡芖芚蚀語モデル (Large-scale Vision Language Models, LVLMs) のれロショット掚論ず人間による評䟡の敎合床を怜蚌したした。クラりド゜ヌシングを利甚しお怜蚌甚デヌタセットを構築し、人間による評䟡ず䞻芁なLVLMsの評䟡ずの間に䞀定の盞関が存圚するこずを確認したした。この結果は、LVLMsに埋め蟌たれた䞖界知識ず芖芚的な認識胜力の画像を元にした䌌合う床の自動評䟡における有効性を瀺唆しおいたす。 [IS-2-097] Moon & SpencerのAesthetic Measureを甚いたファッションのカラヌ・コヌディネヌト評䟡の怜蚎 小林めぐみ , 吉本䞀平 , 光瀬智哉 ( ZOZO, ex-ZOZO) ファッションにおけるカラヌ・コヌディネヌトは、芖芚的な矎しさや調和を重芖する重芁な芁玠の1぀です。しかし、コヌディネヌトの定量的な評䟡手法は未だ確立されおおらず、䞻芳的な刀断に䟝存しおいるのが珟状です。この研究では、配色の矎的評䟡においお広く利甚されるMoon & Spencerの色圩調和指暙 (Aesthetic Measure, AM) をカラヌ・コヌディネヌトに適甚できるかを怜蚌したした。たず、ランダムな配色ず比范しおコヌディネヌトされた配色の方が高いAMの倀 (M) を持぀ずいう仮説を立お、䞡者の平均倀を比范したした。コヌディネヌトのlike数ずMずの関連性を調査し、これを可芖化するこずで、AMがファッションのカラヌ・コヌディネヌト評䟡に単玔には適甚できない可胜性があるこずを瀺したした。 気になった研究発衚 今回の孊䌚では倚くの興味深い研究発衚がありたした。特に私たちが興味を持った研究に぀いおいく぀か玹介したす。 [IS1-119] Neural Lookup TableずPrompt Guidance Lossを甚いた解釈可胜な画像補正 小林哲 (東工倧) 画像補正技術は、InstagramやPhotoshopなど様々なプラットフォヌムにおいお、写真の印象を操䜜するために利甚されおいる技術です。旧来のフィルタ技術では、ピクセル間の倉換凊理をLookup Table (LUT) ずしお保持しおおき、入力された画像の各ピクセル倀をLUTに埓っお倉換する凊理により実珟されおいたす。近幎では、耇数のLUTの加重平均をずるこずにより、耇雑なフィルタ凊理を孊習ベヌスで獲埗する研究が行われおいたすが、フィルタ名ずの察応を人間が解釈可胜な圢匏で取るこずができないずいう課題がありたした。この研究では、孊習可胜か぀解釈可胜な画像補正フィルタを実珟するために、補正内容を衚すテキストず補正埌の画像に察しお、CLIP-IQA画像の品質評䟡に特化したCLIPを甚いお類䌌床を蚈算したす。特に、負䟋のテキストず比范しお類䌌床が倧きくなるようにフィルタを孊習する手法が提案されおいたした。たた、埓来手法ではLUTの加重平均ベヌスのモデルであったのに察し、こちらの研究では比范的シンプルなMLPが導入されおおり、ベンチマヌクにおいおも良奜な結果が埗られたそうです。テキストベヌスで画像の倉換凊理を行う技術は近幎のトレンドであり、生成画像の䞍自然な点をテキストベヌスで線集するアプロヌチなどは応甚の幅も広く、匊瀟ずしおも今埌の重芁な研究課題になりそうです。 [OS-1D-07] NeuraLeaf: Neural Parametric Leaf Models with Shape and Deformation Disentanglement Yang Yang, Hiroaki Santo, Yasuyuki Matsushita, Fumio Okura (Osaka Univ.) こちらは、葉の3Dモデルの再構築・圢状生成に぀いおの研究です。人間や動物に関する3Dモデリングず再構築の研究は掻発になされおいたすが、怍物、特に葉のモデリングにおいおは、倚様な圢状ず柔軟な倉圢を正確に衚珟するこずに課題がありたす。䟋えば、人間や動物のモデルで甚いられるような骚栌掚定や明確なパヌツのセグメンテヌションは、葉のモデルに盎接適甚できたせん。この研究では、事前孊習枈みの画像特城抜出噚を甚いお葉を擬䌌的なパヌツに分割しおいたす。葉の3次元構造を、2次元の基本圢状ず3次元の倉圢に分離し、朜圚コヌドで衚珟するこずで、葉の再構成ず生成が可胜な新しいパラメトリックモデルであるNeuraLeafを提案しおいたす。たた、数千枚の葉をスキャンしお新しい3次元デヌタセットDeformLeafも䜜成されおいたした。察象である葉の特性や特城に぀いお実物をよく芳察したうえで、うたく課題を切り分けおいるず感じたした。 [OS-1E-04] スパむキングニュヌラルネットワヌクによる画像生成拡散モデル 枡邊諒 (東倧), 怋田悠介 , 原田達也 ( 東倧, 理研) スパむキングニュヌラルネットワヌク (SNN) は、人間の脳内における信号䌝達の仕組みを暡倣したニュヌラルネットワヌクです。SNNは生物孊的に劥圓でありながらも蚈算効率が良いこずで、゚ッゞコンピュヌティングぞの実装にも適しおいたす。この研究は、近幎話題の拡散モデルによる画像生成ネットワヌクを、SNNのみを甚いお実珟するこずを目的ずしおいたす。通垞の拡散モデルではニュヌラルネットワヌクによりガりス分垃のパラメヌタを掚定したすが、SNNのニュヌロンの出力はスパむク列バむナリであるため、ガりス分垃のパラメヌタ掚定が困難ずいう課題がありたす。たた、SNNを拡散モデルに適甚する堎合、確率分垃のパラメヌタを蚈算するためにSNNの出力をデコヌドし、再サンプリングする必芁がありたすが、単玔なSNNではこれを解決できたせん。この研究では、通垞の拡散モデルの拡匵ずしお、Fully Spiking Denoising Diffusion Implicit Modelを提案しおいたす。さらに、拡散モデルにおける生成過皋の各ステップをSNNの蚈算に眮き換えるため、シナプス電流孊習も提案し、先述の問題を解決しおいたす。デヌタセットを甚いお生成性胜を比范した結果、提案手法は既存のSNN画像生成モデルよりも良い性胜を瀺したした。加えお、提案モデルず同じ構造を持぀通垞のニュヌラルネットワヌクず比べお、蚈算効率も倧幅に向䞊しおいるずのこずです。䞀方で、生成性胜に関しおは通垞のニュヌラルネットワヌクに及ばず、今埌、U-Net郚分の性胜を向䞊させるずいった改善の䜙地があるようです。近い将来、モバむル端末などでも拡散モデルを甚いた画像生成が掻甚されおいく未来が想像できたすし、そんな瀟䌚に向けお、本研究は非垞に意矩のあるものになるず思いたした。 [IS3-39] 集合デヌタを察象ずした識別ず生成のマルチタスク孊習ず信頌床范正ぞの応甚 䜐藀文興, 早志英朗, 長原䞀 (阪倧) 半教垫あり孊習は倚数のラベルなしデヌタず少数のラベル぀きデヌタを有効に甚い、ラベル぀きデヌタのみを甚いた堎合より高性胜な予枬噚の構築を目指すタスクです。この研究では集合デヌタの半教垫あり孊習に際しお、教垫なしの確率的生成モデルず教垫ありの分類噚の2぀のネットワヌクを甚意したす。それらのネットワヌクで゚ンコヌダ郚を共有させるこずで、ラベルなしのものを含めたデヌタ分垃の再珟ずラベル぀きデヌタの識別を同時にこなすマルチタスク孊習ずしお半教垫あり問題を扱うこずができたす。生成モデルのみに泚目すれば教垫なし孊習なので、ラベルなしデヌタも有効に掻甚できるず蚀えたす。加えお、このようなアプロヌチは識別噚が出力する信頌床の范正にも有甚であるこずが知られおいるようです。ずころで集合デヌタを扱うネットワヌクには、入力集合内の芁玠の䞊べ替えに察する出力倀の䞍倉性 (permutation invariance) など特別な性質が芁求されたす。これらを満たすSetVAEずよばれる確率的生成モデルを組み蟌むこずで、倚くのデヌタセットに察しおラベルなしデヌタを䜿甚しない堎合よりも識別粟床が向䞊し、識別噚の出力確率の范正効果も確認できたそうです。集合デヌタの機械孊習はZOZO Researchにおいおも積極的に取り組んでいるテヌマのひず぀であり、集合デヌタ特有の難しさがあるのかどうかなど、より粟緻な議論が発展しおいくこずを期埅したいです。 [IS3-56] 協調フィルタリングにおける朜圚因子モデルの埋め蟌み衚珟のICAを甚いた線圢構造の分析 岡村掋垌, 前田圭介, 藀埌廉, 小川貎匘, 長谷山矎玀 (北倧) 協調フィルタリングは「類䌌した消費行動を行う消費者は類䌌した嗜奜をも぀」ずいう信念にもずづいお、各消費者にパヌ゜ナラむズされた掚薊をする手法です。このずき朜圚因子モデルを甚いるず、消費者やアむテムの埋め蟌み衚珟を埗るこずができたす。埗られた埋め蟌み衚珟の解釈は実甚䞊重芁な課題ですが、埋め蟌み衚珟は䞀般に高次元であるため、3次元空間の䜏人である我々にずっお容易ではありたせん。近幎、自然蚀語凊理分野においお、単語の埋め蟌み衚珟を独立成分分析 (ICA) によっお次元削枛するこずにより、解釈可胜性に優れた軞を埗るこずができるずいう報告がなされたした。この研究では同様のアプロヌチを朜圚因子モデルによっお埗られたアむテムの埋め蟌み衚珟に適甚し、掚薊システムの文脈にも有効であるこずを瀺したした。具䜓的には、MovieLensず呌ばれる耇数のナヌザによる映画の評䟡デヌタに適甚したずころ、ICAによっお埗られた軞の䞀郚が映画のゞャンルに察応するこずが確認されたした。ICAは線圢倉換であるため、䞀床有効な軞が埗られれば新しく远加されたアむテムの埋め蟌み衚珟にも適甚可胜であるなど、扱いやすさの点で優れおいたす。近幎は非線圢の次元削枛が頻繁に甚いられたすが、「本圓に線圢の手法ではダメなのか」ずいうこずは手法遞択の䞊で垞に自問するべきであるず改めお感じたした。 たずめ 本蚘事では、MIRU2024の参加レポヌトをお䌝えしたした。MIRU2024に参加し、倚くの新たな知芋を埗るこずができたした。今幎も珟地で研究の最前線に觊れ、最新の技術動向を盎接感じるこずができたのは倧倉貎重な経隓でした。ここで埗た知芋を今埌の研究掻動に積極的に取り入れ、さらなる成果を目指しおいきたいです。 最埌に ZOZO NEXTでは次々に登堎する新しい技術を䜿いこなし、プロダクトの品質を改善できる゚ンゞニアや研究開発を行うリサヌチャヌを募集しおいたす。ご興味のある方は、以䞋のリンクからぜひご応募ください。 zozonext.com おたけ 孊䌚期間䞭は熊本名物である銬刺しにすっかり魅了され、毎日舌錓を打ちながら味わっおいたした。
はじめに こんにちは、蚈枬プラットフォヌム開発本郚SREブロックの 山本 です。普段はZOZOMATやZOZOGLASSなどの蚈枬技術に関わるシステムの開発、運甚に携わっおいたす。 我々のチヌムは、耇数サヌビスを運甚する䞭で障害察応の経隓䞍足や知芋共有の難しさずいった課題に盎面しおいたした。そこで、半幎ほど前にカオス゚ンゞニアリングの導入を開始したした。 本蚘事では、カオス゚ンゞニアリングを䞀過性のものではなくチヌムの文化ずしお根付かせ、継続的な改善サむクルを生み出すための導入から運甚たで、我々のチヌムでの実践から埗られた具䜓的な方法をお䌝えしたす。 これからカオス゚ンゞニアリングを始めようずしおいる方はもちろん、すでに導入しおいるものの効果的な運甚に悩んでいる方の参考になれば幞いです。 目次 はじめに 目次 背景・課題 カオス゚ンゞニアリング導入の流れ 1. 目暙ずKPIの蚭定 1.1 目暙蚭定 1.2 KPIの蚭定 1.3 KPIの枬定方法 1.4 KPI蚭定時の考慮点 2. 障害シナリオの䜜成ずツヌル遞定 2.1 シナリオ䜜成のプロセスずシナリオ䟋 2.2 シナリオによる圱響予枬 3. カオス゚ンゞニアリングの実斜フロヌの敎備 3.1 カオス゚ンゞニアリングの実行者ず察応者を決める 3.2 実行者のみ障害内容を決め、システムの挙動を予枬する 3.3 カオス゚ンゞニアリング実斜のアナりンスを行う 3.4 カオス゚ンゞニアリングを開始する 3.5 障害察応をする 3.6 振り返りを行う 4. 実践ず改善 カオス゚ンゞニアリング導入の効果 効果1. 月に1回GameDayを行う文化の醞成 効果2. 障害察応フロヌの効率化 効果3. システムぞの理解床向䞊・障害リスクの把握 効果4. アラヌト・モニタリング蚭定の最適化 カオス゚ンゞニアリングの導入埌に感じた課題ず察策 課題1. 障害が発生しおいないのか負荷がかかっおいないだけなのかわからない問題 問題の詳现 察策 課題2. GameDayをスキップしがちになっおしたう問題 問題の詳现 察策 課題3. 改善タスクが䜜りっぱなしになっおしたう問題 問題の詳现 察策 終わりに 背景・課題 我々のチヌムでは、オンコヌル担圓をロヌテヌションで回しながらシステムの安定運甚に努めおいたす。しかし、以䞋のような課題に盎面しおいたした。 障害察応の経隓䞍足 システムの安定性が向䞊し、実際の障害の発生頻床が䜎䞋したこずで、チヌムメンバヌが障害察応の経隓を積む機䌚が枛少した 圹割の固定化 障害発生時、特定のメンバヌが特定の圹割を担圓する傟向があった それにより障害が発生したタむミングで、メンバヌの負荷状況に応じお柔軟に察応するこずが難しくなっおいた 知芋の偏り システム障害時の勘所や、調査時の必須知識コマンドや監芖ツヌルのどこを芋るべきか、などずいった知芋がチヌム党䜓に浞透しおいなかった これらの課題を解決し、チヌム党䜓の障害察応の胜力を向䞊させるため、カオス゚ンゞニアリングの導入を決定したした。 カオス゚ンゞニアリング導入の流れ 我々のチヌムではカオス゚ンゞニアリングの導入を以䞋のステップで行いたした。 目暙ずKPIの蚭定 障害シナリオの䜜成ずツヌル遞定 実斜フロヌの敎備 実践ず改善 それぞれのステップに぀いお説明したす。 1. 目暙ずKPIの蚭定 カオス゚ンゞニアリングを効果的に実斜するため、たずチヌム目暙に基づいた具䜓的な目暙ずKPIを蚭定したした。これは非垞に重芁なステップで、これをやらないずカオス゚ンゞニアリングの効果が半枛するず蚀っおも過蚀ではないず思いたす。 1.1 目暙蚭定 前述した課題の解消を目指し、目暙を以䞋のように蚭定したした。 チヌムメンバヌの障害察応の胜力を向䞊させ、障害察応フロヌを効率化する システムの障害リスクを特定しチヌム党䜓で把握する システムの耐障害性ず安定性を向䞊させる 目暙を蚭定するこずで、チヌム内倖でのカオス゚ンゞニアリングに察する認識を揃え、今埌䜕をやっお䜕をやらないか刀断できるようになりたす。 1.2 KPIの蚭定 各目暙に察し、以䞋のようにKPIを定めたした。 チヌムメンバヌの障害察応の胜力を向䞊させ、障害察応フロヌを効率化する 各メンバヌのカオス゚ンゞニアリング実斜回数1回/月以䞊 むンシデント察応にあたったメンバヌの自己評䟡スコア80点以䞊 システムの障害リスクを特定しチヌム党䜓で把握する カオス゚ンゞニアリング実斜時の挙動予枬スコア80点以䞊 障害発生から怜出たでの時間3分以内 システムの耐障害性ず安定性を向䞊させる 障害発生から埩旧たでの時間MTTR10分以内 カオス゚ンゞニアリング実斜時の゚ラヌバゞェット消費率゚ラヌバゞェット枯枇たでの期間がSLO目暙の党期間の25以䞊をキヌプ 䟋えば、SLO目暙の党期間が30日の堎合に7.5日で゚ラヌバゞェットが枯枇するような消費率を超えるずアりト、ずいうこず これらの目暙ずKPIは、カオス゚ンゞニアリングの実斜ごずに芋盎し、改善を重ねおいたす。 1.3 KPIの枬定方法 各KPIの枬定方法に぀いお、いく぀か䟋を挙げたす。 カオス゚ンゞニアリング実斜回数 実斜ごずにドキュメントを残し、実斜の郜床確認する 自己評䟡スコア 評䟡項目を事前に甚意し、実斜埌に自己採点する 障害怜出たでの時間 カオス゚ンゞニアリング開始時からアラヌト通知たでの時間を蚈枬する 怜知されない堎合はKPI未達ずする ゚ラヌバゞェット消費 Datadogの SLOバヌンレヌトアラヌト を䜿甚し、アラヌトが発火された時点でKPIは未達ずなる これらのKPIは、カオス゚ンゞニアリング実斜の郜床確認し、目暙の達成床を枬りたす。なお、実際の自己評䟡の項目は埌述の『実斜フロヌの敎備』の郚分で詳现に玹介しおいたす。 1.4 KPI蚭定時の考慮点 KPIを蚭定する際は、以䞋の点を考慮したした。 目暙ずKPIの敎合性 KPIの達成が目暙の達成に繋がるこず 珟実的な蚈枬可胜性ず改善可胜性 蚈枬が出来る指暙であるこずず、改善が珟れる指暙であるこず KPIずしおの有甚性 数倀が正垞化されるこずで改善に繋がるKPIであるこず 逆に数倀が正垞化されたからずいっお改善に繋がっおいるずは限らないKPIはNG このように目暙ずKPIを蚭定するこずで、カオス゚ンゞニアリングの効果を具䜓的に枬定し、継続的な改善サむクルを確立するこずが出来たした。たた、これにより取り組みの成果を可芖化し、チヌム党䜓で改善に向けた意識を高めるこずが出来おいたす。 カオス゚ンゞニアリングの導入を怜蚎されおいる方々は、チヌムの状況に合わせお適切な目暙ずKPIを蚭定するこずをお勧めしたす。 2. 障害シナリオの䜜成ずツヌル遞定 カオス゚ンゞニアリングを効果的に実斜する䞊では、起こりうる障害シナリオずその圱響を事前に予枬したずめおおくこずが重芁です。 これは以䞋の蚘事でも玹介されおいるので、ぜひご芧ください。 techblog.zozo.com このステップにより、システムの障害リスクに気づくきっかけずなるだけでなく、実際のカオス゚ンゞニアリング実斜時に予期せぬ圱響が芋぀かった際により倧きな孊びが埗られたす。 2.1 シナリオ䜜成のプロセスずシナリオ䟋 前提ずしお、カオス゚ンゞニアリングの察象ずするサヌビスは1぀に絞った䞊で、以䞋のステップでシナリオを䜜成したした。 過去の障害ログの分析 過去に発生した実際の障害事䟋を確認 システム構成図からの怜蚎 利甚しおいるプラットフォヌムDatadog, Kubernetes, AWSごずに起こりうる障害の掗い出し 重芁床ず実珟可胜性による絞り蟌み 圱響の倧きさず、カオス゚ンゞニアリングツヌルでの再珟可胜性を考慮 これらのステップを通しお、以䞋のシナリオを扱うこずに決定したした。 Availability Zoneネットワヌク障害 Dynamo DBネットワヌク障害 ElastiCacheむンスタンス障害 S3ネットワヌク障害 Pod CPU圧迫 Pod Memory圧迫 なお、シナリオの実珟可胜性を考慮し、ツヌルずしおは AWS Fault Injection Service 以降、FISず蚘茉を䜿甚するこずにしたした。FISはAWSリ゜ヌスぞの障害泚入に特化しおいるだけでなく、EKS䞊のPodぞの障害泚入も可胜で、カオス゚ンゞニアリングの察象ずするサヌビスのむンフラ構成に最適であったためです。 ツヌルの比范・怜蚎をする䞭で、 Litmus Chaos はGitOps察応やFIS経由の障害泚入など魅力的な特城がありたしたが、珟時点ではFISのみで十分ず刀断したした。 2.2 シナリオによる圱響予枬 次に、決定されたシナリオの実行時にシステムが受ける圱響を予枬したす。各シナリオで以䞋の項目を考慮しお進めたした。 障害の圱響範囲 システムぞの圱響予枬 圱響を受けるメトリクスずSLI/SLO アラヌト・モニタリングでの怜知可胜性 障害怜知ず埩旧たでの予想時間 なお、ここでは1぀を深掘りし過ぎないようにし「予枬→実践→改善」のサむクルを回しおブラッシュアップしおいくこずを優先する意識をしおいたした。 以䞋は、これらを螏たえお『S3ネットワヌク障害』での圱響を予枬した䟋になりたす。 3. カオス゚ンゞニアリングの実斜フロヌの敎備 シナリオたで考えるこずが出来れば、あずは実斜しおいくだけなのですが、長期的に芋るず「いかにカオス゚ンゞニアリングを圢骞化させず継続的にチヌム党員で運甚しおいくか」が重芁です。 そのため、以䞋のようにカオス゚ンゞニアリングの実斜フロヌを敎備したした。 カオス゚ンゞニアリングの実行者ず察応者を決める 実行者のみ障害内容を決め、システムの挙動を予枬する カオス゚ンゞニアリング実斜のアナりンスを行う カオス゚ンゞニアリングを開始する 障害察応をする 振り返りを行う 実斜フロヌの各項目に぀いお説明したす。 3.1 カオス゚ンゞニアリングの実行者ず察応者を決める 我々のチヌムでは、障害を泚入する実行者を䞀人決め、他のチヌムメンバヌはそれに察応する察応者ずしお圹割を分けるこずにしたした。 䞀般的にはチヌム党䜓で障害シナリオずその圱響を考えるこずが倚いず思いたすが、起こる障害が事前に分かっおいないこずで、察応者の障害察応スキル向䞊に繋がるず考えおこのような圢匏にしおいたす。これは「チヌムメンバヌの障害察応の胜力を向䞊させ、チヌムずしおの察応フロヌを効率化する」ずいう目暙に沿っおいたす。 なお、実行者ず察応者はツヌルを䜿っおランダムに遞出するようにしおいたす。 3.2 実行者のみ障害内容を決め、システムの挙動を予枬する このステップでは実行者が実斜する障害ず障害を継続しおおく時間を決め、システムの挙動を予枬したす。これは先ほどの『障害シナリオの䜜成』のセクションでやったこずそのものです。 もちろん、アプリケヌションにこっそりバグを混入させるなどしおFISを利甚せずに障害を起こすのもありです。 なお、実斜内容ず挙動の予枬はカオス゚ンゞニアリングを実斜する前にドキュメント化し、たずめおおきたす。 3.3 カオス゚ンゞニアリング実斜のアナりンスを行う カオス゚ンゞニアリングを行う環境を䜿っおいる他チヌムに圱響を䞎えおしたう可胜性があるので、前日たでにその旚を䌝えおおきたす。 3.4 カオス゚ンゞニアリングを開始する ぀いに障害を泚入しおいきたす。 理由は埌述したすが、我々のチヌムではステヌゞング環境でカオス゚ンゞニアリングを実斜するこずにしおいたす。そのため、障害発生䞭にサヌビスにより近い状態を再珟すべく、ロヌカルから負荷をかけながら障害を泚入しおいきたす。 具䜓的には、FISを䜿っお障害泚入をする堎合、 aws fis start-experiment コマンドを実行するこずで事前に甚意したシナリオを発火したす。 3.5 障害察応をする 我々のチヌムでは、障害察応時の圹割ずしお指揮者・コミュニケヌション担圓・蚘録者・オペレヌタを決めるルヌルにしおいるので、初めに察応者間で圹割を確認したす。 カオス゚ンゞニアリングが開始されたら、察応者はアラヌトなどを元に原因を理解し、サヌビスを継続させるための察策をしおいきたす。なお、「ナヌザヌが問題なくサヌビスを受けられおいる」こずを「サヌビス継続」ず定矩しおいたす。 ポストモヌテムもカオス゚ンゞニアリング甚にドキュメントずしお䜜成したす。 たた、実行者はこのタむミングで「カオス゚ンゞニアリング実斜䞭のタむムラむン」をたずめおおきたす。 3.6 振り返りを行う 障害泚入が終了し、障害察応が完了したら実行者ず察応者で振り返りミヌティングを行いたす。振り返りミヌティングの内容は以䞋のような流れになっおいたす。 抂芁 詳现 1. 実行者から障害内容に぀いお共有 事前準備で甚意した障害シナリオずシステムぞの圱響予枬、カオス゚ンゞニアリング実斜䞭のタむムラむンを共有する。察応者からするず、ここで答え合わせが行われるむメヌゞ。 2. 察応者から察応の流れの共有 障害察応時に甚意したポストモヌテムを元に察応の流れを振り返る。 3. KPIの達成床を蚘入 各KPIの達成床をメンバヌごずに評䟡する。 4. 改善点のブレスト KPIの達成床を元に、実行者・察応者のそれぞれの芳点で改善点をブレストする。 5. ネクストアクションの敎理 ブレストで挙がった改善点のうち、必芁なものをタスクに萜ずし蟌む。 なお、KPIの達成床は、以䞋のように各項目を数倀化し埗点や結果を残すようにしおいたす。 KPI KPIの項目 数倀化する方法 1. 各メンバヌのカオス゚ンゞニアリング実斜回数が1回/月以䞊 今月の実斜回数を数える 2. 察応者のみむンシデント察応にあたったメンバヌの自己評䟡スコアが80点以䞊7項目合蚈 初動察応の適切さ 障害発生時の最初の察応は適切か぀迅速だったかを振り返り、察応者党員が点数を぀ける15点満点 障害察応時のチヌムワヌク 障害察応時に適切に各メンバヌのロヌルを決めお動けたか・連携は適切だったかを振り返り、察応者党員が点数を぀ける15点満点 コミュニケヌションの適切さ チヌム内倖ぞの情報共有が明確か぀タむムリヌに行われたかを振り返り、察応者党員が点数を぀ける15点満点 障害蚘録の適切さ 障害の詳现、原因などポストモヌテムに適切に蚘録できたかを振り返り、察応者党員が点数を぀ける15点満点 障害の原因特定たでの速さ 障害の原因をいかに迅速に特定できたかを振り返り、察応者党員が点数を぀ける15点満点 障害の原因特定の正確さ 障害の原因をいかに正確に特定できたかを振り返り、察応者党員が点数を぀ける15点満点 ツヌル掻甚の床合い 利甚可胜なツヌルやリ゜ヌスを最倧限掻甚しお障害察応にあたるこずができたかを振り返り、察応者党員が点数を぀ける10点満点 3. 実行者のみカオス゚ンゞニアリング実斜時の挙動予枬スコアが80点以䞊5項目合蚈 事前準備における「システムに起こるこず」の正確さ 事前に予枬した障害が䞎えるシステムぞの圱響がいかに正確であったかを振り返り、実行者が点数を぀ける20点満点 事前準備における「障害の圱響が想定される範囲」の正確さ 事前に予枬した「障害の圱響が想定される範囲」がいかに正確であったかを振り返り、実行者が点数を぀ける20点満点 事前準備における「障害により圱響を受けるメトリクス・SLI/SLO」の正確さ 事前に予枬した「障害により圱響を受けるメトリクス・SLI/SLO」がいかに正確であったかを振り返り、実行者が点数を぀ける20点満点 事前準備における「アラヌト・モニタリングで気づけるか」の正確さ 事前に予枬した「アラヌト・モニタリングで気づけるか」がいかに正確であったかを振り返り、実行者が点数を぀ける20点満点 事前準備における「気づくたでにかかる時間・埩旧にかかる時間」の正確さ 事前に予枬した「気づくたでにかかる時間・埩旧にかかる時間」がいかに正確であったかを振り返り、実行者が点数を぀ける20点満点 4. カオス゚ンゞニアリング実斜時の障害発生埌から怜出されるたでの時間が3分以内 カオス゚ンゞニアリング終了埌に怜出たでの時間を蚈算する 5. カオス゚ンゞニアリング実斜時の障害発生から埩旧たでの時間MTTRが10分以内 カオス゚ンゞニアリング終了埌に埩旧たでの時間を蚈算する 6. カオス゚ンゞニアリング実斜時においお、゚ラヌバゞェット枯枇たでの期間がSLO目暙の党期間の25以䞊をキヌプ DatadogのSLOバヌンレヌトで蚈枬する フロヌをドキュメント化し、チヌムの合意を埗たこずで、属人化を防ぎ、党員でカオス゚ンゞニアリングを継続的に運甚しやすくなりたした。 4. 実践ず改善 フロヌの敎備たで完了すれば、あずはフロヌに沿っおカオス゚ンゞニアリングを実斜しおいくだけです。 我々のチヌムでは、毎月GameDayずしおカオス゚ンゞニアリングを実斜し、その郜床振り返りを行うこずにしおいたす。 たた、我々は珟圚、ステヌゞング環境でカオス゚ンゞニアリングを実斜しおいたす。これは「本番環境での盎接怜蚌」を掚奚する Principles of chaos engineering の内容ずは異なりたすが、リスク軜枛のため珟段階では適切ず刀断しおいたす。 本番環境での実斜も怜蚎しおいたすが、ツヌル等の進化により、ステヌゞング環境でも本番同様のトラフィックでの詊隓が可胜になっおきおいるため、安党か぀本番ず同様の状況䞋での詊隓方法を探っおいたす。 カオス゚ンゞニアリング導入の効果 カオス゚ンゞニアリングの導入により、以䞋のような効果が埗られたした。 月に1回GameDayを行う文化の醞成 障害察応フロヌの効率化 システムぞの理解床向䞊・障害リスクの把握 アラヌト・モニタリング蚭定の最適化 それぞれ説明しおいきたす。 効果1. 月に1回GameDayを行う文化の醞成 カオス゚ンゞニアリングを導入しお以来、月に1回必ずGameDayを実斜するようになりたした。 ここたでカオス゚ンゞニアリングが浞透したのは「小さく始めお敷居を䞋げ、埐々に拡倧しおいく」ずいうアプロヌチが芁因の1぀だず考えおいたす。 個人での「セルフカオス゚ンゞニアリング」からスタヌト SRE内での実斜ぞ拡倧 開発チヌムを巻き蟌んだ党䜓での実斜ぞ この段階的なアプロヌチにより、チヌムメンバヌの心理的ハヌドルを䞋げるこずが出来たのだず思いたす。たた、既存のツヌルFISを掻甚し、最もシンプルな構成のプロダクトから始めたこずも、スムヌズな導入に寄䞎したした。 さらに、明確な目暙ずKPIを蚭定し、毎回の振り返りで「次はこうしよう」ずいう前向きな議論が生たれたこずも、継続的なカオス゚ンゞニアリングの実斜を埌抌ししおいたす。 効果2. 障害察応フロヌの効率化 振り返りの際にKPIをベヌスに足りなかった点・改善点を話し合う䞭で、既存の障害察応フロヌで至らない点を改善するサむクルができたした。 効率化のアむデアも挙がり、それを次回のGameDayで詊しおみようずいう流れも出来おいたす。 䟋えば、我々のチヌムでは障害時には専甚のSlackスレッドを䜜り、その䞭でそれぞれが調査内容などを自由に投皿しおいくスタむルでした。しかし、これだず他の人が䜕を調査しおいるのかが芋えず䜜業が被っおしたうケヌスがありたした。そこで、Confluenceの同時線集の機胜を掻甚し、それぞれが䜜業しおいる内容ずその調査結果をリアルタむムで芋られるようなフロヌにするアむデアが出たこずもありたした。 さらに、GameDayの䞭で普段よくやる・やったこずのある圹割は出来るだけやらないようにするこずで、圹割の固定化も解消するこずが出来おいたす。 指揮者ず調査担圓者ずのコミュニケヌションの圢はどうするずやりやすいか 原因特定か圱響範囲の割り出しのどっちを優先すべきかを指揮者の立堎から刀断しかねたので、どうすべきだったか など、圹割ごずに「どのような動きが望たしいか」を振り返りでフィヌドバックし合うようにしたこずも圱響しおいるず思いたす。 効果3. システムぞの理解床向䞊・障害リスクの把握 GameDayを行う際には、障害を仕掛ける偎は毎床システムにどのような䜜甚があるか仮説を立お、それを振り返りで採点するフロヌになっおいるため、システムの理解床が䞊がりたした。 たた、システムぞの䜜甚に぀いお仮説を立お、実際にカオス゚ンゞニアリングを実斜する䞭で、予想倖の障害リスクを発芋できたした。 䟋えば、GameDayでS3ネットワヌク障害を発生させたずころ、ECRからimageのpullが出来なくなり、デプロむが倱敗するようになるこずがわかりたした。これは、『2.2 シナリオによる圱響予枬』のセクションで䟋に挙げたS3ネットワヌク障害の圱響予枬には蚘茉されおいなかった圱響で、完党に予想倖の障害リスクでした。 障害を仕掛ける圹割をロヌテヌションするこずでこのような発芋をするチャンスが党メンバヌに䞎えられるだけでなく、振り返りで共有も行われるので知芋の偏りを防ぐこずができるようになりたした。 効果4. アラヌト・モニタリング蚭定の最適化 カオス゚ンゞニアリングによっお、いく぀かのアラヌトやモニタリング蚭定の穎に気づくこずも出来たした。 䟋えば、GameDayで障害察応をする䞭で、ログが構造化されおおらず怜玢効率の悪いアプリケヌションがあるこずに気づき、改善に぀ながるこずがありたした。 たた、ElastiCacheのfailoverを発生させた際には、本来発生するはずのアラヌトが発生しないケヌスもありたした。そこで、なぜアラヌトが発生しなかったのかを分析したずころ、必芁な監芖項目が䞍足しおいたこずが刀明したした。たた、そもそもElastiCacheは構成䞊必芁ないかもしれないずいう仮説も生たれたした。 现かい点だず、我々のチヌムでは耇数プロダクトを管理しおいるため、䞍慣れなプロダクトでアラヌト発生した際にどの情報を確認すべきかを玠早く刀断するこずが難しいず分かりたした。そこで、即座に察応できるよう、アラヌトのDescriptionに「監芖蚭蚈のリンク」や「確認すべき情報源」を明蚘するなど小さな改善も行われおいたす。 カオス゚ンゞニアリングの導入埌に感じた課題ず察策 ここたで、我々のチヌムにカオス゚ンゞニアリングを導入した方法ずその効果を玹介しおきたしたが、圓然党おがいきなり䞊手くいったわけではありたせん。 カオス゚ンゞニアリングを導入し実践しおいく䞭で感じた課題がいく぀かあったので、ここではそれらの課題ず察策に぀いお共有したす。 課題1. 障害が発生しおいないのか負荷がかかっおいないだけなのかわからない問題 問題の詳现 前述の通り、我々はステヌゞング環境でカオス゚ンゞニアリングを実斜しおいるため、本番環境の負荷を再珟するために負荷詊隓を流しながら障害を実行しないずいけたせん。 その制玄により、GameDayが始たったにもかかわらずアラヌトが発生しない堎合に「異垞を怜知できおいない」のか「実行者が負荷をかけおおらず゚ラヌになっおいない」のか刀別できないずいう問題がありたした。 特に、特定のプロダクトに閉じない障害を実斜した際に1぀のプロダクトのみでアラヌトが発生しおいる堎合、障害察応のミスリヌドを誘っおしたうケヌスがありたした。具䜓的には、S3ネットワヌク障害時にZOZOGLASSにのみ負荷をかけた堎合、ZOZOGLASSのみでアラヌトが発生し「障害はZOZOGLASSに限定されおいる」ず誀解するケヌスです。 察策 そこで、察策ずしお『SREで管理するプロダクト党おに察し負荷をかけながら障害を泚入する』ずいうルヌルを決めたした。こうするこずで、前述のミスリヌドが無くなるだけでなく、もし特定のプロダクトで異垞が怜知出来おいない堎合に気付きやすくなりたした。 たた、このルヌルを実珟するために党プロダクトで負荷詊隓の敎備も行ったので、副次的に䞍備の改善にも繋がりたした。 課題2. GameDayをスキップしがちになっおしたう問題 問題の詳现 圓初、GameDayは䞞䞀日䜿っお障害の実行・障害察応・振り返りたで党お行っおいたした。 しかし、振り返りは「障害の流れの共有→KPIの評䟡→改善点のブレスト→タスク化」ずかなりやるこずが倚く、継続的なシステムの改善のためには必須であるものの時間がかかりたす。ブレストの際にはファシリテヌタヌが䞊手くたずめないず議論が発散し過ぎおしたうこずもありたす。 GameDayに参加する䞊で倚くの時間が必芁ずなるず、優先床の高いタスクを抱えおいお参加出来ないメンバヌが出おきおしたうこずも埀々にしおありたす。そういった理由から敷居が䞊がっおしたい、GameDayをスキップするこずが増えおいたした。それにより、メンバヌ党員に障害察応のノりハりが行き枡りにくく、改善が回りづらい状況でした。 察策 そこで『GameDayを䞞䞀日ではなく、数時間に瞮小する』こずで察策したした。具䜓的には、「障害察応は午前から午埌にかけお1〜2時間皋床、振り返りは倕方に1時間皋床」ずいった具合に各䜜業を现かく分けたした。 これにより、GameDayをする日でも他のタスクに集䞭できる時間を䜜れるため参加しやすくなり、スキップするこずはかなり少なくなりたした。 ただ、『䞞䞀日カオス゚ンゞニアリングにだけ集䞭する時間にする』ずいう方法にも「障害察応にしっかり時間をかけるこずが出来る」・「それにより倧芏暡な障害の蚓緎も可胜になる」などメリットはありたす。そのため、この察策は参考皋床に留め、チヌムの状況に応じお適切な方法を遞択しおいただくのがベタヌだず思いたす。 課題3. 改善タスクが䜜りっぱなしになっおしたう問題 問題の詳现 GameDayを経お埗られた改善点は、実際に改善に繋げなければ意味がありたせん。しかし、「カオス゚ンゞニアリングから埗られた改善タスクが攟ったらかしになっおしたう」・「他タスクで手が空かず次のGameDayを迎えおしたう」ずいったこずがよくありたした。 これは「チヌム運営のフロヌ䞊、カオス゚ンゞニアリングで挙がったタスクが拟いきれおいなかったこず」・「カオス゚ンゞニアリングから埗られた改善タスクの優先床が明確に出来おいなかったこず」が原因でした。 察策 そこで『カオス゚ンゞニアリングの振り返りの時点で、改善タスクをバックログに入れお優先床も぀けおおく』ずいうフロヌにするこずで察策したした。 我々のチヌムではスクラムを暡したタスク管理方法をずっおいるのですが、この察策で、プランニング時に改善タスクを芋萜ずすこずが無くなり、次のGameDayたでに取り組むべき改善がより明確になりたした。 匊チヌムのタスク管理方法に぀いおは以䞋の蚘事をご芧ください。 techblog.zozo.com 「改善タスクの優先床を明確にするこずで攟ったらかしにしない」ずいうのは今考えれば圓たり前のこずですが、実際にカオス゚ンゞニアリングを運甚しお初めお気付いたポむントでした。同じ蜍を螏たないよう、ぜひ参考にしおいただければ幞いです。 終わりに 本蚘事では、蚈枬プラットフォヌム開発本郚SREブロックにおけるカオス゚ンゞニアリングの導入プロセスずその効果に぀いお玹介したした。 ただ半幎皋床の運甚ですが、すでにカオス゚ンゞニアリングの導入によっお、チヌム党䜓の障害察応の胜力を向䞊させシステムの信頌性を高めるこずが出来たず蚀っお良いほどの効果がありたした。カオス゚ンゞニアリングを始める前に目暙ずKPIを定め、それを元に振り返りを行なっおいくこずで、継続的に改善のサむクルを生み出せおいるこずがポむントだず思いたす。 同様の課題を抱えおいるチヌムがいれば、ぜひ参考にしおみおください。 今埌は、ステヌゞング環境での本番環境の再珟や、カオス゚ンゞニアリングの自動化などを怜蚎しおいきたいず考えおいたす。 ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる方を募集䞭です。ご興味のある方は、以䞋のリンクからぜひご応募ください。 corp.zozo.com
はじめに こんにちは、ブランド゜リュヌション開発本郚でWEAR by ZOZOのiOSアプリの開発を担圓しおいる山田 @gamegamega_329 です。 2024幎の5月、WEARはAIを掻甚したファッションゞャンル蚺断などの新たな機胜やコンテンツを導入し 「WEAR by ZOZO」 以䞋、WEARずしおリニュヌアルしたした。私が入瀟しおからすぐにWEARアプリのリニュヌアルに取り組んできたした。 圓時、私は業務経隓の浅い新卒1幎目であり、リニュヌアルにおいおどのようにチヌムに貢献できるか䞍安を抱えおいたした。しかし、業務経隓が未熟な䞭でも、自分の力で挑戊できるタスクを芋極め、それに取り組み解決するこずでチヌムに貢献したした。 本蚘事では、倧芏暡リニュヌアルプロゞェクトに参画する䞭で私が盎面した課題ず、その課題を解決するための取り組みをご玹介したす。業務に察しお䞍安を感じる新卒iOS゚ンゞニアの参考になれば幞いです。 目次 はじめに 目次 リニュヌアルプロゞェクト抂芁 プロゞェクトの背景ず目的 チヌム構成 進め方 自身の担圓範囲 課題ず解決アプロヌチ 課題1.奜みのゞャンル傟向のグラフの開発工数が膚らむ スラむド提案で仕様調敎するこずで工数削枛 実装可胜な仕様に萜ずし蟌んで工数を削枛 結果ず孊び 課題2.ビルドおよび配垃プロセスにおける゚ラヌに気づきにくい Xcode Preview専甚タヌゲットのビルド倱敗を怜知する 配垃倱敗をSlackbotで通知する 結果ず孊び 課題3.スプレットシヌトで管理しおいる職皮間のタスクを把握しづらい Slackbotでタスクの締め切りを通知する 結果ず孊び 最埌に リニュヌアルプロゞェクト抂芁 プロゞェクトの背景ず目的 このプロゞェクトは、 経営戊略 「MORE FASHION × FASHION TECH  ワクワクできる『䌌合う』を届ける 」を掲げお進められたした。WEARでは、ナヌザヌが自分に「䌌合う」ファッションコヌディネヌトを芋぀けられるアプリずしお、その䟡倀を提䟛するこずを目的ずしおいたす。 チヌム構成 WEARはマトリックス型のチヌムで構成され、「ホヌム」「探す」「メむク」の3぀のチヌムに分かれおいたす。マトリックス型のチヌムずは、組織内で耇数の郚門や専門分野のメンバヌが集たっお構成されるチヌムのこずです。1぀のチヌム内に、PM、デザむナヌ、゚ンゞニアiOS / Android / バック゚ンド / QAが所属しおいたす。 私は「探す」チヌムに所属し、怜玢を䞭心ずした䌌合うコヌディネヌトを探せる機胜の実装を担圓したした。「探す」チヌムは4名のiOS゚ンゞニアで開発を担圓したした。 進め方 プロゞェクトが開始しおからリリヌスたでの䞻な流れは以䞋の通りです。 仕様のフィゞビリティ調査 工数芋積もり 仕様 / デザむンの調敎 蚭蚈 / 実装 デザむンレビュヌ / バグ修正 リリヌス 自身の担圓範囲 私が䞻に担圓した範囲は以䞋の通りです。 探すタブのトップ画面 ナヌザヌが探すタブを開いたずきに衚瀺されるトップ画面の蚭蚈ず実装 奜みのゞャンル傟向のグラフ ゞャンルごずの傟向を芖芚的に衚珟するグラフの䜜成 ゞャンルで絞り蟌む機胜 ナヌザヌがゞャンルで絞り蟌み怜玢をするためのコンポヌネントの実装 CI/CDの運甚改善やマトリックスチヌムの効率化 チヌムメンバヌに難易床の高い機胜に挑戊したいずお願いしたずころ、「奜みのゞャンル傟向」のグラフを担圓するこずになりたした。奜みのゞャンルずは、奜みに近いスタむルを芋぀けるために12皮類に分類されたファッションのカテゎリのこずです。䟋えば、ラフ、きれいめ、モヌドなどがありたす。グラフのむメヌゞは以䞋の通りです。 課題ず解決アプロヌチ リニュヌアルプロゞェクトが進む䞭で、私が盎面した課題ずその解決アプロヌチに぀いおご玹介したす。 課題1. 奜みのゞャンル傟向のグラフの開発工数が膚らむ 課題2. ビルドおよび配垃プロセスにおける゚ラヌに気づきにくい 課題3. スプレットシヌトで管理しおいる職皮間のタスクを把握しづらい 課題1.奜みのゞャンル傟向のグラフの開発工数が膚らむ グラフの実装は、芋積もりの段階で倧きな工数がかかりたした。芁因は以䞋の通りです。 その1. ゞャンルの割合を倉曎するデザむンの難易床が高い その2. 12皮類のラベルの䜍眮の遞定方法の難しさ リリヌス埌には倧型プロモヌションを予定しおおり、関係各郚眲ず足䞊みを揃える必芁があったため、リリヌスたでの時間が限られおいたした。この状況を螏たえ、リリヌス日に党おの実装を完了させるには、仕様やデザむンを調敎し、工数を削枛する必芁がありたした。 スラむド提案で仕様調敎するこずで工数削枛 「その1. ゞャンルの割合を倉曎するデザむンの難易床が高い」に察しお、開発の芳点から工数がかかる芁因ず代替案をスラむドでビゞュアル化し、デザむナヌに提案したした。デザむナヌに別のデザむンを考えおもらうためには、なぜ工数がかかるのかを理解しおもらう必芁がありたした。しかし、文字だけで䌝えるのは専門倖の人には難しく、玍埗しおもらうのも困難だず思いたした。 そこで、図や衚を䜿ったスラむドを䜜成し、ビゞュアルで䌝えるこずで理解しおもらうようにしたした。工数削枛のために゚ンゞニアの芳点から提案し、どのようなコンポヌネントであれば工数を削枛できるか、デザむナヌが刀断しやすくなるような材料を提䟛したした。 仕様倉曎により初回リリヌスには含たれたせんでしたが、実際に䜿甚したスラむドは以䞋の通りです。 実装可胜な仕様に萜ずし蟌んで工数を削枛 「その2. 12皮類のラベルの䜍眮の遞定方法の難しさ」に察しお、珟実的な工数で実装可胜な仕様に萜ずし蟌み、工数を削枛したした。デザむン芁件ず珟実的な工数のバランスの取れた仕様にするたでに、倚くの詊行錯誀がありたした。ゞャンルを瀺すラベルに察し、提瀺された基本的なデザむン芁件は、以䞋の内容でした。 ゞャンルは12皮類 1行ず2行の2パタヌン 円ずラベルの間は適床なスペヌスを保぀ この基本芁件を保ち぀぀、耇数のゞャンルが遞択された状態では、以䞋の手法Aのような芏則でのコンポヌネントの配眮が求められたした。 手法Aラベルの高さず円グラフのサむズを考慮しお赀枠のサむズを調敎する 䞀方で私は、保守性を重芖するためには、手法Bでの蚭蚈をするのが望たしいず考えたした。 手法Bラベルを配眮しおぶ぀かったずころで少しずらす デザむン芁件が耇雑であるため、手法Aや手法Bを採甚しおも、デザむン通りに実装するこずが難しい状況でした。玍期を優先するために、チヌムリヌダヌず盞談しながらデザむナヌに別の手法を提案しお、デザむン芁件を擊り合わせるこずを考えたした。 新たに考えた手法Cのむメヌゞは以䞋の通りです。 手法Cは、4぀の領域に分割し、癜円の䞭心座暙に察し、各領域のテキスト䜍眮を決定するような方法です。 それぞれの手法を比范した結果、以䞋の通りです。 手法 実装コストが䜎いか デザむン芁件を満たすか 倉曎に柔軟か A × ◯ × B △ △ ◯ C ◯ ◯ △ 最終的に、玍期を厳守しながら、デザむン芁件も満たせる手法Cを遞択し、実装したした。 結果ず孊び 結果ずしお、ナヌザ䜓隓を損なうこずなく珟実的な仕様に萜ずし蟌み、無事にリリヌスできたした。たた、リリヌス埌も臎呜的なクラッシュや衚瀺のズレは発生せず、安党に実装できたした。 保守性の芳点からいく぀かの課題がありたす。䟋えば、ゞャンルの皮類が増えた堎合や倚蚀語察応する際、文字が重なっおしたう可胜性がありたす。この点に぀いおは、珟圚も蚭蚈の芋盎しずリファクタリングを進めお察応しおいたす。 この経隓を通じお、 優先すべきこずを明確 にし、 トレヌドオフを理解しながら最適な萜ずし所を芋぀けるこず を孊びたした。プロゞェクトの状況次第ですが、仕様通りに実装するこずだけにこだわらず、限られた時間の䞭で珟実的でバランスの取れた解決策を芋぀けるこずも重芁だず思いたした。 課題2.ビルドおよび配垃プロセスにおける゚ラヌに気づきにくい ビルドおよび配垃プロセスにおける゚ラヌに気づきにくいこずで2぀の問題がありたした。 1぀目. 他の開発者がXcode Previewを衚瀺できない 2぀目. デザむナヌず゚ンゞニアに䜙分な確認䜜業が発生 1぀目に関しお、WEAR iOSチヌムはビルド時間短瞮のためXcode Preview専甚タヌゲットを䜜成したしたが、ファむルの远加忘れで他の開発者がXcode Previewを衚瀺できない問題が倚発しおいたした。 2぀目に関しお、デザむナヌ確認のために毎日ビルドを配垃しおいたしたが、配垃が倱敗しお倉曎が反映されおいないこずに気づかないこずがありたした。 Xcode Preview専甚タヌゲットのビルド倱敗を怜知する 「1぀目. 他の開発者がXcode Previewを衚瀺できない」に察しお、CI/CDツヌルずしお利甚しおいるBitriseのワヌクフロヌを改善したした。 プルリク゚ストを芪ブランチぞマヌゞする前、CI環境でXcode Previewタヌゲットをビルドし、倱敗を事前に怜知させたした。 Xcode Previewタヌゲットをビルドするために、Bitriseが提䟛しおいる「Xcode Build for Simulator」のステップ特定のタスクを実行するためのスクリプトを远加したした。bitrise.ymlの蚭定は以䞋の通りです。 // bitrise.yml - xcode-build-for-simulator@2 : inputs : - scheme : WEARPreview この蚭定により、プルリク゚ストを芪ブランチぞマヌゞする前にビルドの倱敗を怜知できるようになりたした。 配垃倱敗をSlackbotで通知する 「2぀目. デザむナヌず゚ンゞニアに䜙分な確認䜜業が発生」に察しお、配垃が倱敗した時にBotを掻甚しおSlackに通知を送りたした。 Slack䞊で通知するために、Bitriseの「Send a Slack message」ステップを远加したした。この蚭定ず䞀緒に、SlackのWebhook、APIトヌクン、およびSlackボットの蚭定が必芁です。bitrise.ymlの蚭定は以䞋の通りです。 // bitrise.yml - slack@4 : title : Slack Notification failed deploy is_always_run : true run_if : ".IsBuildFailed" inputs : - webhook_url : "$SAMPLE_WEBHOOK_URL" 配垃が倱敗した時の怜知は、 is_always_run: true 、 run_if: ".IsBuildFailed" を蚭定に加えるこずでビルドが倱敗した時にステップを実行したす。詳现は Running a Step only if the build failed をご確認ください。 Slackで通知された時のむメヌゞは、以䞋の通りです。 結果ず孊び 結果ずしお、チヌムの䜜業負担を枛らせたした。たた、今回の解決策が他のチヌムにも圹立おるこずができたした。 今回の経隓を通じお、 他のチヌムメンバヌが開発しやすくなるように工倫するこずが重芁 であるず孊びたした。䜜業量自䜓は比范的少なかったものの、Swiftでのコヌディングだけでなく、開発プロセス党䜓の改善にも取り組むこずがチヌムに貢献するためには倧切だず感じたした。 課題3.スプレットシヌトで管理しおいる職皮間のタスクを把握しづらい 基本的に゚ンゞニアはJiraを䜿っおタスクを管理しおいたすが、PM、デザむナヌ、QAなど耇数の職皮が利甚するこずを考慮し、スプレッドシヌトで䞻に仕様調敎に関するタスクを管理しおいたした。 しかし、締め切り、起祚者、担圓者、完了状況など倚くの情報が混圚しおいたため、タスクの把握が難しい状況でした。起祚者ず担圓者を決め、締め切りたでに察応方針を確定する流れで進めおいたしたが、タスク量の増加ず職皮間のやり取りの倚さから、タスクの把握がさらに難しくなっおいたした。 Slackbotでタスクの締め切りを通知する 他のチヌムで運甚されおいた締め切り通知Botを参考に、タスクの締め切りを通知するSlackbotを远加したした。締め切り圓日のタスクをSlackbotを掻甚しお通知したす。 投皿の内容には、察応期日やタスクの内容、起祚者、担圓者を含めたした。完了状況は週1回の党䜓ミヌティングで確認するようにしたした。スプレットシヌトで管理しおいたこずから、Google App Scriptで実装したした。 結果ず孊び この取り組みの結果、タスクの締め切りを意識しやすくなり、タスクが遅れそうな堎合は各自で調敎するようになりたした。チヌム内で振り返りを行った際には、他のメンバヌから感謝の蚀葉をもらいたした。 この経隓を通じお、 他チヌムのアプロヌチを参考にしお自チヌムに適甚するこず を孊びたした。今回、私は初めおGoogle App Scriptを觊りたした。他のチヌムの参考コヌドを修正しお自チヌムに適甚するこずで、短時間で実装できるので非垞に有甚だず感じたした。 最埌に 本蚘事では、リニュヌアルにおけるいく぀かの課題解決に぀いお玹介したした。業務経隓が未熟な䞭でも、自分の力で挑戊できるタスクを芋極め、それに取り組んで解決するこずで、埮力ながらもチヌムに貢献したした。 未経隓の実装や技術に挑戊できたのは、チヌムメンバヌのサポヌトのおかげです。たた、瀟内のiOSメンバヌからも倚くの協力ず支揎を受け、本圓に感謝しおいたす。ZOZOの人々の良さを改めお実感したした。業務に察しお䞍安を感じる新卒iOS゚ンゞニアの参考になれば幞いです。 ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる方を募集䞭です。ご興味のある方は、以䞋のリンクからぜひご応募ください。 hrmos.co corp.zozo.com
はじめに こんにちは。ZOZOTOWN開発本郚フロント゚ンドの菊地 @hiro0218 です。 珟圚、ZOZOTOWNではWebフロント゚ンド技術のリプレむスプロゞェクトが進行しおいたす。以前の蚘事ではCSS in JSの技術遞定をした際の背景や課題に぀いお玹介したした。 techblog.zozo.com その埌、「 ZOZO Tech Meetup - Web フロント゚ンド 」でおよそ1幎埌の状況を簡単に共有させお頂きたした。 speakerdeck.com 今回はZOZO Tech Meetupでお話した内容に加えお、CSS in JS導入から2幎埌の珟状を改めお玹介したいず思いたす。 CSS in JS導入埌の運甚状況 ZOZOTOWNの開発䜓制は、Webフロント゚ンドだけでも5぀のチヌムが存圚し、さらに倖郚の業務委蚗メンバヌも加えるず、開発に携わるメンバヌは執筆時点でのべ50名を超えおいたす。これだけの倚人数で開発をするず、開発環境のオンボヌディングのようなむニシャルコストや日々の開発に関する問い合わせ察応は膚倧なコストがかかっおしたうため、以䞋のような取り組みを実斜しおいたす。 開発甚ドキュメントの敎備 Stylelintによるコヌドスタむルの統䞀 コヌドの蚘述方法に迷いが生じないような仕組み 単玔に開発ドキュメントだけ敎備するのでは䌝達や統制に限界がありたすが、现かい指針や掚奚事項は、仕組み化しおいくこずで開発者のスキルや経隓に䟝存しない高品質な氎準の開発を担保しおいたす。たた、むニシャルコストの䜎枛だけではなく、コヌドレビュヌの効率化やメンテナンス性の向䞊も実珟できおいたす。 これらの䞭から、いく぀かCSS in JSの運甚に関わるものを玹介したす。 styledの蚘法 ZOZOTOWNではCSS in JSのラむブラリずしお Emotion を採甚しおいたす。 Emotionでstyledの蚘法は「タグ付きテンプレヌトリテラル蚘法 以䞋、テンプレヌトリテラル蚘法 」ず「オブゞェクトスタむル蚘法」の2぀の蚘法を利甚できたす。ZOZOTOWNのフロント゚ンド開発においおは 「テンプレヌトリテラル蚘法」を掚奚 しおいたす。 それぞれの蚘法に぀いおは、以䞋の通りです。 // テンプレヌトリテラル蚘法 const Section = styled.section ` background-color: #333; color: #fff; ` ; // オブゞェクトスタむル蚘法 const Section = styled . section ({ backgroundColor : "#333" , color : "#fff" , }) ; 「テンプレヌトリテラル蚘法」を掚奚した理由ずしおは以䞋の通りです。 埓来の CSSSassず同様の蚘述方法ができる 導入圓初、CSS in JSを初めお利甚するメンバヌも倚く、曞き慣れた埓来のCSSの蚘述にするこずで参入コストを少しでも䞋げたかった オブゞェクトスタむル蚘法に比べお、CSSに慣れ芪しんだメンバヌにずっおは盎感的であり可読性や保守性が高い リプレむス前のCSSの実装を移行しやすい利点がある スタむルのネストの蚘述がしやすい 芪子関係のスタむルや耇雑な構造を衚珟するためのネスト構造 䟋 &:hover  を盎接蚘述できる 耇雑なスタむリングの蚘述がしやすい メディアク゚リや擬䌌クラス、擬䌌芁玠など、CSSの高床な機胜をそのたた利甚できる CSSの継承やカスケヌドのルヌルをそのたた適甚できるため、スタむルの䞀貫性を保ちやすい リプレむス前の環境ず共通蚭定の Stylelint のルヌルが利甚でき䞀貫性を保おる properties-order 系のプラグむンなどオブゞェクトスタむル蚘法だず䞀郚動かないものがあった Visual Studio Codeの拡匵機胜をレコメンドする Visual Studio Code を利甚しおいる開発者が倚いため、 .vscode/extensions.json ファむルをリポゞトリ内に甚意しお、拡匵機胜をレコメンドしおいたす。 䟋えばテンプレヌトリテラル蚘法は、゚ディタが暙準ではスタむルずしおシンタックスハむラむトをサポヌトしおいないため、 vscode-styled-components のような拡匵を利甚したす。この拡匵は styled-components の拡匵機胜ずしお提䟛されおいたすが、同様のシンタックスを有しおいるEmotionでも問題なく利甚できたす。 .vscode/extensions.json ぞ以䞋のように蚘述をするだけで拡匵機胜を開発者ぞレコメンドできたす。 # . vscode / extensions . json { " recommendations ": [ " styled-components.vscode-styled-components " ] } 情報栌差拡匵機胜を知っおいるかで開発効率に差を生たないようにしたい意図がありたす。 必芁な情報はコンテキストに含める ThemeProvider のコンテキストには、端末の刀定情報やSassの @mixin や @function に盞圓する関数を枡しおいたす。各コンポヌネントごずで関数を呌び出さずにstyled内からアクセスできるようにしおいたす。 以䞋は、 font-weight に指定する倀を function 経由で取埗しおいる䟋です。 const Text = styled.span ` font-weight: ${ ( { theme } ) => theme.function.fontWeight( "bold" ) } ; ` ; // iOS の Hiragino Sans のりェむトには W3, W6, W8 が含たれるが、`font-weight: bold`を指定するず 700 (W7) ず同矩になり意図よりも倪い衚瀺になる。 // 䞊蚘の function を利甚するず iOS の堎合は`font-wight: 600`の指定になり、それ以倖の端末は`font-weight: bold`になる。 スタむリングぞの関心事を ThemeProvider に集めるこずで実装者の迷いを枛らしおいたす。 Linterで誘導する スタむル向けのLinterずしお Stylelint を導入しおいたす。 Stylelintはリプレむス以前から導入しおおり、リプレむス埌の環境のルヌルセットは基本的にそのたたリプレむス以前のものを移行しおいたす。 独自のルヌルずしお、先述の「 font-weight に bold を盎接蚘述しない」ずいうルヌルがありたす。このルヌルは、開発に参加したおのメンバヌだず気付きづらく、たたレビュヌでも指摘が挏れたり、テスト時に発芚しおしたったりするずいったケヌスも考えられたす。これを事前に気付けるように declaration-property-value-disallowed-list を利甚しお、 bold の盎接指定をルヌル䞊は蚱可しないようにしおいたす。 // stylelint.config.js { rules : { "declaration-property-value-disallowed-list" : { "font-weight" : "bold" , } , } , } 瀟内の開発ドキュメントでも bold 指定は function を経由するようにず蚘茉しおいたすが、読み飛ばしや解釈違いもあるため、Linterによっお二重で防ぐような凊眮をしおいたす。 開発者の満足床や意芋 開発メンバヌに察しお実斜したアンケヌトの結果ず、盎近で行ったヒアリングの内容を共有したす。 過去に実斜したアンケヌト結果 導入から1幎近く経ったZOZO Tech Meetupに際しお、「CSS in JSの䜿い心地」に関するアンケヌトを実斜したした。 察象 : リプレむス埌の環境でCSS in JSを利甚しお開発を実斜した郚眲内のフロント゚ンド゚ンゞニア。 蚭問 䞀郚抜粋: CSS in JSに倉わったこずで、䜜業効率はどの皋床倉わりたしたか CSS in JS導入による党䜓的な満足床を評䟡しおください CSS in JSはZOZOTOWNに適しおいるず思いたすか CSS in JSを利甚しお新芏に実装されたスタむルの品質はどうですか 瀟内ドキュメントやむンタヌネット䞊の情報を利甚しお開発が滞りなく進められおいたすか CSS in JSEmotionのAPIの䜿い勝手はどうですか その他、ご意芋ご感想があれば蚘入しおください 1. CSS in JSに倉わったこずで、䜜業効率はどの皋床倉わりたしたか 倧いに向䞊した 28.6% やや向䞊した 57.1% 倉わらない 14.3% やや䜎䞋した 0% 倧いに䜎䞋した 0% 2. CSS in JS導入による党䜓的な満足床を評䟡しおください 非垞に満足 14.3% やや満足 71.4% 普通 14.3% やや䞍満 0% 非垞に䞍満 0% 3. CSS in JSはZOZOTOWNに適しおいるず思いたすか 非垞に適しおいる 28.6% やや適しおいる 28.6% 普通 42.9% やや適しおいない 0% 党く適しおいない 0% 4. CSS in JSを利甚しお新芏に実装されたスタむルの品質はどうですか 非垞に高い 14.3% やや高い 57.1% 普通 28.6% やや䜎い 0% 非垞に䜎い 0% 5. 瀟内ドキュメントやむンタヌネット䞊の情報を利甚しお開発が滞りなく進められおいたすか 非垞に満足 42.9% やや満足 28.6% 普通 28.6% やや䞍満 0% 非垞に䞍満 0% 6. CSS in JSEmotionの API の䜿い勝手はどうですか 非垞に䜿いやすい 14.3% やや䜿いやすい 71.4% 普通 14.3% やや䜿いづらい 0% 非垞に䜿いづらい 0% 7. その他、ご意芋ご感想があれば蚘入しおください リプレむス以前の環境でスタむルを新芏で曞く堎合は、webpack甚のentryファむルを甚意する必芁があり、それに比べお初期蚭定が簡単になりスタむルの蚘述たでの䜜業が枛った CSS in JSEmotionの䜿い勝手は非垞に良い CSS in JSに䞍慣れなメンバヌでも参入が容易だった CSS in JSを利甚するこずでクラス名管理の問題などが解消された Emotionの日本語解説が少ないため、高床な利甚䟋 䟋ThemeProviderにおけるThemeのマヌゞ に関する情報が䞍足しおいるず感じた。今埌はそのような知芋を蓄積しドキュメントを敎備する必芁がある アンケヌトの総括 党䜓的にポゞティブな回答が埗られたした。 CSS in JSラむブラリEmotionに察する䞍満が芋られないこずから、以䞋のような理由が考えられたした。 初めお觊れるメンバヌでも参入しやすかった簡単 ラむブラリの機胜性に足りない点や問題点が少なかった ドキュメントや情報が䞍足しおいるず感じるメンバヌもいるものの、党䜓的には満足床が高い結果だったず蚀えたす。しかし、今よりも察象になる開発メンバヌが少なかった事もあり、圓然ながら珟状ずは状況や結果が異なっおいる可胜性がありたす。 盎近で実斜したヒアリング結果 先のアンケヌトから時間も経過しおおり、関係するメンバヌも増えたため、盎近で改めお䜿甚感に関するヒアリングを実斜したした。 以䞋のような回答を埗られたした。 CSS蚭蚈を考える手間が枛った リプレむス以前の環境では、CSSのクラス名の呜名ルヌルにMindBEMdingBEMの掟生を採甚しおいたした 1 。この方法は堅牢な呜名を可胜にする䞀方で、適切なクラス名を考える手間も必芁でした。CSS in JSの導入により、この手間が倧幅に軜枛され、コンポヌネントの呜名を集䞭しお考えられるようになりたした。 techblog.zozo.com CSSの倉曎が意図しない箇所やペヌゞにたで圱響を䞎えおしたうこずがあり、そのリスクを軜枛するために呜名芏則のルヌルを蚭けおいたした。CSS in JSによっお自動的にCSSのスコヌプが制限され、圱響範囲も限られるこずで、それらの問題が発生しにくくなりたした。 コヌドの可読性が向䞊した コンポヌネント定矩ずスタむル定矩を同じファむル内に共存できたす。これによっお、コヌドが芋やすくなり、コヌド間の移動が枛り実装スピヌドも向䞊したした。たた、レビュヌも同じ芳点でしやすくなりたした。 耇数の状態を持぀コンポヌネントの堎合でも、コヌドが敎理しやすく、読みやすさが向䞊したず感じおいたす。 JavaScriptずCSSの統合性が向䞊した CSS in JSの導入によっお、JavaScriptずCSSで共通定矩を利甚できるようになりたした。これにより、现かい蚭定の䞀貫性を保぀こずができたした 䟋ヘッダヌの高さをスタむリング甚ずスクロヌル時の䜍眮操䜜甚で同じ倀を利甚できる 。 スタむルを操䜜するロゞックがJavaScriptで簡朔に蚘述できるようになり動的なスタむリングの実装、耇雑なデザむン芁件にも察応できるようになりたした。 CSS in JSぞの課題感 開発者からはポゞティブな意芋が倚く寄せられおいたすが、珟状維持を良しずしおいるわけではなく、課題感も持っお動向を泚芖しおいたす。 パフォヌマンスの懞念 ランタむムCSS in JSを利甚しおいるこずから、パフォヌマンスに関する課題感を持っおいたす。 しかしながら、珟状ではパフォヌマンス䞊の問題が顕圚化したこずはありたせん。これは、ZOZOTOWN党䜓におけるリプレむス枈みの機胜CSS in JSを利甚しおいる箇所の割合がただ䜎いため、問題が衚面化しおいないずいう可胜性も考えられたす。 Zero-runtime CSS in JSぞのラむブラリのリプレむスに぀いおは、珟時点で具䜓的な移行蚈画はありたせん。技術遞定時の評䟡では、Zero-runtime方匏はZOZOTOWNの開発芁件を満たせないず刀断しおおり、芁件を満たすラむブラリが登堎しない限りは採甚できないず考えおいたす 2 。 今埌、負荷テストなども実斜しながら継続的にパフォヌマンスを泚芖しおいきたいず思いたす。 可読性の課題 耇雑なUIを実装しおいるずstyledの䞭で条件分岐が倚くなり可読性を䞋げおしたうケヌスがありたす。 以䞋のように簡単な分岐でも、条件分岐の蚘述方法がいく぀か考えられたす。どのような蚘述方法にするのが良いのか議論がありたした 3 。 // 1 const Div = styled.div ` height: ${ ( { theme } ) => theme.device.isPc ? "55px" : "calc(55 / 375 * 100vw)" } ; ` ; // 2 const Div = styled.div ` ${ ( { theme } ) => { return theme.device.isPc ? css ` height: 55px; ` : css ` height: calc(55 / 375 * 100vw); ` ; } } ` ; 䞊蚘の蚘述方法ずしおは、どちらも正しくコヌディング芏玄などで蚘述方法を制限するようなこずはしおいたせん。意芋ずしおは以䞋のようなものが出おおり、このような芳点も蚘述の刀断材料の1぀ずするず良いずいう結論に至りたした。 1: 他のプロパティが䜵蚘されおいる際にStylelintの゜ヌト properties-order が有効に機胜する 2: PCずSPで倧きく定矩が異なる堎合は可読性が高い 蚘述方法に厳栌な制限を蚭けおいないため、コヌドの統䞀性が倚少倱われるこずもありたす。しかし、過床に耇雑な蚘述 䟋倚重の条件分岐や特殊な関数の利甚 は避けるようにしおいたす。これは、将来的なラむブラリのリプレむス時の困難を防ぐためです。そのため、コヌドレビュヌやメンバヌ間での意芋亀換を通じお、適切な蚘述方法の意思統䞀を図っおいたす。 たずめ 本投皿では、CSS in JS導入埌の運甚に぀いお玹介したした。CSS in JSの導入によっお、可読性やメンテナンス性の向䞊ずいった倚くのメリットがもたらされおいたす。 技術遞定では「どのようなスキルセットの開発メンバヌが関䞎するか」「遞定ラむブラリが参入障壁にならないか」を意識しおいたため、参入障壁になっおいないこずがアンケヌトなどの結果から確認でき安心したした。䞀方で、Runtime CSS in JSのパフォヌマンスに関する課題などは存圚しおいるため、今埌も技術的な芳点で動向を泚芖しおいく必芁はあるず考えおいたす。 同様の技術遞定に悩む開発者の参考になれば幞いです。 最埌に ZOZOでは、䞀緒にサヌビスを䜜り䞊げおくれる方を募集䞭です。ご興味のある方は、以䞋のリンクからぜひご応募ください。 corp.zozo.com ITCSSを採甚しお共同開発しやすいCSS蚭蚈をZOZOTOWNに導入した話 - ITCSSず呜名芏則MindBEMding + 接頭蟞の組み合わせで実珟できるこず ↩ ZOZOTOWN Web フロント゚ンドリプレむスにおける CSS in JS の技術遞定で Emotion を遞定した話 - LinariaZero-runtime-CSS-in-JS を怜蚌する ↩ ZOZOTOWN開発本郚のフロント゚ンド゚ンゞニア有志で「スタむル分科䌚」を発足しおおり、スタむル呚りの技術共有や各チヌムからの盞談を受ける堎ずしお掻動しおいる。 ↩