こんにちは。 ファインディ で Tech Lead をやらせてもらってる戸田です。 既に皆さんも御存知かと思いますが、弊社では開発生産性の向上に対して非常に力を入れています。 以前公開した↓の記事で、弊社の高い開発生産性を支えている取り組み、技術についてお話させていただきました。 tech.findy.co.jp ありがたいことに、この記事を多くの方に読んでいただき反響をいただいております。 そこで今回は、↑の記事でも紹介されている「タスク分解」について更に深堀りしてお話しようと思います。 タスク分解は、弊社にJOINしたら最初に必ず覚えてもらう最重要テクニックの中の1つです。 それでは見ていきましょう！ タスク分解とは メリット 事前に対応方針の認識を合わせやすくなる Pull requestの粒度を適切に保つことが出来る 進捗管理、引き継ぎをしやすくなる タスクの作り方 具体例 良いタスクリストを作るコツ まとめ タスク分解とは 何かしらの開発タスクを任されたあなたが最初にやるべきことは何でしょうか？ もしいきなりコードを書き出す人がいるのであれば、この記事を読むことをオススメします。 開発タスクを任された際、まず最初にタスクの洗い出しを行い、それらを可能な限り分解していきましょう。 分解したタスク毎にPull requestを作成することで、自然とPull requestの粒度を適切に保つことが可能になります。 まずはタスク分解におけるメリットを紹介します。 メリット 事前に対応方針の認識を合わせやすくなる 弊社ではGitHubのIssueにタスクリストを作成し、実装着手前にタスクリストをレビューしてもらうようになっています。 実際に対応する内容と、考えているタスクの内容が一致しているのか、対応する順番は適切か、などを確認して実装着手前に認識を合わせるようにしています。 これからのタスクの予定を目に見える形で確認することが出来るので、事前に対応漏れや考慮漏れに気づきやすくなり、手戻りの発生が減ります。 これにより工数見積の精度も上がり、開発スケジュールが大きくずれ込むことを防ぐことが出来るようになります。 Pull requestの粒度を適切に保つことが出来る 基本的に作成したタスクごとにPull requestを作成することになります。 Pull requestの粒度が大きくなってしまう原因の1つに、「やるべきことがどんどん増えていって、結果的に大きくなってしまった」というものがあります。 しかし、事前にタスクをある程度の粒度で切り出しているため、Pull requestを作成している途中に肥大化してしまうことが少なくなります。 それでも考慮漏れなどでPull requestの粒度が大きくなってしまうこともゼロではありません。その場合、着手中のタスクの粒度が大きいと判断し、そこから更にタスクを分解するようにします。 実装中にタスクを細分化することにより、意図しないPull requestの肥大化を防ぎ、結果的に適切な粒度のタスクリストに近づくようになります。 また、Pull requestのレビュワーからの視点だと「これからどんな事をしようとしているのか」がIssue内のタスクリストによって把握することが出来るようになります。 そのため、Pull requestの粒度が細かい状態でレビュー依頼が来たとしても、局所的なレビューではなく全体像をある程度把握した上でのレビューが可能となります。 進捗管理、引き継ぎをしやすくなる タスクリスト内の終わったタスクにはチェックを入れ、進捗管理としても利用します。 全体を通してやるべきことと現在終わっていることがタスクリストを見ることで一目でわかるようになっているため、開発の進捗がどうなっているのか確認出来るだけでなく、他のメンバーに開発の引き継ぎをしやすくなります。 タスクの作り方 まず弊社では、GitHubのIssueのテンプレートにタスクリストの項目を用意しています。 --- name: Feature request about: 新機能や改善等の仕様用 --- ## なぜやるのか <!-- やることになった背景等を書く --> ## ゴール <!-- これをリリースすることで何を達成したいのか --> ## 仕様 ### 概要 <!-- 量が多ければ、概要と詳細に分ける --> <!-- 期待する・期待しない動作を書く --> ### タスクリスト - [ ] add task ## 補足事項 ### 懸念 <!-- 気になる点や仕様上での懸念事項等あれば記載する --> ## 関連Issue このように、Issueを作成し開発に着手する前にタスクリストを作成することが必要であることを明確にしています。 また、チェックボックスで作成したタスクからIssueを直接作成する機能などもGitHubから提供されているので合わせて確認してみてください。 docs.github.com 具体例 例えば、「ユーザーデータの一覧を返すREST APIを追加する」タスクが割り振られたとしましょう。 これだけだと、タスクリストの初稿はこうなります。 - [ ] ユーザーデータの一覧を返すREST APIを追加する これだけでは何がどう必要なのか、具体的によくわかりませんね。そこでPdMに確認すると、次のような要望が上がっているとのことでした。 - 登録しているユーザーの一覧を表示したい - idとnameで絞り込みが出来るようにしたい 現状わかっている要件だけでタスク分解をしてみましょう。 - [ ] ユーザーデータの一覧を返すREST APIを追加する - [ ] データベースからユーザーデータの一覧を取得して返す - [ ] 絞り込みに対応する - [ ] id - [ ] name とりあえず「動くもの」であれば、これだけで実装できそうです。 この状態でフロントエンド担当のメンバーにレビューしてもらいましょう。画面モックを確認するとページネーションとソートの機能が必要であることがわかりました。 ここでタスクを追加しておきましょう。 - [ ] ユーザーデータの一覧を返すREST APIを追加する - [ ] データベースからユーザーデータの一覧を取得して返す - [ ] 絞り込みに対応する - [ ] id - [ ] name - [ ] ページネーションに対応する - [ ] ソートに対応する - [ ] idのasc/desc 要件や必要な機能が少しずつ明確になってきましたね。次に他のバックエンドエンジニアにレビューしてもらいましょう。 すると、「nameの検索条件は完全一致、部分一致のどっちなのか？」という指摘をもらいました。 確かに画面モックから読み解くのは難しかったです。PdMと議論し、部分一致で実装することに決定しました。 ここで既存のタスクを修正しましょう。 - [ ] ユーザーデータの一覧を返すREST APIを追加する - [ ] データベースからユーザーデータの一覧を取得して返す - [ ] 絞り込みに対応する - [ ] id - [ ] nameの部分一致 - [ ] ページネーションに対応する - [ ] ソートに対応する - [ ] idのasc/desc 一通りの要件はこれで揃ったようです。これで実装に着手していきましょう。 ところが実装を開始してテストコードを書いていると、退会ユーザーのレコードが存在している可能性が出てきました。この場合、退会ユーザーは一覧に表示したくありません。 この要件をタスクリストに追加しましょう。 - [ ] ユーザーデータの一覧を返すREST APIを追加する - [ ] データベースからユーザーデータの一覧を取得して返す - [ ] 全件返す - [ ] 退会ユーザーは一覧から除外する - [ ] 絞り込みに対応する - [ ] id - [ ] nameの部分一致 - [ ] ページネーションに対応する - [ ] ソートに対応する - [ ] idのasc/desc ひとまず全件データを返すところまでPull requestで対応して、別のPull requestで退会ユーザーを一覧から除外するコードを追加すればOKです。この様に、実装中にタスクを更に細分化することも十分ありえます。 ひとまず退会ユーザーを一覧から除外するところまで対応が完了したので、チェックボックスにチェックを入れて進捗を管理します。 - [ ] ユーザーデータの一覧を返すREST APIを追加する - [x] データベースからユーザーデータの一覧を取得して返す - [x] 全件返す - [x] 退会ユーザーは一覧から除外する - [ ] 絞り込みに対応する - [ ] id - [ ] nameの部分一致 - [ ] ページネーションに対応する - [ ] ソートに対応する - [ ] idのasc/desc チェックを入れて進捗を管理することで、完了しているタスク、していないタスクを一目で確認することが可能になり、他のメンバーに開発の引き継ぎをしやすくなります。 今回は極端な例で紹介しましたが、タスクリストの作り方、整理の仕方を具体的に理解できたかと思います。 良いタスクリストを作るコツ 良いタスクリストを作成するためのコツは、 最初から完璧なタスクリストを作ろうとしない ことです。 まず最初に大枠のタスクを考え、そこから分解していくように意識してタスクリストを作成すると、結果的に詳細なタスクリストが完成しています。 小さくコツコツと修正を上乗せしていき、最終的に完成形に近づけていくような分解の仕方が良いでしょう。 大きな機能の実装担当になった際に、一度に全ての機能を実装するのではなく、 小さい機能追加を何回も繰り返して結果的に大きな機能を完成させる ようなイメージを持つと良いです。 まとめ いかがでしたでしょうか？ 実装コードを書く前の準備は非常に重要です。タスク分解の精度を上げることにより、結果的にスピード感を持った開発を行うことが出来るようになります。 現在、ファインディでは一緒に働くメンバーを募集中です。 興味がある方はこちらから ↓ herp.careers

あけましておめでとうございます！ Findy Tech Blog編集長でソフトウェアプロセス改善コーチの高橋（ @Taka_bow ）です。 昨年2月末にスタートしたFindy Tech Blogが、なんと 総PV数30万を突破 しました！ ここまで成長できたのも、記事を読んでくださる皆さんのおかげです。本当にありがとうございます。 今日は2024年、特に人気を集めた記事をいくつかの視点からピックアップしてご紹介します。技術のトレンドから生産性向上テクニックまで、きっと皆さんの関心に響く記事が見つかるはずです。 それでは早速、ふりかえっていきましょう！ 2024年下期トピックス ITmedia NEWSの「IT企業デスクツアー」に取り上げて頂く 「修行をした話」から広がった新しい試み 【2024年】年間総PV数ランキングTop3 第3位 第2位 第1位 【2024年】はてなブックマーク数Top3 第3位 第2位 第1位 おわりに 2024年下期トピックス ITmedia NEWSの「IT企業デスクツアー」に取り上げて頂く 当ブログ人気シリーズ「【エンジニアの日常】エンジニア達の自慢の作業環境を大公開」で紹介した数々のデスク環境が、ITmedia様により改めて記事化して頂いてます！これは嬉しい！ 「自慢の作業環境」の解説は、ブログの方が詳しいですのでぜひこちらもご覧ください。 下期では、Part5をリリースしております。 「修行をした話」から広がった新しい試み 2024年10月に公開した「プロダクト開発の修行をした話」シリーズが、新たな展開を見せました。弟子エンジニアと、師匠エンジニア、それぞれの視点で綴った2本のブログ記事が大きな反響を呼び、ついにはLTイベントの開催へと発展したのです。 このシリーズでは、実際のプロダクト開発現場で行われた「修行」の様子を、両者の生の声でお届けしました。技術的な学びはもちろん、メンターとメンティーの関係性の築き方、プロダクト開発を通じた成長の過程など、普段はなかなか表に出てこない貴重な体験が詳しく語られています。 そして、記事での反響を受けて実現したLTイベント。ブログには書ききれなかったエピソードや、視聴者から寄せられた質問への回答など、より深い内容をお届けできました。テックブログの新しい可能性を探る試みとなりました。 ブログでは語りきれなかった生の声を届ける、という新しいチャレンジをしました。 youtu.be 【2024年】年間総PV数ランキングTop3 ここからは、2024年一番アクセス（PV）のあった記事を紹介します！ 第3位 ＼ 第3位 ／19,305 PV 【エンジニアの日常】エンジニア達の人生を変えた一冊 Part3 - Findy Tech Blog ファインディのエンジニアたちが自身の成長に影響を与えた一冊を語る人気シリーズ「エンジニア達の人生を変えた一冊 Part3」ランキング。 記事では、『マスタリングTCP/IP―入門編』や『ハッカーと画家 コンピュータ時代の創造者たち』、そして『UNIXという考え方』といった名著が取り上げられており、それぞれがどのようにエンジニアたちの視点やスキルに変化をもたらしたのかが語られています。 とても玄人なラインナップでしでしたが、とても読まれています。ぜひチェックしてみてください！ 第2位 ＼ 第2位 ／19,379 PV 【エンジニアの日常】エンジニア達の人生を変えた一冊 Part2 - Findy Tech Blog 第3位に続き、同じシリーズがランクイン！ この記事では、『SRE サイトリライアビリティエンジニアリング―Googleの信頼性を支えるエンジニアリングチーム』や『プログラマが知るべき97のこと』、そして『Clean Coder プロフェッショナルプログラマへの道』など、多くのエンジニアに愛読されている名著が取り上げられています。それぞれの書籍がどのように読者の成長を後押ししたのか、具体的なエピソードを交えて解説されています。 こちらも、ぜひチェックしてみてください！ 第1位 ＼ 第1位 ／20,108 PV 開発生産性指標を向上させるためにやってはいけないアンチパターン - Findy Tech Blog 2024年、最も多くの方に読まれた記事は「開発生産性指標を向上させるためにやってはいけないアンチパターン」でした。 開発現場で生産性向上に取り組む際、ついやってしまいがちな落とし穴について、実例を交えながら解説しています。デプロイ頻度やリードタイムといった指標を改善しようとするあまり、かえって本末転倒になってしまうケース。例えば、数字を上げるために無理にデプロイ回数を増やしたり、リードタイムを短くするためにコードレビューを省いたり...。一見、指標は改善されるものの、実は長期的に見るとチームの成長を阻害してしまう、そんな危険性を具体的に紹介しています。 「勝って兜の緒を締めよ」的、エンジニアの心構えを解いたブログです。 【2024年】はてなブックマーク数Top3 こちらでは、はてなブックマーク（はてブ）の数が多かったランキングをお届けします！ *1 第3位 ＼ 第3位 ／217 users 【エンジニアの日常】エンジニア達の人生を変えた一冊 Part1 - Findy Tech Blog こちらでは「Part1」がエントリー！ 記事では、ソフトウェアとビジネスの未来を描く『ソフトウェア・ファースト』や、組織運営とリーダーシップの重要性を説く『1兆ドルコーチ』、アジャイル開発の実践的な手法を学べる『アジャイルサムライ』、さらに長期的なコード品質を支える設計の重要性に触れた『Clean Architecture』が取り上げられています。 加えて、Appleのデザインを牽引したジョナサン・アイブ氏のキャリアや哲学を深掘りした『ジョナサン・アイブ』も紹介され、デザインとエンジニアリングの融合が生むイノベーションの重要性について考えさせられる内容が語られています。 第2位 ＼ 第2位 ／218 users 開発生産性を上げるために開発をする前に考えていること - Findy Tech Blog この記事では、開発をスムーズに進めるために、プロジェクト開始前に押さえておきたいポイントをまとめています。 プロジェクトのゴールをしっかり定めることはもちろん、ユーザー目線に立った設計の大切さ、既存の仕組みを上手く活用するコツ、将来の拡張も考えたシンプルな設計の進め方など、具体的な例を交えながら解説しています。段階的なリリースを通じて、ユーザーの声を活かしながら改善を重ねていく方法についても詳しく紹介されています。 日々の開発現場で使える知見が詰まっているので、プロジェクトの進め方を見直したい方や、開発の効率を上げたいと考えているエンジニア、マネージャーの方には、特に参考になるはずです。 第1位 ＼ 第1位 ／328 users IT人材不足79万人の真因：生産性向上を阻む『人月の神話型請負』からの脱却 - Findy Tech Blog はてブが一番付いた記事は「IT人材不足79万人の真因：生産性向上を阻む『人月の神話型請負』からの脱却」でした！ 2030年、日本のIT人材が約79万人不足するという衝撃的な予測をご存知でしょうか。この深刻な課題に対して、Findy Tech Blogでは「IT人材不足79万人の真因：生産性向上を阻む『人月の神話型請負』からの脱却」という記事を公開しました。 記事では、人材不足の根本的な原因として、日本のIT業界に根付いている「人月」という考え方と、ウォーターフォール型開発による従来の請負開発に着目。これらが開発現場の生産性向上を妨げ、人材不足を加速させている構造を丁寧に解き明かしていきます。 さらに、アジャイル開発の導入事例や新しい契約モデルの提案など、この課題を乗り越えるためのヒントも紹介しています。 おわりに 2024年に公開した73件の記事の中からほんの一部をご紹介させていただきました。 紹介しきれなかった記事もたくさんありますので、ぜひ他の記事もご笑覧頂ければと思います。 昨年は特に「【エンジニアの日常】シリーズ」に大きな反響をいただきました。これらのテーマは2025年も引き続き追求していきつつ、新しい技術への挑戦やファインディならではの爆速開発についても積極的に発信していきたいと思います。 そして何より、読者の皆さんとの対話を大切にしていきたい。記事へのコメントやSNSでの反応は、私たちの大きな励みになっています。 2025年も「面白い！」「参考になった！」と思っていただける記事をお届けできるよう、編集部一同張り切っていきますので、引き続きFindy Tech Blogをよろしくお願いします！ ファインディでは一緒に会社を盛り上げてくれるメンバーを募集中です。興味を持っていただいた方はこちらのページからご応募お願いします。 herp.careers *1 : 2024年12月31日時点で集計したランキングです。以後、増減する可能性はあります。

新年、明けましておめでとうございます。 ファインディ株式会社でフロントエンドのリードをしている新福( @puku0x )です。 今年も「エンジニアおみくじ」の季節がやって参りました 🎉 企画の詳細につきましては↓の記事をご参照ください。 findy-code.io 今回はエンジニアおみくじ開発の舞台裏をお話ししようと思います。 エンジニアおみくじとは 舞台裏① 企画からエンジニアが関わる 舞台裏② おみくじパターンは18万通り以上 まとめ エンジニアおみくじとは エンジニアおみくじは Findy で毎年1月に開催しているイベントです。 期間中にFindyへログインし、引いたおみくじをシェアすると抽選でプレゼントがもらえます。 期間中は毎日おみくじを引けます。目指せ超大吉！ さらに今年はおみくじのパターンを増やしました。 その数、なんと 18万7,500通り ！！ たくさんご用意しましたので是非お楽しみください。 舞台裏① 企画からエンジニアが関わる ファインディでは、企画の段階からエンジニアがプロジェクトに参加しており、おみくじの内容に関してもエンジニアの監修が入っています。 エンジニアチームからは、用語やトレンドを共有したり、技術検証のフィードバックなどを行いました。運勢の一覧も皆でチェックしました。 おみくじにはエンジニアの監修が入っています 今年は年収やスキル偏差値などに加え、 生成AI や セキュリティ といった項目が盛り込まれてあります。 中には思わずニヤニヤしてしまうものもあるでしょう。 面白い運勢が出ましたら「 #Findyエンジニアおみくじ2025 」のハッシュタグを付けてシェアをお願いします。 舞台裏② おみくじパターンは18万通り以上 実は、これまでのエンジニアおみくじは「運勢別に固定の画像を返す」という仕様であり、画像作成の工数を抑えるため、 60パターン しかありませんでした。 単純な構成だっため実装面では楽でしたが、画像を作成する デザインチームへの負担が大きい という課題がありました。また、 おみくじを引き直した際に結果が重複する 確率もそこそこあり、ユーザー体験の面からもパターンの増加は必須でした。 このような背景から、今回は運勢（6通り）、各項目（5 5 通り）、コメント（10通り）からなる 6×5×5×5×5×5×10 = 187,5000 通りの組み合わせを用意することにしました。 すごい数ですね。ちなみに既存のやり方では 休まず働いて15年かかる作成量 であると試算されました。 すべての組み合わせの画像を手動で作成すると完成は...15年後！ ここはエンジニアチームの出番です💪 大量の組み合わせの画像を作成するのは現実的でないため、実装を根本から見直し、動的に画像へテキストを挿入する形式を採用しました。 // ※説明のためコードを一部変更しております const textMaps = [ // 年収 { '超大吉' : { 0 : '項目1' , 1 : '項目2' , 2 : '項目3' , 3 : '項目4' , 4 : '項目5' , } , '大吉' : { ... } , '中吉' : { ... } , : } , // スキル偏差値 { '超大吉' : { ... } , '大吉' : { ... } , : // ※説明のためコードを一部変更しております const noteMap = { '超大吉' : { 0 : 'コメント1' , 1 : 'コメント2' , 2 : 'コメント3' , 3 : 'コメント4' , 4 : 'コメント5' , 5 : 'コメント6' , 6 : 'コメント7' , 7 : 'コメント8' , 8 : 'コメント9' , 9 : 'コメント10' , } , '大吉' : { ... } , '中吉' : { ... } , : // ※説明のためコードを一部変更しております const ids = [ ... ] ; const index = '超大吉' ; const texts = [ textMaps [ 0 ][ index ][ ids [ 0 ]] , textMaps [ 1 ][ index ][ ids [ 1 ]] , textMaps [ 2 ][ index ][ ids [ 2 ]] , textMaps [ 3 ][ index ][ ids [ 3 ]] , textMaps [ 4 ][ index ][ ids [ 4 ]]] ; const note = noteMap [ index ][ ids [ 5 ]] ; return ( < div style = {{ backgroundImage : 'url(...)' }} > < span > { texts [ 0 ]} </ span > < span > { texts [ 1 ]} </ span > < span > { texts [ 2 ]} </ span > < span > { texts [ 3 ]} </ span > < span > { texts [ 4 ]} </ span > < p > { note } </ p > </ div > ) ; 実装が新しくなったことで、将来的に運勢や項目が追加された場合でも柔軟に対応できるようになりました。 どのような内容になっているか気になった方は「 #Findyエンジニアおみくじ2025 」でシェアされている投稿を是非ご覧ください。 まとめ この記事では、Findyのエンジニアおみくじ実装の舞台裏をご紹介しました。 企画をより良いものにするためエンジニア、デザイナー、QA、マネージャーが一丸となって取り組んでおります。 過去に触ったことがあるという方におかれましても、これを機にアップデートされた「エンジニアおみくじ」をお試しいただければと思います 🙇‍♂️ findy-code.io それでは、本年もよろしくお願いします。 ファインディでは一緒に会社を盛り上げてくれるメンバーを募集中です。興味を持っていただいた方はこちらのページからご応募お願いします。 herp.careers

こんにちは！ファインディのプロダクト開発部でエンジニアをしているham ( @hamchance0215 )とEND（ @aiandrox ）です。 この記事はFindy Advent Calendar 2024 25日目の記事ということで、2人で共同執筆しています。 adventar.org この記事について ファインディでは日頃からお世話になっている皆さんに感謝の気持ちを込めて「 Findyユーザー感謝祭 2024 」を12/19に開催しました。 イベント中に、参加者の一人であるミノ駆動( @MinoDriven )さんが12/25発売の著書「 改訂新版 良いコード/悪いコードで学ぶ設計入門 」を参加者4名にプレゼントしてくださいました！ じゃんけんで勝った4名が書籍をゲットするルールであり、hamとENDがじゃんけんの強さを発揮して書籍をゲットし、なんやかんやあってこの記事を書くことになりました。 さらにサインも頂きました！ なんやかんや 「改訂新版 良いコード/悪いコードで学ぶ設計入門」を使ったリファクタリングとは？ ユーザー感謝祭の懇親会でミノ駆動さんとお話しする機会があり、設計の知識を開発チームにインプットしていく方法について教えていただきました。 「改訂新版 良いコード/悪いコードで学ぶ設計入門」には、タイトルの通り「良いコード」だけではなく「悪いコード」の例もたくさん載っています。そこで、書籍に記載されている「悪いコード」をプロダクトのソースコードから探して「良いコード」にリファクタリングするという実践形式の学習をしているとのことです。 この学習方法、プロダクトのソースコードを使っていることから業務で活用できる生きた知識が身につくだけではなく、プロダクトがリファクタリングされて綺麗になっていくという一石二鳥な学習方法であり、とても興味を持ちました。 もっと知りたい方は、1/17にミノ駆動さん本人から紹介していただくイベントも企画されているのでぜひご覧ください！ findy.connpass.com 実践 それでは早速プロダクトのソースコードから「悪いコード」を探して「良いコード」へリファクタリングしていきます。 今回は Findy Team+ のコードを使って実践しました。 実践1: 11.4 意図がわからない名前 実践1では「11.4 意図がわからない名前」に記載されている悪いコードを参考に探しました。 「意図がわからない名前」のデメリットについて、本著の一部を抜粋しました。 あいまいな変数名では、実際の意図に翻訳する作業が読むたびに必要になります。たとえば仕様変更の依頼があったとき、対応するメソッドや変数が何であるのか頭の中で翻訳作業が必要になります。また、チームに新しく参加したメンバーに対しての説明コストが増大します。 チーム開発において、コードは書くことより読むことの方が多いため、読み手に負担がかかっている状態は好ましくありません。 次のコードは、Team+で扱っている指標の1つである「LEAD_TIME_FOR_CHANGES_HOURS(変更のリードタイム)」を管理しているハッシュマップです。今回はこちらを対象にしました。 { statsType : 'LEAD_TIME_FOR_CHANGES_HOURS' , expectData : { label : '変更のリードタイム' , unit : 'h' , negativePositive : true , } } 各項目を見ていくと、labelは表示名でありunitは指標の単位であることが直感的にわかりますが、negativePositiveは何を意図しているかおわかりいただけるでしょうか？ negativePositiveは「値が小さいほど良い指標か？」を表すboolean型の変数です。 ただ、negative(値が小さいほど良い) or positive(値が大きいほど良い)を示そうとしているところまでは理解できますが、trueの場合にどちらなのかを変数名だけで判断するのは困難であり、実際の設定値などから意図を推測する必要がありました。 そこで、isLowerBetterへリネームしました。 下記が修正した箇所の差分の1つです。isLowerBetterに変更したことで「値が小さいほど良い指標」の場合、ifの中に入ることがコードから読み取れるようになりました。 - if(negativePositive) { + if(isLowerBetter) { // do something } 学習しながらリファクタリングしてマージまで完了！ 実践2: 7.1 ロジックの流用 Team+では、インポートに伴うさまざまな処理があり、それぞれを呼び出すBatchクラスも多く存在します。その中に、次のようなコードがありました。 module Batch class TransformXX < Batch :: Base # @param [ActiveSupport::TimeWithZone] xx_after 存在する場合はXXの更新処理を行う def call ( duration :, xx_after : nil ) Transformer .call( duration :) # 実際にはここでXXをアップデートする処理が走る UpdateXX .call( start_at : xx_after) if xx_after rescue StandardError => e Rails .logger.error ' データ変換処理に失敗しました ' end end end 問題はこの引数です。 # @param [ActiveSupport::TimeWithZone] xx_after 存在する場合はXXの更新処理を行う これは 8.6 フラグ引数 の節でも紹介されているものです。特に、Batchクラスでは引数によって処理を分岐しているものがちらほらあります。 フラグ引数付きのメソッドは、何が起こるか読み手の想像を難しくさせます。何が起こるのか理解するには、メソッド内部のロジックを見に行かなければなりません。可読性が低下し、開発生産性が低下します。 このBatchクラスは管理画面から呼び出される処理で、管理画面にチェックボックスがあるので、すぐにフラグを削除することは難しそうです。幸い、この条件分岐によってどう処理を行うかはクラスに切り出されており、可読性は悪くないと思われます。 問題は、このBatchクラスが管理画面を介する処理以外のいろんな箇所から呼ばれていることです。以下は一例です。 # Before def transform_resources (start_at) Batch :: TransformXX .call( duration : start_at.. Time .current) end ここでは、 xx_after が指定されていないので、 xx_after が nil になっています。つまり、実際には Transformer の処理しか行っていません。 ということで、不要な共通化をなくして直接実行クラスを呼び出すようにしました。このリファクタリングによって例外処理がなくなりましたが、ここでは例外処理を行う必要はなかったのでスッキリしました。 # After def transform_resources (start_at) Transformer .call( duration :) end これにより、過度な共通化がなくなり、フラグ引数が散乱する懸念も少なくなりました。 実践3: 15.1.3 条件を読みやすくする また、次のように unless と nil? を使っている箇所がありました。 return unless user.nil? 二重否定となっていて読みづらかったため、次のようにリファクタリングしました。 return if user 注意するべき点としては、条件が false になりうる場合、 nil と区別をする必要があります。そういった場合は unless と nil? を使う方がわかりやすいかもしれません。 まとめ 今回は「改訂新版 良いコード/悪いコードで学ぶ設計入門」を参考に、プロダクトのソースコードから「悪いコード」を探してリファクタリングしてみました。 本著では、さらに大きな「悪いコード」の事例についても紹介されており、実際に探してみるとそのようなコードもちらほらありました。短い時間だったため大きな設計変更はできませんでしたが、小さな変更でもコードの可読性が向上し、コードの意図が明確になることを実感しました。 また、なんとなく「悪いコード」と感じていた箇所が、本著を読んでみるとどのような問題があるのかが理解でき、リファクタリングの方向性が見えてきたのもよかったです。 今後も、本著を参考にしながら新規の設計やリファクタリングを行っていきたいと思います。 ファインディでは一緒に会社を盛り上げてくれるメンバーを募集中です。興味を持っていただいた方はこちらのページからご応募お願いします。 herp.careers

こんにちは。 ファインディ で Tech Lead をやらせてもらってる戸田です。 弊社では開発生産性の向上のための投資、検証を継続して行っており、生成AIの活用にも取り組んでいます。 前回の記事で、導入編と題しましてGitHub Copilot in VS Codeのカスタムインストラクションの設定、利用方法を紹介しました。 tech.findy.co.jp 今回は実践編と題しまして、カスタムインストラクションに設定する内容の調整方法について紹介したいと思います。 それでは見ていきましょう！ まず叩き台を用意する Copilotが理解しやすい形に書き換えていく 不要なものは削除する 長い文章よりも、簡潔な階層構造 曖昧な表現はNG 確認用プロンプトでカスタムインストラクションに渡す内容を調整していく まとめ まず叩き台を用意する 兎にも角にも、まず何かしらの叩き台を用意するのが良いです。一番手っ取り早いのは、開発組織におけるコーディングガイドラインを参考にすることです。 自分の場合は弊社のコーディングガイドラインのマークダウンテキストを丸っとコピペしてきました。カスタムインストラクションに渡す内容は日本語のテキストで問題なく動作するため、そのままコピペしてきても問題ありません。 .github/copilot-instructions.md を作成し、丸っとコピペしましょう。これを叩き台にして、Copilotが理解しやすい形に書き換えていきます。 Copilotが理解しやすい形に書き換えていく コーディングガイドライン等から引用して、カスタムインストラクションに渡す内容の叩き台は用意できました。 次はその叩き台をCopilotが理解しやすい形に書き換えていきます。コーディングガイドラインは人間が理解しやすい形になっており、これをCopilot用に書き換えていきます。 ※これから紹介する調整方法は、あくまで筆者の経験、調整内容に基づくもので、GitHubが公式に明言している内容ではありません。 不要なものは削除する カスタムインストラクションに渡す内容は、正しい内容のみを簡潔に渡す方がCopilotから出力される内容がイメージに近いものになることが多かったです。 例えば、次のような内容があるとします。 ## イベントハンドラの命名規則 - Component が受け取る Props は ` on ` + ` アクション名 ` + ` 対象名 ` - 関数そのものの名称は ` handle ` + ` アクション名 ` + ` 対象名 ` bad case ```tsx export const HogeComponent = () => { const { onChangeHoge } = useHogeHooks(); return <FugaComponent handleChangeHoge={onChangeHoge} /> } ``` good case ```tsx export const HogeComponent = () => { const { handleChangeHoge } = useHogeHooks(); return <FugaComponent onChangeHoge={handleChangeHoge} /> } ``` 良い例と悪い例の両方をサンプルコードで説明しています。しかし、自分が色々調整した結果、Badケースの内容も取り込まれた生成されるコードになってしまうケースがありました。 これは仮説ですが、Copilot的には 書いてある内容が正解 であり、不要なケースは逆にノイズになるのではないかと思います。 そのため、次のようにBadケースやそこに至るまでの議論の内容などは全て削除し、結論のみを完結に記述するようにしました。 ## イベントハンドラの命名規則 - Component が受け取る Props は ` on ` + ` アクション名 ` + ` 対象名 ` - 関数そのものの名称は ` handle ` + ` アクション名 ` + ` 対象名 ` ```tsx export const HogeComponent = () => { const { handleChangeHoge } = useHogeHooks(); return <FugaComponent onChangeHoge={handleChangeHoge} /> } ``` これによりBadケースの内容が生成結果に反映されることはなく、生成されるコードがイメージに近いものになることが増えました。 長い文章よりも、簡潔な階層構造 カスタムインストラクションには、長文を渡すよりもマークダウンの階層構造で渡すほうが、Copilotが理解しやすいようでした。 例えば、次のような文章があるとします。 boolean型のPropertyを定義する場合、引数名には ` is ` をprefixで付け、それが共通コンポーネントの場合はoptionalにする。 このような文章の場合、次のようにマークダウンの階層構造で渡したほうがCopilotが理解しやすいようでした。 - boolean 型のProperty - 引数名に ` is ` を prefix で付ける - 共通コンポーネントの場合 - optional にする 叩き台に長文が書かれていた場合、文章を分解し、マークダウン形式の段落構造などに書き換えるのをおすすめします。 曖昧な表現はNG 曖昧な言葉を使うと、Copilotはそれらを無視することが多かったです。 例えば次のような文章をカスタムインストラクションに渡すとします。 - 親コンポーネントからまとめてテストコードを書く - 子コンポーネントへの直接的なテストコードは不要 この場合、 不要 という言葉が曖昧に受け取られ、この命令文を無視されることが多かったです。 こういったケースでは、次のように書き換えることでCopilotが理解しやすくなりました。 - 親コンポーネントからまとめてテストコードを書く - 子コンポーネントへの直接的なテストコードは書かない 不要 を 書かない とシンプルに言い切ることによって、Copilotが理解しやすくなりました。 このようにCopilotが中々理解してくれないケースでは、言葉の表現を少し変えるだけで一気に理解度が上がることが多かったです。 確認用プロンプトでカスタムインストラクションに渡す内容を調整していく ここまでで、ある程度の内容をカスタムインストラクションに渡すことが出来ているはずです。 次は、そのカスタムインストラクションの内容がCopilotにどのように理解されるかを確認していきます。 例えば、次のような内容をプロンプトとして用意します。 以下の条件を全て満たすコードを生成してください - hooksである - 引数は次の通り - カウント数の初期値 - 任意項目 - 次の内容を変数で管理する - カウント数 - 引数で受け取ったカウント数の初期値で初期化する - 次の関数を用意する - カウント数をインクリメントする - カウント数をデクリメントする - hooksから次の内容を返す - カウント数 - カウント数をインクリメントする関数 - カウント数をデクリメントする関数 このプロンプトをCopilotに渡して、生成されたコードを確認します。 import { useState } from 'react' ; function useCounter ( initialCount = 0 ) { const [ count , setCount ] = useState(initialCount); const increment = () => setCount(count + 1 ); const decrement = () => setCount(count - 1 ); return { count , increment , decrement } ; } export default useCounter; プロンプトの内容を反映したコードが出力されました。ですが、これだけでは弊社のコードガイドラインと一致していない箇所がありました。そこでカスタムインストラクションの調整を行います。 次のような内容を .github/copilot-instructions.md に追記します。 ## Hooks - hooksから返す値は ` as const ` を付けてreadonlyにする ## イベントハンドラの命名規則 - Component が受け取る Props は ` on ` + ` アクション名 ` + ` 対象名 ` - 関数そのものの名称は ` handle ` + ` アクション名 ` + ` 対象名 ` ```tsx export const HogeComponent = () => { const { handleChangeHoge } = useHogeHooks(); return <FugaComponent onChangeHoge={handleChangeHoge} /> } ``` この状態で先程のプロンプトを再実行すると、次のようなコードが生成されました。 import { useState } from 'react' ; function useCounter ( initialCount = 0 ) { const [ count , setCount ] = useState(initialCount); const handleIncrementCount = () => setCount(count + 1 ); const handleDecrementCount = () => setCount(count - 1 ); return { count , handleIncrementCount , handleDecrementCount } as const ; } export default useCounter; カスタムインストラクションに渡した内容通りに、関数名の変更と as const の追加が反映されました。更にここから何かしら調整を加えたい場合は、またカスタムインストラクションの内容を変更し、同じプロンプトを実行して新たに生成されたコードの内容をチェックする手順を繰り返します。 この作業を繰り返すことで、カスタムインストラクションの内容を調整していくことが出来ます。 まとめ いかがでしたでしょうか？ 今回は実戦編と題しまして、GitHub Copilot in VS Codeのカスタムインストラクションに設定する内容の調整方法について紹介しました。 カスタムインストラクションの説明や導入方法については次の記事を参考にしてみてください。 tech.findy.co.jp 弊社としましてもまだまだ検証段階ではありますが、カスタムインストラクションの内容を調整することで、Copilotのサジェスト内容や自動生成コードの質が向上したことを確認しています。 今回の記事が皆さんの開発生産性向上に少しでもお役に立てれば幸いです。 現在、ファインディでは一緒に働くメンバーを募集中です。 興味がある方はこちらから ↓ herp.careers

ファインディ株式会社でフロントエンドの開発をしております千田( @_c0909 )です。 この記事はFindy Advent Calendar 2024 24日目の記事です。 adventar.org 転職サービス『Findy』の管理画面リニューアルプロジェクトで、約200ページ規模の開発をしました。 管理画面の機能は構成が似通っているため、NxのGeneratorによるコード自動生成を活用して画面作成の効率化を図りました。 本記事では、その取り組みについて共有させていただきます。 Nxについては以前の記事で紹介しておりますので、併せてご覧ください。 tech.findy.co.jp Generator導入の背景 なぜNxのGeneratorなのか Nxエコシステムとの親和性が高い 再利用性が高い Generatorに対するテストが書けるため、メンテナンスがしやすい どうやって対応したか 今後やりたいこと まとめ Generator導入の背景 既存の管理画面は約50の機能で構成されています。 各機能には一覧・詳細・作成・編集の4種類の基本画面が必要となるため、合計で約200ページ（50機能 × 4画面）の開発が必要でした。 開発工数を試算したところ、コンポーネント作成、ロジック実装、テスト作成を含め、1画面あたり約160分の作業時間が必要になります。 これを単純計算すると、全画面の開発には約67日（160分/画面 × 200画面 ÷ 1日8時間）もの期間が必要という結果になりました。 そのため、構造が類似した200ページの開発の効率化を目指し、Generatorによるコードの自動生成を検討しました。 なぜNxのGeneratorなのか 冒頭でも書いたように、FindyにおいてはNxのGeneratorを選択しました。 その理由は既にNxを使っていたという背景に加え、次の技術的な利点があるためです。 Nxエコシステムとの親和性が高い GeneratorがNxのコア機能として提供されているため、開発者は追加のセットアップの必要なく利用可能です。 公式やサードパーティのNxプラグインはGeneratorに対応しているものがほとんどであり、コンテキストスイッチの負荷を最小限にできます。 また、Nx ConsoleをIDEにインストールすれば、GUIからGeneratorを起動できます。 Nx Consoleはオプションの確認やコマンドのDry-runといった機能もサポートされているため便利です。 nx.dev 再利用性が高い Generatorから他のGeneratorを呼び出すことができます。 これにより、Generatorの構成をシンプルに保つことができます。 export default async function ( tree : Tree , schema : Schema ) { // 設定ファイル群の追加 generateFiles( tree, path. join (__dirname, 'files/feature' ), `libs/projectName/src` , substitutions ); // 特定のフィーチャーコンポーネントの追加 generateFiles(tree, path. join (__dirname, 'files' ), options.projectRoot, { ...names(options. name ), importPath : options.importPath, projectRoot : options.projectRoot, ... } ); } nx.dev Generatorに対するテストが書けるため、メンテナンスがしやすい 仮想ファイルシステムを利用してファイル生成の結果を確認できます。 例えば、次のようにJestでGenerateコマンド実行後のファイルの存在を確認できます。 import { Tree } from '@nx/devkit' ; import generator from './generator' ; it ( 'should generate expected files' , async () => { await generator(tree, defaultOptions); expect (tree.exists( '/src/components/index.ts' )).toBe( true ); } ); どうやって対応したか NxのGeneratorを使用したコード生成の実装について説明します。 実際にテンプレートファイルからファイルを生成するには、 generate コマンドを利用します。 画面の雛形を生成するためのコマンドは次のように設計しました。 npx nx generate @findy-code/workspace-plugin:features user \ --featureType = detail \ --featureNameJa = ユーザー user : 機能名（変数名やファイル名として使用） --featureType : 画面タイプ（list/detail/create/edit） --featureNameJa : 画面に表示する日本語名 これらの引数の設定は schema.json で行います。 { " $schema ": " http://json-schema.org/schema ", " properties ": { " name ": { " type ": " string ", " description ": " The name of the feature (feature-<name>-{list,detail,create,edit}) . ", " $default ": { " $source ": " argv ", " index ": 0 } , " x-prompt ": " What name would you like to use? " } , " featureType ": { " type ": " string ", " description ": " The mode of feature generation. Possible values are 'list', 'detail', 'create', 'edit', or leave empty to generate all types. ", " default ": "" } , " featureNameJa ": { " type ": " string ", " description ": " The name of the feature in Japanese ", " default ": "" } ... } } 次に、生成されるファイルのテンプレートを作成します。 例えば、 詳細画面用のカスタムフックのテンプレートは次のように実装しました。 export const use<%= functionName %>Detail = ( { <% = propertyName % >Id } : Props ) => { const <%= propertyName %> = { id : <%= propertyName %>Id } ; // ここに詳細画面用のロジックを実装 return { <%= propertyName %> } as const ; } ; 次のように展開されます。 export const useUserDetail = ( { userId } : Props ) => { const user = { id : userId } ; // ここに詳細画面用のロジックを実装 return { user } as const ; } ; テンプレート内では<%= %>記法で動的な値を埋め込みます。 テンプレートファイルは src/__featureName__-detail.ts.template という形式で作成し、ファイル名も可変にしています。 テンプレート内で使用する functionName や propertyName などの変数は、Nxが提供する names 関数を使用して適切な命名に変換します。 例えば、次のように names('my-name') と呼び出すことで、 className 、 propertyName 、 constantName のように、よくある命名規則に従った文字列を作成できます。 names( 'my-name' ); // { // name: 'my-name', // className: 'MyName', // propertyName: 'myName', // constantName: 'MY_NAME', // fileName: 'my-name' // } 最後に、 generateFiles 関数を使用してファイルの生成を実装します。 この関数にテンプレートのディレクトリ、出力先のディレクトリ、そして置換する変数を指定することで、実際のファイル生成が行われます。 const substitutions = { featureName : names(schema. name ). name , featureNameJa : schema.featureNameJa, functionName : names(schema. name ).className, ... } ; generateFiles( tree, path. join (__dirname, 'files/feature' ), // テンプレートを定義しているファイルのディレクトリ ` ${ options.projectRoot } /src` , // 生成したいディレクトリ substitutions // テンプレートで置換される変数 ); これにより、コマンド1つで必要な画面の雛形を生成できるようになりました。 生成されるファイルには、カスタムフックの実装だけでなく、対応するテストファイルやコンポーネントなども対応しています。 今後やりたいこと NxのGeneratorの導入により、画面を作り込むことは出来ましたが、新たな課題も見えてきました。 現在のGeneratorは画面のコードを一気に生成するため、ファイルの変更数が増えPull requestの粒度が大きくなり、レビューの負荷が高くなりました。 今後は、コード生成の粒度をより細かく制御できるように改善を進めていく予定です。 具体的には、画面を構成する要素ごとに生成を分割し、Componentの生成、ルーティング設定の追加、カスタムフックの実装といった単位でPull requestを作成できるようにすることで、レビューの負荷を軽減したいと考えています。 適切なPull requestの粒度については、既に以前の記事で紹介しておりますので、気になる方は是非ご覧ください。 tech.findy.co.jp まとめ この記事では、約200ページ規模の開発におけるNxのGeneratorを活用した事例をご紹介しました。 私自身、Nxを単にモノレポ管理ツールとして認識していましたが、今回のプロジェクトを通じてGeneratorという強力な機能の存在を知ることができました。 今回の取り組みを通じて、類似した構造を持つ画面を大量に開発する場合、NxのGeneratorが非常に効果的なツールとなることが分かりました。 この記事が皆様のプロジェクトにおける開発効率化のヒントになれば幸いです。 それでは、また次回の記事でお会いしましょう！ ファインディでは一緒に会社を盛り上げてくれるメンバーを募集中です。興味を持っていただいた方はこちらのページからご応募お願いします。 herp.careers

こんにちは。 ファインディで Tech Lead をやらせてもらってる戸田です。 弊社では開発生産性の向上のための投資、検証を継続して行っており、生成AIの活用にも取り組んでいます。 そこで今回は、GitHub Copilot in VS Codeのカスタムインストラクションを導入した際の話を紹介しようと思います。 筆者も最近導入したばかりでフル活用までいっていないのが現状ですが、開発生産性の向上を見込めると確信している強力な機能となっています。 それでは見ていきましょう！ GitHub Copilot in VS Codeとは 設定方法 効果検証 まとめ GitHub Copilot in VS Codeとは 公式ドキュメントはこちら code.visualstudio.com VS CodeにはGitHub Copilot、GitHub Copilot Chatを利用するための拡張機能が用意されています。 marketplace.visualstudio.com marketplace.visualstudio.com デフォルトの設定だとCopilot自身がコード生成や変更内容をサジェストしてくれるのですが、このサジェスト内容をカスタマイズできるようになるのがカスタムインストラクションです。 サジェスト内容をカスタマイズするために必要なのがコードガイドラインとなっています。これを自然言語などで記述しておくとCopilotが読み込み、設定内容を反映したコード生成、変更内容のサジェストを出すようになります。 極端な例えになりますが、指定したファイルに開発チームのコードガイドラインを記述しておくことで、Copilotがそのコードガイドラインに従ったコードを生成してくれるようになります。 設定方法 基本的にはVS Codeを最新バージョンに更新して、 .github/copilot-instructions.md というファイルを作成するだけでOKです。 作成したファイルにコードガイドラインを記述していきます。記述する内容は日本語やマークダウンでOKです。 コードガイドラインを他のフォルダやファイルで管理したい場合は、 .vscode/settings.json に次のような設定を追記します。 file で指定したファイル名でファイルを作成しコードガイドラインを記述していきます。 { " github.copilot.chat.codeGeneration.instructions ": [ { " file ": " path/to/code-guideline.md " } ] } また、次のように設定を直接追加することもできます。 text で指定した内容がサジェスト内容に直接反映されます。 { " github.copilot.chat.codeGeneration.instructions ": [ { " text ": " Always add a comment: 'Generated by Copilot'. " } , { " text ": " In TypeScript always use underscore for private field names. " } , { " file ": " path/to/code-guideline.md " } ] } これで設定は完了です。あとはコードガイドラインを記述してサジェスト内容をチューニングするだけです。 効果検証 カスタムインストラクションの設定が無い状態で、GitHub Copilot Chatで次のプロンプトを実行します。 以下の条件を全て満たすComponentを作成してください - Function Componentである - propsは以下の通り - title: string - description: string - link: string - linkText: string - isShowLink: boolean - titleはh1タグで出力する - descriptionはpタグで出力する - isShowLinkがtrueの場合、linkで指定したurlをaタグにして、linkTextを出力する - linkのテキストがurlではない場合、linkを出力しない シンプルなコンポーネントを作成するプロンプトです。実行すると次のコードが生成されました。 プロンプトの命令に忠実なコードが生成されたかと思います。 import React from 'react' ; type Props = { title : string ; description : string ; link : string ; linkText : string ; isShowLink : boolean ; } ; export const MyComponent: React.FC < Props > = ( { title , description , link , linkText , isShowLink } ) => { const isValidUrl = ( text : string ) => { try { new URL (text); return true ; } catch { return false ; } } ; return ( < div > < h1 > { title } </ h1 > < p > { description } </ p > { isShowLink && isValidUrl(link) && < a href = { link } > { linkText } </ a > } </ div > ); } ; 次にカスタムインストラクションの設定内容をチューニングします。 今回は .github/copilot-instructions.md に次のような記述をしました。 # コードガイドライン - props の項目で boolean 型の項目があった場合は、その項目を optional にする - a タグのリンク先が別ドメインだった場合、以下の属性を追加する - rel="noopener noreferrer" - チェック処理などは可能な限り memo 化する これでプロンプトを再実行すると、次のコードが生成されました。 import React, { memo, useMemo } from 'react' ; type Props = { title : string ; description : string ; link : string ; linkText : string ; isShowLink ?: boolean ; // booleanはoptionalにする } ; export const MyComponent: React.FC < Props > = memo(( { title , description , link , linkText , isShowLink } ) => { const isValidUrl = useMemo(() => { try { new URL (linkText); return true ; } catch { return false ; } } , [ linkText ] ); const isExternalLink = useMemo(() => { try { const linkUrl = new URL (link); return linkUrl. origin !== window . location . origin ; } catch { return false ; } } , [ link ] ); return ( < div > < h1 > { title } </ h1 > < p > { description } </ p > { isShowLink && isValidUrl && ( < a href = { link } rel = { isExternalLink ? "noopener noreferrer" : undefined } > { linkText } </ a > ) } </ div > ); } ); プロンプトの命令通りのコンポーネントですが、コードガイドラインに指定したルールを反映したコードに変化したことがわかるかと思います。 この例で見る通り、コードガイドラインは自然言語でもマークダウン形式でも問題なく読み込み可能であることがわかります。 弊社でもまだ実験段階なのですが、ひとまずは既存で運用していたコードガイドラインをそのまま流用し、そこから少しずつチューニングしていくことでサジェストの精度を上げていこうと考えています。 まとめ いかがでしたでしょうか？ 今回は導入編と称しまして、GitHub Copilot in VS Codeのカスタムインストラクションの設定方法と効果検証を紹介しました。 弊社としましてもまだまだ検証段階ではありますが、コードガイドラインを設定することでサジェスト内容をチューニングできることがわかりました。 検証が進んだら、次回は【実践編】と称しまして具体的にどのようなコードガイドラインのチューニングを行ったのかを紹介できればと思います。お楽しみに！ 現在、ファインディでは一緒に働くメンバーを募集中です。 興味がある方はこちらから ↓ herp.careers

はじめに この記事は Findy Advent Calendar 2024 21日目の記事です。 adventar.org データソリューションチーム、エンジニアの土屋(@shunsock)です。本日は、Findy Toolsのデータ基盤を構築したので、その内容を共有します。 Findy Tools は、2024年1月23日にリリースされた開発ツールのレビューサイトです。利用者は開発者向けツールのレビューやアーキテクチャの記事を閲覧、投稿できます。 Findy Toolsのデータ基盤のシステム設計の紹介 システム設計の目標、要件 今回の構築では、「Findy Toolsを訪れたユーザーの行動ログとデモグラフィックデータを組み合わせて分析可能にする」という目標がありました。Findy Toolsではユーザーの行動ログにユーザーidやリファラーを保存しています。また、ユーザー情報をはじめとしたデータを保存するデータベースがあります。今回は、これらを繋ぎ合わせた分析を可能にすることが目標です。 この目標を分解していきます。 まず、分析可能にするためには、分析対象であるデータが保存されている必要があります。行動ログとデモグラフィックデータは別々の場所にあるので、それぞれを集める必要があります。 また、データ分析をする主体はビジネスサイドの方で、BIを通じてデータを閲覧します。SQLのロジックついてはデータエンジニアが管理します。従って、データの加工が必要です。さらに、日々データは更新されます。よって加工されたデータも更新する必要があります。 以上をまとめると次のシステムが必要であることがわかります。 分析対象のデータを一定期間で取得する処理 取得したデータを一定期間で加工する処理 システムには既存のリソースなどの前提や組織方針などの制約があります。ファインディの場合、ウェブアプリケーションがAWS、データ基盤・機械学習基盤をGoogle Cloudでそれぞれ稼働しています。今回扱う行動ログデータとデモグラフィックデータはそれぞれ、ECSとRDS（Aurora MySQL）にありました。また、データウェアハウスはBigQueryであることが必須要件でした。これは、社内の分析担当者がBigQueryのUI/UXに慣れていることに起因します。最後に同期の期間ですが、即時性を求められるデータは今のところないため、1日ごとのバッチ処理でデータを転送することにしました。 以上の前提と制約からシステムの要件が次であるとわかります。 データの転送処理 行動ログの転送: ECSのコンテナに出力されている行動ログをBigQueryに1日ごと転送 ※ データベースの転送: RDSのデモグラフィックデータをBigQueryを1日ごとに転送 データの整形 BigQueryに保存されたデータを1日ごとに加工処理を実行 ※ 実際には、これより短い間隔で送信されるシステムになりました。 システム設計図 次の写真がFindy Toolsのデータ基盤のシステム設計図です。 Findy Toolsのデータ基盤 データの取得、加工の仕組み データの取得 はじめに、ユーザーの行動ログの転送方法を説明します。Findy Toolsでは、ユーザーの行動ログを次のように取得しています。 Next.js（フロントエンド）からRails API（バックエンド）にHttp Requestを送信 Rails APIがログを出力 よって、このログをBigQueryに転送する手法を検討しました。工数がかからないことと送信に必要な追加費用がBigQuery APIのみであることからfluentbitを採用しました。fluentbitは、ログを収集し、閾値やバッファの条件に応じて送信するソフトウェアです。 次に、データベースの転送方法を説明します。Findy Toolsの場合、データベースとしてAWS Aurora MySQLを採用しています。 Aurora MySQLからBigQueryに送信する手法はいくつかありました。 方法 構築難易度 コスト メリット 採用判断 理由 Private Linkを使う 高 中 セキュリティ強化、直接送信可能 不採用 今回のケースでは受けられる恩恵が小さい。 Private SubnetにECSを立てる 中 低 シンプル構成、コスト効率が良い 採用 実現可能性が高く、コスト効率が良い。 3rd Party ETLツールを使う 低 高 導入が楽 不採用 費用が高い。 Private Linkを使う方法は構築難易度が高いものの、今回のケースでは受けられる恩恵が小さいことから採用しませんでした。また、3rd PartyのETLツールを使う方法は相当な費用が必要と判明し、断念しました。よって、Private SubnetにECSを立てて送信する方法を採用しました。 ECS上でデータの転送するソフトウェアは社内で実績のあったEmbulkを採用しました。 今回の構築では次のような手順でデータを送信します。 CloudWatch Eventsが設定した時刻にECSを起動 ECSがEmbulkを起動 EmbulkがAurora MySQLからデータを取得 EmbulkがBigQueryにデータを送信 データの加工 データの加工にはdbtを採用しました。dbtは、SQLを使ってデータを加工するため、データエンジニアがSQLを書くことができれば、簡単にデータを加工できます。似たツールで非エンジニアでも触りやすいGUIを持つDataformがありますが、今回はGit操作になれているメンバーが触ることを考慮してdbtを採用しました。 dbtの実行はGitHub Actions上で行っています。具体的な手順は次の通りです。 GitHub ActionsのScheduleによってワークフローが発火 dbtがlake層に入ったデータを加工 エラー処理、アラートの仕組み 今回作成したインフラストラクチャでは、次のようにエラー・アラートを通知しています。 Google Cloud, AWSのエラー通知の仕組み 行動ログの転送のエラー処理 行動ログの転送では、エラーの発生箇所がいくつか考えられます。 Next.jsからRails APIへのHttp Requestの失敗 Rails APIのログ出力の失敗 fluentbitの停止・暴走によるログ転送の失敗 BigQueryへの送信の失敗 今回データソリューションチームでは、BigQueryへの送信の失敗の監視を担当することになりました。（他はウェブアプリケーションの開発チームが担当）BigQueryへの送信の失敗は、Cloud Loggingに出力されるBigQuery APIの応答を監視することで実現できます。 Cloud LoggingにBigQuery APIのログが出力される Cloud Monitoringでエラーのログを検知する Slackに通知を送る データベースの転送のエラー処理 データベースの転送では、エラーの発生箇所がいくつか考えられます。 Aurora MySQLからデータを取得する際のエラー BigQueryにデータを送信する際のエラー これらのエラーが発生した場合、AWS ECSのログにエラーが出力されます。そのため、CloudWatch Logsに出力されるログを監視することでエラーを検知し、Slackに通知を送ることができます。 具体的には、次の手順でアラートを設定しました。 CloudWatch Logsに出力されたログをCloud Watch Metrics Filterでエラー検出 CloudWatch Alarmでアラートを発火 SNS・Chatbot経由でSlackに通知 この手法の場合、全ての実装をTerraformで管理できるため、運用が楽です。他の手法として、CloudWatch Logsに出力されたログをLambdaでSNSに送信するという方法もあります。しかし、この方法は、Lambdaのソースコードの管理（GoやPythonなど）が必要になるため、運用が複雑になります。よって、今回はTerraformで管理する方法を採用しました。 インフラストラクチャの管理 Terraformによるリソース管理の仕組み Findy Toolsのデータ基盤ではTerraformを用いてリソースを管理しています。 各環境は、 environments ディレクトリに分割しています。Findy Toolsのデータ基盤では、 production と staging の2つの環境を管理しています。 Terraformのワークスペースは、機能ごとに分割しています。例えば、Embulkのバッチ処理に関連するリソースは次のように管理しています。 . ├── environments │   ├── production │   │   └── embulk │   └── staging │   └── embulk └── modules └── embulk このように管理することで、機能内の変更（ここでは embulk ワークスペース）が他の機能（他のワークスペース）に直接影響を与えないため、運用が安定します。つまり、機能の変更や破棄が容易になります。 一方で、共通のリソースが必要になることがあります。その場合は、プロバイダのモジュールを作成して、共通のリソースを管理します。例えば、Google Cloudのリソースは次のように管理しています。 . ├── environments │   ├── production │   │   ├── embulk │   │   └── google │   └── staging │   ├── embulk │   └── google └── modules ├── embulk └── google ここで作成したリソースは複数のワークスペースで共有できるため、運用には注意が必要です。 uvによるPythonパッケージ管理の仕組み 今回の構築では、データ加工ツールとしてdbt（Data Build Tool）を採用しました。dbtはETLツールのTransformationの部分を担当します。 dbt-coreはPythonで書かれており、周辺ツールもPythonのエコシステムで提供されています。そのため、Pythonのパッケージ管理ツールの選定が必要でした。 今回は、Pythonのパッケージ管理ツールであるuvを採用しました。Pythonのパッケージ管理をする方法は virtual env や PyEnv + Poetry 、 Docker などいくつか選択肢があります。uvを利用するとPythonのインタープリタとパッケージを1つのツールで管理できるので、環境構築が非常に楽です。 前述したものの中だと Docker もインタープリタとパッケージを1つのツールで管理可能です。今回は、 Dockerfile のメンテナンスが必要であること、やりたいことがシンプルであることから、採用を見送りました。 $ # たったこれだけで環境構築ができる🎉 $ curl -LsSf https://astral.sh/uv/0.5.7/install.sh | sh $ uv python install 3.12.6 $ uv python pin 3.12.6 $ uv sync 開発時に発生した課題と解決法 EmbulkのDockerをローカルで動かすことが難しい EmbulkのリポジトリではDocker Containerを管理しています。開発当初、AWSのPrivate Subnetと通信する必要がありローカルで動かすことが難しいという課題がありました。 すぐに思いつく対策として、Docker Composeを使ってDBのMockを立ち上げる手が考えられます。しかし、今回はあえてローカル環境を作らない選択をしました。ローカル環境を作らないことにより、その分の開発工数を削減できます。 前述の選択により基本的にステージング環境で管理することになりました。ここで課題になるのが、ステージング環境のECRやデプロイやECSの実行に手間がかかることです。そこでコマンドを作成し、デプロイと実行に手間がかからないようにしました。 ステージング環境へのデプロイは次のコマンドで実行します。 $ ./command/push_image_to_ecr staging [NOTICE] 🚀 ステージング環境にDockerイメージをpushします [NOTICE] 🚪 ECRとDockerにログインします Login Succeeded [NOTICE] ✅ ECR にログインしました [NOTICE] 🛠 Dockerイメージを作成します [+] Building 1.4s (19/19) FINISHED ... [NOTICE] ✅ Dockerイメージの作成が完了しました [NOTICE] 🏷 イメージにタグを付与します [NOTICE] ✅ イメージにタグの付与が完了しました [NOTICE] 🚀 ECRにDockerイメージをpushします ... [NOTICE] ✅ ECR へのDockerイメージのpushが完了しました [NOTICE] 🎉 DockerイメージのビルドとECRへのpushが完了しました ステージング環境での実行は次のコマンドで実行します。 $ ./command/run_embulk_on_ecs [NOTICE] 🚀 EmbulkのECSタスクを起動します { "tasks": [ ... ] } [NOTICE] ✅ EmbulkのECSタスクの起動に成功しました [NOTICE] 🎉 EmbulkのECSタスクの起動が完了しました また、Embulkで新しいテーブルを処理するためには liquid.yml ファイルを新たに作成する必要があります。こちらも手間を省くために独自コマンドを作成しています。 $ ./command/generate_conf new_table [NOTICE] 🔍 テンプレートファイルと出力先ディレクトリの存在確認 [NOTICE] ✅ テンプレートファイルと出力先ディレクトリの存在確認が完了しました [NOTICE] 🚀 Embulkの設定ファイルを生成しています: new_table [NOTICE] ✅ Embulkの設定ファイルの生成が完了しました: new_table [NOTICE] 🎉 Embulkの設定ファイルを生成しました。ファイル名: new_table.liquid.yml 本番の手動デプロイも時間がかかります。Embulkのリポジトリではデプロイを自動化しています。 main branchにPull Requestを作成した時点で、stgへのデプロイ main branchにMergeした時点で、本番環境にデプロイ uvとdbtを組み合わせるとコマンドが長く入力の負担が大きい uv は非常に便利です。しかし、 dbt を組み合わせて使うとコマンドが長くなる問題がありました。 # コマンドの全体像 # 実際の開発の時は、modelを指定するので、これよりも長くなります $ uv run dbt debug --profile *** --target dev --project-dir ./tools そこで、Shell Script, Taskfileを使ってラッパーを作成し、コマンドを短くしました。 # コマンドの全体像 # 実際の開発の時は、modelを指定するので、これよりも長くなります $ uv run dbt debug --profile *** --target dev --project-dir ./tools # Shell Scriptとして実行 # 使い慣れている方が多い、Shell Scriptでラッパーを作成 # 少し短くなります🙌 $ bash scripts/dbt_wrapper.sh debug # Go Taskで実行 # 元のコマンドに比べ、半分以下にすることができました🎉 $ task dbt -- debug 開発を振り返って 今回の取り組みでは、持続的開発が可能なデータ基盤とその開発環境を作成できました。また、当初の見積もりよりも一ヶ月早く実装できました。 今回のデータ基盤構築プロジェクトを振り返って、プロジェクト成功の鍵がいくつかあったと考えています。 実績のあるツールの活用による開発の効率化 構築にあたって、既存の知見が多いツールや実績のある技術を積極的に採用しました。それぞれが成熟したエコシステムを持っているため、課題が発生した際に素早く調査・解決できたのが大きな利点でした。 社内エンジニアとの連携 データ基盤構築は多くの技術やチームが関わるため、横のつながりを活用することが非常に重要でした。ファインディは横のつながりが強く、相談しやすい環境です。初見の技術で課題に直面した際、SREチームやデータソリューションチームのメンバーに相談することで、迅速に解決できました。特にTerraformやAWSの運用においては、社内のエンジニアの知見を活用したことで、手戻りや長時間の調査を防ぐことができました。 ラッパーや便利ツールの作成 ラッパーやコマンドの短縮化により、日常的な作業の効率が大幅に向上しました。日常の作業効率を上げた分、アーキテクチャの議論や意思決定に時間を割くことができたので、これらのツールに投資した時間は、長期的に見ると価値のあるものでした。 学びと次への展望 データ基盤のような横断的なプロジェクトでは、他チームとの連携やツールの選定が効率性に寄与すると学びました。また、技術としては、AWSの通知システムの構築手法やEmbulkの実用上の課題を認知したことが学びでした。特に、Embulkの起動時間が長いことは想定外でした。 1 今後、転送するテーブル数が増えた場合は、ECSの並列化などの高速化をする予定です。 今後は作成したデータ基盤で、データの利活用を進めていく所存です。 今回の取り組みが、他のエンジニアにとっても何かしらのヒントとなれば幸いです。 ファインディでは一緒に会社を盛り上げてくれるメンバーを募集中です。興味を持っていただいた方はこちらのページからご応募お願いします。 herp.careers 調査により、Embulkの起動時間が原因であると判明しています。具体的には、JVMとJVM上のRubyランタイムの初期化の時間でした。なお、Embulk本体はJavaではありますが、プラグインはRubyで記述可能です。 ↩

このブログの内容をポッドキャストでも配信中！ こんにちは。ソフトウェアプロセス改善コーチでFindy Tech Blog編集長の高橋（ @Taka_bow ）です。 さて、前回の続きです。 tech.findy.co.jp 順調に行っていたかに見えたState of Devops Reportですが、ここにきて大きな壁が立ちふさがります。それが、 ソフトウェア界の巨匠Martin Fowler（マーティン・ファウラー） でした。 Martin Fowler(Image source: Wikimedia) このブログの内容をポッドキャストでも配信中！ Martin Fowler氏とは 巨匠の不満 2015 State of Devops Report DORAの設立へ 2016 - 2017 State of DevOps Report DORA激動の年 Puppet版State of DevOps Report GoogleになってからのState of DevOps Report 入れ替わる著者陣 David Farleyの登場 Eliteレベルがまた消える Four Keysの定義が変更 ソフトウェア開発は、今も昔も、どこか実験的である Martin Fowler氏とは （良くご存じの方は飛ばしてください） Martin Fowlerを知らない方向けに簡単に紹介すると、ソフトウェア設計やアジャイル開発の分野で世界的に影響力を持つスーパーエンジニアです。「マイクロサービス」の提唱者であり、彼の著書『リファクタリング』は、コードの品質を向上させる方法論としてエンジニアのバイブルとなりました。 www.ohmsha.co.jp 個人的な印象は、最初は「UMLモデリング」に長けた方という印象だったのですが、徐々に「パターン」の話が多くなり、最終形態として「アジャイル」に話題が移っていった気がします。 また、この写真、エンジニアだったら見たことありますよね？ Alistair CockburnのFacebookより( https://www.facebook.com/TotherAlistair/posts/10156214284634035 ​) アジャイルマニフェスト （アジャイルソフトウェア開発宣言） の背景画になってるアレですね。 この、ホワイトボードを指さしている人物こそMartin Fowlerそのひとです。（と、言われています） アジャイルマニフェストの署名者の一人であり、 ブログ や講演を通じてアジャイルを実践的に解説してくれる重要な立役者です。 巨匠の不満 さて、State of DevOps Reportの話に戻しましょう。Martin Fowler 本人によって、書籍「LeanとDevOpsの科学[Accelerate] 」 *1 の冒頭では、次のようなエピソードが寄稿されています。 本書に寄せて 2、3年前、あるレポートを読んでいたら、こんな文に出くわしたーー「今や我々は自信をもって断言できる。IT部門のパフォーマンスの高さには、生産性、収益性、そして市場占有率を高める効果があり、組織全体の業績と高い相関をもつ」。この手のレポートは即、 ゴミ箱に投げ捨てる のが私の通常の反応である。大抵は 「科学」を装ったたわごと にすぎないからだ。しかしそのとき読んでいたのは 『2014 State of DevOps Report （DevOpsの現況に関するレポート2014年版）』 であったため、私はためらった。著者の1人が私の同僚であり友人でもある Jez Humble氏 で、私に負けず劣らずこの種のたわごとを嫌う人物であることを知っていたからだ（もっとも、正直言ってゴミ箱に投げ捨てなかった理由はもう1つある。あのレポートはiPadで読んでいたのだった）。 苛烈な文章です。紙だったら捨てられていたのでしょうか！Martinは、さっそくNicole ForsgrenとJez Humbleと3人で話す機会（電話会議）を作ります。 Forsgren氏は根気強く丁寧に研究の論拠を説明してくれた。その説明は、そういった調査・分析方法には詳しくない私にとっても十分な説得力があり、通常をはるかに上回るレベルの（学術論文で発表される研究さえ凌ぐ）厳密な分析が行われている、ということが理解できた。 実際に書籍が出版されるのは、この会議から4年後（2018年）になるのですが……2014年時点で、まずは一旦は納得したようです。 しかし…… そのため、 私はその後もState of DevOpsレポートを興味深く読み続けていたが、その一方で不満も募ってきた。 どの年度のレポートも研究の成果を公表するばかりで、Forsgren氏が電話で私にしてくれたような説明が一切ないのである。おかげでレポートの信頼性が大きく損なわれていた。 推測だけに基づいた研究ではないことを示す根拠がほぼ皆無なのだ。 Martin Fowlerはレポートの方針に納得がいっていないようです。 そこで私も含めて内情を知る者が3人を説得し、 研究の調査・分析手法を紹介・解説する本を執筆してもらった。 このように、Martin Fowlerの不満があったからこそ「LeanとDevOpsの科学[Accelerate] 」が存在すると言っても過言ではありません。 「LeanとDevOpsの科学[Accelerate] 」が技術者からすると慣れない文体で書かれているのは、あれが技術書ではなく 「研究の調査・分析手法を紹介・解説する本」 だからだと思われます。統計手法の解説本ですものね。 2015 State of Devops Report Martin Fowlerから「根拠の提示がない」と言われた2015 State of DevOps Report ですが、前年と比べ分析に苦慮していた様子が伺えます。 まず、Change Failure Rate（変更失敗率）は、あいかわらずITパフォーマンスの主要な構成要素（construct）からは除外されています。レポートには具体的な事に触れられていませんでしたが、後日出版された「LeanとDevOpsの科学[Accelerate] 」には次のような記述がありました。 クラスター分析では「ハイパフォーマー」「ローパフォーマー」「ミディアムパフォーマー」のいずれの集団についても、この4つの尺度で有意な分類と差別化（チームのカテゴリー化）が行えた。ところが、この4つの尺度で1つの構成概念を得ようとすると問題が生じた。 妥当性と信頼性を検証するための統計的仮説検定にパスしないのである。 分析の結果、リードタイム、リリース頻度、サービス復旧までの所要時間の3つの尺度だけを使えば、妥当で信頼性のある構成概念が得られることが判明した。 ちょっと分かりにくい文章なので整理すると、ソフトウェアデリバリーのパフォーマンスを正確に測定するには、 「リードタイム」「リリース頻度」「サービス復旧までの所要時間」の 3つの尺度だけなら 信頼性高く妥当な評価ができる。 変更失敗率も重要な指標であり、これら 3つの尺度と強い相関はある 。が、独立した構成概念として扱うには適していない。 「変更失敗率」は予測しずらい 異質な指標 であり、分析や予測の際には補足的な要素として考慮する必要がありそうです。最新の2024 DORA Reportでも「変更失敗率」はイレギュラーな結果を残しています（別ブログで詳しく触れたいと思います）。 2015年のパフォーマンス・クラスターはSuper High、High、Medium、Lowに分けられ、それぞれ「4段階のスピード」で集計されました。 2015 State of DevOps Reportより しかし、パフォーマンスの傾向を特定するまでには至っていません。かろうじて、高パフォーマンスチームと低パフォーマンスチームの間には、明らかに大きな差がある、ということを突き止めたに過ぎませんでした。 【高パフォーマンスチームと低パフォーマンスチーム間のITパフォーマンス指標の比較】 2015 (Super High vs. Low) 2014 (High vs. Low) Deployment Frequency 30x 30x Deployment Lead Time 200x 200x Mean Time to Recover (MTTR) 168x 48x Change Success Rate 60x 3x DORAの設立へ 翌年2016年10月、Nicole ForsgrenとJez HumbleはDevOps Research and Assessment (DORA)を立ち上げます。これは、誰からの支援（投資）を受けずに立ち上げた会社だったそうです。そもそも、なぜ会社設立に至ったのか？ 後日書かれたJez Humbleのブログをもとに解き明かしたいと思います。 medium.com State of DevOps Reportの研究は地道に成果を上げ始め、その取り組みが実際のビジネス成果を改善することも証明し、多くの企業からデータを集めることにも成功していました。 一方で、組織が抱える2つの大きな問題も見えてきたそうです。その2つとは…… ビッグバン型変革の問題 多くの組織が陥った失敗パターンの代表例が「ビッグバン型変革」でした。これは、アジャイル手法と成熟度モデルを一度に導入しようとしたアプローチです。「どんな組織にも当てはまるテンプレート」として導入されたものの、実際の組織の状況とは相容れないことが多く、持続可能な改善にはなかなかつながりませんでした。 特に大きな問題は、現場で働く実務者の関与が不足していたことでした。日常業務の中で原則や実践を少しずつ試しながら改善していくプロセスが欠如しており、このことが変革の成功率を大きく下げる要因となっていました。 コンサルタントモデルの問題 多くの組織は改革のためにコンサルタントを採用し、現状分析と改善策の提案を求めました。しかし、このアプローチにも課題がありました。コンサルタントが話を聞けるのは、実際に作業を行っている現場の人々のほんの一握りに過ぎません。さらに、改善提案はコンサルタント個人の専門知識に大きく依存することになり、客観的に進捗状況を追跡することも難しくなりました。 実は、このやり方はコンサルティング会社にとっても理想的なビジネスモデルとは言えませんでした。なぜなら、優秀な人材を現場に配置しなければならないにもかかわらず、継続的な仕事が保証されているわけではなかったからです。また、このアプローチは規模の拡大も難しく、ビジネスとしての成長にも限界がありました。 これらの問題認識から、NicoleとJezは、アルゴリズムを活用して組織の改善領域を特定し、具体的な改善戦略を提案できるプラットフォームの必要性を認識しました。 特に注目すべきは、変革や改善を 「どこから始めるべきか？」 という組織からの本質的な問いに、データとアルゴリズムを用いて客観的に答えられる仕組みを作ろうとした点です。 この話題が出た時、Nicoleの目が輝きました。「ねえ、もしソフトウェアデリバリーのプロセス全体から何十人もの人々のデータがあれば、その質問に答えることができる。どのアルゴリズムを使うべきか、そしてそれをどのように修正すべきかも分かっている。これは 制約理論（TOC）の問題 に過ぎないのよ！最も賢く、効率的な方法で戦略を立てる方法を伝えることができるわ。」 私は一瞬考えて言いました。「待って、本当に？それならば作ってみよう！」そして、そこからDORAは誕生したのです。私たちは翌日からモックアップの作成に取り掛かりました。 Jez Humbleのブログから 2016年にDORAは設立されました。同年10月にはNicoleがフルタイムでの経営を開始し、DevOps Enterprise Summitでは最初の顧客となったCapital Oneとともに、DORAの正式な「お披露目」が行われています。 2016 - 2017 State of DevOps Report かくして、Puppet + DORA の連名で発表された2016年と2017年のState of DevOps Reportは、制約理論をベースにしたアルゴリズムを活用し、数千の組織から得られたデータを統計的に分析することでDevOpsの実践と組織のパフォーマンスの関係性を客観的に実証しました。 【2016 パフォーマンス指標】 パフォーマンス指標 High Medium Low Deployment Frequency オンデマンド（1日複数回） 週1回〜月1回 月1回〜6ヶ月に1回 Lead Time for Changes 1時間未満 1週間〜1ヶ月 1ヶ月〜6ヶ月 MTTR 1時間未満 1日未満 1日未満* Change Failure Rate 0-15% 31-45% 16-30% * ローパフォーマーは概して（統計的に有意なレベルで）成績が悪かったが、中央値はミディアムパフォーマーと変わらなかった。 【2017 パフォーマンス指標】 パフォーマンス指標 High Medium Low Deployment Frequency オンデマンド（1日複数回） 週1回〜月1回 週1回〜月1回* Lead Time for Changes 1時間未満 1週間〜1ヶ月 1週間〜1ヶ月* MTTR 1時間未満 1日未満 1日〜1週間 Change Failure Rate 0-15% 0-15% 31-45% * ローパフォーマーは概して（統計的に有意なレベルで）成績が悪かったが、中央値はミディアムパフォーマーと変わらなかった。 これらの結果を元に読み取った洞察が、あの有名な 「パフォーマンスの改善と、安定性と品質の向上との間に、トレードオフの関係はない」 というものです。 さらに、統計的に有意な形で改善できるケイパビリティ（組織全体やグループとして保持する機能や能力）を24個特定したのです。このケイパビリティモデルは、研究の進展とともに進化し続けています。 これこそが、DORA設立の背景にあった 「どこから始めるべきか？」 の答えでありFour Keysのパフォーマンス・スコアと、この相関図を見比べながら改革や改善の戦略を立てられるようしたことがDORA研究のもたらした最大の成果と言えます。 LeanとDevOpsの科学[Accelerate] 図A.1 本研究の全体の構成 を元に筆者が作成 また同じ年2016年に、Gene KimとJez Humbleは他の著者とともに"The DevOps Handbook: How to Create World-Class Agility, Reliability, & Security in Technology Organizations"（邦題：The DevOps ハンドブック 理論・原則・実践のすべて）を刊行します。 bookplus.nikkei.com この本の内容は、DORAが提唱したケーパビリティモデルを補完する内容であり、DevOpsに必要な実践内容が書かれた本です。 2021年には2nd Editionが刊行されているのですが、残念ながら日本語訳はありません。 itrevolution.com なお、2nd Edition ではDr. Nicole Forsgrenも新たに参加し、加筆しているという個人的には胸熱な展開になっています。 DORA激動の年 2018年は、DORAにとって激動の年でした。 まず、2018年3月27日、かねてより進めていた新しい書籍が発売となります。 Accelerate: The Science of Lean Software and DevOps: Building and Scaling High Performing Technology Organizations （邦題「LeanとDevOpsの科学」）です。 itrevolution.com この本の出版でMartin Fowlerと約束を果たしたことになります。冒頭で述べた通り、この本はDORAの「研究の調査・分析手法を紹介・解説する本」として生まれました。 発行はIT Revolution Pressで、DORAの二人Nicole Forsgren、Jez Humble、そしてIT RevolutionのGene Kimの名前で発行されました。 ここにPuppet Labsのメンバーはいません。（謝辞の中には出てきますが） そして「LeanとDevOpsの科学」が出版された翌月、書籍名（原題"Accelerate"）を冠した Accelerate State of DevOps Report という、新しいプログラムを発表します。 これは、長年共に歩んできたPuppet社とのパートナーシップ解消を意味しました。DORAは、次のパートナーとしてGoogle Cloudを選択したのです。当時のインタビュー記事があります。 www.infoq.com 新しい Accelerate State of DevOps Reportは 2018年8月29日にリリース されます。 筆者としてクレジットされたメンバーは3人だけでした。 Nicole Forsgren PhD（ニコール・フォースグレン博士） Gene Kim（ジーン・キム） Jez Humble（ジェズ・ハンブル） 2018 Accelerate State of DevOps Reportの表紙 パートナーであるGoogle Cloudがダイヤモンドスポンサーであることはもとより、ゴールドスポンサーがAmazon Web Services、CA Technologies、CloudBees、Datical、Deloitte、Electric Cloud、GitLab、IT Revolution、Microsoft、PagerDuty、Pivotal、Redgate、Sumo Logic、Tricentis、XebiaLabsであり、非常に豪華です。 肝心の中身ですが、2018年のパフォーマンスの指標とレベルにはちょっとした変化が生じます。 それは、MTTRが "Time to restore service" という言い方に変わったことと、レベルに初めて Elite が登場したことです。 【2018 パフォーマンス指標】 パフォーマンス指標 Elite High Medium Low Deployment Frequency オンデマンド（1日複数回） 1日1回〜週1回 週1回〜月1回 月1回〜6ヶ月に1回 Lead Time for Changes 1時間未満 1日〜1週間 1週間〜1ヶ月 1ヶ月〜6ヶ月 Time to restore service 1時間未満 1日未満 1日未満 1週間〜1ヶ月 Change Failure Rate 0-15% 0-15% 0-15% 46-60% このように、リサーチは順調であったようですがDORAのCEO兼主任研究員であったDr. Nicole Forsgrenには大きな重圧がかかっていたようです。 この頃のことをJez Humbleはブログで次のように振り返っています。 経費を抑えた自力での会社運営には大きな代償がありました： それは燃え尽き症候群です 。スタートアップは創業者を疲弊させることで有名ですが、私たちも例外ではありませんでした。特に最も大きな負担を背負っていたのはNicoleでした。CEOとして彼女は、会社の戦略、財務、そして事業運営全般に責任を負っていました。それだけではありません。CEOとして市場戦略の立案と実行をほぼ一人で担うだけでなく、State of DevOpsレポートの主任研究者、『Accelerate』の主執筆者、そして買収交渉の責任者も務めていました。彼女が言うように、これらの成果はすべて何年もかけて築き上げたものですが、驚くべき仕事の処理能力を持っていた彼女でさえ、膨大な時間の労働なしにはこれらを実現することはできなかったでしょう。 これこそが投資を受けなかったことの代償でした - より大きなチームを雇って、この重荷を分散することができなかったのです。 Jez Humbleのブログから 2018年12月、Nicole Forsgrenは DORAをGoogleに売却する決断をしたのでした。 Puppet版State of DevOps Report 一方、Puppet社も2018年は独自のState of DevOps Reportを発行します。 しかし、これはDORA版とは異なるポリシーで編集されたものでした。2013年版に原点回帰するかの如く、DevOpsの進化の段階を特定し、DevOpsへの変革プロセスの定量化に舵を切っています。 Puppet版 2018 State of DevOps Reportについて語る人物は、あのAlanna Brownでした。 その後、Puppet社は、2022年4月にソフトウェア開発ツール大手 Perforce Software, Inc. に買収 されましたが、現在もState of DevOps Reportはシリーズを継続中であり、主にDevOpsに取り組む現場での実用性に重点を置いています。 2024 State of DevOps Report GoogleになってからのState of DevOps Report Googleの一員となったことで、安定した環境、持続可能な研究環境を手に入れたDORAは、途中COVID-19による2020 DORA Reportの中止もありましたが、晴れて今回で10冊10年目を迎えることができました。 ここでは2019年〜2023年までのトピックを駆け足で紹介します。 入れ替わる著者陣 2019年にGene Kim、2021年にはDr.Nicole ForsgrenとJez HumbleがDORAを去ります。現在は、他のDORAメンバーやGoogleのリサーチャーを中心に研究が引き継がれています。 Gene Kim は現在もIT Revolutionの代表であり、執筆活動や講演を精力的にこなしています。2019年に来日しており、DevOpsDays Tokyo 2019のキーノートセッションに登壇しています。（私は現地で拝聴できました！） thinkit.co.jp Jez Humble は現在もGoogleに席を置きSRE(Site Reliability Engineering)のエンジニアとして活躍する傍ら、カリフォルニア大学バークレー校（UC Berkeley）の教員も続けているようです。 www.ischool.berkeley.edu Dr.Nicole Forsgrenは現在Microsoft Research のパートナーとして Developer Experience Lab を率いており、ACM Queue の取締役も務めています。最近は、科学を活用しソフトウェア開発者をより楽しくする研究を実践しています。DevExやSPACEフレームワークに関する研究論文を発表し、精力的に活動中です。 彼女の最近の論文について、以前解説ブログを書いたので貼っておきます。 tech.findy.co.jp また、今年の6月に来日しファインディ主催の「開発生産性Conference 2024」にて基調講演をご担当頂きました。 Dr. Nicole Forsgren （開発生産性Conference 2024にて） David Farleyの登場 2022年と2023年の2年間だけ、著名なエンジニアDavid(Dave) Farley（デイビッド（デイブ）・ファーリー）が関わりました。 David(Dave) Farley(Image source: InfoQ.com) 彼は、Jez Humbleと共にベストセラー「Continuous Delivery」を書いた人物です。 www.kadokawa.co.jp 書籍「Modern Software Engineering」の筆者でもあり、文中、Dr. Nicole ForsgrenにまつわるエピソードやDORAの研究成果が引用されており、非常に参考になる本です。 bookplus.nikkei.com Eliteレベルがまた消える 2022年の分析では、 パフォーマンスレベルからEliteが消滅します。 これは、最もパフォーマンスの高いクラスタが、2021年のEliteの特徴を示していなかったためと述べられています。翌年2023年は復活しました。 これは、クラスター分析の特性として仕方のない現象でもあります。クラスター分析は、データの分布やその年の回答者の特性に基づいて自然に分類を形成する手法であり、 事前にクラスター数やその特徴を固定するものではありません。 そのため、特定のパフォーマンス層が少数であったり、他の層と重なりがある場合、ある年には明確なクラスターとして現れず、翌年に再び明確化することがあります。この柔軟性こそがクラスター分析の利点であり、 データに忠実である ことを意味しています。 Four Keysの定義が変更 2023年から、Four Key Metricsの一部名称と定義が変更され、より簡潔かつ実務的な表現に更新されました。次の表に、2022年までの定義と2023年の定義、および具体的な変更点をまとめています。 指標 2023年の定義 2022年までの定義 変更点 Deployment frequency (デプロイ頻度) 変更を本番環境に push する頻度。 主なアプリケーションまたはサービスで、組織が本番環境にコードをデプロイする頻度、またはエンドユーザーにリリースする頻度はどのくらいか。 定義が簡潔化され、 本番環境への変更適用に焦点が絞られています。 Lead time for changes (変更のリードタイム) コードの変更を commit してからデプロイするまでの時間。 主なアプリケーションまたはサービスで、変更のリードタイム（commit されたコードが本番環境で正常に実行されるまでの時間）はどのくらいか。 定義が簡潔化され、 コミットからデプロイまでの具体的な工程に限定。 「本番環境で正常に実行される」という表現が省かれています。 Change failure rate (変更失敗率) デプロイにより障害が発生し、すぐに対処する必要が生じる頻度。 主なアプリケーションまたはサービスで、本番環境に変更を加えた、またはユーザーに変更をリリースしたとき、サービスの低下（サービス障害、サービスの停止など）が発生して、対策（修正プログラム、ロールバック、フィックス フォワード、パッチなど）が必要になった割合はどのくらいか。 「デプロイにより障害が発生し」という表現 に変更され、障害の発生原因がデプロイに限定。具体的な対策例が削除されました。 Failed deployment recovery time (失敗デプロイの復旧時間) (旧名称: Time to restore service (サービス復旧時間)) デプロイの失敗時に復旧にかかる時間。 主なアプリケーションまたはサービスで、サービスのインシデントや、ユーザーに影響を与える障害（計画外のサービス停止やサービス障害など）が発生した場合、サービスの復旧に通常どれくらいの時間がかかるか。 指標名が変更され、定義が「デプロイの失敗」に絞られました。 例として挙げられていた「計画外のサービス停止やサービス障害」が削除されました。 ソフトウェア開発は、今も昔も、どこか実験的である ここまでが去年までの振り返りとなります。 前回のブログで、Tom DeMarco はのIEEE Software誌を引用し「ソフトウェアの力で世界を変えるようなプロダクトを生み出すことの方が重要」というDeMarco自身の「気づき」について引用しました。実は、彼はその記事の最後で、こう締めくくっています。 Photo of Tom DeMarco by Hans-Rudolf Schulz ソフトウェア開発は、今も昔も、どこか実験的である。 実際のソフトウェアの構築はそれほど実験的ではありませんが、その構想は実験的です。そして、この点にこそ私たちの焦点が当てられるべきでしょう。私たちは常にここに焦点を当てるべきでした。 (Tom DeMarco, 2009) DORAの10年は、まさにDeMarcoが語った「ここに焦点」を当て続けた挑戦そのものだと感じます。日々の実践と実験の中から何が本当にチームを強くし、ソフトウェアをより良いものにするのかを探求し続けたその姿勢こそ、彼の言葉を現実のものとし未来を照らし出す希望そのものだと私は信じたいのです。 では、いよいよ2024 DORA Report の中身を見ていきましょう！ 次回に続きます。 ファインディでは一緒に会社を盛り上げてくれるメンバーを募集中です。興味を持っていただいた方はこちらのページからご応募お願いします。 herp.careers *1 : Forsgren, N., Humble, J., & Kim, G. (2018). LeanとDevOpsの科学 [Accelerate]: テクノロジーの戦略的活用が組織変革を加速する. インプレス.

このブログの内容をポッドキャストでも配信中！ こんにちは。ソフトウェアプロセス改善コーチでFindy Tech Blog編集長の高橋（ @Taka_bow ）です。 2024年10月23日、2024 DORA Accelerate State of DevOps Report、通称DORA Reportが公開されました。 2024 DORA Accelerate State of DevOps Report 表紙 このレポートは、ソフトウェア開発における運用と実践について、科学的な手法で調査・分析した結果をまとめたものです。 私は毎年このレポートを楽しみにしています。今年は10回目10年目の節目ということで、いつもより丁寧に読みました。 詳しい人でしたら、10年よりもっと長くないだろうか？と不思議がる方もおられるでしょう。 その辺の複雑な事情を含め、DORA Report 10年間の軌跡とその上に成り立つ最新レポートを解説したいと思います。全4回の予定です。 本記事ではv.2024.3をベースに解説します。なお、執筆時点で日本語版はまだリリースされていませんでした。また、 正誤表 を確認しなるべく最新の情報を参照するように努めました。 DORA Reportのライセンスは次の通りです。 “Accelerate State of DevOps 2024” by Google LLC is licensed under [CC BY-NC-SA 4.0]( https://creativecommons.org/licenses/by-nc-sa/4.0/ ) なお、DORA Report原文は Google Cloudのこちらのページ からダウンロードできるので、ぜひ一次情報に触れてみてください。 このブログの内容をポッドキャストでも配信中！ DORAの知見を「実践」に活かすために 科学とは何か？ 「科学的リサーチ」方法とは 定量的データと統計分析がもたらす信頼性 DORA Report 10年の変遷 State of DevOps Report のはじまり なぜ2013年版はカウントされないのか？ Dr. Nicole Forsgren の参画 最初はFour Keysじゃなかったし、Eliteも居なかった DORAの知見を「実践」に活かすために 私の35年のエンジニア人生を振り返ると、かなりの時間「意味のない計測データ」の収集と加工に時間を費やしたと思います。なぜなら、（その時の）品質保証部門がプロダクトの「出荷」をなかなか認めてくれないからです。 いま思い出すと、 私は被告側の弁護士のようであり、品質保証部門はまるで検察側のよう でした。 裁判長は、事業部のトップです。 私はプロジェクトを終わらせるために、ありとあらゆるデータを集めて「そのプロダクトは動く。（きっと）問題ないはずだ！」を弁護する必要がありました。 DFD（data flow diagram）の生みの親であり、 「ピープルウェア」「デッドライン」等の名著 で有名なTom DeMarco（トム・デマルコ）というエンジニアの巨匠がいます。 Photo of Tom DeMarco by Hans-Rudolf Schulz 彼は、若かりし頃（1982年）の論文で次のような言葉を発しました。 「計測できないものは制御できない」 “You can’t control what you can’t measure.” これは、私のような古いエンジニアにとっては、しばらくのあいだ 呪言 となりました。 しかし、2009年7月、IEEE Software誌7月8月合併号 *1 に、Tom DeMarco は衝撃的な記事を寄稿します。 タイトルは ”Software Engineering: An Idea Whose Time Has Come and Gone?（ソフトウェアエンジニアリング：その考えは、もう終わったことなのか？）” “You can’t control what you can’t measure.”（計測できないものは制御できない） このセリフには本当の真実が含まれているのですが、私はこのセリフを使うことに違和感を覚えるようになりました。 (中略)例えば、過去40年間、私たちはソフトウェアプロジェクトを時間通り、予算通りに終わらせることができないことで自らを苦しめてきました。 この文章は当時、Tom DeMarco 自身が「測定できないものは制御できない」は誤りだったと認めた！ということで業界に衝撃が走りました。しかし、Tom DeMarco が本当に言いたかったことは、次の文章に含まれます。 しかし、先ほども申し上げたように、これは決して至上命題ではありませんでした。 もっと重要なのは、世界を変えるような、あるいは企業やビジネスのあり方を変えるようなソフトウェアを作るという「変革」です。 Tom DeMarcoが指摘したように、時代はさきほどのような「裁判ごっこ」よりも、もっと顧客との関係性を重視する方向に確実に変化してきました。それが、リーンであり、アジャイルでありDevOpsなのだと思います。 そんな中で登場してきたFour Keysですが、出会ったときの衝撃は今でも鮮明に覚えています。その指標があまりにもシンプルで、なおかつ説得力に満ちていたからです。 DORAの研究成果は決して一時的なトレンドではありません。Four Keysを単なる「流行り」と捉えるのは誤りです。しかし、その一方で、すべてを鵜呑みにする必要もありません。 2024年で10周年を迎えたDORA Reportには、この取り組みが成熟してきたことを示す重要なメッセージが随所に見られます。その代表例が"Applying insights from DORA"（DORAの知見を実践に活かすために）という章です。 一部を訳します。 私たちの調査結果は、皆様が独自の実験や仮説を立てる際の参考にしていただけます。チームや組織に最適なアプローチを見出すために、変更による影響を測定しながら実験を重ねることが重要です。それにより、私たちの調査結果の検証にもつながります。結果は組織によって異なることが想定されますので、ぜひ皆様の取り組みを共有していただき、その経験から互いに学び合えればと思います。 これは、DORAの取り組みが科学的だからこそ言えることであり、数々の困難があったなかで10年間継続してこれた理由でもあると思うのです。 科学とは何か？ DORA Reportから少し脱線するのですが、とても大事なことなので説明させてください。 書籍「LeanとDevOpsの科学[Accelerate] テクノロジーの戦略的活用が組織変革を加速する」(原題"Accelerate: The Science of Lean Software and DevOps: Building and Scaling High Performing Technology Organizations") が、DORAの研究ベースに書かれていることは広く知られているところです。 book.impress.co.jp ところで、このタイトルの 「科学」 は何を指しているのでしょうか。 科学とは「なぜだろう？」という疑問に対して、実験と観察を重ねながら、誰でも同じ結果を得られる答えを見つけ出す取り組み、と言えます。天文学者であり小説家でもあった、20世紀屈指の科学者カール・セーガンは科学について次のような表現をしていました。 "Science is a way of thinking much more than it is a body of knowledge." Carl Sagan 科学は、思考の方法であり、知識の集積ではない。 カール・セーガン 例えば、あるカレー店の人気の秘密を科学的に考えてみましょう。 「このカレーが美味しいのはなぜか？」という問いに対して、「シェフの腕が良いから」という個人的な感想や、「創業100年の伝統の味だから」という言い伝えだけでは、科学的な説明とはいえません。 科学的なアプローチでは、次のような調査と実験を行います。 100人のお客さんに同じ条件で食べてもらい、評価を集める スパイスの配合を少しずつ変えて、味の変化を測定する 調理時間や火加減を細かく記録し、最適な条件を探る 異なる調理人が同じレシピで作っても、同じ味になるか確認する このような過程を経て、「このスパイスの配合で、この温度で30分煮込むと、8割以上のお客さんが美味しいと感じるカレーができる」と言った、誰でも確認できる答えにたどり着けるのです。 開発の現場でも同じです。 「このやり方は効果的だ」という個人の経験や、「有名な企業がやっているから」という理由だけでは、本当にそれが正しいのかわかりません。 DORAの研究では、これらを科学的アプローチによってDevOpsの成功要因を明らかにしました。個人の経験や直感を超えて、数多くの組織のデータを分析し、客観的な証拠に基づいて「何が効果的なのか」を示したのです。これは単なる成功事例の集積ではなく、 科学的リサーチ によって検証された信頼性の高い知見なのです。 「科学的リサーチ」方法とは 科学的リサーチとは、現象を体系的に調査し、新しい発見や理論を導き出す手法です。観察から始まり、概念化、測定可能な 変数 への置き換え、モデル化という段階を経て、客観的なデータに基づいた結論を導きます。 向後, 千春. (2016). 18歳からの「大人の学び」基礎講座: 学ぶ, 書く, リサーチする, 生きる. 北大路書房. 図3-3に筆者が加筆 研究の流れは次の通りです。研究プロセスは次の4段階で進みます： 現象の観察 例えば、「なぜある開発チームは他のチームより高い成果を上げているのか」という問いからDORA（DevOps Research and Assessment）チームの研究が始まりました。 概念の特定 DORAの研究では、継続的デリバリー、継続的インテグレーション、自動化テストの実施などを成功要因として特定しました。 変数への変換 概念を測定可能な形に変換します。例えば、デプロイ頻度、変更リードタイム、障害復旧時間、変更失敗率などの具体的指標として定義します。 モデルの構築 収集したデータを統計的に分析し、因果関係を明らかにします。DORAの研究では、自動化テストの実施が変更リードタイムを短縮することや、チームの独立性がサービスの信頼性向上につながることを実証しました。 この一連のプロセスを通じて、科学的リサーチは客観的な検証可能性、再現性、そしてデータに基づく実証性という特徴を持ちます。これらの特徴により、DORA Reportは他の研究者が検証・発展させられる形でDevOpsの成功要因を明らかにできました。 定量的データと統計分析がもたらす信頼性 DORA Reportで用いられる科学的アプローチに対して、「都合の良いデータ解釈をしているのではないか」という批判を目にすることがあります。 しかし、この批判は科学的リサーチの本質を十分に理解していないことから生じている可能性があります。科学的リサーチとは、単にデータを収集し結果を得ることではなく、現象を客観的に理解し、実証可能な方法で結果を導き出す「方法論」そのものです。 この考え方は、DORAの研究において次のように具体化されています： 思考の方法の適用 DORAの研究では、特定の仮説（例えば「継続的デリバリーはパフォーマンス向上に寄与する」）を立て、それを証明または反証するために厳密な手法でデータを収集・分析しています。これは、科学的な「疑う」姿勢と「検証する」姿勢の両立です。 透明性と再現性 測定方法や分析手順を厳密に文書化し、他の研究者が追試可能な形で公開しています。これは、科学が単なる知識の蓄積ではなく、「共有されるべきプロセス」であることを象徴しています。 実践への応用 科学の思考方法をもとに導き出された成果が、現場での実践を通じて再び検証されています。たとえば、継続的デリバリーやテストの自動化が現実の組織で具体的な効果をもたらすことが示されています。 DORAの研究は10年にわたり、理論と実践の両面で成果を示してきました。カール・セーガンが述べたように、科学とは「知識の集積」ではなく「より良い問いを立て、より深く理解するための思考の道具」です。 DORAはこの科学的アプローチを用いて、LeanやDevOpsの成功要因を信頼性の高い方法論として確立し、現場の改善や組織変革に直接応用できる形で提供しています。毎年のクラスター分析結果の微細な変化も、このような継続的なデータ分析の重要性を示しているのです。 DORA Report 10年の変遷 今回の2024 DORA Reportでは、 "A decade with DORA"（DORAと共に過ごした10年） という章があります。DevOpsの起源から、State of DevOps Report誕生の背景、今日に至るまでの歴史が書かれています。 私は、その説明内容からこれまでの変遷を1枚の画にまとめてみました。 State of DevOps Reportの歴史 この画から分かるように「DORA Report 10年」とは 2014年版State of DevOps Reportから2024年版State of DevOps Reportまでを指します。2020年版はCOVID-19の影響で発行されていませんので、時間の経過を指す10年ではなく、この10冊が10年というわけです。 ですが、2013年版のState of DevOps Reportは10年の10冊には含まれていません。それはなぜなのか？ 順を追って解説します。 State of DevOps Report のはじまり 2011年、Puppet Labsで働いていたAlanna BrownはDevOpsについてより深く理解するための調査を開始しました。この調査は、「'DevOps'的な働き方がITにおける新しいビジネスの方法として台頭している」ということを裏付ける助けとなりました。 itrevolution.com この調査の成功をベースに、2012年に新たな調査を開始、2013年 Puppet LabsとGene Kim氏が率いるIT Revolution Pressが共同で、最初のState of DevOps Reportを発行しました。 書籍「LeanとDevOpsの科学[Accelerate] *2 」には、次のような記載があります。 「State of DevOps Report』の初回は2014年版だが、研究自体はそれ以前に始まっていたという点に留意されたい。Puppet社のチームは、 DevOpsという（まだそれほど知られていなかった）概念 をより良く理解し、それが現場でどう採用されつつあるか、組織パフォーマンスの改善を組織がどう実感しているかを把握するための研究を始めており、 2012年にこの研究への参画をGene Kimに求めた。 Gene KimはTripwire, Inc.の創業者兼CTOとして13年間務めたあと、IT Revolutionを創業し出版活動、DevOpsコミュニティへの貢献に尽力する人物でした。 itrevolution.com さらに、優秀なキーマンが巻き込まれることになります。 そしてGene Kimがその後、 Jez Humbleにも応援を仰ぎ、 ともに調査に加わって全世界の組織から4,000件の回答を集め、分析した。この種の調査では最大規模である。 Jez Humble は、カルフォルニア大学バークレー校で教鞭も執っているDevOpsの研究者でした。 github.com このような経緯を経て、2013 State of DevOps Reportはリリースされたのです。 なぜ2013年版はカウントされないのか？ 一言で言えば「調査方法が違う」からです。 現在の統計的アプローチが取られたのは2014年以降となります。2013年当時のPuppet社は、ITインフラストラクチャの自動化を支援するソフトウェアを開発・提供している会社でした。 その中心的なプロダクトは Puppet Enterprise であり、これはサーバーやクラウド環境、ネットワークデバイスなどの管理を効率化し、DevOpsやインフラ管理の自動化を推進するツールでした。 2013 State of Devops Report は、当時あまり知られていなかったDevOpsという概念を広め、Puppet Enterpriseの市場を開拓することが主な目的だったと思われます。実際、2013年版の調査による【主要な発見】は、やや意図的な印象を受けます。 【主要な発見】 DevOps導入状況 回答者の63%がDevOpsを導入（2011年から26%増加） 導入期間が長いほど、高パフォーマンス達成の可能性が5倍に上昇 高パフォーマンスを実現する共通実践 バージョン管理システムの使用（89%） コードデプロイの自動化（82%） DevOpsスキルの需要 コーディング/スクリプティング（84%） コミュニケーションスキル（60%） プロセス再構築スキル（56%） また、このレポートでは、後のDORAメトリクスの基礎となる4つの主要指標、デプロイ頻度・変更のリードタイム・変更の失敗率・復旧までの平均時間、いわゆるFour Keysが登場します。 しかし、現在の観点とは異なる分析結果でした。下記に、2013 State of DevOps Reportのパフォーマンス指標の解説と、グラフを転載します。 DevOpsの成熟度（未導入から12ヶ月以上前に導入） に基づいて、デプロイ頻度、変更のリードタイム、変更の失敗率、復旧までの平均時間という4つの主要なDevOpsパフォーマンス指標を分析しました。DevOpsの導入が成熟している組織は、 まだDevOpsを導入していない組織と比較して、すべての指標において著しく高いパフォーマンスを示しました。 2013 State of DevOps Report, p5 ご覧の通り、4つの指標はそれぞれ、「DevOpsを導入しているか否か」で期間分類されているのです。 Not Implemented（未導入） Currently Implementing（導入中） Implemented <12 Months（導入後12ヶ月未満） Implemented >12 Months（導入後12ヶ月以上） そして、このレポートは回答者の多くがDevOpsに関心の高い層に偏っている可能性を検証しておらず、バイアスの制御が十分でないという問題も抱えていました。 Dr. Nicole Forsgren の参画 2014年、State of Devops Report に大きな転機が訪れます。 それが、当時ユタ州立大学ハンツマンビジネススクールの教授であったDr. Nicole Forsgren（ニコール・フォースグレン博士）の参画です。 彼女は、ITインパクト、ナレッジマネジメント、ユーザー体験の専門家でした。 itrevolution.com 「LeanとDevOpsの科学[Accelerate] 」に書かれた「謝辞」には、Nicole Forsgrenの次のようなコメントがあります。 私が初めて皆さんのところへお邪魔して、「ここは違っています」などと指摘させていただいたとき（そのときの私の口調、失礼じゃなかったですよね、ハンブルさん？）、皆さんは私を部屋から蹴り出したりしなかった。 おかげで私はその後、忍耐力と共感力を養い、冷めかけていたテクノロジーへの愛を再燃させることができた。また、「あともう1回だけ、分析やってみて！」が口癖であるキム氏の無尽蔵の熱意と気合いは、我々の仕事を堅牢で大変興味深いものにしてくれている。 この謝辞から読み取れるように、Dr. Nicole Forsgren は2014年以降のState of Devops Reportに科学的厳密性をもたらした重要な人物です。それまでの調査手法に対して建設的なフィードバックをし、その結果、2014年のレポートから、より体系的で科学的なリサーチがもたらされます。 そして、2014年から2017年までの間、State of Devops Report は次のメンバーによって調査・研究がなされました。 Nicole Forsgren Velasquez（ニコール・フォースグレン・ベラスケス） Gene Kim（ジーン・キム） Jez Humble（ジェズ・ハンブル） Nigel Kersten（ナイジェル・カーステン） Puppet LabsのCIO Alanna Brown（アラナ・ブラウン） 2012年からState of Devops Report を担当する発案者 最初はFour Keysじゃなかったし、Eliteも居なかった Dr. Nicole Forsgrenの参加は、リサーチプログラムに科学的な厳密さをもたらしました。 このことで、最初のFour Keysは統計学的有意（＝確率的に偶然とは考えにくく、意味があると考えられる）が検証されるようになります。 このことで、 Change Failure Rate（変更失敗率）は、他の3つの指標とは有意な相関が見られなかった ため、ITパフォーマンスの定義から除外されています。 【2014 パフォーマンス指標】 指標 High Medium Low Deployment Frequency 1日に複数回 週1回〜月1回 月1回〜6ヶ月に1回 Lead Time for Changes 数分単位 1日〜1週間 1週間〜6ヶ月 MTTR 分単位 時間単位 日単位 とはいえ、2014 State of DevOpsレポートは、ソフトウェアデリバリーのパフォーマンスと組織のパフォーマンスの関連性を明らかにし、 「高パフォーマンスのITチームを持つ上場企業は、低パフォーマンスのIT組織を持つ企業と比較して、3年間で市場価値の成長率が50%高かった」 ということが発見されています。(2014 Accelerate State of Devops Report） 2014 State of Devops Reportは、Nicole Forsgrenの「科学的リサーチ」によって次第にデータは説得力のあるものに変わっていきました。 ところが、ここにきて大きな壁が立ちふさがります。 それが、 ソフトウェア界の巨匠Martin Fowler（マーティン・ファウラー） でした。 次回に続きます。 tech.findy.co.jp ファインディでは一緒に会社を盛り上げてくれるメンバーを募集中です。興味を持っていただいた方はこちらのページからご応募お願いします。 herp.careers *1 : https://www.cs.uni.edu/~wallingf/teaching/172/resources/demarco-on-se.pdf *2 : Forsgren, N., Humble, J., & Kim, G. (2018). LeanとDevOpsの科学 [Accelerate]: テクノロジーの戦略的活用が組織変革を加速する. インプレス.

こんにちは。 FindyでMLエンジニアをしているyusukeshimpo( @WebY76755963 )です。 今回は直近で公開した「 スキル偏差値ver.3 」機能について、その内容や具体的な機械学習モデルの作成方法について紹介します。 Findyのスキル偏差値とは？ スキル偏差値の概要 アップデートすることになった背景 スキルの見える化する、スキル偏差値ver.3の詳細 1.学習データの作成 1-1.使用言語ごとのデータ準備 1-2.ペアワイズ形式のデータ構築 1-3.勝敗アノテーションの付与 2.ランキング学習 2-1.ペアワイズデータの特徴量生成 2-2.機械学習モデルによる勝敗予測 3.モデルによるスコアリング 実装で苦労した点と解決策 1.モデル精度の担保 アノテーションの工夫 評価設計 2.言語固有の特徴量設計 言語特徴の言語化をしてデータ化 最後に Findyのスキル偏差値とは？ スキル偏差値の概要 まずはプロダクトの概要を説明いたします。 「スキル偏差値」は、Findyに登録されているユーザーのGitHubリポジトリ（※Open-access repositoryのみ）を解析し、 コミット量、OSSプロジェクトへの貢献度、他者からのコードの支持などに基づいて技術力をスコアリングする機能です。 GitHubの解析は機械学習技術を用いて実施しており、これまでに何度かアルゴリズムや学習データのアップデートを行ってきましたが、 今回は2017年のリリース以降で最も大幅なリニューアルを行なっており、大元のアルゴリズムや学習データの作り方自体をガラッと変更しています。 アップデートすることになった背景 アップデートの背景には、大きく分けて2つの理由が存在します。 リリースから数年が経過する中でユーザーの方からの要望が増えてきたから。 特に「言語別」のスコアに対する要望が強く、言語別のスキル判定の精度改善を求めるニーズが強かったため。 2023年以降、LLMやAI Agentが登場し、エンジニアリング（特にコーディング）の領域でも、それが当たり前に使われるようになってきたから。 今後エンジニアに求められる「スキル」も環境に合わせて変わっていくことが予想される中で、よりサービス開発や運用に直結する能力を評価できるモデルに進化させていく必要があったため。 上記「ユーザーボイス」と「開発を取り巻く環境変化」を受けて、このタイミングで新たな「スキル偏差値」を作ることを決めました。 スキルの見える化する、スキル偏差値ver.3の詳細 今回のスキル偏差値の開発では次の3つの手順でスキルの見える化をしています。 学習データの作成 ランキング学習 学習モデルによるスコアリング この3つの手順について詳しく解説します。 1.学習データの作成 ランキング学習を支えるのは「質の高いデータ」です。 GitHubリポジトリから収集したデータを加工し、言語ごとに特徴量を整備することで、正確なモデル構築を目指しました。 1-1.使用言語ごとのデータ準備 GitHubリポジトリを次の主要言語ごとに分類しました。 Python JavaScript TypeScript Go Ruby PHP 各言語ごとで重視される特徴量に違いがあり、言語ごとにデータを分ける方針にしました。 1-2.ペアワイズ形式のデータ構築 ランキング学習するために、今回は「ペアワイズ形式」のデータを用意しました。これは、2つのエンティティ間でどちらが優れているかを比較する形式です。 今回のケースではGitHubユーザー間のリポジトリ情報を比較し、相対的なスキル勝敗データを生成しました。また、ペアはバイアスが生まれないようにランダムでペアを作るようにしています。 1-3.勝敗アノテーションの付与 生成したペアデータに対して、上の図のようにスキルの「勝敗」をラベリングしました。 特にラベル基準をある程度明確化しておくと担当者間でのクロスレビューの際の議論がまとまりやすかったです。 2.ランキング学習 次に、上で用意した学習データに対して、次の2つのステップを経て、「ランキング学習」の手法を用いて特徴量間の比較します。 「ランキング学習」（Learning to Rank）は、複数ある事象の「順位」を目的変数とした場合に用いられる機械学習の手法で、身近な例としては「検索エンジン」などで使われています。 機械学習を用いた「ランキング学習」の実装にはいくつか方法がありますが、今回は上述したペアワイズなデータ間の「勝敗」を学習し、 2-1.ペアワイズデータの特徴量生成 2-2.機械学習モデルによる勝敗予測 以下、それぞれのステップを解説していきます。 2-1.ペアワイズデータの特徴量生成 ランキング学習するために、まずは各々のデータを機械が認識できる形にする必要があります。 具体的には、各データを「特徴化」し、ベクトル化した数値で比較できるようにしています。 当初はこの「特徴」抽出のプロセスについては、言語を問わずある程度一元化できると考えていましたが、 実験過程で、言語間の「特徴」に大きな違いが見られました。 詳細は社外秘情報にあたるため公開できませんが、一例として、ある言語では「Readmeなどのテキストの長さ」が重要な意味を持ちます。 別の言語だとボイラープレート内にReadme用のテキストが充実しているため「Readmeの長さ」を特徴として重視しない方が好ましい、という傾向が出ていました。 上記のように、言語ごとに利用者を取り巻く環境が大きく違う点も考慮し、現段階では「言語ごとに異なる特徴を採用する」という意思決定をしています。 *1 2-2.機械学習モデルによる勝敗予測 データを特徴化したら、機械学習モデルによるランキング学習をし、当該データ間の順位を予測します。 検討初期にはより複雑なモデルを利用することも検討しましたが、「言語ごとに個別のモデルを動かす」という仕様上の制約や、特徴抽出の工夫によりシンプルなモデルでも十分な精度が実現できたため採用しています。 上記のアルゴリズムにペアワイズの学習データとその勝敗を学習させ、勝敗の判定を行なっています。 モデルの精度についてはこちらも非公開ですが、検証方法としてはこちらも「複数人が判断した際の判断と同様の出力（＝勝敗）を出せるか」を基準に評価しています。 リリース時点で、対象としている6言語はいずれも人間の判断を8割以上の精度で模倣できており、一定正確なジャッジができていると判断しています。 *2 3.モデルによるスコアリング 学習モデルを作成したら、その推論結果を元にユーザーのスキルをスコアリングしていきます。 学習したのは、ペアワイズデータの勝敗ですので、計算したいユーザーと他のユーザーとの勝敗をシミュレーションして、それを元にユーザーのスキルスコアを算出します。 このスコアを一般的に偏差値計算をする数式に当てはめ、最後に調整（言語ごとに異なる尺度を正規化するなど）をしたものを「スキル偏差値」としています。 実装で苦労した点と解決策 上記を実装する上で困難な点が多々ありました。 今回は次の苦労した点と解決としてどんなことをしたかも説明していきます。 モデル精度の担保 言語ごとの特徴量 1.モデル精度の担保 アノテーションしたデータを使用しているので、モデルはアノテータに影響を受けます。 アノテータのバイアスを極力抑えて客観的に良いモデルを作成するための工夫が必要だったため、次の工夫をすることで精度改善を試みました。 アノテーションの工夫 データ作成時のアノテーションには次のような手順を導入しました。 言語経験者による判断: 経験者がアノテーションをすることで正確性を担保 ラベル基準の明確化: ラベル基準を言語化してアノテータに共有 クロスレビュー: 複数人がレビューすることでバイアスを極力抑える 例として、社内でRubyを日常的に利用する有識者へアノテーションの基準づくりを依頼しました。筆者は普段の業務でRubyを使用しないため、このように経験者から合意を得ることで、より良質な正解データを作成できました。 評価設計 アノテーションという定性的な評価を学習データにしているため、ただ単に評価関数の良し悪しで判断できません。 そんな中 どのようにモデルの精度を評価したのか も非常に重要かつ難しいポイントでした。 そこで、アノテーションとモデルの精度を担保するために定性と定量の両方で確認しました。 定量評価: 正解率や偏差値の分布を測定 定性評価: 偏差値の妥当性を人間が確認 勝敗の正解率を確認したのち、Ratingや偏差値を実際に算出しますが、正規分布に基づいているか、ユーザーはこの数値で妥当かを定性的に評価しました。 これによるアノテーション結果の正当性を確保しつつ、モデルの方向性も正しいと確認できました。実際には次のサイクルでモデル評価とアウトプット評価をして都度アノテーションから見直すこともしました。 2.言語固有の特徴量設計 また、言語ごとに特徴量設計をするのも苦労したポイントです。同じ特徴量では表現できなかったため、言語ごとに最適な特徴量設計を見つける必要がありました。 言語特徴の言語化をしてデータ化 言語ごとにどんな特徴を持っているのかを言語化し異なる特徴を設計しました。 例えば、あるプログラミング言語ではボイラーテンプレートが充実しているため独自ロジックにスキルが出やすい傾向にあったり、ライブラリの利活用が盛んなプログラミング言語など特徴量が変わってくることがわかりました。 この特徴量の言語化のフローは大きく4つのポイントに分かれます。 まず、仮説の立案し、各言語の特性を調査し、スキルの違いを反映するための特徴を言語ごとに仮説立てを行います。その後実験を重ねて、仮説に基づいて特徴量を作成し、推論結果や評価指標を確認します。 確認した結果に違和感があれば、仮説を見直して新たな特徴量を追加・修正します。これらを繰り返し、最後に評価基準と実際の結果にズレがあれば、特徴量の設計を見直し、適正化という流れを繰り返しました。 最後に 以上が スキル偏差値ver.3 の開発についてでした。参考にしていただければ幸いです。 また、弊社では機械学習エンジニア・データエンジニアなど一緒に働いてくれるメンバーを募集しております。 興味がある方は↓からご応募していただければと思います。 herp.careers *1 : 今回のリニューアルが6言語限定になったのも、上記の理由からモデルを言語別に作る必要があったためです *2 : 余談ですが、人間が判断した際も"意見が分かれる"ペアは10~20%程度存在するため、8割の精度というのはかなり妥当な水準だと考えています

こんにちは、ファインディでFindy Team+（以下Team+）を開発しているEND（ @aiandrox ）です。この記事は Findy Advent Calendar 2024 10日目の記事です。 adventar.org Team+ではコード管理ツール・イシュー管理ツール・カレンダーなど、様々な性質の外部サービスと連携して、エンジニア組織における開発生産性の可視化・分析を行うためのデータを取得しています。 この分析を行うためには、外部サービスごとに異なるデータ構造やAPI仕様の差を吸収した統一的なデータ管理を行う必要があります。この課題を解決するため、異なるサービスのデータを統合し、単一のUIで一貫性を持って表示する仕組みを整えています。 この記事では、コード管理ツールのデータインポートをどのようなアーキテクチャで実現しているかを紹介します。 Team+と外部サービス差分の例 全体のアプリケーションアーキテクチャ メリット 責務が明確になりコードの見通しがよい 不具合が起きたときの原因がわかりやすくなる 2種類のデータを扱うことで、柔軟性と速度を担保する 層ごとにスケールすることができる デメリット 層ごとの独立性が高いがゆえの複雑さがある リアルタイム性に欠ける 一部のリソースのみインポートするといった処理が難しい 各層について Client層 Importer層 Transformer層 API層 おわりに Team+と外部サービス差分の例 前提として、Team+では現在GitHub, GitLab, Bitbucket, Backlogから取得したコード管理系のデータを以下のように表示しています。 この画面の分析のために取得しているデータは、プルリクのステータス、コミット日、オープン日、最初のレビュー日、レビューステータス、マージ日です。 外部サービスごとの小さな差分の例として、プルリクのステータスがあります。Team+では「対応中」「クローズ」「マージ」の3種類がありますが、各サービスのAPIレスポンスの値は以下を返すようになっています。 GitHub GitLab Bitbucket Backlog open, closed opened, closed, locked, merged OPEN, MERGED, DECLINED, SUPERSEDED Open, Closed, Merged GitHubの場合、ステータスの値だけを参照してもクローズとマージの区別がつかないため、 merged_at に値が入っているかどうかで判定しています。また、GitLabの locked やBitbucketの SUPERSEDED のようなイレギュラーなステータスは、他の値に丸めるようにしています。 全体のアプリケーションアーキテクチャ 全体の流れは、以下のようになっています。これらのインポート処理は、各サービスごとに分割して全8インスタンスで行い、それぞれのインスタンス内で組織ごとに20プロセスで並列して処理しています（2024年12月時点）。 層 主な役割 Client層 APIの仕様差を吸収し、レスポンスをRepresentationインスタンスとして返す Importer層 エラーハンドリングをし、サービス独自テーブルに保存する Transformer層 各サービスごとのデータ形式差分を吸収し、共通テーブルに保存する API層 表示データのフロントエンド提供 GitHub, GitLabはClient層とImporter層の設計が少し違うため、この図では省略しています このように4つの層と2種類のテーブルを使うことで、以下のようなメリットとデメリットがあります。 メリット 責務が明確になりコードの見通しがよい この設計では、新しい外部サービスを追加する際はClient層とTransformer層、それぞれ単独で実装することができます。また、コードレビュー時も変更範囲が限定されるため、確認すべき箇所を絞りやすく、レビューの効率がよいです。 不具合が起きたときの原因がわかりやすくなる 例えば、外部サービスのAPIのエラーによってデータが取得できなかった場合、Importer層でエラーがキャッチされます。また、値がTeam+で扱うものとして想定外だった場合はTransformer層でエラーになります。 外部サービスのAPIを使っているため、こちらで対応できないエラーが起きることや想定されないデータが返ってくることは避けられませんが、それによる影響が最小限になるようにしています。 2種類のデータを扱うことで、柔軟性と速度を担保する Team+には、サービス独自テーブルと共通テーブルの2種類があります。前者はAPIレスポンスの形に近い形で保存することを目的とし、後者はTeam+で扱いやすい形式で保存することを目的としています。これにより、フロントエンドからのリクエストに対しては、外部APIと独立して安定したデータソースとして迅速に提供することができます。 他にも、サービス独自テーブルに保存されたデータはTransformer層でエラーが発生しても再利用可能なため、外部APIを再度叩く必要がありません。 層ごとにスケールすることができる 現時点では行っていませんが、Import処理とTransform処理が独立しているため、必要に応じて片方のみスケールするという選択肢を持つことができます。 デメリット 層ごとの独立性が高いがゆえの複雑さがある 層ごとに責務が分離しているため、全体の流れを把握するのが大変です。特に新しいメンバーが参加した場合、どの処理がどの層で行われているかを理解するまでに学習コストがかかります。また、デバッグ時には層の間をまたぐデータフローを追う必要があり、状況によっては負担になることもあります。 リアルタイム性に欠ける このアーキテクチャは、データの取得から変換、提供までを複数の層に分割しているため、一連の処理がリアルタイムで完結する用途には適していません。例えば、ユーザーがリアルタイムにデータを参照したい場合、現行のバッチ処理的なインポートでは対応が難しいです。 Team+でも、初回連携の際の一時的なデータ取得ではClient層しか利用していません。 一部のリソースのみインポートするといった処理が難しい このアーキテクチャでは、すべてのデータのImport処理が完了した後にTransform処理を行っています。これが完了するまで画面上にデータを表示できないため、Import処理に時間がかからないリソースから逐次的に表示できるようにするなどの柔軟性は持たせづらいです。 各層について Client層 この層では、外部サービスのAPIレスポンスや仕様がサービスごとに違うため、その差分を吸収することが大きな目的としています。 libディレクトリ配下に置いてGemのように独立して作用できるようにしつつ、アプリケーションで統一して扱えるようにしています。主に、以下のような処理を行っています。 外部サービスのAPIにリクエストを行い、そのレスポンスをアプリケーションで扱いやすい形に成形加工するRepresentationクラスに格納する リトライ処理を行う 例外を発生させる エラーに対しては、Rate limitのみリトライ処理を行っています。その他のエラーと、最大回数を上回ったエラーは例外を投げるようにしています。ここでは、主にレスポンスステータスを参照しています。 これらの処理には、外部サービス独自のGemは使わずスクラッチで実装しています。また、1ページごとに遅延実行をするようにしてメモリを圧迫しないように対策しています。 Importer層 Client層から取得したRepresentationインスタンスを使い、レコードごとのアソシエーションに応じて関連レコードと一緒に独自テーブルに保存します。 また、Clientインスタンスのような依存性を注入することで、Importerの単体テストを容易にしています。 class PullsImporter def self . call (client, repo_id :, repo_full_name :) new(client, repo_id :, repo_full_name :).call end def initialize (client, repo_id :, repo_full_name :) @client = client @repo_id = repo_id @repo_full_name = repo_full_name @user_finder = UserFinder .new end def call client.pulls(repo_full_name).each do |response| attributes = response.map do |representation| PullApiMapper .call(representation, repo_id :, user_finder :) end Source :: Pull .import!(attributes) end end end Importer内では、FinderやApiMapperなどを定義し、それを用いてインポート処理を行っています。 関連レコードの取得はFinderクラスを作成し、これを介するようにしています。これにより、関連レコードを読み込むためのN+1を最小限に抑えることができるようにしています。 class UserFinder def find_by ( uuid :) users_index_by_uuid[uuid] end private def users_index_by_uuid @users_index_by_uuid ||= Source :: User .reload.index_by(& :uuid ) end end ApiMapperは、Representationからサービス独自テーブルへの変換のためのattributes作成を行っています。関連レコード（この例ではuser）の外部キーを取得するためにFinderを渡しておき、レコード取得の処理はApiMapper内で行っています。 class PullApiMapper def call { repo_id :, user_id : user.id, title : representation.title, state : representation.state } end private attr_reader :representation , :repo_id , :user_finder def user @user ||= user_finder.find_by( uuid : representation.user.uuid) end end Transformer層 サービス独自のテーブルからレコードを取得し、各サービスのデータ構造の差分を吸収し、表示データ用のテーブルに保存します。 class PullConverter def self . call (duration) sources = Source :: Pull .where( updated_at : duration) attributes = sources.map { |source| PullMapper .new.call(source) } View :: Pull .import!(attributes) end end ここでもPullMapperが使われていますが、これはImporterで使われているApiMapperとは似ているようで少し違います。前者は、Representationクラスのインスタンスをテーブルに保存するためのもので、後者はモデルのレコードを共通テーブルに保存するためのものです。外部サービスのデータ形式の差分はここで吸収されることがほとんどです。 class PullMapper def call (source) { source_type : source.class.name, source_id : source.id, repo_id : source.repo.view_repo.id, user_id : source.user.view_user.id, title : source.title, status : to_view_status(source) } end private def to_view_status (source) return :merged if source.merged? return :closed if source.closed? :created end end API層 バックエンドから表示データ用のテーブルの値をフロントエンドに返します。ここでは、サービス独自テーブルにはアクセスせず、共通テーブルの値のみを使用します。 リアルタイムのデータ集計には独自のアーキテクチャを利用していますが、こちらに関してはまた別の機会にご紹介します。 おわりに 今回、Team+のデータインポート周りのアプリケーションアーキテクチャについて紹介しました。 このアーキテクチャは、最初からこの形だったわけではありません。複数の外部サービスと連携する中で、API仕様やデータ形式の違いに直面し、それらを克服するために少しずつ設計を見直してきました。また、例えば、初期にはエラー処理がClient層やImporter層に散在していたり、それぞれの層が密結合になっていたため、層ごとの役割分担を明確化しました。こうした試行錯誤を繰り返しながら、現在の仕組みに至っています。 今も、旧アーキテクチャの名残が残っている箇所があったり、データインポートの時間が長い組織があるといった伸びしろがあります。これからも、改善を重ねて、みなさんにとって価値のあるサービスを提供していきます！ ファインディでは一緒に会社を盛り上げてくれるメンバーを募集中です。興味のある方は、ぜひカジュアル面談で話を聞きに来てください！ herp.careers

こんにちは！ファインディでFindy Team+開発チームのEMをしている 浜田 です。 この記事はFindy Advent Calendar 2024 6日目の記事です。 adventar.org 今年の上旬、フロントエンジニア向けにバックエンド勉強会を開催しました。この記事ではバックエンド勉強会を開催した目的や内容、効果について紹介します。 バックエンド勉強会を開催した背景 バックエンド勉強会の概要 バックエンド勉強会の内容 RubyやRailsの学習 VS Codeのプラグイン設定 Rails console / dbconsoleを使ってみる ruby-lang.orgを読む Railsガイドの紹介 Railsの構成を説明 バックエンドのライブコーディング DBの基礎 SQL実習 SLQ実習で書いたSQLをActiveRecordで書く N+1問題 正規形 インデックス、実行計画 トランザクションとロック 外部キー まとめ バックエンド勉強会を開催した背景 私のチームが開発しているFindy Team+はWebアプリケーションとして提供しており、フロントエンドはReact/TypeScript、バックエンドはRuby on Railsを使用しています。 ファインディでは、エンジニア個人の志向に合わせて、特定の技術領域を深く理解することでバリューを発揮している方や複数の技術領域を幅広く扱ってバリューを発揮している方など様々な方がいます。 そのため、自分の得意領域以外への挑戦を推奨しています。 ただ、現在では1チームに6〜8名ほどのエンジニアで構成され、各自が得意領域を担当することで効率よく開発が進む状況です。 このような状況では、得意領域以外にチャレンジしたい気持ちがあったとしても、最初の一歩が踏み出しづらいものです。 そこで、今回はフロントエンドを主軸としているエンジニアがバックエンドに挑戦する一歩を後押しするためにバックエンド勉強会を実施しました。 バックエンド勉強会の概要 期間: 2024年2月〜8月 頻度: 毎週30分 回数: 23回 講師: 私 RubyもReact/TypeScriptも業務で使った経験あり 参加者: 3名 バックエンドほぼ未経験、または数年触っていない。React/TypeScriptはバリバリ書いている カリキュラム RubyやRails、DBの基礎 業務で使うコードを使ったライブコーディング バックエンド勉強会の内容 バックエンド勉強会では、前半はRubyやRails、後半はDBについて学習をしました。 業務で使っているコードを使ってAPI開発の基礎知識を学ぶことで、簡単なAPIの作成や修正ができることを目指しました。 RubyやRailsの学習 VS Codeのプラグイン設定 まずはエディタを整備しました。 参加者は全員VS Codeを使っていたので次のプラグインをインストールしました。 Ruby Ruby LSP Rails console / dbconsoleを使ってみる 開発環境には全員バックエンド環境も構築しているので環境構築は不要です。 RubyやSQLをサクッと試すことができるように、Rails console / dbconsoleの使い方を紹介しました。 railsguides.jp ruby-lang.orgを読む ruby-lang.org の一部を読み合わせしました。 読み合わせした箇所をいくつか紹介します。 他言語からのRuby入門 普遍の真理 Rubyでは、nilとfalseを除くすべてのものは真と評価されます。 CやPythonを始めとする多くの言語では、0あるいはその他の値、空のリストなどは 偽と評価されます JavaScriptを書いている人にとって 0 はFalsyですが、Rubyだと 0 はTruthyでありハマりやすいので強調しておきました。 不思議なメソッド名 Rubyでは、メソッド名の最後に疑問符(?)や感嘆符(!)が使われることがあります。 珍しいルールなのでこちらも詳しく説明しました。 ?はbooleanを返すメソッドにつけることが多く理解しやすいです。 # 偶数かどうかを判定するメソッド def odd? (n) n % 2 == 1 end !は破壊的メソッドに付けることが多く、破壊的メソッドと同じ役割だが破壊的ではないメソッドがある場合には破壊的メソッド側に!が付けます。ただし、破壊的メソッドしかない場合は!をつけません。 # !あり・なしメソッドがあるパターン str = " string " str.upcase! str # => "STRING", 元の値がstrが上書きされている str = " string " upcased_str = str.upcase str # => "string", 元の値が上書きされていない upcased_str # => "STRING", upcaseの結果がupcased_strに代入されている # 同名の非破壊メソッドがないため、破壊的メソッドだけど!がつかない str = " string " str.replace " STRING " str # => "STRING", 元の値が上書きされている また、Railsだと例外を発生させるかどうかで!を付けたり付けなかったりすることがあります。 hoge.save # 保存に失敗した場合falseを返す hoge.save! # 保存に失敗した場合例外を発生させる 「存在しなかった」メソッド Rubyはメッセージに対応するメソッドを見つけられなかったとしても諦めません。 その場合は、見つけられなかったメソッド名と引数と共に、 method_missingメソッドを呼び出します。 method_missingメソッドはデフォルトではNameError例外を投げますが、 アプリケーションに合うように再定義することもできます。 Rubyではメソッドが見つからなかった場合の処理を簡単に上書きできます。 アプリケーションコードで多用することはないですが、ライブラリではよく使われている仕組みなので知っておくと良いです。 class Hoge ; end hoge = Hoge .new hoge.fuga # undefined method `fuga' for an instance of Hoge (NoMethodError) # method_missingを上書き def hoge. method_missing (name, *args) puts " メソッドが見つかりませんでした: #{ name }" end hoge.fuga # メソッドが見つかりませんでした: fuga 演算子は糖衣構文(シンタックスシュガー) Rubyにおけるほとんどの演算子は糖衣構文です。 いくつかの優先順位規則にもとづいて、メソッド呼び出しを単に書き換えているだけです。 たとえば、Integerクラスの+メソッドを次のようにオーバーライドすることもできます。 class Integer # できるけれど、しないほうがいいでしょう def + (other) self - other end end Rubyでは"+"もメソッドです。面白い仕組みなので紹介しました。 メソッドなので次のような呼び方ができます。 1 + 2 # => 3 # 1(Integerのインスタンス)の+メソッドの引数に2を渡している 1 .+( 2 ) # => 3 Ruby 3.2 リファレンスマニュアル > オブジェクト Ruby で扱える全ての値はオブジェクトです。 「全ての値はオブジェクトです」はRubyの特徴だと思うので説明しました。 クラスをインスタンス化したものがオブジェクトなのは理解しやすいですが、数値や文字列などのリテラルもオブジェクトであり、クラス自体もオブジェクトです。 全てオブジェクトなのでメソッド呼び出しや既存メソッドの挙動を上書きなどを行えます。 Ruby 3.2 リファレンスマニュアル > クラス／メソッドの定義 ここでは次の項目について説明しました。 クラス定義 モジュール定義 クラスとの違いがわかりづらいので説明 インスタンス化できず、共通の振る舞いを複数のクラスで共有したい場合などに使うことが多い メソッド定義 引数がなければ()を省略できる 特異クラス定義 / 特異メソッド定義 / クラスメソッドの定義 Railsのモデルで多用するので説明 Ruby 3.2 リファレンスマニュアル > 制御構造 if文など基本的な制御構造やunlessなどRubyの特徴的なところを紹介しました。 また、forは他の言語では多用するがRubyではあまり使わずeachを使うことが多いということも説明しました。 Ruby 3.2 リファレンスマニュアル > 変数と定数 よく使うローカル変数、インスタンス変数、定数を説明しました。 Ruby 3.2 リファレンスマニュアル > リテラル さらっと全体を眺めつつ「シンボル」「ハッシュ式」「ヒアドキュメント」「%記法」は初見だと戸惑うポイントなので詳しく説明しました。 ハッシュ式 キーとバリューのペアを保持するオブジェクト。 キーには数値・文字列・シンボルが使える。キーにはシンボルを使うことが一般的。 { 1 => 2 , 2 => 4 , 3 => 6 } { " a " => " A " , " b " => " B " , " c " => " C " } { :a => " A " , :b => " B " , :c => " C " } { a : " A " , b : " B " , c : " C " } # シンボルの場合、このような書き方ができる。この書き方が推奨。 ヒアドキュメント 複数行の文字列を表示するときに使う。 << <<-: 終端子にインデントをかける <<~: インデントをいい感じに削ってくれる Railsガイドの紹介 Railsガイドについてはこの勉強会では紹介だけ行いました。 Railsの機能が網羅されており、最新バージョンに追従しているとてもよいドキュメントなので、困ったらまずはRailsガイドを読むことをおすすめしました。 railsguides.jp Railsの構成を説明 実際に開発しているバックエンドのディレクトリ構成を説明しました。 Gemfile / Gemfile.lock package.jsonみたいにライブラリを管理しているもの Dockerfile / Dockerfile.dev / compose.yml .devは開発環境用 compose.ymlはdocker composeの設定ファイル config 各種設定ファイル db データベーススキーマやマイグレーションファイル log ログファイル dockerで実行している場合、ここに出力されないので docker compose logs -f web で確認 lib 本体とは切り離して使えるライブラリが格納されている taskにコマンド実行するタスク(ジョブ)が格納されている app admin 管理画面用のgem activeadmin で使うクラス controllers MVCのC enums localeやメトリクスのenum情報 graphql GraphQLのgem graphql-ruby のquery/mutation/typeなど interactors interactor gemを使ってCUDのビジネスロジックを実装 Controller -> Interactor -> Modelの依存関係 jobs 非同期処理 mailers メール送信処理 models MVCのM DBアクセスクラスが一般的だが、分析クラスや外部接続クラスなども入っている views MVCのV バックエンドのライブコーディング RubyやRailsの基礎的な部分は抑えたので、ここからは実際にバックエンドのコードを使ってライブコーディングを行いました。 既存のGraphQLのQueryにfieldを追加 フロントエンドを開発しているときにバックエンドを触りたくなる最も多いケースは、APIのインターフェースの変更だと思います。 そこで、既存のGraphQLのQueryにfieldを追加するというテーマでライブコーディングを行いました。 GraphQLの新規作成 次はよりがっつりバックエンドを触るケースとして、次の仕様を満たすGraphQLをライブコーディングしました。 このテーマでAPIを作成するときに必要となるDBのテーブル作成・Model作成・GraphQL作成の一連の流れを学びました。 userに紐づくメモを保存する機能 ユーザーごとにメモは複数作成可能 1つのメモは100文字まで 空のメモはNG メモは1ユーザー10件まで ユーザーIDに紐づくメモを取得できる テキスト検索できる メモIDに紐づくメモを取得できる メモを新規登録できる メモを更新できる 自分のメモしか更新できない DBの基礎 バックエンドの学習を進めるうち、データベースの知識を底上げする必要があると感じたため、ここからはデータベースについて学びました。 SQL実習 既存のテーブルを使って、お題を取得するSQLを書いてもらいました。 単一テーブルのSELECT JOINを使ったSELECT 複数のテーブルをJOINするSELECT INNER JOIN、LEFT JOINの使い分け GROUP BY、HAVINGを使った集計 SLQ実習で書いたSQLをActiveRecordで書く Railsで開発する場合、生のSQLを書かずActiveRecord経由でDBにアクセスするので、SQL実習で書いたSQLをActiveRecordで書いてもらいました。 N+1問題 N+1問題について説明し、RailsでN+1を回避するプラクティスを紹介しました。 preload / eager_load / includes 結合が不要な場合はpreload、joinするときはeager_load(left outer join) includesはpreload or eager_loadを自動判断する。 意図せずクエリーが変わってしまうことがあるので使わない方が無難 経験上、includesで発行するSQLが変わって困ったことはあってもincludes禁止で困ったことはない Rails始めた人が絶対辿り着く記事 ActiveRecordのjoinsとpreloadとincludesとeager_loadの違い GraphQLではpreloadやeager_loadを使った先読みが適さないこともあるので注意 graphql-rubyのN+1を遅延ロードで解決する 正規形 リレーショナルデータベースを使う場合、第3正規形までは必修だと思うので非正規形と第1〜3正規形を説明しました。 インデックス、実行計画 テーブル設計をするようになったらインデックスの検討も必須なので説明しました。 インデックスはとても良いスライドがあるのでこちらを共有しました。 speakerdeck.com また、発行したSQLがどのインデックスを使っているのか判断する手法として EXPLAIN を使う方法を紹介しました。 トランザクションとロック トランザクションは更新系の処理を実装する時に必須なのでRailsでトランザクションを使う方法を説明しました。 transaction do # この中の更新処理は1つでも失敗したら全部ロールバックされる # データの整合性を保つために更新系の実装では考慮が必要 end Railsを使ってWebアプリケーションを作っている場合、明示的にロックを意識することは少ないのですが、概念として楽観的ロックと悲観的ロックについて軽く説明しました。 外部キー 外部キーについてもMySQLのドキュメントをなぞりながら軽く触れました。 特にON DELETEは便利なので活用していきたい機能の1つです。 dev.mysql.com まとめ バックエンド勉強会で実施した内容をざっくりではありますが紹介しました。 勉強会に参加したメンバーから「勉強会後からバックエンドのコードがスムーズに読めるようになった」などの感想をいただくことができました。さらに次の機能開発でバックエンドに挑戦するメンバーもいたので開催して本当に良かったと感じています。 次の画像は参加したメンバーのバックエンドのプルリクを Findy Team+ で表示したものです。GraphQLのQueryやMutationの追加や、フィールドの追加・修正などを行なったことがわかります。 ファインディでは一緒に会社を盛り上げてくれるメンバーを募集中です。興味を持っていただいた方はこちらのページからご応募お願いします。 herp.careers

ファインディ株式会社でフロントエンドのリードをしている新福( @puku0x )です。 この記事はFindy Advent Calendar 2024 4日目の記事です。 adventar.org Nxはモノレポ管理の便利なユーティリティとして @nx/devkit を提供しています。 今回は @nx/devkit を利用したStorybookの設定の自動化についてご紹介します。 Nxについては以前の記事で紹介しておりますので、気になる方は是非ご覧ください。 tech.findy.co.jp モノレポでStorybookをどのように管理するか？ どうやってパス設定を自動化するか？ 実装してみよう！ まとめ モノレポでStorybookをどのように管理するか？ 皆さんはモノレポでStorybookを運用されたことはありますでしょうか？ 概ねどちらかの方法を採用することになるかと思います。 単一のStorybookで集中管理 Storybook Composition を使って管理 前者はStorybookのデプロイ設定をシンプルにできますが、全プロジェクトのStorybookへのパスを記述する必要があります。後者は設定がやや複雑であり、プロジェクト毎にStorybookのデプロイ設定も必要です。 Findyのフロントエンドはモノレポで管理されており、フィーチャ単位に細分化された多数のプロジェクトを持つという性質と運用の難易度を考慮し、前者の手法を選びました。 どうやってパス設定を自動化するか？ 単一のStorybookで集中管理する際に課題となるのは↓の部分でしょう。 // .storybook/main.js const config = { addons : [ '@storybook/addon-essentials' ] , framework : { name : '@storybook/react-vite' , options : {} , } , stories : [ // 👈 ここ！👇 '../apps/app1/src' , '../libs/components/src' , '../libs/app1/feature-a/src' , '../libs/app1/feature-b/src' , '../libs/app1/feature-c/src' , // 以下、全プロジェクトのパスが続きます // : ] } ; export default config ; 数個程度であれば十分に運用できそうですが、モノレポ上となると話が違ってきます。 ちなみに、Findyのフロントエンドではプロジェクト数は 70 個でした。 ※他プロダクトでは100個近くになる場合もあります 「え？これ全部手動で管理するんですか！？」 さすがに手動での管理には限界がありますので、ここはNxの力を借りましょう。 使用するのは createProjectGraphAsync というユーティリティです。 createProjectGraphAsync | Nx Nxは各プロジェクトの依存関係を保持しており、そこからStorybookのパスを算出できます。 最終的に次のようなものを目指します。 // .storybook/main.js const config = { addons : [ ... ] , framework : { ... } , stories : getStories () , // https://storybook.js.org/docs/configure#with-a-custom-implementation // 👇 こんな感じの配列を返して欲しい // [ // { titlePrefix: 'app1', directory: '../apps/app1/feature-a/src' }, // { titlePrefix: 'app1-feature-a', directory: '../libs/app1/feature-a/src' }, // { titlePrefix: 'app1-feature-b', directory: '../libs/app1/feature-b/src' }, // { titlePrefix: 'app1-feature-c', directory: '../libs/app1/feature-c/src' }, // ... // ] } ; export default config ; 実装してみよう！ 方針が決まったところで実装していきましょう。 事前の準備として、Storybookのパスを取得したいプロジェクトに tags を設定しておきましょう。Nxの @nx/enforce-module-boundaries ルールによる依存の制御を導入している場合は自然と設定されてあると思います。 // apps/app1/project.json { "name" : "app1" , "tags" : [ "scope:app1" ] , ... } // libs/app1/feature-a/project.json { "name" : "app1-feature-a" , "tags" : [ "scope:app1" , "type:feature" ] , ... } nx.dev @nx/devkit の createProjectGraphAsync を利用して、各プロジェクトの name および sourceRoot を取得します。 // apps/app1/.storybook/main.js import { createProjectGraphAsync } from '@nx/devkit' ; const getStories = async () => { const graph = await createProjectGraphAsync () ; // Storybookが不要なプロジェクトは無視 const ignoredProjects = [ 'app1-e2e' , 'app1-utils' ] ; return Object . keys ( graph . nodes ) . filter (( key ) => graph . nodes [ key ] . data . tags ?. includes ( 'scope:app1' )) // 関連するStorybookの絞り込み . filter (( key ) => ! ignoredProjects . includes ( key )) . map (( key ) => { const project = graph . nodes [ key ] . data ; return { titlePrefix : project . name , directory : `../../../ ${ project . sourceRoot } ` , } ; }) ; } ; あとはこれを stories に渡せば完成です。 // apps/app1/.storybook/main.js const config = { addons : [ '@storybook/addon-essentials' ] , framework : { name : '@storybook/react-vite' , options : {} , } , stories : getStories () , // 👈 プロジェクトの追加・削除に応じて自動的に設定されます } ; export default config ; Storybookが表示されました！ Nxによる自動化のもう1つのメリットは、↓のように titlePrefix にプロジェクト名を関連付けることで、フィーチャ毎の分類がより明確になる点だと思います。 const project = graph . nodes [ key ] . data ; return { titlePrefix : project . name , directory : `../../../ ${ project . sourceRoot } ` , } ; 開発メンバーからは、 「モノレポ構造とStoryの構造がリンクすることで画面の使い勝手が非常に良い」 「検索したときにStory名が同じでもどの階層にいるか判断して目的にたどり着ける」 といったフィードバックを受けることができました👏 検索性の向上に一役買えましたね！ 今回のサンプルは次のリポジトリから動作を確認できます。是非お試しください。 github.com まとめ この記事では @nx/devkit を利用したStorybookの設定の自動化についてご紹介しました。 Nxの機能を活用すれば「モノレポにプロジェクトを追加した後のStorybookの設定が漏れていた！」といった事とは無縁になるでしょう。 検証した時点では、 @storybook/test-runner と stories をAsync Functionで渡すパターンとの相性がまだ悪いようでした。今後の更新に期待したいですね。 今回はStorybookとの組み合わせでしたが、同じ仕組みを使ってGraphQL Codegenの設定自動化も可能であると確認しています。また別の機会にご紹介できればと思います。 それではまた次回！ ファインディでは一緒に会社を盛り上げてくれるメンバーを募集中です。興味を持っていただいた方はこちらのページからご応募お願いします。 herp.careers

【エンジニアの日常】エンジニア達の人生を変えた一冊 Part2 に続き、エンジニア達の人生を変えた一冊をご紹介いたします。 今回はPart3としまして、 Findy Freelance の開発チームメンバーから紹介します。 人生を変えた一冊 マスタリングTCP/IP―入門編 ハッカーと画家 コンピュータ時代の創造者たち UNIXという考え方 まとめ 人生を変えた一冊 マスタリングTCP/IP―入門編 マスタリングTCP/IP―入門編―(第6版) 作者: 井上 直也 , 村山 公保 , 竹下 隆史 , 荒井 透 , 苅田 幸雄 オーム社 Amazon 主にバックエンド開発と開発チームのリーダーを担当している中坪です。 私が紹介する「マスタリングTCP/IP―入門編」は通信プロトコルのTCP/IPの基礎について解説している書籍です。 私が最初にこの本を読んだのは、新卒入社した会社で、システムエンジニアとして働き始めた頃です。 当時、Webやスマホなどのアプリケーション開発部署への配属を希望していました。 しかし、実際にはネットワーク機器の設定、導入を業務とする部署に配属となりました。 最初はネットワークという分野に興味を持てず、仕事をする上での必要な知識も足りず、苦労しました。 そんなときに、先輩に勧められて読んだのがこの本です。当時、私が読んだのは第3版です。 本を読み進めながら、業務でPCとルータやファイアウォールを接続し、疎通確認をしたり、Wiresharkを使ってパケットの中身を確認する作業をしました。 本に記載されているプロトコルの仕様と、実際に目の前で行われている通信の挙動を結びつけることができました。 いくつか具体的な例を出すと次のようなことです。 IPアドレスとMACアドレスの役割 パケットのカプセル化の仕組み 代表的なプロトコルがTCP/UDPのどちらをベースにしており、何番ポートを使っているか デフォルトゲートウェイの役目やルーティングの挙動 そこから、徐々にネットワークに興味を持つようになりました。 目論見どおりに通信を制御できたときは、達成感を感じることができました。 今振り返ると、最初興味がなかったのは知識がないからであって、 理解することで後から興味が湧いてくること を体験しました。 また、 基礎を学ぶ大切さ や、本を読むことと 実践を組み合わせることで、学習が加速する ことも学びました。 エンジニアとしての原体験をもたらしてくれた一冊です。 新しい技術や役割に挑戦する際の姿勢に影響を与えてくれていると感じています。 自分がなにか新しいことを任せる立場になったときも、このときの経験を活かしていきたいと思っています。 今はネットワーク関連の仕事をしていませんが、 本ブログを書くにあたり、久々に最新の第6版を購入して読んでみました。 現在はWeb開発をしているので、その立場から見たときのおすすめの章は次の通りです。 1章 ネットワーク基礎知識 4章 IPプロトコル 5章 IPに関連する技術 8章 アプリケーションプロトコル 9章 セキュリティ ネットワークの分野でもIPv6やHTTP/3などの変化がありますが、TCP/IPはこの先も当分は通信の基盤として使われると考えています。 そのため、本書にある基礎知識は長い期間有効であり、 ネットワークを専門としないエンジニアであっても1度は読んでおいて損はないと思います。 ハッカーと画家 コンピュータ時代の創造者たち ハッカーと画家 コンピュータ時代の創造者たち 作者: ポール グレアム オーム社 Amazon インフラ・バックエンドエンジニア兼、Embedded SREの久木田です。 著者のPaul Grahamによって書かれたエッセイ集です。コンピュータ時代の革新を担うハッカーたちのものの考え方について書かれています。 各章は独立して書かれているので、どの章から読むことができます。 私がこの本を読んだのは大学1年のときです。もう10年以上前になります。 情報系の学科に入学してはじめてプログラミングにふれた自分としては、今後プログラマとして食べていけるのか、やっていけるのかを非常に悩んでいた時期でした。2011年当時は、プログラマ35年定年説やIT業界はブラックな環境が多いというネガティブな情報が目立っていたように感じ、その影響を受けていました。 そんなときに出会ったのがこの本でした。この本に書かれている「ハッカー」にすごく憧れて、勉強を続けていくこともできて、いまの職につけていると思っています。 私が一番好きな章は第16章の「素晴らしきハッカー」です。 良いハッカーとはどのようなことを好んでいるのか、何を大切にしているのかについて書かれています。良いハッカーとはプログラミングを本当に愛していて、コードを書くことを楽しんでいると書かれています。他にもどういった要素がハッカー足らしめているかを書かれているので興味を持って詳しく知りたいと思った方はぜひこの章を読んでいただきたいと思います。 また、良いハッカーを見分けるには同じプロジェクトで一緒に仕事をすることで初めてわかると書かれていて、当時はそういうものなのかと思って読んでいましたが、今は確かにそうかも知れないと思っています。エンジニアを採用する立場であったこともあるのですが、面接時にわからなかった特定の分野に関する知見の深さを同じチームで一緒に働くことで気づき、その人の凄さを初めて知ることが有りました。 この章のすべてが好きなのですが、特に好きなのは次の一節です。 何かをうまくやるためには、それを愛していなければならない。ハッキングがあなたがやりたくてたまらないことである限りは、それがうまくできるようになる可能性が高いだろう。14歳のときに感じた、プログラミングに対するセンス・オブ・ワンダー 1 を忘れないようにしよう。今の仕事で脳みそが腐っていってるんじゃないかと心配しているとしたら、たぶん腐っているよ。 大学での勉強や研究室配属後の取り組みを通して感じた、プログラミングの面白さやWebサーバ・ネットワークの仕組みを知ったときの感動が原体験となって私を形作っています。 初版が2005年 2007年 2 と古い本なので、エピソードはコンピュータ黎明期の話が多かったりしますが、ハッカーのマインドに関する説明などは今でも通じる部分は多いかと思います。ハッカーの考え方を理解したい人やコンピュータを扱う世界にいる人、飛び込もうとしている人には特におすすめしたい一冊です。 UNIXという考え方 UNIXという考え方: その設計思想と哲学 作者: Mike Gancarz オーム社 Amazon バックエンド開発を担当している金丸です。 この本はUNIXというOSの背後にある基本的な考え方を知ることができる一冊です。 UNIX自体の利用方法やコマンドについての説明はほとんどなく、UNIXがどのような思想に基づいて作られたかが説明されています。 本書と出会ったのは、新卒入社した会社で、情シスとしてFreeBSDを利用したサーバー管理の業務に従事しているタイミングでした。 当時の私は初めてのCLIに四苦八苦しており、ファイルをコピーするシェルスクリプトを作成するのにも苦戦していました。 「なんでコピー完了したことを教えてくれないんだろう」と同僚に話していたところ、この本を薦められました。 当初は疑問の答えを求めて読み進めていましたが、疑問の答えだけでなく、システムをどのように設計すべきかの指針も学ぶことができました。 プログラミング経験がなかった当時の私にとって、UNIXの考え方は初めて自分が理解できる内容で納得感のあるものでした。 この本は「定理」という形でUNIXの思想を説明しています。 9つの定理を紹介していますが、私の中で特に印象に残ったのは次の3つです。 定理1: スモール・イズ・ビューティフル 定理2: 一つのプログラムには一つのことをうまくやらせる 定理3: できるだけ早く試作を作成する 定理1と2ではUNIXというソフトウェアの大前提となる部分で、互いを補完している関係にあります。 この定理により、シンプルなコマンドを自由に組み合わせて処理を行うことができます。 例: ls , awk , sort コマンドを組み合わせて、ディレクトリ内のファイルを名前順に並べて表示するシェルスクリプト $ ls -l | awk '{print $9}' | sort スクリプトで利用されている ls コマンドはディレクトリが空の場合、何も表示せずプロンプトに戻ります。 これにより、次に組み合わせるコマンドに必要な情報だけを渡すことができ、コマンド同士がスムーズに連携できるようになっています。 $ ls $ この設計思想を知ったとき「なるほど！」と、非常に納得感がありました。 不要なメッセージを出さないことで、コマンドの組み合わせが直感的で柔軟にできるという点にUNIXの考え方への感銘を受けました。 上記の考え方を通じ、疑問と思っていた cp コマンドの役割はコピーすることであり、その機能のみをもつことが、定理2の「一つのプログラムには一つのことをうまくやらせる」に即していると理解しました。 合わせて、完了メッセージが必要であれば、コマンドを組み合わせて出力するのがUNIXらしい考え方だと解釈しました。 定理3では、プロトタイプを活用した開発の重要性を説いています。 この定理で紹介された次の一節が特に印象に残っています。 製品の完成後に百万のユーザーから背を向けられるより、少数から批判を受けるほうがはるかにいい。 当時の私は自分の仕事が批判されたように捉えてしまっていたため、プロトタイプを社内レビューで見せることに抵抗がありました。 ですが、この定理を読んで、自己本位の開発になっていることに気が付き、これではダメだと衝撃を受けました。 それ以来、プロダクトを誰のために作っているのかという意識を持つようになりました。 現在でも、機能の根幹となる部分から優先的に開発し、早い段階からPdMに都度確認してもらいながら実装を進めるスタイルを取っています。 実際の画面を確認していただくことで必要な情報が欠けていたことに気づくこともあり、細かく試作することでより良いプロダクトを作ることができると感じています。 紹介される定理はいずれもシステム設計の指針を示しており「設計の思想とは何か」を本書を通じて学ぶことができます。 設計を担当される方はもちろん、設計の指針となる考え方を学びたい方にもおすすめの一冊です。 まとめ いかがでしたでしょうか？ 偶然ですが、今回はどれもメンバーの初期キャリアに影響を与えた本の紹介となりました。 このブログを読んでくださった方で、そのような本がある方も多いのではないでしょうか。 久々に読み返してみると、原点に立ち返ったり、新たな気づきを得ることができるかもしれません。 ファインディでは一緒に会社を盛り上げてくれるメンバーを募集中です。興味を持っていただいた方はこちらのページからご応募お願いします。 herp.careers ここでいうセンス・オブ・ワンダーとはプログラミングに触れたときに感じた感覚や感動を意味していると私は解釈しています。 ↩ 正しくは2005年でした。はてぶのコメントでご指摘があり気が付きました。ありがとうございます！ ↩

ファインディ株式会社でフロントエンドのリードをしている新福( @puku0x )です。 皆さん、GitHub ActionsのLarger runnerはご存知でしょうか？ 高性能なマシンを使ってCIを実行できる一方、変更の少ない場合や計算負荷の低いCIではコストパフォーマンスが悪くなってしまいがちですよね？🤷‍♂️ この記事では、Nxの機能を利用してLarger runnerを動的に切り替える方法をご紹介します。 Nxについては以前の記事で紹介しておりますので、気になる方は是非ご覧ください。 tech.findy.co.jp Larger runner（より大きなランナー） 課題 解決策 結果 まとめ Larger runner（より大きなランナー） Larger runnerは、「GitHub Teamプラン」または「GitHub Enterprise Cloudプラン」の場合に利用可能です。 docs.github.com プライベートリポジトリ用の通常のランナー（GitHub-hosted runner）は、Linuxマシンの場合、CPUは2コアとなりますが、Larger runnerでは4コアや8コア、16コアなどより高いスペックのマシンを選択できます。 Larger runnerの例 最近は ArmベースのCPUも利用できるようになり 、x64ベースのCPUを使う場合よりもコストを抑えられるようになりました。積極的に使っていきたいですね。 課題 Larger runnerは強力ですが、その分コストがかかります。 コードの変更が少ない場合や、CI全体が数分で終わってしまうような場合では、せっかくの高いスペックも宝の持ち腐れとなってしまうでしょう。 負荷が高い時だけLarger runnerのスペックを上げるにはどうすれば良いか？ というのが今回の課題となります。 現在のGitHub Actionsには、変更の規模や負荷に応じて動的にランナーを切り替える機能が標準で備わっていないため、自分で組まなくてはいけません。 解決策 単純に変更されたファイル数や行数をカウントしても実際の影響範囲とは乖離があるため、より高度な制御が必要となります。 ✨そこで、Nxの登場です。✨ Nxはモノレポ内のプロジェクトの依存関係を Project Graph として保持しており、コードの変更から影響範囲を割り出すことが可能です。 次のコマンドを実行すると、影響されるプロジェクトをJSON形式で取得できます。 npx nx show projects --affected --json show - CLI command | Nx あとは実行結果をパースしてLarger runner切り替えの条件を組めば実現できそうです。 ワークフローの例を示します。 on : pull_request : jobs : check : runs-on : ubuntu-latest timeout-minutes : 5 outputs : runs_on : ${{ steps.output.outputs.runs_on }} steps : - uses : actions/checkout@v4 with : fetch-depth : 0 - uses : actions/setup-node@v4 with : node-version : 20 - uses : nrwl/nx-set-shas@v4 with : main-branch-name : ${{ github.base_ref }} - run : npm ci - name : Get affected projects id : get_affected_projects # 1. 影響されるプロジェクト数を算出 run : | length=$(npx nx show projects --affected --json | jq '. | length' ) echo "length=$length" >> "$GITHUB_OUTPUT" - name : Output id : output # 2. 影響されるプロジェクト数に応じたLarger runner名をセット run : | if [ $ {{ steps.get_affected_projects.outputs.length }} -gt 20 ] ; then echo "runs_on=arm64-4-core-ubuntu-22.04" >> $GITHUB_OUTPUT else echo "runs_on=arm64-2-core-ubuntu-22.04" >> $GITHUB_OUTPUT fi build : needs : check # 3. 指定されたLarger runnerで実行 runs-on : ${{ needs.check.outputs.runs_on }} timeout-minutes : 30 steps : - uses : actions/checkout@v4 with : fetch-depth : 0 - uses : actions/setup-node@v4 with : node-version : 20 - uses : nrwl/nx-set-shas@v4 with : main-branch-name : ${{ github.base_ref }} - run : npm ci - run : npx nx affected --target=build ※ actions/checkout や actions/cache は適宜最適化しましょう（1分ほど速くなる余地あり） ワークフローを実行すると、まず影響されるプロジェクト数が算出されます。 後続のジョブでは、その結果を元に runs-on: ${{ needs.check.outputs.runs_on }} で利用するLarger runnerを設定します。 やりたかったことが実現できていますね！🎉 負荷の高い時は高スペックのLarger runnerが動くため、CI時間の短縮が見込めます。負荷が低い時は、Larger runnerのスペックを落としてコストを節約できます。 結果 直近100回のCI結果を元に、4コアマシン固定の場合と2〜4コア可変の場合でコストを計算してみました。 Before（4コア固定） After（2〜4コア可変） $6.53 $4.79 ※ArmベースのCPUを使用する想定でコストを算出しています ※直近100回中、約1割が高負荷なCI（約12分）、残りが低負荷なCI（約5分）でした Larger runnerを動的に切り替える方法を採用することにより、コストを3割ほど削減できました。 以前の状態と比較してコストパフォーマンスが改善されたと思います。 まとめ この記事では、Nxの機能を活用してLarger runnerを動的に設定することで、コストパフォーマンスを改善する方法を紹介しました。 今回は runs-on の切り替えのみ紹介しましたが、他にもNx CLIの --parallel オプションの動的設定など応用は様々です。 皆さんの参考となりましたら幸いです。 ファインディでは一緒に会社を盛り上げてくれるメンバーを募集中です。興味を持っていただいた方はこちらのページからご応募お願いします。 herp.careers

こんにちは。 Findy で Tech Lead をやらせてもらってる戸田です。 このテックブログでは開発生産性を向上させるための取り組みや、開発テクニックを紹介してきました。 意外に思われるかもしれませんが、弊社では全てのことを100％でやってるわけではなく、ユーザーへの価値提供を最優先するために後回しにしている部分もあります。 しかし、その影響で障害が多発したり、困ったことになることは滅多にありません。 そこで今回は、ユーザーへの価値提供を最優先するために弊社で実践していることを紹介していこうと思います。 それでは見ていきましょう！ 綺麗なコードは後。アプリケーションの振る舞いが先。 コミットの粒度は不問。Pull requestの粒度は維持。 実装途中のコードでもマージOK まとめ 綺麗なコードは後。アプリケーションの振る舞いが先。 Pull requestをレビューする中で、「もっと良い書き方がありそうで、議論が長引いて中々マージされない」といったケースがあるかと思います。 そのような場合、弊社ではテストが網羅されていればマージしてOKというスタンスを取っています。 もちろん、パフォーマンスやセキュリティ等に悪影響が出るようなコードはマージしませんが、基本的にはアプリケーションの振る舞いに影響がなければマージします。キレイなコードを書くことは非常に重要ですが、ユーザーが求めているのはアプリケーションの振る舞いであるからです。 マージ後に良い書き方を思いついたら、そのタイミングでリファクタのみの修正を行ったPull requestを出します。 後でリファクタするとしても、アプリケーションの振る舞いをテストコードで守っているので、強気でリファクタできます。 弊社のとあるリポジトリでは、リファクタのPull requestが1ヶ月で50個程度作成されていました。思いついたり気づいたりしたら日常的にリファクタを行う文化が根付いている証拠です。 このように、最初の段階で綺麗なコードを突き詰めることよりも、ユーザーに早く価値提供をすることを優先しています。テストコードの存在が、このような開発手法を許しているのです。 コミットの粒度は不問。Pull requestの粒度は維持。 Pull requestの粒度については以前、 別の記事 で触れましたが、コミットの粒度に関してはレビュー対象にはしていません。 コミットの粒度まで指摘してしまうと気軽に修正できなくなり、開発そのものを楽しむことが難しくなってしまうと考えているからです。 もちろん、試行錯誤のコミットが多すぎてgitのログに悪影響を及ぼすと判断したらrebaseなどで纏めることはありますが、基本的にローカル環境では自由に色々と試して欲しいと考えています。 その代わり、コミットメッセージには一定のルールを設けています。コミットメッセージのルールやprefixには Conventional Commit や Semantic Versioning などがあります。 例えば既存のAPIに対する機能追加があった場合のコミットメッセージは、 minor-feat: add hoge feature のようになります。 コミットメッセージのprefixに悩むということは、1つのコミットの中でたくさんのことをやりすぎているということに気づくことができます。 このようにコミットメッセージにルールを設けることによって、自然に一定内のコミットの粒度を維持できるようになっています。そのため、コミットの治安が悪くなることはほとんどありません。 実装途中のコードでもマージOK 実装途中のコードであっても、次の条件の全てを満たす場合はマージを許容しています。 テストコードがあり、CIが通っている 本番環境の振る舞いに影響がない 実装途中であることが、コードやPull requestのコメントなどで明確になっている 対応スコープ内の全てが完了してからマージするのではなく、Pull requestを細かく作成し、少しずつ作成、修正をしていくような流れです。 マージしてしまうとどうしても本番環境の振る舞いに影響が出てしまう場合は、Feature Flagを使ったりtopic branch運用を行うこともあります。 Feature Flagやtopic branch運用に関しては、↓の記事を参照してください。 tech.findy.co.jp tech.findy.co.jp 対応予定の全てが完了するまでマージを止めてしまうと、base branchとの差分が大きくなりやすく、conflictや不具合が発生しやすくなり、ユーザーへの価値提供までのスピードが遅くなってしまいます。 本番環境で利用されないコードをマージしてしまうのは抵抗感があるかもしれませんが、本番環境の振る舞いに影響がないということは悪影響もないはずであり、ユーザーへの価値提供を最優先するためにこのような開発手法になっています。 本番環境への影響がないということについては、既存コードに対するテストコードによって守られているため、強気でマージ出来るようになっています。 まとめ いかがでしたでしょうか？ 開発組織によっては「そんなことやっていいの？」と思われるかもしれませんが、弊社ではユーザーへの価値提供を最優先するために、このような開発手法になっています。 もちろん、しっかりとしたテストコード、CI/CD環境が整っているからこそ、このような開発手法が可能となっています。 他にも、このような開発手法を支えている開発テクニックを別記事にて紹介していますので、興味がある方は是非読んでみてください。 tech.findy.co.jp tech.findy.co.jp 現在、ファインディでは一緒に働くメンバーを募集中です。 興味がある方はこちらから ↓ herp.careers

はじめに こんにちは。ソフトウェアプロセス改善コーチでFindy Tech Blog編集長の高橋（ @Taka_bow ）です。 経済産業省の2019年発表によると、日本のIT人材不足が2030年には79万人に達する可能性があると予測され、しばしばメディアにも引用されてきました。 この調査レポート発表から5年以上が経過しましたが、果たして79万人という人材不足は現実となるのでしょうか？ 今回は最新のデータからこの予測を検証してみたいと思います。 2023年11月2日のNHKニュース www3.nhk.or.jp 2024年7月9日 5:00 (2024年7月13日 17:40更新) 日経新聞 [会員限定記事] www.nikkei.com はじめに 「IT人材需給に関する調査」とは 労働生産性の低さ 最新のデータを読む 「人月の神話型請負」が生産性向上を阻む 受託開発でもアジャイル開発はできる お知らせ！ 「IT人材需給に関する調査」とは このレポートは、みずほ情報総研株式会社が2015年に経済産業省からの受託調査研究として実施した調査レポートです。 2019年3月に経済産業省から発表されました。当時話題となったのは、このデータです。 出典：「IT 人材需給に関する調査」（経済産業省）（ https://www.meti.go.jp/policy/it_policy/jinzai/houkokusyo.pdf ） これは 「今後、IT需要が高位に推移した場合約79万人の人材不足になる可能性がある」 という試算でした。なお、需要が中位シナリオで約45万人、低位シナリオでも約16万人の不足する可能性があります。 この背景には2つの要因があります。 日本の労働人口（特に若年人口）が減少 （新卒IT人材の入職率は一定右肩上がり） 日本の労働生産性が低い （2022年、OECD 加盟 38 カ国中 30 位） 日本の労働人口減少に関しては、IT業界に限らず日本全体の問題です。 冒頭のNHKニュース「日本のIT人材79万人が不足？ インドで始まった人材獲得戦略」は、まさしくこの問題に対応するための動きのひとつと言えます。 労働生産性の低さ さて、もうひとつの要因「労働生産性の低さ」ですが、次の表をごらんください。これは上記のグラフの一部を表にしたものです。 出典：「IT 人材需給に関する調査」（経済産業省）（ https://www.meti.go.jp/policy/it_policy/jinzai/houkokusyo.pdf ）を加工して作成 IT需要が 高位 と仮定したとき、 赤で囲んだ部分： 生産性上昇率が0.7% だった場合、 78.7万人の人材不足 青で囲んだ部分： 生産性上昇率が5.23% だった場合、 人材不足はゼロ を表しています。生産性上昇率が5.23％以上アップしていれば人材不足は起きない、という予測です。 では、最新の労働生産性はどうなっているでしょう。 最新のデータを読む 現時点で最新の日本生産性本部が公表している「労働生産性の国際比較2023」から、情報通信業の労働生産性の推移分析を見てみました。 出典：日本生産性本部「労働生産性の国際比較2023」から情報通信業の労働生産性の推移 https://www.jpc-net.jp/research/detail/006714.html 日本の2000年から2021年にかけての生産性上昇率（年率平均）は「-0.1%」にとどまっています。これは、経済産業省が予測した平均成長率0.7％を大きく下回る結果です。 そして、調査レポートが予測する「78.7万人の人材不足」というシナリオよりも深刻な状況である可能性があります。 日本の特徴は、 付加価値額は拡大傾向にある 就業者数も同等ペースで増加している ことから、付加価値が就業者数の増加に見合った成長をしておらず、生産性の上昇を抑えてしまっていると考えられます。 「人月の神話型請負」が生産性向上を阻む なぜ、比較的安定推移すると言われる情報通信業において、日本の生産性上昇率は低いのでしょうか。 ひとつの要因として、日本におけるソフトウェア産業の構造的な問題が挙げられます。 まず、多くの企業はソフトウェア開発を外部の受託企業に委託する傾向があります。その際、事前に詳細な仕様を確定し、その通りに開発を進める「ウォーターフォール型」の手法が一般的です。 *1 この手法では変更に柔軟に対応することが難しく、生産性向上に課題があると指摘されています。 さらに、多くの受託開発は「人月」に基づく見積もりと請負契約に依存しており、多重下請け構造が蔓延しています。この構造は、柔軟な対応や効率的な開発を妨げる要因となっています。 私はこれを「人月の神話型請負」と呼んでいます。 定義：「人月による見積もりを前提とし、事前合意の仕様とプロセスを厳守するため柔軟な変更対応が難しい請負契約」 「ブルックスの法則」や「銀の弾などない」で有名なフレデリック・ブルックスは、著書「人月の神話（The Mythical Man-Month）」の中で、このように述べています。 私たちが使っている見積もり手法は、コスト計算を中心に作られたものであり、労力と進捗を混同している。人月は、人を惑わす危険な神話である。なぜなら、人月は、人と月が置き換え可能であることを暗示しているからである。（第二章「人月の神話」） この本が書かれたのは1975年、私でさえ幼少期であり、読者の多くは生まれる前の話ではないかと想像します。 しかし、現代日本のIT業界では「人月で見積もる」が未だに健在である事実に着目せざるをえません。 なぜなら「人月の神話型請負」には、次のような負の側面があると考えられるからです。 負の側面 内容 要求仕様の硬直化 事前合意した仕様に縛られ、 状況に応じた柔軟な改善が難しい 形式的なプロセス管理 決められた手順の遵守が優先され、 効率化や創意工夫の余地が少ない 人月ベースの評価 投入工数で報酬が決まるため、 生産性向上への意欲が生まれにくい 人員増加による解決 課題への対応を人員増員で行うため、 チームの効率が低下しやすい エンジニアの裁量不足または制限 顧客からの指示が中心となり、 技術的な改善提案を行いにくい 技術力の蓄積不足 技術資産が顧客側のものであり、 自組織内にナレッジが貯まらない これらの負の側面は、開発チームの「自立」を損ない、エンジニア個人の「自律」も抑え込みます。 結果として、組織全体の生産性が低下し、改善や変革が難しくなる要因となります。 また、「人月の神話型請負」の問題は、すぐには目に見えにくい「遅効性の毒」のように、ゆっくりと組織全体を蝕むのが特徴です。 この構造的な問題に対処するためには、柔軟で価値を重視した新たな開発体制への転換が不可欠です。少なくとも、次の2点を変えることが必要だと思います。 事前確定型から状況適応型の開発プロセスへの移行 形式的な遵守よりもビジネス価値を重視した評価の導入 つまり、「人月の神話型請負」から脱却し生産性向上を図るには、 アジャイル開発を基盤に据え、委託側と受託側双方で「価値を共に創り出す体制」を築く ことが重要です。 受託開発でもアジャイル開発はできる しかし、「人月の神話型請負」をビジネスモデルの柱としてきた多くのソフトウェア受託企業にとっては、どこから手をつけるべきかが大きな悩みだと思います。 そんな難題に光を当てるヒントが、2024年10月30日に開催された「 プロジェクト成功への挑戦 」というイベントで共有されています。 イベントでは、株式会社永和システムマネジメント Agile Studio プロデューサー／アジャイルコーチの木下史彦さん（ @fkino ）が、「アジャイル開発と契約」のテーマで、主に「モデル契約」についてお話しくださいました。 木下さんは、従来型の契約が「決めたことを守る」ことを重視するのに対し、アジャイル開発における契約では「変化に対応する」柔軟な仕組みが重要であると説明。 さらに、IPAのモデル契約を例に、準委任契約の採用や、スプリントごとの計画調整が可能な体制づくりをどう進められているかについても詳しく解説されました。 speakerdeck.com 続いて、株式会社永和システムマネジメントのエンジニア、藤田みゆきさんからは「受託開発でのアジャイル奮闘記」と題して、実際の受託開発におけるアジャイル導入の取り組みをご紹介いただきました。 speakerdeck.com 永和システムマネジメントの皆様が示してくださった変化に対応する具体的なアイデアや実践方法は、『人月の神話型請負』から脱却するための大きな一歩となると感じました。 以下に、イベントの録画ビデオもリンクしていますので、ぜひご覧ください。 youtu.be お知らせ！ 現在、私と一緒にイネイブリングチームの立ち上げを行うメンバーを探しています！ イネイブリングチームは、エンジニア組織だけではなくファインディ社全体を支援するチームとしていく予定です。 組織全体のエンジニアリング力を向上 開発スキル向上のためのトレーニングやワークショップを実施 プロセス改善の提案とコーチングを行い、開発生産性とDevExを向上 社内外のエンジニアを対象とした活動を展開 このチームで、ファインディの成長エンジンとなりませんか？興味がある方は、ぜひこちらをクリックしてみてください↓ herp.careers エンジニアのポジションは他にも色々あります。ファインディでは一緒に働くメンバーを募集中です！ herp.careers では、本日はこのへんで。 See you! *1 : ウォーターフォール型の元となったと言われるウィンストン・W・ロイスによる論文”Managing the Development of Large Software Systems(1970)”では「手戻り」が推奨されています

こんにちは。 ファインディでソフトウェアエンジニアをしている栁沢です。 ファインディの各プロダクトでは、1日に複数回デプロイしています。 例えば、私が所属するFindy転職のプロダクトでは、1日に6回ほど本番環境にデプロイしています。 高いデプロイ頻度でもデプロイ起因による障害や不具合がほぼ発生しておらず、開発スピードと品質の両立を実現できています。 今回はファインディ社内でのFeature Flagの使い方について詳しく解説します！ Feature Flagを使うことのメリット Feature Flagの実現方法 Feature Flagを使った開発の流れ 1. Feature Flagを追加する 2. Feature Flagを使って新機能を実装・テストコードを書く 3. 検証用の環境で動作確認を実施する 4. 動作確認が完了したら、本番環境で機能を有効化させる 5. 一定期間の安定稼働を確認できたら、Feature Flagの処理を削除する まとめ Feature Flagを使うことのメリット Feature Flag（フィーチャーフラグ）は、コードを書き換えることなく特定の機能を有効化や無効化できる開発テクニックです。 Feature Flagで機能を無効化しておくことで、ユーザーに影響がでないように本番環境にコードをガンガン反映させることができるようになります。 これにより次のようなメリットがあります。 開発途中でもどんどんメインブランチにマージできる。そのため、複数人の開発でもコンフリクトがほぼ起こらない。 本番環境で特定のユーザーやセグメントのみに機能を限定公開できるので、リスクを抑えながら機能を公開できる。 万が一本番環境で問題があった場合、機能を無効化させることですぐに切り戻しができる。 Feature Flagの実現方法 Feature Flagの実現方法は、ライブラリやSaaSを使うなど様々な方法がありますが、現在のFindyでは「環境変数」と「ライブラリ」の2パターンが採用されています。 Findy転職プロダクトでは、導入や運用がシンプルな「環境変数」を使ってFeature Flagを実現しています。 環境設定ファイルで環境変数を追加することで機能を有効化させる 環境変数の値で条件分岐を実装して機能をだし分ける 実際のコード例を見てみるとシンプルなことがわかると思います。 envファイルに環境変数を追加することで機能を有効化させます。逆に、環境変数を削除することで機能を無効化できます。 # .env FEATURE_NEW_LABEL=true 実装コードは、環境変数の値によって条件分岐を実装することで振る舞いを変えています。 export const SampleComponent = () => { // 特定の環境変数の値が'true'なら"NEW"というラベルを表示する const isEnabledNewLabel = process .env.FEATURE_NEW_LABEL === 'true' ; return ( < div > { isEnabledNewLabel && < span > NEW </ span > } < span >Sample</ span > </ div > ); } ; 補足：この実現方法の伸びしろとしては、「環境設定ファイルの修正が手間」、「フロントエンドとAPIでFeature Flagが分散している」、「一部のユーザーに部分的に公開がしづらい」という課題があります。そのため別チームでは、ライブラリを使ってAPIから機能のON/OFF情報を取得する仕組みでFeature Flagを実現しているようです。 Feature Flagを使った開発の流れ ここからは、より具体的にFeature Flagを使った開発の流れを説明していきます。 Feature Flagを追加する Feature Flagを使って新機能を実装・テストコードを書く 検証用の環境で動作確認を実施する 動作確認が完了したら、本番環境で機能を有効化させる 一定期間の安定稼働を確認できたら、Feature Flagと条件分岐を削除する 1. Feature Flagを追加する 環境変数を追加し、ローカル環境や検証用環境で機能を有効化させます。 # .env.local や .env.qa FEATURE_NEW_LABEL=true Tipsとして、早めに検証用環境で機能を有効にしておくことでバグを早く発見しやすくなり、バグ対応の工数を減らせます。（シフトレフトを進められる） 2. Feature Flagを使って新機能を実装・テストコードを書く 環境変数の値によって条件分岐をすることで機能のON/OFFをできるようにします。 export const SampleComponent = () => { // 特定の環境変数の値が'true'なら"NEW"というラベルを表示する const isEnabledNewLabel = process .env.FEATURE_NEW_LABEL === 'true' ; return ( < div > { isEnabledNewLabel && < span > NEW </ span > } < span >Sample</ span > </ div > ); } ; また、機能をON/OFFしたときに、それぞれのケースで振る舞いが壊れないように自動テストを書いておきます。 describe ( 'SampleComponent' , () => { it ( 'should render "NEW" label when FEATURE_NEW_LABEL is true' , async () => { process .env.FEATURE_NEW_LABEL = 'true' ; render(< SampleComponent />); expect ( screen .getByText( 'NEW' )).toBeInTheDocument(); } ); it ( 'should not render "NEW" label when FEATURE_NEW_LABEL is false' , async () => { process .env.FEATURE_NEW_LABEL = 'false' ; render(< SampleComponent />); expect ( screen .queryByText( 'NEW' )).not.toBeInTheDocument(); } ); } ); 自動テストを書いておくことで、開発途中でもどんどんメインブランチにマージして、自信をもって本番環境にデプロイできます。 3. 検証用の環境で動作確認を実施する 機能開発が完了したら、検証用の環境で動作確認を実施します。 本番環境では機能が無効化されているため、ユーザーに影響ない形で検証を進めることができます。 4. 動作確認が完了したら、本番環境で機能を有効化させる 検証環境で動作確認が完了したら、本番環境で機能を有効化させます。 # .env.production FEATURE_NEW_LABEL=true 本番環境で深刻な不具合が発生し、機能を緊急で無効にする必要がある場合は、環境変数を削除することで簡単に切り戻しができます。 # .env.production # 削除 # FEATURE_NEW_LABEL=true 切り戻しを素早くできるのもFeature Flagの強みです。 5. 一定期間の安定稼働を確認できたら、Feature Flagの処理を削除する 最後に、機能が実際に使われて安定稼働していること確認できたら、環境変数と分岐の処理を削除していきます。 export const SampleComponent = () => { return ( < div > < span >NEW</ span > < span >Sample</ span > </ div > ); } ; Feature Flagの削除時に間違って必要な処理を削除してしまいデグレをおこしてしまうミスはやりがちです。しかし、自動テストがあることで自信をもって削除作業を進められることができます。 まとめ 今回は、Findyの爆速開発を支えるFeature Flagの使い方を紹介しました。 Feature Flagを使うことで、ユーザーに影響ない形で、開発途中でもどんどんメインブランチにマージできます。これにより、本番環境へのデプロイも1日に複数回実施することが可能になります！ 個人的に爆速開発を支える1つの要素として、Feature Flagの活用は必須だと感じています！ もしまだ導入していない場合は、この記事をきっかけにぜひトライしてみてください :) 他にもファインディではいろいろなテクニックを使っているので、興味がある方は次の記事も合わせて読んでみてください。 Findyの爆速開発を支える「システムを守るテストコード」の実例3選 - Findy Tech Blog Findyの爆速開発を支えるPull requestの粒度 - Findy Tech Blog 現在、ファインディでは一緒に働くエンジニアを募集中です。 興味がある方はこちらから ↓ herp.careers

こんにちは。 Findy Tools の開発をしている林です。 私たちのプロジェクトではフロントエンドのフレームワークにNext.js App Routerを使っており、AWSのECSへデプロイして運用しています。 そして、一部のレンダリングの処理が重いページのキャッシュを実装する際に、直面した課題と解決策を紹介します。 Next.jsのキャッシュ機構について 今回実現したいこと 課題と解決策 課題1: Next.jsの機能では要件に合わない 解決策1: CloudFrontのみでキャッシュ 課題2: エラーページがキャッシュされる 解決策2: Lambda@Edgeを用いたCache-Controlヘッダー制御 まとめ Next.jsのキャッシュ機構について まず、Next.jsのキャッシュ機構について簡単に説明します。 Next.jsではサーバサイドで使えるキャッシュ機構が次の3種類あります。 Request Memoization 同一リクエストの中で外部APIリクエストをメモ化する Data Cache 外部APIのレスポンスなどを一定時間キャッシュする Full Route Cache HTMLおよびRSC Payloadをユーザセッションまたは共通で一定時間キャッシュする キャッシュの細かい仕様に関しては詳しくは公式ドキュメントを参照してください。 Building Your Application: Caching | Next.js また、Full Route Cacheでは revalidatePath APIで任意のタイミングでキャッシュを削除できます。 Functions: revalidatePath | Next.js 今回実現したいこと 今回の要件は、 一部の処理の重いページのレンダリング結果を丸ごとキャッシュしてレスポンスを高速化したい というものです。 これには、Findy Toolsはメディアサイトという側面もあり、多くのページは更新頻度がそれほど高くなく、フルページでのキャッシュがやりやすいという背景もあります。 さらに、ログインが必要なユーザ固有の情報はすべてクライアントフェッチをしているため、ユーザごとのキャッシュを考慮する必要もありませんでした。 また、エンドユーザーが利用するフロントエンドアプリケーションの他に、コンテンツ管理用のアプリケーションがあります。そして、この管理用アプリケーションからコンテンツが更新された際に、フロントエンド側にすぐに反映させたいという要件もありました。 補足: 現状のFindy Toolsのインフラ構成図は次の図のようになっています。 すべてAWS上に構築されており、CloudFrontを経由してNext.jsへリクエストを送っています。 また、コンテンツ管理用のアプリケーション(Rails)もECSへデプロイしています。 Findy Tools インフラ構成図 2ヶ月でリリースしたFindy Toolsの技術選定の裏側 - Findy Tools より 課題と解決策 今回の要件を実現するにあたり、直面した2つの課題と解決策をそれぞれ紹介します。 課題1: Next.jsの機能では要件に合わない まず、ページのレンダリング結果を丸ごとキャッシュしたかったので、Full Route Cacheを検討しました。 しかし、セルフホスティングのNext.jsではキャッシュをメモリと .next/cache ディレクトリに保存しているため、ECSのコンテナを水平スケールして複数台でリクエストを受ける構成にすると、キャッシュの一貫性がなくなります。 負荷軽減目的のキャッシュで、一貫性が問題にならない場合はこれでも良いですが、キャッシュの削除をする revalidatePath が全てのコンテナで実行されず、一部で古いキャッシュが残るのは今回の要件を満たせません。 このため、ドキュメントにはコンテナオーケストレーションプラットフォームではRedisやS3のような外部のストレージにキャッシュを保存するようcache-handlerを実装する必要があると紹介されています。 Building Your Application: Deploying | Next.js Data CacheやFull Route Cacheをフルに活用したい場合には、カスタムのcache-handlerを用意しても良いと思いますが、今回の要件にはオーバースペックすぎると判断しこれは見送りました。 また、Next.jsのFull Route Cacheを使った場合にもレスポンスヘッダーに Cache-Control: stale-while-revalidate が付与されるため、 削除の際にcache-handlerのデータと後術するCDNのキャッシュの2つを削除する必要もあり、複雑になるということもFull Route Cacheを見送った理由の1つです。 解決策1: CloudFrontのみでキャッシュ 私たちの構成ではNext.jsへのリクエストは静的ファイルを配信するため、CDNであるCloudFrontを経由させています。 そこで、Next.jsのアプリケーションレベルではキャッシュをせず、CDNでレンダリングされたHTMLやRSC Payloadをキャッシュすることにしました。 当初、Next.js App Routerでは特定のページにカスタムのCache-Controlヘッダーを付与するにはmiddlewareの処理で対処する必要がありましたが、v14.2.10 からPagesRouterと同様に next.config.js の headers() で指定できるようになりました。 Add ability to customize Cache-Control by ijjk · Pull Request #69802 · vercel/next.js next.config.js で特定のパスにCache-Controlヘッダーを設定するコードの例を以下に示します。 module . exports = { async headers () { return [ { source : '/path/:slug' , headers : [ { key : 'Cache-Control' , value : 's-maxage=86400, stale-while-revalidate' , } , ] , } ] } , } これで、CloudFrontの設定でオリジンのCache-Controlヘッダーを元にキャッシュするよう設定すると、CDNでレスポンスをキャッシュができます。 コンテンツが更新された際のキャッシュの削除は、CloudFrontのAPIで特定のパスのキャッシュを削除するようにコンテンツ管理用アプリケーションから呼び出しています。 課題2: エラーページがキャッシュされる CloudFrontではHTTPレスポンスコードが404や一部の5xxの場合も、Cache-Controlヘッダーに基づいてキャッシュされる仕様になっています。 CloudFront がオリジンからの HTTP 4xx および 5xx ステータスコードを処理する方法 - Amazon CloudFront 特に私たちのプロジェクトでは、公開前のコンテンツのURLにアクセスされることがあり、404ページがキャッシュされてしまうという課題がありました。 公開前にキャッシュの削除をすれば良いのですが、時間を指定して公開するケースではキャッシュの削除が複雑になってしまいます。 一見するとNext.jsでバックエンドのAPIから情報を取得して、404やエラーの時はCache-Controlヘッダーをno-cacheに指定すれば解決しそうなのですが、Next.jsではレスポンスをストリーミングしており、リクエストの最初に処理されるmiddlewareやnext.config.jsのheadersの設定を条件に基づいて変更できません。 これに関してはページごとにカスタムヘッダーを設定できるような generateHeaders() というAPIが必要か、という議論がNext.jsのGitHub Discussionsで行われています。 App Router Custom Header Use Cases · vercel/next.js · Discussion #58110 解決策2: Lambda@Edgeを用いたCache-Controlヘッダー制御 Next.jsではCache-Controlヘッダーを条件に基づいて変更することが出来ないため、別のアプローチとしてLambda@EdgeでステータスコードによってCache-Controlヘッダーを書き換えることにしました。 Lambda@EdgeはオリジンとCloudFrontのキャッシュ(Regional Edge Cache)の間で動作し、リクエストやレスポンスを操作することが出来ます。 次のコードはオリジンのNext.jsのレスポンスを受け取り、ステータスコードが4xx, 5xx系の時にCache-Contorolヘッダーをno-cacheに上書きしてCloudFrontへレスポンスを返すような例です。 'use strict' ; export const handler = async ( event , context , callback ) => { const response = event . Records [ 0 ] . cf . response ; const headers = response . headers ; if ( response . status >= 400 && response . status <= 599 ) { headers [ 'cache-control' ] = [{ key : 'Cache-Control' , value : "private, no-cache, no-store, max-age=0, must-revalidate" }] ; } callback ( null , response ) } ; これにより、Next.jsのステータスコードによってCache-Controlヘッダー書き換え、CloudFrontにキャッシュしないということが実現可能になりました。 まとめ この記事では、App Routerを用いた場合の「コンテンツ更新の際のキャッシュ削除」という課題に対して次の工夫をして、エラーレスポンスまで含めた柔軟なキャッシュ制御を実現しました。 AWS CloudFrontを用いてApp Routerのレスポンスをキャッシュ Lambda@Edgeを用いてCache-Controlヘッダーを書き換え また、レンダリングの重いページや更新頻度の低いページをCloudFrontから返すことで、レスポンスタイムが改善され、ユーザ体験の向上やサーバ負荷の軽減も達成できました。 Next.js App Routerは一部の機能においてまだ発展途上ですが、将来的に、セルフホスティングやCDNでのキャッシュが扱いやすくなることに期待ですね。 ファインディでは一緒に会社を盛り上げてくれるメンバーを募集中です。興味を持っていただいた方はこちらのページからご応募お願いします。 herp.careers