開発生産性の指標として有名なのは Four Keys metrics だが、より新しいものとして、 SPACE がある。SPACEは定性評価やメンバーのパフォーマンス評価にも使用する1、みたいな触れ込みで、個人的にはあまり興味が湧かなかったのだが、先日読んだ「エンジニアリング統括責任者の手引き」(メモ)にはっきりと「SPACEはFour Keysの後継」と書かれていたので、ちゃんと見ることにした。

なお、SPACEの著者の1人、Nicole Forsgren氏は、Four KeysをまとめたDORA創業者の1人。DORAは2018年にGoogleに買収され、なのでFour KeyツールはGoogle発信が多い。

Four Keys (DORAフレームワーク)

Four KeysはDevOpsの成功を導く指標とされている。4つの指標でチームの開発生産性を定量的に評価することで、改善の方向性を明確にする。思想として、開発のスループットと安定性は密接に関連しているとされ、片方ではなく両者を評価することが大事2

指標名説明評価軸
デプロイ頻度(Deployment Frequency)本番環境へのリリースの頻度。頻度が高いほど、継続的デリバリーが機能しているスループット
変更リードタイム(Lead Time for Changes)コード変更から本番反映までにかかる時間。短いほど迅速な開発ができているスループット
変更障害率(Change Failure Rate)デプロイ後に障害が発生する割合。低いほど品質が高く、信頼性がある安定性
サービス復元時間(Time to Restore Service)障害発生から復旧までの時間。短いほど運用体制が整っている安定性

このフレームワークが提唱されてから5年強が経つが、年々アップデートされている。例えば2021年のDORAレポートでは、上記4つの指標に加えて、信頼性(Reliability)を取り入れている3

以下のSPACEもそうだが、これはベンチマークではなく、シグナル&アクションのための指標と解釈するのが重要。確かに、良いパフォーマンスを上げているチームはこれら4つ(5つ)の指標が高いが、それは結果論であり、なぜその指標なのか、どう変化したのか、を議論し、改善に繋げていく。

SPACE

Four KeysがDevOpsの指標とすると、SPACEはより開発者の生産性を理解するためのフレームワークと言える。Four Keysと同じく、スループットと安定性の両立が必要という思想で、公式には、Four Keysを補完するものとしている4

項目内容代表的な指標例
Satisfaction & Well-being(満足度)開発者が仕事・チーム・ツールにどれだけ満足し、健康であるかeNPS、バーンアウト率、従業員満足度
Performanceチームや個人が期待された成果をどれだけ達成しているか顧客満足度、信頼性、機能使用率
Activity完了した作業やアウトプットの量チケット数、PR数、コミット数
Communication & Collaborationチーム内外での連携の質と量レビュー時間、サイロ化の有無、共有インデックス
Efficiency & Flow中断や遅延を最小限にし、スムーズに作業を進める能力リードタイム、サイクルタイム、ハンドオフ数

それぞれに思想というか、注意事項がある。例えば効率性は、チームが効率的な状態とはフロー状態である、という考えがベースにある。またアクティビティは、そもそも開発者全ての行動を測定、定量化するのは不可能、としている。その中で、定性評価を組み合わせながら、シグナルを捉え、アクションに繋げていく。

これら5つの関心と直交する軸として、個人、チーム(もしくはグループ)、システムの3つの観点がある。つまり、フレームワークとしては、以下が完成形5

コーディングエージェントの登場で、これら指標がどう変化するのか、ちゃんとモニタリングする必要があると感じている。


  1. 確かにエンジニアのパフォーマンス指標にSPACEを取り入れるコラムが見つかるが、論文の著者としては意図した使い方ではないと思われる ↩︎

  2. DORA | DORA’s software delivery metrics: the four keysUse Four Keys metrics like change failure rate to measure your DevOps performance | Google Cloud Blog を参考にした。 ↩︎

  3. Announcing DORA 2021 Accelerate State of DevOps report | Google Cloud Blog ↩︎

  4. リンクを貼ったYouTube動画や、The SPACE of Developer Productivity: There’s more to it than you think.: Queue: Vol 19, No 1を参考にした。 ↩︎

  5. The SPACE of Developer Productivity - ACM Queue ↩︎