開発生産性の指標として有名なのは Four Keys metrics だが、より新しいものとして、 SPACE がある。SPACEは定性評価やメンバーのパフォーマンス評価にも使用する1、みたいな触れ込みで、個人的にはあまり興味が湧かなかったのだが、先日読んだ「エンジニアリング統括責任者の手引き」(メモ)にはっきりと「SPACEはFour Keysの後継」と書かれていたので、ちゃんと見ることにした。
なお、SPACEの著者の1人、Nicole Forsgren氏は、Four KeysをまとめたDORA創業者の1人。DORAは2018年にGoogleに買収され、なのでFour KeyツールはGoogle発信が多い。
Four Keys (DORAフレームワーク)
Four KeysはDevOpsの成功を導く指標とされている。4つの指標でチームの開発生産性を定量的に評価することで、改善の方向性を明確にする。思想として、開発のスループットと安定性は密接に関連しているとされ、片方ではなく両者を評価することが大事2。
指標名 | 説明 | 評価軸 |
---|---|---|
デプロイ頻度(Deployment Frequency) | 本番環境へのリリースの頻度。頻度が高いほど、継続的デリバリーが機能している | スループット |
変更リードタイム(Lead Time for Changes) | コード変更から本番反映までにかかる時間。短いほど迅速な開発ができている | スループット |
変更障害率(Change Failure Rate) | デプロイ後に障害が発生する割合。低いほど品質が高く、信頼性がある | 安定性 |
サービス復元時間(Time to Restore Service) | 障害発生から復旧までの時間。短いほど運用体制が整っている | 安定性 |
このフレームワークが提唱されてから5年強が経つが、年々アップデートされている。例えば2021年のDORAレポートでは、上記4つの指標に加えて、信頼性(Reliability)を取り入れている3。
以下のSPACEもそうだが、これはベンチマークではなく、シグナル&アクションのための指標と解釈するのが重要。確かに、良いパフォーマンスを上げているチームはこれら4つ(5つ)の指標が高いが、それは結果論であり、なぜその指標なのか、どう変化したのか、を議論し、改善に繋げていく。
SPACE
Four KeysがDevOpsの指標とすると、SPACEはより開発者の生産性を理解するためのフレームワークと言える。Four Keysと同じく、スループットと安定性の両立が必要という思想で、公式には、Four Keysを補完するものとしている4。
項目 | 内容 | 代表的な指標例 |
---|---|---|
Satisfaction & Well-being(満足度) | 開発者が仕事・チーム・ツールにどれだけ満足し、健康であるか | eNPS、バーンアウト率、従業員満足度 |
Performance | チームや個人が期待された成果をどれだけ達成しているか | 顧客満足度、信頼性、機能使用率 |
Activity | 完了した作業やアウトプットの量 | チケット数、PR数、コミット数 |
Communication & Collaboration | チーム内外での連携の質と量 | レビュー時間、サイロ化の有無、共有インデックス |
Efficiency & Flow | 中断や遅延を最小限にし、スムーズに作業を進める能力 | リードタイム、サイクルタイム、ハンドオフ数 |
それぞれに思想というか、注意事項がある。例えば効率性は、チームが効率的な状態とはフロー状態である、という考えがベースにある。またアクティビティは、そもそも開発者全ての行動を測定、定量化するのは不可能、としている。その中で、定性評価を組み合わせながら、シグナルを捉え、アクションに繋げていく。
これら5つの関心と直交する軸として、個人、チーム(もしくはグループ)、システムの3つの観点がある。つまり、フレームワークとしては、以下が完成形5。

コーディングエージェントの登場で、これら指標がどう変化するのか、ちゃんとモニタリングする必要があると感じている。
確かにエンジニアのパフォーマンス指標にSPACEを取り入れるコラムが見つかるが、論文の著者としては意図した使い方ではないと思われる ↩︎
DORA | DORA’s software delivery metrics: the four keys や Use Four Keys metrics like change failure rate to measure your DevOps performance | Google Cloud Blog を参考にした。 ↩︎
Announcing DORA 2021 Accelerate State of DevOps report | Google Cloud Blog ↩︎
リンクを貼ったYouTube動画や、The SPACE of Developer Productivity: There’s more to it than you think.: Queue: Vol 19, No 1を参考にした。 ↩︎