ニフティでは2023年6月からPoCとしてGitHub Copilot for Businessを限定的に導入していましたが、2023年9月に正式導入することになりました。現在では希望する方は誰でも利用することができます。
本日はGitHub Copilotの利用状況と効果について話したいと思います。
GitHub Copilotの利用状況
Acceptance Rates
20人ほどでPoCを行っていたときのCopilotの提案採用率となります。
利用者がまだ少ないのと人や言語差の影響が大きく採用率が乱高下してますが、利用者がもっと増えてきたらまた変わってくるかと思います。
言語別
記述内容が短文だったり自由度の高い言語ほど採用率が低い傾向にあるように見えます。
こちらもまだ母数が少なく使う人の採用スタイルに率は大きく依存するので、もっと普及するとどう変化するか追っていきたいと思います。
利用者へのアンケート結果
PoC時に取ったアンケートの結果も一部共有いたします。工数削減効果
アンケートで取った以下の質問を散布図にしたものがこちらになります。- 1日あたりCopilotの効果でどのくらい時間が節約できたか
- 10分未満, 20分, 30分, 1時間, 2時間, 3時間, 4時間以上
- 1日の仕事の中でコーディングに費やす時間
- 20%未満,40%,60%,80%以上
GitHub Copilot を使用するとタスクを 55% 早く完了できる らしいので、それに比べるとまだまだですが十分効果は出ていると思います。
改善されたことと変わらなかったこと
Copilot利用前後での変化を聞いた結果がこちらになります。
書くのがめんどうな型定義やテストまわりで活躍していて精神面でもよい効果が出ているようです。
都度ドキュメントを調べたりする機会が減ることで集中力が高まる効果もあるかと思ったのですが、そこについては変わらないという結果となりました。
生産性は向上したか（実感ベース）
費用対効果について
GitHub Copilot for Business は $19/user/month と決して安くはないですが、コーディングに費やす時間23%減という効果は出ているため、下振れたとしてもある程度の時間コーディングしているのであれば十分元は取れるものだと思います。ただ今回の結果が一時的なものである可能性もあるため、効果については他の要素との相関も見つつ継続して計測していくつもりです。
最後に
PoC開始時点では試すだけ試してみるかというスタンスでしたが、実際に使ってみるとプログラミング体験がガラッと変わりました。ちょうどいいところにちょうどいいものを提案してくれる体験、悩んでいると合っているかは置いておいて候補を出してくれるという体験はとても心地よいものでした。ChatGPTで十分と考えている方も一度GitHub Copilotを触ってみることをおすすめします。
公式がCodespacesでCopilotを体験できる環境を用意してくれているので無料で触れます。
Take GitHub Copilot on a test-flight. – GitHub Resources
GitHub Copilot ChatもPublic betaになりましたし、Copilotは利活用できる余地は多く残されていて、まだまだ生産性を上げてくれるのではないかと考えています。
宣伝
来週 9月26日(火) 12:00〜13:00にYouTube LiveにてGitHub CopilotをテーマにしたLTを行います。こちらでは今回書いていない利用者視点の話もあります。興味がある方がいましたら以下のconnpassにご登録をお願いいたします。
GitHub Copilotの導入や活用 – connpass
We are hiring!
ニフティでは、さまざまなプロダクトへ挑戦するエンジニアを絶賛募集中です！ご興味のある方は以下の採用サイトよりお気軽にご連絡ください！ カジュアル面談も受け付けています！ Tech TalkやMeetUpも開催しております！
こちらもお気軽にご応募ください！
