生成AIをソフトウェア開発に用いることによる開発生産性および品質効果に関する検証

アーカイブ動画

生成AIを開発業務に利用することの有用性について調査検証

NECソリューションイノベータが実施した、生成AI活用の価値における調査・検証を紹介したのは、顔認証エッジデバイスの開発を経て、現在はマルチモーダル認証端末開発のプロジェクトリーダーを務める、大嶋健悟氏だ。

NECソリューションイノベータ株式会社大嶋健悟氏
NECソリューションイノベータ株式会社
AI・データアナリティクス事業部　大嶋健悟氏

IoT機器のソフトウェア開発がメイン業務だという大嶋氏は、「ソフトウェア開発において、生成AIをどのように使っているかという視点で伝えたい」と述べると共に、具体的な活用用途も示した。

生成AIをソフトウェア開発に用いることによる開発生産性および品質効果に関する検証スライド1

ソースコード自体の生成はもちろん、他の人が書いたコードのレビュー、あるいは両業務の効率化などである。さらにはペアプログラミングのような使い方をすることで、若手エンジニアのスキルアップならびにスキルレベルの統一化を図るという。

一方で、実際の開発案件に適用している例は多くなく、効果も未知数な課題が多いと、大嶋氏は語る。そこで、実際に開発業務に取り込んだ場合、有用性はどうなのか。品質向上や工数削減といった視点での検証を行うこととした。

検証対象は、新人エンジニアなど、まだスキルレベルが高くないメンバーとし、ChatGPT、GitHub Copilotの2つの生成AIを用いた。

対象とした実プロジェクトは、顔認証システムのデータベースに、複数人のユーザーを一括で登録・更新・削除するコマンドラインツールの開発とした。

生成AIをソフトウェア開発に用いることによる開発生産性および品質効果に関する検証スライド2

データベースの操作は、REST APIのインターフェースをあらかじめ用意。スライドで示したように、コマンドプロンプトなどのコマンドラインで登録や更新といったオペレーションが記述された入力用csvファイルと、その結果を格納する出力用csvファイルを用意。コマンドを実行すると、指定されたオペレーションの処理が実行される、というシンプルなツールだ。

大嶋氏は早速、主観であると前置きしながらも、同プロジェクトのChatGPTの適用可能性の結果を示したスライドを紹介。赤字の箇所を詳しく説明していった。

生成AIをソフトウェア開発に用いることによる開発生産性および品質効果に関する検証スライド3

1つ目は、以下スライドの基本設計工程の骨子作成である。プロンプトでは、まず「上級ITエンジニアとして振舞ってください」という役割を記述すると共に、実行してほしいタスクや、先ほど紹介したツールの概要などを記述した。

すると、右側8つのセクションに分かれた設計書骨子が作成されると共に、それぞれ記述する内容が提案された。

例えば、6番目のエラーハンドリング項目では、ツール内でエラーが発生した際の対処について説明する、といった具合だ。

生成AIをソフトウェア開発に用いることによる開発生産性および品質効果に関する検証スライド4

ただし、エラー時の処理については左側のプロンプトを確認すると分かるが、大嶋氏は特に指示は出していない。大嶋氏は以下のように評価を述べている。

「ChatGPTが基本設計書に必要なものを考慮すると共に、私が作りたいツールの情報を当てはめていってくれたような感じがします」（大嶋氏）

続いては、UML図の作成である。流れは先と同様であるが、クリーンアーキテクチャの観点からクラス図はPlantUMLで作成するようにという具体的な指示を記述した。

右側の出力を見ると、確かに指示した図が示されていることが分かる。また同様の命令でシーケンス図の作成も行えることが分かった。

設計書のレビューも行った。今度はシステムメッセージとして、大嶋氏が考えるレビューの観点を記述。いくつかの記述内容の誤りなどを指摘されたが、「確認するとすべて正しかった」と、大嶋氏は評価した。

生成AIをソフトウェア開発に用いることによる開発生産性および品質効果に関する検証スライド5

コード生成では、参考とすべき類似オペレーションのソースコードをプロンプトに記述し、実行すると、仕様に記述していないような内容のコードも作成した。

生成AIをソフトウェア開発に用いることによる開発生産性および品質効果に関する検証スライド6
続いては、試験で使うためのテストコードの生成だ。まずは上記スライド左上、入力用csvファイルをパース（構文解析）するための、テストケースを洗い出してほしいという指示を出した。すると、その下に複数のテストケースが出力された。