メインコンテンツまでスキップ

【中間報告】GitHub Copilotの利用実態

· 約16分
Imai Ryosuke
Data Technical Manager

TOP画像

ビジ開でのGitHub Copilot導入して一旦評価してみた（約１か月間）​

ビジ開でGitHubCopilotを試験導入して 約1か月 利用者たちのアンケートから見えてきたことに対し、今後どうすべきか検討します。

個別アンケート結果​

Q1. GitHub Copilotをどのくらいの頻度で利用していますか？：高い利用頻度と肯定的な評価​

このグラフは、GitHub Copilot の利用頻度を示しています。最も多い回答は 「ほぼコードやドキュメント作成時は欠かさず使う」 で、次いで「毎日数時間」となっています。

ここから、日常的な開発作業に深く組み込まれている ことが伺えます。

ただし、「ほぼ使っていない」という回答もあり、これに対する理由としては、以下となりました。

「慣れてない」人には使い方を共有し、「精度が悪い」と回答した人には、ヒアリングして具体的な問題点を把握し、改善策を検討する必要があります。

  • まだ慣れていないから
  • 使い方がわからない, まだ慣れていないから
  • 私はそもそもここ数週間はコードを書く作業がそこまでありませんでした...
  • 思っていたものと違かった, 精度がわるい

その他コメントについて​

「使い方の共有」や「コードレビューにも使ってみよう」、という前向きな意見と、使てみて弱点がある（ドキュメントが弱い、ユーザビリティ向上）ことも挙げられています。

内部の効率化のためにも、メンバーの使い方の共有をしていく場を設けることが重要かと思います。

頂いたコメント
  • 補完してほしい場面と補完がいらない場面とあるので、簡単に切り替えられると良い
  • コードレビューを一度任せてみようかと考えています
  • 利用方法のノウハウは共有すると良いと思いました。また逆に必ずこういう使い方してねというコーティング規約的に入れるのも良いと思います。
  • ドキュメントはあまり任せられない
ここまでを整理
  • 全体的に、GitHub Copilotの利用頻度は高く、すでに日常的な開発作業に組み込まれている。
  • 「ほぼ使っていない」という層には、利用方法の共有等を行い、慣れてもらう必要がある。

Q1.1 GitHub Copilot が提案するコードの品質は高かったですか？​

Q2. コード補完・生成の精度についてのアンケート結果（積み上げグラフ）​

以下は、コード補完・生成についての利用者の評価結果になります。

Q2.1.コードの品質は高かったか？​

「まあそう思う」が多いことから 品質がすこぶる高いというよりは、ある程度の品質と割り切って使っているように推測されます。

無償のモデル GPT-4.1 であることもあるので、今後制限はあるが、プレミアムモデル（有償モデル）も開放していくことで、品質向上が期待できるかもしれません。

※制限をかけた後、公開していきます。プレミアムモデルの特性はこちらを参照してください。

Q2.2.開発効率化に役立っているか？​

「非常にそう思う」「まあそう思う」が多く、開発効率の向上に寄与していることが分かります。 特に「非常にそう思う」が6件と多く、今後も使っていくことで、チームの開発効率が向上すると見込めます。

Q2.3.タイポや構文エラーの削減に役立っているか？​

こちらも「非常にそう思う」「まあそう思う」が多く、タイポや構文エラーの削減に寄与していることが分かります。 ただし、「あまりそう思わない」が1件あるため、一部のユーザにはまだ改善の余地があることも示唆されています。

こちらについては、ユーザの具体的なフィードバックを分析してみます。

具体的な評価のフィードバック​

具体的な評価のフィードバック

2.4 どのような場面でコード補完・生成機能が特に役立ちましたか？（例：定型的なコード記述、テストコード生成、新しいライブラリの利用時など）​

コード補完については、一から作成を依頼したたき台にしたり、一部だけ依頼したり、ロジックから自動でテストを作成したり、さまざまな用途で利用されています。 また、既存コードを、通常の置換ではできない（？）リファクタリングする際にも利用されています。

頂いたフィードバック内容
  • ■ コード補完系
    • パターン化したコードを書くときに、パターンに沿って作成してくれる。
    • コード全体で１つ機能を追加する際にも要求したものが出力されて時短になる。
    • テスト生成、テストデータ生成、複雑なロジックの生成
    • for文などを書こうとすると自動的に意図したとおりの処理を書いてくれたとき。
    • 繰り返し部分と、何も知らない分野を書く時のたたき台になる
    • JSON.stringfy()など、括弧で囲むときにマウスやカーソルを移動しなくても補完してくれた。2回目からはJSON.stringfy()も補完してくれた。
    • コーディング全般
    • コードやコメントの補完の精度が高いと感じました。
  • ■ リファクタリング系
    • リファクタリング (関連する別のパラメータ修正や統一作業)
    • 同じ修正をファイル全体にかけたい時

2.5 どのような場面でコード補完・生成機能が期待外れでしたか？​

モデルの精度やプロンプトでの指示の問題が多いようですが、有用なプロンプトをチームで共有していくことで、改善できるかもしれません。 いずれにしても、モデルの進化とプロンプトは相互影響しているので、ノウハウをためていく必要があります。

※最近 Cursor や Gemini などの新しいプラットフォームてきており、精度が競争が激化しています。今後の改善に期待したいところです。

頂いたフィードバック内容
  • ■ プロンプトやモデルの問題
    • 特に指定していなかったこともあるが、使おうとしているライブラリを用いずに提案してくるときがある。
    • 複雑なコンテキストを読み取る部分ではまだ改善の余地があり
    • "指示を聞かないことがある。こちらの要求を上手くくみ取れていないことが多いのでプロンプトを直せば行けることも多い。
    • 部分最適化の罠にはまることがある。根本的に間違えているのに、一つ一つのエラーを直していくので、基本ロジックの問題には手が出ないことも多い。"
    • さすがに周りのコードと関連がない処理を書くときは、むしろ余計な補完が入って邪魔だった。
    • ちゃんと要求を伝えていない時（モデル：GPT4.1）
    • カスタムモジュールの利用 (自分で書いたパッケージで、インターフェースがVS Codeの提案には出るにも関わらず、存在しないパラメータを生成したりする場合がある)
    • 必要のないときに提案が出てきて間違えて反映させてしまったとき
ここまでを整理
  • そのまま使える完全なコードにはまだ至ってないが、かなりの精度でコード補完・生成が行われている。
  • コード補完としては、一から作成したり、一部補完したり、ロジックから自動でテストを作成したり、さまざまな用途で利用されている。
  • コーディング中に想定しない補完をされてしまうことがあり、若干の負荷が残る。

Q3. コード理解や保守性​

以下は、コード理解や保守性に関する利用者の評価結果になります。

Q3.2.GitHub Copilot は、既存のコードを理解する上で役立ちましたか？（例：コメント生成、リファクタリングの提案など）​

「まあそう思う」が多く、既存のコードを理解する上で役立っていることが分かります。

ただし、「その他」には、このような使い方を知らなかった人も3名いたので、ぜひとも利用してもらえると良いと思います。

頂いたフィードバック内容
  • この使い方を知らなかった。
  • 既存コード利用のために用いたことがまだない。
  • 既存コード理解では利用しておりませんでした。

Q3.3.GitHub Copilot は、コードの品質向上（可読性、保守性など）に貢献しましたか？​

「まあそう思う」が多く、コードの品質向上に貢献していることが分かります。 ただし、「その他」には、このような使い方を知らなかった人も3名いたので、具体的な課題を理解しつつプロンプトの改善など対策を検討する必要がありそうです。

頂いたフィードバック内容
  • 試していない
  • 書く人の手癖がそのまま反映されるので通常使用の範囲では効果は薄い。可読性や保守性を上げることを主目的にしたプロンプトを別途渡せば効果的な処理はしてくれるとは思う。

Q4. その他利用の評価​

以下は、その他の利用に関する評価結果になります。

Q4.1.新しい技術やライブラリを学習する際に、GitHub Copilot は役立ちましたか？​

「まあそう思う」が多く、新しい技術やライブラリを学習する上で役立っていることが分かります。 ただし、「その他」には、このような用途で使っていなかった人も2名いたので、ぜひとも利用してもらえると良いと思います。

頂いたフィードバック内容
  • まだこの用途では使っていません
  • そこまで至ってないです

Q4.2.解決策を探索する際に、GitHub Copilot は役立ちましたか？​

「まあそう思う」が多く、解決策を探索する上で役立っていることが分かります。 ただし、「その他」には、知らなかった人も2名いたので、ぜひとも利用してもらえると良いと思います。

頂いたフィードバック内容
  • この使い方を知らなかった。
  • そこまで至ってない。

アンケートから見えてきたこと：まとめと課題​

まとめ​

  • 利用者の多くは、日常的な開発作業に組み込まれており、特にコード補完や生成機能が有効に活用されています。
  • コード品質にはまだ改善の余地があるものの、全体的に高い評価を得ています。

課題​

  • 利用者の習熟度にばらつきがあるため、使い方の共有や教育 のサポートが必要です。
  • 一部のユーザからは、プロンプトの精度やモデルの限界に関するフィードバックがあり、プレミアムモデルの導入やプロンプトの共有なども検討する必要があります。
  • タイポや構文エラーの削減に役立っているが、まだ一部のユーザには改善の余地があるため、具体的なフィードバックを収集しながら、改善案を検討していく必要があります。

推進していくための情報共有​

アンケートにあったおすすめな使い方​

  • コードより先にコメントアウトを書くと、スムーズに補完が効きます
  • Agent機能(が非常に使える）

【サイボウズ研修資料：】毎年素晴らしい新人研修資料に「GitHub Copilot」も出現​

サイボウズは、エンジニア向けに毎年素晴らしい新人研修資料を公開しています。 今年からその中に「GitHub Copilot」の使い方や活用方法が含まれていました。

サイボウズ研修資料

  • 資料リンク：2025年サイボウズGitHubCopilot活用（PDF）(URL)

また同じくサイボウズから、追加資料がこうかいされています。合わせて共有します。

参考になるページ​

「こんな使い方があるんだよ」というような紹介がありましたら、コメントをいただけると助かります。

Thanks