導入
先日突如としてGoogle Deepmindから発表されたGemini(ジェミナイ、ジェミニ)。
一番上のモデルであるGemini UltraはGPT4を超えていると謳っていることもあり、大きな注目が集まりました。
そんな中、12/13に3種類の中で真ん中のモデルである「Gemini Pro」が公開されました。
せっかくなので、GPTと比較させたいと思い、何か題材はないか考えたところ、「コードレビュー」を思いつきました。
なので、今回は「Gemini Pro」と「ChatGPT (GPT3.5)」を使って、お互いの書いたコードをレビューさせあってみました。
最後にGPT4でどちらのコードレビューが良かったかをジャッジしてみようと思います。
Geminiとは
本題に入る前にまず、Geminiについて簡単に説明します。
Geminiとは、Google Deepmindが発表したGPT対抗の大規模言語モデル(LLM)です。
Geminiには3種類のモデルがあり、それぞれ「Gemini Nano」、「Gemini Pro」、「Gemini Ultra」と名付けられています。
それぞれの大まかな特徴は以下の通りです。
Gemini Nano | Gemini Pro | Gemini Ultra | |
---|---|---|---|
パラメーター数 | 小 | 中 | 大 |
主な用途 | デバイス上で動かす (Google Pixelなどに搭載) | 幅広いタスク向け | 非常に複雑なタスク向け |
競合モデル (ベンチマークを参考) | Llama2 7B, Claude Instant | GPT3.5, LLama2 70B, Claude2 | GPT4 |
Gemini Nanoはデバイス上で動くことを想定している軽量なモデルで、Pixel 8 Proなどに搭載される予定です。
Gemini UltraはGPT4対抗の高度なタスク向けで、Gemini Proはその真ん中になります。
Googleが公開したGeminiの技術レポートにあるベンチマークの値を見ると、Gemini UltraとGPT4、Gemini ProとGPT3.5がおおよそ同等の性能を示しているといえそうです。
使用するモデルとルール
今回使用するモデルは、「Gemini Pro」と「GPT3.5」です。
Gemini Proは現在 Vertex AI や Google AI Studio で使用することができます。
今回私はGoogle AI Studioを使いました。
ルールは以下の通りです。