Source: Nikkei Online, 2023年6月2日 5:00
「生成AI（人工知能）」の話を聞かない日がない。人間のような自然な返答が得られる対話型AIでは、米新興オープンAIの「Chat（チャット）GPT」が先行するが、検索大手の米グーグルも日本語で使える「Bard（バード）」を5月に公開した。うまく使えば、仕事の生産性も上げられるという。両サービスで得手不得手や優劣があるのだろうか。専門家監修の下、同じ質問をして、回答内容を比べてみた。
さて、1つ目のお題は「要約」だ。長い文書や会議内容をコンパクトにまとめるという用途は既に実用化されているサービスも多い。
5月下旬に日経電子版に載った「マイクロソフト、AI全面展開でグーグル対抗」というタイトルの記事をまとめてもらう。チャットGPTとバードのサイトで、「以下の記事を300字以内で要約してください」と指示文を打ち込み、約1600字分の原稿を貼り付ける。チャットGPTは有料会員向けに高性能なAIも提供するが、今回は無料で使えるバードと条件をそろえるため、チャットGPTも無料で使えるAIを選んだ。
両者ともすぐ要約結果が出てきた。本文とじっくり読み比べる。チャットGPTが出した要約は、記事中に出てきたマイクロソフトの発表内容や、今後の展望、懸念点など満遍なく要素を拾っている印象だ。表現の重複はあるものの、大きな減点要素は見当たらない。
一方のバードに目を移すと、発表内容に比べて、「安全性や寡占」など懸念点に関する記述が多い。記事全体に比べると、内容に偏りがありそうだ。
ここでふと気づいた。「なんか文字数が多いな」。数えてみると、どちらの回答も400字超と、制限の300字を大幅に超えている。近江さんによると、「対話AIは文字数を数える処理が苦手」という。だが、テストで字数を超過したらゼロ点だ。そこで「追試」として「300字以内になるようやり直して」と改めて指示を出した。チャットGPTは約220字と要求通りの要約を返した。しかし、バードは予想外の反応を示した。
「申し訳ありませんが、300字以内でやり直すことはできません」。追試を受けようとしないバードの反応に、思わず苦笑い。何度依頼しても、「私はまだ開発中で回答能力がない」と、のれんに腕押しだ。「300字以内」とはそんなに難しい要求だろうか。回答を拒絶する以上、初戦の軍配は相手方のチャットGPTに上げざるを得ない。
2問目は「キャッチコピーの作成」だ。これも既に広告代理店やIT大手がサービス展開を始めている。指示文では、「あなたは化粧品メーカーの社員です」と暗示をかけた上で「20〜30代のビジネスマンを狙った男性向け化粧水の宣伝文句」を5個ずつ出してもらった。なお、AIは「今すぐ100個作れ」という指示でも、文句一つ言わずに案を出し続ける。肉体や感情があるヒト相手では、こうはいくまい。
キャッチコピーも、両者ではっきりと傾向が分かれた。バードは「肌が変われば、人生が変わる。」など、商品を通じた気持ちの変化にスポットをあてた提案型のフレーズが多い。軟らかい表現で「キャッチコピーらしさ」がある。一方のチャットGPTは「ビジネスの顔、輝く肌」など体言止めや漢字が多く、「硬く直球勝負」といった印象だ。男性には硬めの方が受けるという考え方もありそうだ。
一体どちらが優れているといえるのか――。2問目にして判定に迷った。一人では決められず、記者やマーケティング経験者を含む同僚数人に意見を求めた。「顧客への提案に使えそうなのはバード」「チャットGPTは自分には出せない案だからありがたい」など評価はバラバラ。決め手を欠くため「引き分け」とすることにした。
なお、キャッチコピーに関しては文字数が少ない分、既に世の中に出ているコピーと同じ回答が出てくる可能性もある。近江さんは「キャッチコピーに限らず、出力されたものを実際に使う場合は、類似のものがないか注意が必要」と話す。
3問目のテーマは「市場調査」だ。「メタバース（仮想空間）上で交流できるアプリ開発の担当者」を想定して、市場規模や競合アプリ、収益化のポイントを踏まえて、どんな要素が必要か教えてもらう。通常は担当者自身が時間をかけて調べたり、外部のコンサル企業に依頼したりして、リポートにまとめるのだろう。
「長い……」。特に字数指定はしなかったが、チャットGPTの調査リポートは2900字に及んだ。対話上では途中で切れてしまうため、「続きをお願いします」と返信することを3度繰り返した。一方のバードは900字程度を一発回答。忙しい上司に見せるならこれくらいの方がいいかもしれない。
両者とも指定した4つの問いに全て答えており、明らかな誤りはなさそうだ。ゼロから同じものを作る苦労を想像すれば、どちらのリポートも大変ありがたい。違いを挙げるなら、チャットGPTは長い分、説明が丁寧でアプリに必要な要素なども満遍なく項目をあげてくれる。
一方、バードは競合アプリや市場規模に関して比較的最近のデータを紹介してくれた。
無料版のチャットGPTに「今年4月に起きたこと」を聞いても、「私の知識は2021年9月までのものです」と回答してくれないが、バードはグーグルの検索機能が組み込まれているため答えられる。この違いが出たのだろうか。
キャッチコピーと同様、これも判定に迷った。明確な目的を指示文に入れていないため、詳しく幅広い知識が必要なのか、見やすく簡単にまとめたリポートが欲しいのか、利用シーンにより異なる。同僚に意見を求めても、評価が割れたため、市場調査も「引き分け」とした。
4問目はメール代筆だ。私も同僚・上司や取材先に送るメールを作るのは正直面倒だと感じることが多い。ある民間調査では、チャットGPTを使っている人の用途として「メール代筆」という回答が最も多かった。今回は「得意先に、事務用品の納品の遅れを謝罪する場面」を想定してメールを作ってもらった。
チャットGPTの答えは今回も長めだ。「申し訳ございません」と繰り返してはいるが、よく読むとやや不自然な表現が多い。「拝啓」の使い方を間違えているし、「最後に」という下りが2度出てくる。「予期せぬ問題で」とか「私たちは誠実さをもって謝罪」とか、自己保身的な表現も目立つ。こんな慇懃（いんぎん）無礼なメールを送ったら、取引先は怒ってしまうだろう。
一方のバードはスマートだ。全体で約300字とチャットGPTの3分の1だが、遅れた原因、出荷時期の見通しなど、必要な情報が漏れなく書いてある。やや淡泊すぎると感じる人がいるかもしれないが、この文面をベースに少し書き直せば、ゼロから作るより短時間で謝罪メールが仕上がりそうだ。
チャットGPTの謝罪メールは減点要素が多く、今回はバードに軍配を上げた。この時点で1勝1敗2分け。半年早く公開していたチャットGPTの方が有利と予想していたが、接戦だ。
最後は「プログラミング力」を比べる。決まったルールに従ってコンピューターを動かすプログラミング言語には、人の言葉にありがちな感情や曖昧さがない。AIに向いている用途といわれ、社内のエンジニアも対話AIが返したコードを下書きにすることで、ゼロから書くより省力化できているという。
とはいえ、記者自身にプログラミングの知識がないため、最終問題はストックマークの近江さんに指示文作成と評価を依頼した。シンプルな使い方として、「商品の販売データから、購入額が多い顧客を抽出するコード」を作ってもらった。
チャットGPTが書いたコードを実行すると、想定通りに購入額が多い順に顧客IDが出てきた。一方、バードの回答だと「エラー表示」で正しく出力されなかった。確認した所、1カ所だけデータの場所を示す情報に間違いがあった。近江さんがその後同じ質問を繰り返した所、「今回はバードの方が修正が必要なことが多かった」という。
動く、動かないという明確な基準がある分、判定に迷いはない。最終戦はチャットGPTの勝利だ。
