｢ChatGPT｣をご存知ですか？米国のOpenAIが公開した自然な文章を生成する人工知能 (AI) のことです｡ 2022年11月のリリース以降､ そのハンパない賢さが注目を集めています｡ そんなChatGPTに､ 4~5日に迫った医師国家試験の過去問題を解いてもらいました｡

Googleのライバル

OpenAIは､ Twitterの買収で話題となったイーロン･マスク氏らが共同出資し､ 2015年に設立した団体です｡ AIの発展と普及を目指しています(現在マスク氏は脱退)｡

ChatGPTは､ ユーザーの質問に答えてくれるチャットボットで､ あらゆる分野の知識を持っています｡ 自立学習の機能があり､ 徐々に賢くなっていきます｡ 将来的にはGoogleに取って代わる新しい検索エンジンとなる潜在能力があると期待されています｡

公開開始からわずか5日でユーザー数100万人を突破しました｡ Facebookの310日､ Instagramの75日などと比べても異次元のスピードといえます｡

必修50問､ 驚きの解答速度！

そんな話題のChatGPTに2022年医師国家試験を解いてもらいました｡ 問題はB(必修)の50問です｡ 果たして合格レベルに届くのでしょうか｡

なお､ 今回ChatGPTが解くにあたり､ 編集部独自で以下のルールを設定しました｡

1. 設問ごとに「一つ選べ」など解答数を指定
2. 答えが一つ返ってきたら次の設問を入力
3. 画像がある問題は画像なしのまま解答
4. 一つの問題文に２つの設問がある場合､ 設問を分けて解答

3は質問に画像を挿入できないため､ 4は複数の設問を入れても１つしか答えないケースがあったためのルールです｡

まず驚いたのは解答速度です｡ 全50問にかかった時間はわずか4分12秒でした (筆者が設問を入力する時間などは除く) ｡ 最短2秒､ 最長でも15秒｡ 画像を見て答える問題で､ 画像がなくてもサクサク答えてくれました｡ ご存知の通り､ 試験時間は95分あります｡

AIでも疲れる？

｢コーヒーでも飲みながらゆっくり検証しよう｣ としていた筆者の思惑は完全に外れてしまいました｡ ただ､ 連続して質問していると､ ｢Too many requests in 1 hour. Try again later.」と赤文字で表示され､ 答えてくれなくなりました｡ AIでも疲れるのでしょうか｡ ここで意図せず休憩をとることとなりました｡

気になる正答率は…

解答を再開し､ 全問終わって答え合わせをすると､ 序盤の10問で正解は4つ｡ 時には解答だけでなく、解説付きで自信満々に答えていたので､ ｢ほぼ正解なんだろう｣ という筆者の期待は裏切られました｡

答えの解説をしてくれるケースも

さて､ 肝心の正答率は…51％とわずかに半分を上回るという結果になりました｡ 医学生の解答が分かれる ｢割れ問｣ となった1問が採点除外の対象となっていたことを考慮し､ 49問中25問の正解です｡ 画像の問題の正答率も大差はありませんでした｡

ファクトチェックは必須

これでは医師国家試験の合格は厳しいですね｡筆者の入力ミスなどを疑い､ 全問やり直してみましたが、結果はほぼ同じでした｡

ChatGPTは公開したばかりのため、受け答えが完璧ではない部分もあるのでしょう｡ 自信満々な態度 (？) を鵜呑みにせず､ ファクトチェックは必要ですね｡

｢全然できてないじゃん｣ ｢半分正解でも十分すごい｣ など様々な感想があると思います｡ 興味を持たれた方は一度､ ChatGPTを試してみてはいかがでしょうか｡

｢HOKUTO」を尋ねると…

ログイン後は英語の表記のみですが､ 日本語で質問したら日本語で答えてくれます｡ 操作はシンプルで､ 画面中央下の検索窓に質問を入力するだけです｡ 現在はテスト版のため無料で使用できますよ｡

ちなみに､ 弊社がどのような会社か尋ねたところ､ 10秒ほど考えた結果､ ｢申し訳ございませんが、私には株式会社HOKUTOの情報がありません」と返ってきました (笑) ｡

ChatGPTのホームページはこちらです｡