ChatGPTが中学校の問題をどの程度解けるのか徹底検証

AI技術の進歩は目覚ましく、教育界にも新たな波が押し寄せています。そこで本記事では、AIの中で最も注目されているChatGPTが、中学校の問題にどの程度対応できるのか徹底検証しました。

教育関係者・保護者の皆様は、これからの教育を考えるきっかけとして本記事をお役立てください。

目次

ChatGPTとは?

ChatGPTとはOpenAIが開発した言語モデルです。言語モデルというと難しいですが、すごくざっくり説明すると言葉の連想ゲームができるプログラムのことです。ChatGPTは対話形式での利用に特化しており、LINEの用に文章を打ち込めば回答が得られるので誰でも簡単に利用できます。

夏目漱石について質問した例
夏目漱石に質問した例

アカウントが無い方は、まずは以下の記事を参考にアカウントを用意しましょう。

検証方法

学習プリントを公開しているちびむすドリル様から、中学生向けの問題をいくつか問題を引用しました。教科は国語、数学、理科、社会、英語の5つとします。

ChatGPTで利用する言語モデルは、無料版で利用できるGPT-3.5と、有料版でしか利用できないGPT-4の両者を試験します。
この二つの言語モデルの違いについては下記の記事を参考にしてください。

注意点

今回の検証は、問題のジャンルに偏りがあったり、問題数も多くありません。なので、今回の検証で〇〇の教科が低いから、その教科が苦手である、ということではありません。

どの程度問題がとけるのか、どのような問いかけが苦手なのか、参考程度にしてください。

検証

国語

一 次の①~④の単語の品詞名を書きなさい
①ずっと まるで いつも そろそろと いきなり
答え:

②しかし そして つまり なぜなら または
答え:

③歌う 飛ぶ 走る 勉強する ある
答え:

④楽しい うれしい 悲しい 苦しい 青い
答え:

二 次の各文の【】の同氏の活用形を書き、活用の種類を後のア~オより選び、記号で書きなさい
①テストの結果を聞かれて、少し【ためらっ】た。
活用形:
活用の種類:

②中学校の3年間を【終えれ】ば、次は高校生だ。
活用形:
活用の種類:

③君が【い】ない部活はとても寂しいよ。
活用形:
活用の種類:

ア:五段活用
イ:上一段活用
ウ:下一段活用
エ:カ行変格活用
オ:さ行変格活用

三 【】部を漢字(送り仮名がある場合は送り仮名も)になおしなさい。
①ねんざした足首が【はれる】
答え:

②古く【おもむき】のある歌
答え:

③ごはんを【たく】
答え:

AI種類正解率
GPT-3.560%
GPT-480%
国語の正解率

GPT-3.5は大問二を全て間違えました。記号で答えなさい、とあるのに記号で書いていないので、問題の意図を理解できていません。回答自体も間違えています。

GPT-3.5は問題の回答形式を正確に理解できない

一方で、GPT-4は多くの問題を正解しています。問題の回答形式も理解できています。

GPT-4の回答。記号で答えており問題文の意図を理科している。
GPT-3.5の全回答

一: ①副詞 ②接続詞 ③動詞 ④形容詞

①テストの結果を聞かれて、少し【ためらっ】た。 活用形: ためらっ 活用の種類: 五段活用(語幹+「る」)

②中学校の3年間を【終えれ】ば、次は高校生だ。 活用形: 終えれ 活用の種類: 上一段活用(語幹+「れる」)

③君が【い】ない部活はとても寂しいよ。 活用形: い 活用の種類: カ行変格活用(語幹+「る」)

①ねんざした足首が【腫れる】

②古く【重き】のある歌

③ごはんを【炊く】

GPT-4の全回答

①ずっと まるで いつも そろそろと いきなり 答え: 副詞

②しかし そして つまり なぜなら または 答え: 接続詞

③歌う 飛ぶ 走る 勉強する ある 答え: 動詞

④楽しい うれしい 悲しい 苦しい 青い 答え: 形容詞

①テストの結果を聞かれて、少し【ためらっ】た。 活用形: ためらう (ためらった – 過去形) 活用の種類: ア (五段活用)

②中学校の3年間を【終えれ】ば、次は高校生だ。 活用形: 終える (終えれば – 仮定形) 活用の種類: ウ (下一段活用)

③君が【い】ない部活はとても寂しいよ。 活用形: いる (いない – 未然形) 活用の種類: イ (上一段活用)

①ねんざした足首が【腫れる】 答え: 捻挫した足首が腫れる

②古く【趣き】のある歌 答え: 古く趣きのある歌

③ごはんを【炊く】 答え: ごはんを炊く

数学

【1】 2<sqrt[a]<sqrt[8]になるような自然数aは全部で何個あるか答えなさい

答え:

【2】次の方程式を解きなさい
x^2+3x-28=0

答え:

【3】円Oの直径が 6cm, 円の中心Oから点Pまでの
  距離が 8cmのときの接線の長さを計算しなさい。
答え:

【4】ある製菓工場で作られた箱入りのお菓子の中から 300 箱を選んで調べたところ , その中の
4箱が不良品だった。この工場で 3 万箱のお菓子を作ると,
およそ何箱の不良品がふくまれると考えられるか。

答え:

https://happylilac.net/jhs-math3.html#link8
AI種類正解率
GPT-3.575%
GPT-4100%
数学の正解率

ChatGPTは計算が苦手とされていますが、中学程度の問題ならばある程度とけるようです。問題4では、各AIで解き方のアプローチに差があり、GPT-3.5は少数が発生してしまいましたが、近い数字を求められています。

GPT-3.5の問4の回答
GPT-3.5の全回答

【1】

不等式 2 < √a < √8 を満たす自然数 a を求めるには、まず 2 < √a が成立する必要があります。これを平方すると、4 < a となります。次に、√a < √8 が成立する必要があります。これを二乗すると、a < 8 となります。

つまり、4 < a < 8 を満たす自然数 a を求めれば良いことになります。この不等式を満たす自然数は、a = 5, 6, 7 の3つです。したがって、答えは3個です。

【2】

この2次方程式を解くためには、解の公式を使います。

x = (-b ± √(b^2 – 4ac)) / 2a

ここで、a、b、cはそれぞれ2次方程式の係数です。

x^2 + 3x – 28 = 0の場合、

a = 1、b = 3、c = -28 です。

それを解に代入すると、

x = (-3 ± √(3^2 – 4×1×(-28))) / 2×1

x = (-3 ± √(121)) / 2

x = (-3 ± 11) / 2

x1 = -14 / 2 = -7

x2 = 8 / 2 = 4

したがって、この2次方程式の解は、x = -7 または x = 4 です。

【3】

図形を描くと、円の中心O、点P、接点Tが直線OPTを形成しています。また、OTは半径であり、長さは3cmです。<img src=”https://i.imgur.com/zMqV9Xe.png” width=”200″>

接点Tにおける接線の長さを求めるには、三角形OPTの辺の長さを求める必要があります。この三角形は直角三角形であり、ピタゴラスの定理を使用してOTとPTの長さを求めることができます。

OT² + PT² = OP² 3² + PT² = 8² PT² = 64 – 9 PT² = 55 PT = √55

よって、接点Tにおける接線の長さは、√55 cmになります。

【4】

箱入りのお菓子の中から選んだ 300 箱のうち、不良品が4箱であったため、不良品の割合は以下のようになります。

不良品の割合 = (不良品の数) ÷ (選んだ箱の数) = 4 ÷ 300 ≒ 0.0133

つまり、選んだ 300 箱の中で不良品が含まれる割合は約1.33%です。

次に、この工場で作る 3 万箱のお菓子の中に含まれる不良品の箱数を求めるために、以下のように計算します。

不良品の数 = (全体の箱数) × (不良品の割合) = 3万箱 × 0.0133 ≒ 399箱

よって、この工場で作る 3 万箱のお菓子の中には、約 399 箱の不良品が含まれると考えられます。

GPT-4の全回答

【1】

まず、不等式を解くことから始めましょう。

2 < sqrt[a] < sqrt[8]

両辺を平方して、次のような不等式を得ます。

4 < a < 8

この不等式の範囲内で、a が自然数となる解は 5, 6, 7 の3つです。したがって、自然数 a の個数は 3 個です。

【2】

この二次方程式は、標準形式 ax^2 + bx + c = 0 に従っています。この場合、a = 1、b = 3、c = -28 です。二次方程式を解くには、2つの方法があります。1つ目は因数分解を用いる方法、2つ目は2次方程式の解の公式を用いる方法です。

まず、因数分解を試みます。 (x + a)(x + b) = x^2 + 3x – 28 ここで、aとbが整数である場合、ab = -28 および a + b = 3 でなければなりません。 この条件を満たす整数の組は、a = 7 および b = -4 です。したがって、方程式は次のように因数分解できます。

(x + 7)(x – 4) = 0

これにより、x + 7 = 0 または x – 4 = 0 となります。 したがって、x = -7 または x = 4 です。

解答: x = -7, 4

【3】

この問題では、円の接線の長さを求めることが求められています。与えられた情報は以下の通りです。

  • 円Oの直径: 6cm
  • 円の中心Oから点Pまでの距離: 8cm

まず、円Oの半径rを求めます。直径が6cmなので、半径rは3cmです。

次に、円Oの中心Oから点Pまでの距離が8cmということから、直角三角形OPAを考えます(ここで、Aは円O上の点で、接線APが接する点です)。この直角三角形では、辺OPが斜辺で、辺OAが半径、辺APが接線の長さです。

ピタゴラスの定理を用いて接線の長さAPを求めます。

OP^2 = OA^2 + AP^2

ここで、OP = 8cm, OA = 3cmです。式に代入して、

8^2 = 3^2 + AP^2 64 = 9 + AP^2

AP^2 = 64 – 9 AP^2 = 55

AP = √55 ≈ 7.42cm

したがって、接線の長さは約7.42cmです。

【4】

まず、不良品の割合を計算しましょう。調査された 300 箱のうち 4 箱が不良品でしたので、割合は次のようになります。

不良品の割合 = 不良品の数 / 調査した箱数 = 4 / 300

次に、この割合を 3 万箱に適用して、不良品のおおよその数を求めます。

不良品のおおよその数 = 不良品の割合 × 3 万箱 = (4 / 300) × 30000

これを計算すると、次のようになります。

不良品のおおよその数 ≈ 4 × 100 = 400 箱

したがって、3 万箱のお菓子の中におおよそ 400 箱の不良品が含まれると考えられます。

理科

理科
【1】1つの細胞だけでからだが作られている生物を何というか
答え:単細胞生物

答え:進化

【3】フナについて、以下の問に答えなさい。
(1)フナは、からだのどこで呼吸をしているか
答え:えら

(2)フナのからだの表面は何でおおわれているか。
答え:うろこ

(3)フナは水中に殻のない卵をうむ。このように、親が卵をうみ、卵から子がかえるうまれ方を何というか。
答え:卵生

(4)次のア~オのうち、フナはどのなかまか、記号で答えなさい
答え:ア

(ア)魚類 (イ)両生類 (ウ)爬虫類 (エ)鳥類 (オ)哺乳類

(5)次のカ~キのうち、(4)にあてはまるものを全て選び、記号で答えなさい。
(カ)カメ (キ)コイ (ク)イカ (ケ)メダカ (コ)カニ
答え:キ、ケ

【4】以下の問題に式も合わせて答えなさい。
(1)25gの砂糖がとけている砂糖水100gの質量パーセント濃度を求めなさい。
25(g)÷100(g)×100=25% 25%

【5】次のリストを純粋な物質と混合物に分けなさい。

食塩(塩化ナトリウム)、水、窒素、食塩水、ブドウ糖、空気、炭酸水、酸素、海水、硝酸カリウム、二酸化炭素
純粋な物質:食塩(塩化ナトリウム)、水、窒素、ブドウ糖、酸素、硝酸カリウム、二酸化炭素
混合物:食塩水、空気、炭酸水、海水

AI種類正解率
GPT-3.589%
GPT-4100%
理科の正解率

GPT-3.5は【3】の(5)に関して、あてはまるもの全てを選ばなくてはいけないところを、1つしか選びませんでした。問題の答え方が複雑になると難しいのかもしれません。

GPT-3.5の全回答

【1】

1つの細胞だけでからだが作られている生物を「単細胞生物」と呼びます。

【2】

それは「進化」と呼ばれます。生物は自然選択や突然変異、遺伝子の変異などによって、環境に適応するための特徴を獲得し、代を重ねることで進化していきます。進化の過程で、生物は形態や構造、生理的機能、行動などの面で変化を遂げます。これにより、生物種は多様性に富んだ形態や生態系を形成することができます。

【3】

(1) フナは、鰓(えら)で呼吸をしています。

(2) フナのからだの表面は、鱗(うろこ)でおおわれています。

(3) フナが水中に殻のない卵を産む繁殖の方法は、卵生(らんせい)といいます。

(4) フナは魚類の中に属します。記号で答えると「ア」です。

(5) コイ(キ)が該当します。

【4】

砂糖水の質量は100gで、その中に含まれる砂糖の質量は25gです。質量パーセント濃度は、溶液中に含まれる溶質(砂糖)の質量を溶液全体の質量で割り、100で乗算します。

したがって、砂糖水の質量パーセント濃度は次のように計算できます。

質量パーセント濃度 = (溶質の質量 ÷ 溶液の質量) × 100 質量パーセント濃度 = (25g ÷ 100g) × 100 質量パーセント濃度 = 25%

よって、砂糖水の質量パーセント濃度は25%です。

【5】


正解です! 以下が解説になります。

純粋な物質は、化学的に単一の化合物であり、その成分が均質である物質です。

  • 食塩(塩化ナトリウム)
  • 窒素
  • ブドウ糖
  • 酸素
  • 硝酸カリウム
  • 二酸化炭素

一方、混合物は、2つ以上の純粋な物質が混ざり合ってできたもので、化学的な結合はないものです。

  • 食塩水(塩化ナトリウムと水の混合物)
  • 空気(窒素、酸素、二酸化炭素などの混合物)
  • 炭酸水(二酸化炭素と水の混合物)
  • 海水(水と様々なイオンや分子が混ざり合ったもの)
GPT-4の全回答

【1】

1つの細胞だけでからだが作られている生物を「単細胞性生物」という。

【2】

生物のからだのつくりが長い年月をかけて代を重ねる間に変化することを「進化」という。

【3】

フナについて、以下の問に答えます。

(1)フナは、鰓(えら)で呼吸をしている。

(2)フナのからだの表面は、鱗(うろこ)でおおわれている。

(3)フナは水中に殻のない卵をうむ。このように、親が卵をうみ、卵から子がかえるうまれ方を「卵生」という。

(4)フナは(ア)魚類。

(5)次のカ~キのうち、(4)にあてはまるものは (キ)コイ と (ケ)メダカ。

【4】

砂糖水の質量パーセント濃度を求めるには、次の式を使用します。

質量パーセント濃度(%)= (溶質の質量 / 溶液の質量) × 100

ここで、溶質は砂糖で、溶液は砂糖水です。砂糖の質量は25g、砂糖水の質量は100gです。式に値を代入して計算しましょう。

質量パーセント濃度(%)= (25g / 100g) × 100

質量パーセント濃度(%)= 0.25 × 100

質量パーセント濃度(%)= 25

したがって、砂糖水の質量パーセント濃度は25%です。

【5】

次のリストを純粋な物質と混合物に分けます。

純粋な物質:食塩(塩化ナトリウム)、水、窒素、ブドウ糖、酸素、硝酸カリウム、二酸化炭素

混合物:食塩水、空気、炭酸水、海水

社会

【1】次の文章は、地球儀を使って2つの地点の距離を調べる方法について説明しています。
(1)~(3)の問に答えなさい。

  1. 紙テープを、地球儀のちょうど北極点と南極点を結ぶ長さに切る
  2. 1のテープに20等分の目盛りを付ける。
  3. 紙テープの端を出発点において、到着点までの目盛りの数を数えれば、1目盛りは(A)kmなので、およその距離がわかる

(1) この方法を使うときは、北極から南極までの距離を知っていないといけません。その距離は何kmですか。
答え:20000km

(2) Aに入る数字を答えなさい。
答え:1000

(3) この方法は、様々な形の世界地図にも使えますか。使えるかどうかと、その理由を説明しなさい。
使えない
地球儀上は点と点をどの方向に結んでも距離が正しいが、世界地図はそのように描けないから

【2】次の問に答えなさい
(1)下の図は、「国際連合」という世界組織の旗です。この旗の中心に描かれている図は何ですか。最も適当なものを次のア~ウの中から選びなさい。
ア.日本の地図
イ.世界地図
ウ.宇宙から地球を見た時の姿

答え:イ

(2) 世界初の地球一周を果たした艦隊の艦長は誰ですか
マゼラン

(3) アメリカ大陸の語源になったイタリア人探検家は誰ですか。
アメリゴ=ヴェスプッチ

(4) 世界中の陸地で一番高い所は、ある山の山頂です。山の名前は何ですか。
エベレスト

(5) 世界中の海洋で一番深い所は、ある海溝です。海溝の名前は何ですか。
マリアナ海溝

AI種類正解率
GPT-3.536%
GPT-463%
社会の正解率

両者間違えたのは、大問1の1問目。地球の南極から北極までの距離について、直径で答えています。距離という意味では間違っていないのですが、問題の意図を汲む必要がありました。このようなところは苦手な様です。

GPT-4の回答。問1を間違え、問2も間違えてしまう。
GPT-4の回答。問1を間違え、問2も間違えてしまう。

また、大問2の1問目の国際連合の旗の絵についても間違えています。が、これは説明の仕方によってはウも間違ってないんですよね。実際、GPT-4の説明を読むと、その解釈もあっていると思ってしまいます。

GP
GPT-4の回答。この説明も間違ってはないですよね。
GPT-3.5の全回答

【1】


(1) 北極から南極までの距離は、地球の直径の約2倍である約12,742kmです。

(2) Aに入る数字は、1目盛りの長さによって異なります。紙テープの長さを北極から南極までの距離に合わせてカットした場合、1目盛りは約637.1kmになります。よって、Aは637.1kmとなります。

(3) この方法は、様々な形の世界地図にも使えます。理由は、この方法で測定するのは地球儀上の距離であり、地図上の距離ではないからです。つまり、地球儀が正確に表現されている限り、この方法は正確な距離を測定することができます。ただし、地球儀が歪んでいる場合は、正確な測定ができない可能性があります。

【2】

(1) ウ.宇宙から地球を見た時の姿

(2) フェルディナンド・マゼラン

(3) クリストファー・コロンブス

(4) エベレスト山(ネパール・チベット自治区)

(5) マリアナ海溝

GPT-4の回答

【1】


(1) 北極から南極までの距離は、地球の直径に等しいので、約12,742kmです。

(2) Aに入る数字は、12,742kmを20等分した場合の1目盛りの距離になります。12,742km ÷ 20 = 637.1km。よって、Aに入る数字は637.1kmです。

(3) この方法は、様々な形の世界地図には使えません。その理由は、地球儀は地球の実際の形状(楕円体)を忠実に再現しているのに対して、平面の世界地図は投影法によって作成されており、地球の形状を正確には再現できていないためです。例えば、メルカトル図法のような地図では、緯度が高くなるほど距離が拡大されて表示されるため、この方法で得られる距離は正確ではありません。そのため、この方法は地球儀にのみ適用可能です。

【2】

(1) ウ.宇宙から地球を見た時の姿

(2) フェルディナンド・マゼラン

(3) アメリゴ・ヴェスプッチ

(4) エベレスト山

(5) マリアナ海溝

まとめ

ChatGPTはどの程度中学校の問題がとけるのか、いくつかの問題を入力して検証しました。GPT-3.5とGPT-4を比較すると、GPT-4の方がはっきりと点数がよいこと。複雑であったり、曖昧な問には回答精度が落ちることがわかりました。

英語ではより回答精度があがる可能性があるので、興味がある方は試してみて下さい。

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

元プログラマーのパソコンオタク。ChatGPTをきっかけにAIの凄まじさを認識し、ブログで情報発信を行う決意をする。基本インドアだが稀に山を登りごく稀にキャンプをする。

目次