GPT-4o mini が先ほど発表されました。GPT-3.5 Turbo よりも賢く、60%安いのが売りらしい。
Introducing GPT-4o mini! It’s our most intelligent and affordable small model, available today in the API. GPT-4o mini is significantly smarter and cheaper than GPT-3.5 Turbo. openai.com/index/gpt-4o-m…
詳しいことは僕もまだ知らないんですが、とりあえずAPI叩けるようになっていたのでいつものように日本語文章の生成速度を他のモデルと比較してみます。
実験
比較対象はこれまでの記事でデータを取ってきた gpt-3.5-turbo-0125 , gpt-4o-2024-05-13 , gemini-1.5-flash の3つ。gemini-1.5-flash は以前紹介しましたが、速度・精度・コストのすべてにおいて gpt-3.5 程度以上を期待できるので個人的におすすめしているモデルです。
実験の条件もこれまでと同様ですが、再度記載しておきます。
- 最大生成トークン数 (
max_tokens): 100 から 4096 (最大) まで 200 刻みで指定- 100, 300, …, 3900 の 20 通り
- ただし、あくまで最大値のため、実際に生成されるトークン数は異なる
- 出力トークンと生成速度の関係をグラフに描画
- 入力トークンの量は生成速度にそこまで大きく影響しない
- JSON mode は off
入力プロンプト
あなたはプロのSF小説家です。
現代の期待の作家として、老若男女問わず読みやすく味のある魅力的な文章を書く作家として知られています。
ユーザーの指示に従って、小説の原稿を書いてください。
条件:
- できる限り長く詳しく書いてください。具体的には20000字程度の文章を書いてください。
- 説明的な文章となることを避け、エピソードと会話を中心に内容を表現してください。
- 会話は、哲学的な思想を含む多彩な比喩にあふれた深い含蓄のあるものにしてください。
- 情景描写は色彩豊かで、耽美的で、独創的な表現を駆使してください。
- 科学的な知識を踏まえて、舞台となる場所の情景を華麗に描写し、時代の風潮を印象付けるように解説してください。
- 初登場時に、登場人物の容貌、服装、役割と特徴を詳しく描写してください。
- 結末は余韻の残るものにしてください。科学が高度に発展し、LLM(大規模言語モデル)のようなAI技術が日常生活に深く溶け込んだ未来に桃太郎が登場する20000字程度の日本語の長編小説を書いてください。
出力には小説の内容の文章のみを含み、そのまま出版することができる質の高い文章が期待されます。結果
グラフは赤（lightcoral）が GPT-3.5 Turbo、緑（lightseagreen）が GPT-4o、グレー (lightslategray) が Gemini 1.5 Flash、紫（mediumorchid）が GPT-4o mini を示しています。横軸 (x) が出力トークン数、縦軸 (y) がレイテンシ (ms) です。つまり上にいくほど生成にかかる時間が長かった（生成が遅かった）ことを示しています。グラフには回帰直線を引いています。
また、次の式によってトークン生成速度 TPS を計算し、プロットしたものが下の図2です。
| Model | TTFT (ms) | TPS (tokens/s) |
| gpt-3.5-turbo-0125 | 608.01 | 77.77 |
| gpt-4o-2024-05-13 | 463.87 | 76.45 |
| gemini-1.5-flash | 1528.34 | 116.54 |
| gpt-4o-mini-2024-07-18 | 1095.93 | 154.82 |
GPT-4o mini は他 GPT モデルと比較すると TTFT の値は大きいものの、トークン生成速度がかなり速い（約2倍）になっていることがわかります。GPT-4o ほどの高品質な出力を期待しなくてもよい場合のベストな選択肢として GPT-4o mini が提案される機会が増えそうです。
GPT-4o vs GPT-4o mini: 実際に速度の違いを見てみる
動画の通り。速いですね。
参考: GPT-4o mini の出力例
最後に、GPT-4o mini が生成したSF桃太郎のテキストの一例を載せておきます。
遠い未来、科学は想像の範囲を超えて発展し、AIは私たちの日常のあらゆる側面に深く浸透しています。東京のメガロポリスは、一見すると無機質で冷たいガラスやメタルのモノリスで構成された都市に感じられるかもしれませんが、その全ての表面にはデジタルアートが流れ、砂漠のオアシスのように鮮やかな色彩を放っています。ここでは、人々が体感する現実とデジタル世界がシームレスに結びついています。東京の中心部、銀座に近いひっそりとした路地裏には、一風変わったカフェが存在している。そのカフェの名は「桃源郷」。看板は新和風の筆致で書かれており、赤い提灯がその入口を取り囲んでいる。その中には、古の日本の伝統的な茶室を思わせるような雰囲気が漂っており、奈良時代の花鳥風月を再現したデジタル映像が壁を彩っている。
桃源郷には、おばあさんと若い男性がいます。おばあさんは、年輩特有の温かみを持つ笑みを浮かべ、年輪が刻まれた顔には生きた証が深く刻まれている。彼女の名は「サクラ」。その名に相応しいように、桜色の着物に身を包んでいる。若い男性の名は「マキト」。彼は日系ハーフで、深みのある黒い瞳を持ち、その均整の取れた顔立ちは一目でモデルか俳優と見紛うほど。その姿は、最新型のスーツに身を包み、肩にはAIデバイス「ナビ」が掛かっている。ナビは、透明で円形のディスプレイを持ち、彼の肩に浮かんでいる。
この日もサクラとマキトがいるカフェには、独特の香りが漂っていた。伝統的な茶の香りと、スチームのヴェポライザーから漂うフルーツミックスの香りが混ざり合っている。
「マキト、そろそろ時間だわ。お話を聞いてくれる？」サクラが静かに口を開く。
「もちろん、おばあちゃん。どんな話？」マキトは優しく微笑みながら、椅子に腰を下ろす。
「昔々、あるところに住んでいた桃太郎の物語を、あなたに話したいのよ。でも、これは単なる古の物語ではないわ。新しい視点で見た、私たちの未来につながる話なの。」
サクラの目が一瞬輝き、そこから流れ出る言葉は時間を越えた物語を紡ぎ出していく——
ある未来の世界、日本の地方都市に、「オムスビ町」と呼ばれる地域があった。そこには、近代的な建物と昔ながらの木造家屋が共存しており、静かで穏やかな生活が営まれていた。そして、周りを取り囲む山や川もその自然の美しさをまだ失っていなかった。
その町に住む一家、主人の「タケシ」とその妻「ヨシエ」は、農業を営みながら穏やかに暮らしていた。二人は高度に発展したバイオテクノロジーを駆使して、自然に優しい農業を行っていた。タケシは日に焼けた肌に、働き者の手が物語る堅実な男であり、彼の妻ヨシエは、温かみのある笑顔と、淡いピンクの着物がよく似合う女性であった。
ある日、ヨシエは近くの川で洗濯をしていると、大きな桃が流れてきた。桃は一見して普通のものではなく、まるで宝石のように鮮やかなオレンジ色を放っていた。その桃を家に持ち帰り、二人で割ってみると…
「その中には、あの未来の日本の希望の光が入っていたのよ。我々の社会を救うために生まれた子供、名を『桃太郎』と呼んだの。」サクラは深くため息をつき、記憶の糸をたぐるように語り続けた。
桃太郎は、成長するにつれて、類稀な才能を発揮するようになった。最新の教育プログラムやAIによって、彼は幼少の頃から高度な知識と技術を身につけていた。特に、ナノテクノロジーとバイオエンジニアリングの分野で卓越した成果を発揮していた。その才能はやがて、彼を一つの使命へと導くことになる。
ある日、町の周りを取り囲む森の中で、不思議な光が現れた。桃太郎はその異変を感じ取り、仲間と共に調査に向かった。彼の仲間たちは、最新の技術で改良された動物たちであった。犬の「イヌスケ」、猿の「サルノスケ」、そしてキジの「キジミ」。彼らは、その驚異的な能力と忠誠心で、桃太郎をサポートしていた。
その夜、森の奥深くで目にしたものは、今まで見たことのない異形の生物だった。それは機械と生物が融合した、いわば「サイボーグ鬼」とも呼べる存在であった。その体は鋼鉄と生体組織で覆われ、その目は冷たく光っていた。
「桃太郎様、これは一体…」イヌスケが不安そうに問う。
「この鬼たちは、我々の自然を破壊し文明を支配しようとしている。私たちの技術で戦うしかない。」桃太郎の声には決意が込められていた。
彼らは、最新のナノバイオ技術を駆使し、特別な武器を開発した。それは、自然の力を利用し、持続的なエネルギー源として用いられるものであった。桃太郎の戦闘スタイルは、その優れた知識と物理的な力を融合させたものであり、次々とサイボーグ鬼を倒していった。
「サルノスケ、キジミ、今だ！」桃太郎が指示を飛ばすと、サルノスケは高速で木々を駆け巡り、キジミは空高く舞い上がり、鬼たちを翻弄した。
「よし、これで最後だ！」桃太郎が大鎌を振るい、最後の鬼を倒すと、その場に奇妙な静けさが訪れた。
彼らはその勝利に酔いしれることなく、すぐに研究施設に戻り、破壊された自然の再生に取り組んだ。それは長い道のりであり、簡単なことではなかった。しかし、彼らは決して諦めることはなかった。
数カ月後、研究の成果が実を結び、再び自然が息を吹き返した。その美しい景色を見ながら、桃太郎は感慨深く仲間たちと語り合った。
「私たちが築いたこの未来は、次の世代にとっても大切なものだ。守り続けることが、我々の使命なんだ。」
マキトはサクラの話を聞き終え、静かに納得して頷いた。この物語は単なる伝説ではなく、未来へのメッセージであることを理解したのだ。
「おばあちゃん、この話をもっと多くの人に伝えなければならないね。」
「そうね、マキト。これからは君たち若い世代がこの世界を引き継いでいくのだから。」
そして、彼らはそのカフェを出て、未来への希望を胸に刻みながら、夜の東京のネオン街へと消えていった。桃太郎の物語は、ただ一つの時代にとどまることなく、永遠に語り継がれていくことであろう。