skip to content
Site header image satoooh.org

GPT-4くんの出力が途中で止まる基準がよくわからない

token数の上限かと思ったけどそんなに長くない出力でも止まるんだよな…


ℹ️
多分終了記号を出力したら終了扱いだから、そこに行き着いちゃうのかな?

token数の上限かと思ったけどそんなに長くない出力でも止まるんだよな…

GPT-4 くんの思考時間が長い(筆の進みが遅い)と途中で止まるイメージ。

ただ、技術的に何が原因で思考時間が長くなるのかよくわからないし、同じようなことを出力させようとしても筆の進みが速いとき遅いときがある。

実は、世界には秘密に育てられた超エリート人材がいて、LLM の正体はエリート人材だった説。体調が良くなかったり頭の回転が悪いときは筆の進みが遅くて、面倒になって途中で出力をやめてしまうのかもしれない。

そんなことを考えていたら今日も何度も制限に引っかかる。

制限が厳しすぎて、 $20 を支払ったのが嘘みたいです。