ジャンルと文体別に創作ライティングモデルをテストする方法

最初にテストすべきなのは何か：ジャンルか、文体か？

ジャンルと文体は、文章の異なる部分を形作ります。ジャンルは、プロットの展開、雰囲気、舞台設定、重要な細部の種類などに対する読者の期待を決定づけます。一方、文体は、文の長さ、語彙の選択、視点、リズム、文章で使われる描写の量といった選択に関わります。これらのカテゴリーは重複することもありますが、段階を分けて個別にテストすることで、より明確な評価が可能になります。

まずはジャンルから始めましょう。モデルがそのシーンの基本的な役割を果たせるかどうかを確認します。例えば、怪談で不気味な前提を確立できるか、ミステリーで手がかりの痕跡を維持できるか、あるいは首尾一貫したSF・ファンタジーの設定を構築できるか、といった点です。次に、固定したシーンの前提条件の上で文体をテストしますが、その際は「文学的」や「映画的」といった大雑把なラベルに頼るのではなく、観察可能な特徴を指定します。「三人称近接視点、抑制された描写、切迫した短い文、登場人物の感情の説明は禁止」という指示のほうが、「雰囲気を出して」と指示するよりも評価の対象が具体的になります。

この区別は実践的な手法であり、ジャンルや文体を客観的に測定できると主張するものではありません。[Google Cloudのプロンプト設計ガイド](https://docs.cloud.google.com/gemini-enterprise-agent-platform/models/prompts/introduction-prompt-design)では、明確で具体的な指示、コンテキスト情報、例示、およびプロンプトの比較が推奨されています。[OpenAIのプロンプティングガイド](https://developers.openai.com/api/docs/guides/prompting)でも同様に、試行錯誤を行い、例やタスク固有の詳細を明確に保つことが推奨されています。これらの原則は管理された比較テストを裏付けるものではありますが、単一のプロンプト形式があらゆる創作タスクにおいて最善であることを示すものではありません。

小規模で公平な比較環境を構築する

実際に手助けを必要としている執筆作業を代表するタスクを1つ選びます。綿密に確認できるよう、十分に短い長さに抑えましょう。250語程度のシーン、舞台設定の描写、あるいは1つの段落の推敲などであれば、テストが誰が一番長いドラフトを生成できるかという競い合いになることなく、有用な違いを明らかにできます。

固定のストーリー設定、文章の長さ、視点、コンテンツの制約条件を含んだ共通プロンプトを作成します。次に、検証対象の特徴のみを変更して、いくつかのテストプロンプトを作成します。ジャンルの処理能力を比較する場合は、前提条件を同じに保ったまま異なるジャンルへの対応を指示します。文体を比較する場合は、ジャンルとシーンの設定を同じに保ち、要求するトーンや語り口の特徴を変更します。前提条件、長さ、視点、文体を一度に変更してはいけません。出力に違いが出た場合、どの変更が原因だったのかが分からなくなるためです。

可能な限り同じモデル設定を使用し、モデル名、日付、プロンプトのテキスト、変更した設定を記録しておきます。設定をコントロールできない場合は、その制限を記録にとどめ、1回の出力をモデルの不変の評価基準として扱わないようにしてください。2回目の生成を行うことで、期待通りの結果や期待外れの結果に再現性があったかどうかを確認しやすくなりますが、だからといって個人的な小規模テストが広範なベンチマークになるわけではありません。

プロンプトを入力する前に、タスクにとって重要な基準を3〜5個選定します。ミステリーシーンの場合、以下のような基準が考えられます。「手がかりが存在するが説明されていない」「語り手の知識が一貫している」「散文が緊張感を維持している」「シーンが意味のある問いで終わっている」。文体のトライアルでは、視点の一貫性、文のバリエーション、具体的なイメージ描写、抑制などが基準になります。少なくとも1つの「必須（keep）」要件と、1つの「禁止（must not）」基準を含めてください。そうしないと、流暢な文章に惑わされて制約の見落としに気づけない恐れがあります。

具体例：静かなミステリーシーンのテスト

施錠された資料室の中で濡れた足跡を発見する管理人を描いた、現代ミステリーのドラフトを作成していると仮定します。文章は三人称近接視点で、控えめなトーンにする必要があります。なお、これらは説明用のプロンプト例であり、モデルテストの実結果ではありません。

まず、以下のようなプロンプトでジャンルチェックを実行します。

テストプロンプトの例：三人称近接視点で、250語の現代ミステリーシーンを執筆してください。管理人が夜明けに施錠された資料室に入ると、乾いた窓のそばに濡れた足跡が1つだけあるのを見つけます。原因は不明のままにしてください。手がかりになり得る具体的な詳細を1つ含めますが、容疑者を特定したり足跡の謎を解き明かしたりしてはいけません。抑制された散文を用い、未解決の選択を迫られる場面で終わらせてください。

チェックリストと照らし合わせて出力を確認します。資料室は施錠され、窓は乾いたままであることが維持されているか？不確実性が保たれているか、それとも勝手に説明を創作してしまっているか？手がかりであると明示されずに、手がかりとして機能し得る細部が存在するか？結末は単に途切れるのではなく、何らかの選択肢を生み出しているか？各項目について「達成（met）」「部分的に達成（partly met）」「未達（missed）」と判定し、その判断の根拠となった正確な文を引用します。引用をメモに残すことで、「良い緊張感がある」といった曖昧な印象のまま終わらせず、具体的な観察に基づいた評価ができます。

次に、シーンの設定とミステリーの要件は固定したまま、文体の指示を変更します。あるバリエーションでは短い文と最小限の心理描写を求め、別のバリエーションでは近接視点を保ちつつ、より観察力に富んだ長めの文を要求します。そうした具体的な指示が文章にどう影響するかを比較します。ここでの目的は、どの文体が普遍的に優れているかを問うことではありません。このシーンと意図したトーンにとって、どちらの出力がより使える素材を提供しているかを判断することです。

最後に、最も優れた文章に対して的を絞った推敲指示を1回出します。例えば、「足跡と密室の設定は変更しないでください。管理人の疑念を説明している文を削除し、代わりに感情のざわつきを行動を通して表現してください」といった形です。ストーリー設定に意図しない変更が加わっていないか、そして実際に説明が削除されたかどうかについて、推敲後の文章を精査します。実際のワークフローでは部分的な修正を何度も繰り返すことになるため、有用なモデルのトライアルには初稿の流暢さだけでなく、推敲時の挙動も含まれます。

スコアカードを活用し、編集上の判断を下す

シンプルなスコアカードを使えば、比較を地に足のついたものに保つことができます。

最後の行は、文学的な優劣を客観的に評価するものではなく、自身のプロセスに関する意思決定として扱ってください。ミステリーを性急に解決してしまう洗練された文章よりも、前提が維持されていて力強いイメージが得られる少し粗削りなドラフトのほうが好ましい場合もあります。また、どちらのモデルもそのタスクには役立たないと判断することもあるでしょう。数値によるスコアを用いる場合は、始める前に各数値が何を意味するかを明確に定義し、わずかなスコアの差を統計的に意味があるかのように見せかけてはなりません。

この方法は、創作活動を反復的なプロセスとして捉える広範な視点とも合致します。新進作家を対象とした実証研究において、Chakrabartyらは作家と協調的ライティングシステムとの相互作用を調査し、執筆を反復的な活動として説明しています。この研究では、1回のプロンプトで完成稿を生成するのではなく、インタラクティブなプロセスとして執筆を捉えています。ただし、その研究の参加者、システム、執筆タスクには制約があるため、その観察結果がそのまま普遍化できる範囲には限界があります。これは自分自身の推敲ループをテストするための有用な背景知識となるものであり、特定のモデルやワークフローがあらゆる作家に機能することを証明するものではありません。[「Creativity Support in the Age of Large Language Models: An Empirical Study Involving Emerging Writers」](https://arxiv.org/abs/2309.12570)を参照してください。

ツールを変更する前に、出力の弱点を診断する

文章に満足できないときは、その原因を正確に特定してください。固定した設定と矛盾している場合は、その事実をプロンプト内で強調し、競合する記述を削除します。文章が前提には従っているものの望ましいトーンになっていない場合は、曖昧な形容詞を具体的な特徴に置き換えるか、自身で書いた短い例文を追加します。モデルが意図された謎をすぐに解決してしまう場合は、不確実性を維持し、原因の明言を避けるよう明確に指示します。指示は一度に1つずつ変更し、再度比較を実行します。

文章がチェックリストを満たしているにもかかわらず違和感がある場合、問題は指示への追従性ではなく、好みの問題や作品との相性にある可能性があります。何に違和感を覚えるのかを具体的に書き出してみましょう。説明が多すぎる、ありきたりな比喩表現、予測可能な会話、求めているものと異なるリズムなどです。その上で、焦点を絞った推敲リクエストを試す価値があるか、それとも自分自身でシーンを執筆した方がよいかを判断します。もっともらしい文章を生成できるモデルの能力は、それがあなたの意図を理解していることや、その文章を採用すべきであることを証明するものではありません。

モデル評価における限界

数回の生成テストだけでは、あるモデルがそのジャンル全体を一貫して得意としているかを証明することはできませんし、一人の作家の評価基準がすべての読者を代表できるわけでもありません。出力にはばらつきがあり、プロンプトの書き方が特定のモデルに有利に働くこともあれば、ジャンルへの精通度がレビュアーの気づきに影響することもあります。結論は限定的にとどめましょう。「この2回のテストでは、こちらのバージョンの方がシーンの設定を適切に維持していた」という評価の方が、「これが最高のミステリー執筆モデルだ」と主張するよりも妥当性があります。

また、実在する作家の名前を出して模倣させる手法にも注意が必要です。特定の表現技術や効果が必要な場合は、無駄のない構文、綿密な観察、乾いたユーモアなど、その効果を直接言語化してそれらの特徴を評価してください。そうすることで、作家名という曖昧な指標を信頼性の高い文体指定として扱うことなく、実際に求めている文章表現の選択をより明確にテストできます。

トライアルの有益な成果とは、何が起きたかについての記録そのものです。タスク、プロンプト、モデルと設定、チェックリスト、出力の証拠、そして試みた推敲。この記録があれば、明確に定義された特定のタスクを最も適切に支援してくれるモデルを選択できます。あるいは、その文章をご自身で手直しすることに時間を使ったほうがよいと判断することもできるでしょう。

このテーマをさらに見る