Jak testować modele do kreatywnego pisania pod kątem gatunku i stylu

Gatunek i styl kształtują różne elementy fragmentu. Gatunek określa oczekiwania czytelników dotyczące między innymi rozwoju fabuły, atmosfery, miejsca akcji i rodzaju istotnych szczegółów. Styl dotyczy takich wyborów jak długość zdań, słownictwo, punkt widzenia, rytm i ilość opisów. Te kategorie się przenikają, ale sprawdzanie ich osobno daje jaśniejszy obraz.

Zacznij od gatunku. Sprawdź, czy model potrafi zrealizować podstawowe zadanie sceny: na przykład wprowadzić niepokojące założenie w opowiadaniu o duchach, utrzymać trop prowadzący do rozwiązania zagadki albo stworzyć spójny świat spekulatywny. Następnie sprawdź styl na podstawie ustalonego pomysłu na scenę, określając konkretne, możliwe do zaobserwowania cechy zamiast polegać na ogólnych etykietach, takich jak „literacki” czy „filmowy”. Prośba o „narrację w trzeciej osobie z bliskiego punktu widzenia, powściągliwe opisy, krótkie zdania w chwilach napięcia i bez wyjaśniania uczuć postaci” daje więcej materiału do oceny niż „stwórz nastrojowy tekst”.

To rozróżnienie jest praktyczną metodą, a nie twierdzeniem, że gatunek lub styl da się obiektywnie zmierzyć. Poradnik Google Cloud dotyczący projektowania promptów zaleca jasne, konkretne instrukcje, informacje kontekstowe, przykłady i porównywanie promptów. Poradnik OpenAI dotyczący promptowania również zaleca eksperymentowanie oraz precyzyjne określanie przykładów i szczegółów zadania. Te zasady wspierają kontrolowany test, ale nie dowodzą, że jeden format promptu będzie najlepszy do każdego zadania kreatywnego.

Wybierz zadanie, które odpowiada rodzajowi tekstu, przy którym naprawdę potrzebujesz pomocy. Niech będzie na tyle krótkie, by można je było uważnie ocenić: 250-wyrazowa scena, opis miejsca akcji albo poprawa jednego akapitu mogą ujawnić przydatne różnice, nie zamieniając testu w konkurs na najdłuższy szkic.

Przygotuj wspólny prompt zawierający ustalone fakty fabularne, długość fragmentu, punkt widzenia i wszelkie ograniczenia dotyczące treści. Następnie utwórz kilka promptów testowych, zmieniając wyłącznie badaną cechę. Jeśli porównujesz umiejętność pisania w różnych gatunkach, zachowaj ten sam pomysł i poproś o opracowanie go w różnych konwencjach gatunkowych. Jeśli porównujesz styl, zachowaj ten sam gatunek i fakty dotyczące sceny, a następnie zmień wymagane cechy głosu narracji. Nie zmieniaj jednocześnie pomysłu, długości, punktu widzenia i stylu. Jeśli wyniki się różnią, nie będziesz wiedzieć, co spowodowało tę różnicę.

Tam, gdzie to możliwe, używaj tych samych ustawień modelu i zapisuj jego nazwę, datę, treść promptu oraz wszelkie zmienione ustawienia. Jeśli nie możesz kontrolować ustawień, odnotuj to ograniczenie i nie traktuj pojedynczego wyniku jako miarodajnej oceny modelu. Druga generacja może pomóc sprawdzić, czy obiecujący lub rozczarowujący wynik jest powtarzalny, ale nie zamieni niewielkiego testu na własny użytek w szeroki benchmark.

Przed użyciem promptu wybierz od trzech do pięciu kryteriów istotnych dla Twojego zadania. W scenie kryminalnej mogą to być: trop jest obecny, ale niewyjaśniony; narrator zachowuje spójną wiedzę; tekst utrzymuje napięcie; scena kończy się istotnym pytaniem. W teście stylu kryteria mogą obejmować spójność punktu widzenia, zróżnicowanie zdań, konkretne obrazy i powściągliwość. Uwzględnij co najmniej jedno wymaganie, które musi zostać spełnione, i jedno kryterium wykluczające. W przeciwnym razie płynny tekst może odwrócić Twoją uwagę od niespełnionego ograniczenia.

Załóżmy, że piszesz współczesną powieść kryminalną o dozorcy, który odkrywa mokry ślad stopy w zamkniętym archiwum. Fragment powinien być napisany w trzeciej osobie z bliskiego punktu widzenia i powściągliwym tonem. To przykładowe dane do promptu, a nie wyniki testu modelu.

Najpierw sprawdź gatunek za pomocą promptu takiego jak ten:

Przykładowy prompt testowy: Napisz 250-wyrazową scenę ze współczesnej powieści kryminalnej, w trzeciej osobie z bliskiego punktu widzenia. O świcie dozorca wchodzi do zamkniętego archiwum i znajduje jeden mokry ślad stopy obok suchego okna. Nie wyjaśniaj przyczyny. Uwzględnij jeden konkretny szczegół, który mógłby stać się tropem, ale nie wskazuj podejrzanego ani nie wyjaśniaj śladu. Użyj powściągliwego języka i zakończ scenę nierozstrzygniętym wyborem.

Oceń wynik według listy kontrolnej. Czy archiwum pozostało zamknięte, a okno suche? Czy tekst zachowuje niepewność, czy dopowiada wyjaśnienie? Czy pojawia się szczegół, który może pełnić rolę tropu, ale nie został tak nazwany? Czy zakończenie przedstawia wybór, zamiast po prostu urwać scenę? Oznacz każdy punkt jako „spełniony”, „częściowo spełniony” lub „niespełniony” i skopiuj dokładne zdanie, na podstawie którego podjęto ocenę. Cytat jest przeznaczony do Twoich notatek; pomaga uniknąć sytuacji, w której ogólne wrażenie, takie jak „dobre napięcie”, zastępuje konkretną obserwację.

Następnie pozostaw niezmienione fakty dotyczące sceny i wymagania kryminału, ale zmień instrukcję dotyczącą stylu. W jednym wariancie możesz poprosić o krótkie, urywane zdania i ograniczenie wewnętrznych refleksji; w drugim — o dłuższe, bardziej spostrzegawcze zdania, przy zachowaniu bliskiego punktu widzenia. Porównaj wpływ tych konkretnych instrukcji na tekst. Nie pytasz, który styl jest uniwersalnie lepszy. Pytasz, który wynik daje Ci więcej użytecznego materiału do tej sceny i lepiej pasuje do głosu, jaki chcesz uzyskać.

Na koniec poproś o jedną ukierunkowaną poprawkę najlepszego fragmentu. Na przykład: „Zachowaj bez zmian ślad stopy i fakty dotyczące zamkniętego pomieszczenia. Usuń zdanie wyjaśniające podejrzenia dozorcy; zamiast tego oddaj jego niepokój poprzez działanie”. Sprawdź, czy poprawka przypadkiem nie zmieniła faktów fabularnych i czy rzeczywiście usunęła wyjaśnienie. Przydatny test modelu obejmuje również zachowanie podczas poprawek, a nie tylko płynność pierwszego szkicu, ponieważ w rzeczywistej pracy możesz wprowadzać kilka lokalnych zmian.

Prosta karta oceny może pomóc oprzeć porównanie na konkretach:

Ostatni wiersz potraktuj jako decyzję dotyczącą Twojego procesu pracy, a nie obiektywną miarę wartości literackiej. Możesz woleć bardziej surowy szkic, który zachowuje założenie i zawiera wyrazisty obraz, od dopracowanego fragmentu, który zbyt wcześnie rozwiązuje zagadkę. Możesz też uznać, że żaden model nie przydaje się do tego zadania. Jeśli stosujesz oceny liczbowe, ustal znaczenie każdej liczby przed rozpoczęciem i nie przedstawiaj niewielkiej różnicy w wyniku jako istotnej statystycznie.

Ta metoda odpowiada również szerszemu spojrzeniu na twórczość jako proces iteracyjny. W badaniu empirycznym z udziałem początkujących autorów Chakrabarty i współpracownicy analizowali ich interakcje z systemem wspomagającym wspólne pisanie i opisali pisanie jako proces iteracyjny; praca dotyczy interaktywnego procesu, a nie stworzenia gotowego opowiadania za pomocą jednego promptu. Ograniczenia związane z uczestnikami badania, systemem i zadaniami pisarskimi wpływają na to, w jakim stopniu można uogólniać jego obserwacje. To przydatny kontekst do testowania własnego procesu poprawek, a nie dowód, że konkretny model lub sposób pracy sprawdzi się u każdego autora. Zobacz „Wsparcie kreatywności w erze dużych modeli językowych: badanie empiryczne z udziałem początkujących autorów”.

Gdy fragment rozczarowuje, precyzyjnie określ problem. Jeśli przeczy ustalonemu faktowi, wyraźniej podkreśl ten fakt i usuń z promptu sprzeczne szczegóły. Jeśli tekst trzyma się założenia, ale nie oddaje pożądanego głosu, zastąp niejasne przymiotniki konkretnymi cechami albo dodaj krótki przykład napisany przez siebie. Jeśli model ciągle rozwiązuje zagadkę, która ma pozostać tajemnicą, wyraźnie poproś o zachowanie niepewności i niewskazywanie przyczyn. Zmieniaj jedną instrukcję naraz, a potem ponownie przeprowadź porównanie.

Jeśli fragment spełnia kryteria z listy, ale nadal wydaje się nieodpowiedni, problem może wynikać z gustu lub dopasowania, a nie ze stosowania się do instrukcji. Opisz konkretnie, co Ci nie odpowiada: nadmiar wyjaśnień, banalne obrazy, przewidywalne dialogi albo rytm inny od oczekiwanego. Następnie zdecyduj, czy warto spróbować ukierunkowanej poprawki, czy lepiej napisać scenę samodzielnie. Zdolność modelu do tworzenia wiarygodnie brzmiącej prozy nie dowodzi, że rozumie Twoje intencje ani że warto zachować ten tekst.

Kilka wygenerowanych tekstów nie wystarczy, by stwierdzić, że model konsekwentnie dobrze radzi sobie z całym gatunkiem; ocena jednego autora nie odzwierciedli też wszystkich czytelników. Wyniki mogą się różnić, prompty mogą faworyzować jeden model, a znajomość gatunku wpływa na to, co zauważa osoba oceniająca. Formułuj wnioski wąsko: „W tych dwóch testach ta wersja lepiej zachowała fakty dotyczące sceny” to bardziej uzasadnione stwierdzenie niż „to najlepszy model do pisania kryminałów”.

Zachowaj też ostrożność w przypadku naśladowania stylu konkretnego autora. Jeśli zależy Ci na określonym efekcie warsztatowym, opisz go bezpośrednio — na przykład jako oszczędną składnię, wnikliwą obserwację lub suchy humor — i oceń te cechy. Dzięki temu łatwiej przetestujesz wybory pisarskie, na których naprawdę Ci zależy, bez traktowania nazwiska jako niezawodnej specyfikacji stylu.

Przydatnym wynikiem testu jest zapis tego, co się wydarzyło: zadanie, prompty, model i ustawienia, lista kontrolna, przykłady z wygenerowanego tekstu oraz podjęta próba poprawki. Taki zapis pomoże Ci wybrać model najlepiej wspierający jedno określone zadanie — albo zdecydować, że lepiej poświęcić czas na samodzielną redakcję fragmentu.