Cara Pembangun Permainan Menganggarkan Kos Dialog AI yang Panjang

Pilih unit yang jelas terlebih dahulu: contohnya, kos inferens model bagi setiap sesi dialog, setiap hari pemain aktif atau setiap 1,000 sesi. Untuk anggaran sesi, tentukan bila sesi bermula dan berakhir. Peraturan praktikal mungkin “dari permintaan dialog pertama sehingga 30 minit tanpa permintaan,” tetapi tamat masa itu ialah pilihan pengukuran, bukannya piawaian sejagat. Catatkannya supaya pembangun lain dapat menghasilkan semula anggaran tersebut.

Kira permintaan model, bukan sekadar mesej pemain. Satu interaksi boleh mencetuskan beberapa panggilan—contohnya, respons diikuti panggilan berasingan untuk mengendalikan alat—dan percubaan semula boleh menambah lagi panggilan. Jika permainan menggunakan suara, input imej, dapatan semula atau alat, rekodkan semuanya dalam medan kos berasingan selain merekodkan token model yang berkaitan. Harga penyedia boleh merangkumi yuran alat atau kadar khusus modaliti di samping caj token teks biasa; contohnya, OpenAI menyenaraikan caj alat berasingan dan menyatakan bahawa token model yang digunakan untuk alat terbina dalam dicaj mengikut kadar model yang dipilih (harga API OpenAI).

Bagi setiap panggilan, logkan penyedia, pengecam model, cap masa, pengecam sesi, tujuan permintaan, jumlah token input, jumlah token output dan sebarang pecahan token bercache atau token penaakulan yang dilaporkan. Rekodkan percubaan semula, ralat, panggilan alat dan sama ada panggilan berjaya diselesaikan. Elakkan menyimpan kandungan dialog melainkan diperlukan untuk tujuan produk lain yang mempunyai justifikasi; jumlah token dan metadata operasi biasanya memadai untuk anggaran kos.

Gunakan penggunaan yang dilaporkan penyedia daripada panggilan yang selesai sebagai ukuran utama. Pengiraan awal berguna untuk menguji pembentukan gesaan, tetapi mungkin tidak sepadan dengan medan pengebilan akhir. OpenAI mendokumentasikan bahawa output yang dilaporkan merangkumi token selain teks yang kelihatan, seperti sesetengah token pemformatan dan struktur alat, serta mengesyorkan supaya output tidak dianggarkan berdasarkan perkara yang dilihat pemain semata-mata (panduan pengiraan token OpenAI). Dokumentasi Gemini Google juga membezakan kiraan token gesaan, kandungan bercache, output calon dan pemikiran dalam metadata penggunaan (panduan token Gemini).

Bina sampel yang mewakili pemain baharu dan pemain yang kembali, perbualan pendek dan panjang, serta konfigurasi gesaan dan alat pengeluaran. Jadikan sesi sebagai unit pensampelan: dialog 40 giliran harus kekal sebagai satu pemerhatian dengan kos terkumpulnya, bukannya dianggap sebagai 40 sesi pemain yang berasingan. Semasa prototaip, set perbualan berskrip yang tetap membantu membandingkan perubahan gesaan; selepas pelancaran, sesi yang diperhatikan harus menjadi asas ramalan.

Dalam banyak sistem dialog, setiap permintaan merangkumi giliran pengguna semasa serta sebahagian atau seluruh sejarah perbualan. Jika sejarah dihantar semula berulang kali, token input boleh bertambah setiap giliran walaupun setiap mesej pemain ringkas. Ukur muatan permintaan sebenar yang dihantar kepada model; jangan darabkan saiz gesaan satu giliran dengan bilangan giliran melainkan pelaksanaannya benar-benar menghantar jumlah yang sama setiap kali.

Pencachean mengubah kadar yang dikenakan pada input berulang yang layak; ini tidak bermakna seluruh dialog menjadi percuma atau sesi berterusan menjamin cache akan dipadankan. OpenAI menerangkan pencachean gesaan sebagai penggunaan semula awalan gesaan yang tidak berubah dan menyatakan bahawa input baharu masih perlu diproses. Diagnostik cachenya boleh membantu mengukur bacaan cache dan cache yang terlepas (panduan pencachean gesaan OpenAI). Anthropic juga membezakan penulisan cache daripada bacaan cache serta menerbitkan kadar dan tempoh cache yang berasingan (harga dan pencachean gesaan Anthropic).

Dalam telemetri anda, asingkan token input tanpa cache, token input bercache dan token penulisan cache apabila penyedia melaporkannya. Rekodkan bilangan padanan cache dibahagi permintaan yang layak, serta bahagian token input yang benar-benar dibilkan sebagai bercache. Kedua-duanya menjawab soalan yang berbeza: kadar padanan tinggi merentas permintaan masih boleh bermakna hanya sebahagian kecil jumlah token dicache jika awalan yang berulang itu kecil. Kelayakan cache, saiz minimum, tempoh luput, kestabilan awalan gesaan dan sokongan model berbeza mengikut penyedia; kira hanya penjimatan yang disahkan oleh data penggunaan.

Bagi model yang harganya ditetapkan bagi setiap sejuta token, kira kos setiap sesi seperti berikut:

kos sesi = (input tanpa cache × kadar input + input bercache × kadar input bercache + penulisan cache × kadar penulisan cache + output × kadar output) ÷ 1,000,000 + caj lain yang berkenaan

Gunakan kadar untuk model, titik akhir, modaliti, rantau dan peringkat perkhidmatan yang tepat dalam konfigurasi yang digunakan. Semak kadar itu secara berasingan di halaman harga penyedia sejurus sebelum menyediakan belanjawan; kadar dan katalog model berubah. Sertakan caj storan jika cache mengenakan bayaran berdasarkan token tersimpan dan tempohnya. Contohnya, harga terbitan Gemini menyenaraikan kategori token bagi penggunaan berbayar serta harga sejam storan untuk konfigurasi pencachean konteks tertentu, manakala dokumentasi pengebilannya menyatakan input, output, token bercache dan tempoh storan cache sebagai faktor yang boleh dibilkan (harga Gemini; pengebilan Gemini).

Pengiraan contoh menjadikan andaian lebih jelas. Katakan, sekadar ilustrasi, panggilan yang diukur bagi satu sesi mengandungi 18,000 token input tanpa cache, 12,000 token input bercache dan 6,000 token output. Dengan menggunakan kadar peringkat berbayar Gemini 3.8 Flash yang diterbitkan untuk penggunaan sehingga 31 Disember 2026—$0.75 bagi setiap sejuta token input, $0.075 bagi setiap sejuta token bercache dan $3.75 bagi setiap sejuta token output—jumlahnya ialah $0.0135 + $0.0009 + $0.0225, atau $0.0369 sebelum sebarang caj storan cache atau caj lain yang berkenaan. Contoh ini mengandaikan token bercache yang disenaraikan dicaj pada kadar bercache dan tidak merangkumi sebarang kos penciptaan cache awal di luar jumlah yang diukur. Kadar ini terhad kepada tempoh tertentu dan harus disemak semula apabila menganggarkan tempoh yang lebih lewat (harga Gemini).

Jangan darabkan satu sesi “biasa” yang dipilih secara sewenang-wenangnya dengan jumlah pemain lalu menganggapnya sebagai ramalan. Kelompokkan sesi yang diperhatikan mengikut bilangan giliran atau julat panjang lain yang berguna, kira kos purata dalam setiap julat, kemudian wajarkan setiap julat berdasarkan bahagiannya daripada jumlah sesi. Sertakan median dan persentil atas bersama-sama min: min menganggarkan jumlah penggunaan apabila didarab dengan jumlah sesi, manakala persentil membantu menggambarkan kos sesi yang lebih pendek atau luar biasa panjang.

Contohnya, jika sampel mengandungi banyak sesi pendek dan sebilangan kecil sesi yang sangat panjang, laporkan bahagian sesi dalam setiap julat dan kos setiap julat. Ramalan untuk 10,000 sesi kemudian boleh dikira sebagai jumlah sesi dalam julat × kos purata dalam julat, bukannya mengandaikan setiap sesi menyerupai median keseluruhan. Jika penggunaan berbeza dengan ketara mengikut mod permainan, bahasa, platform atau pemain baharu berbanding pemain yang kembali, bahagikan kumpulan tersebut sebelum menggabungkannya. Keputusan untuk membahagikan kumpulan ialah keputusan analisis; terangkan sebab setiap kumpulan boleh mengubah penggunaan token atau tingkah laku permintaan.

Simpan rekod andaian yang ringkas, termasuk tarikh sampel, peraturan sempadan sesi, model dan titik akhir, versi gesaan, jumlah sesi yang diperhatikan, takrif padanan cache, tarikh halaman harga diperoleh, yuran yang disertakan dan komponen yang dikecualikan. Tunjukkan senario rendah, sederhana dan tinggi dengan mengubah input yang boleh diperhatikan—contohnya, campuran panjang sesi, saiz output atau bahagian padanan cache yang diukur—bukannya menggunakan penampan tanpa penjelasan. Anggap sebarang tingkah laku yang diramalkan melangkaui sesi yang diperhatikan sebagai senario yang dinyatakan secara jelas, bukannya fakta yang diukur.

Kelengkapan anggaran bergantung pada instrumentasi dan kategori yang boleh dibilkan. Anggaran boleh terlepas panggilan yang dialihkan di luar pengelog, percubaan semula, kategori token bercache yang tidak didedahkan oleh API, token penaakulan di pihak model, tempoh storan, pemprosesan media atau caj penyedia selain kadar token. Bandingkan penggunaan sampel dengan laporan pengebilan penyedia apabila tersedia, siasat jurang yang ketara dan jalankan semula pengiraan selepas menukar model, gesaan, tingkah laku pencachean atau ciri yang digunakan pemain. Hasilnya ialah anggaran kos operasi yang didokumenkan bagi beban kerja yang diperhatikan, bukannya jaminan bahawa sesi atau invois akan datang akan sepadan dengannya.