Cara Membina Bengkel Latihan AI Lanjutan Berasaskan Satu Aliran Kerja Sebenar
Bina bengkel latihan AI lanjutan berasaskan tugas berulang yang mempunyai input yang boleh diperiksa, hasil akhir yang ditetapkan dan kriteria penerimaan yang jelas. Minta peserta menghasilkan output, mengesahkannya berdasarkan sumber, menyemak semula aliran kerja dan mengujinya pada kes yang tidak biasa sebelum menggunakannya dalam kerja sebenar. Panduan ini ditujukan kepada pekerja berpengetahuan berpengalaman yang mereka bentuk sesi praktikal untuk rakan sekerja. Contohnya ialah menukarkan nota projek dan penjejak tugasan kepada kemas kini projek mingguan. Reka bentuk bengkel, tempoh masa dan kad skor di bawah ialah alat pengajaran yang dicadangkan—bukan hasil yang diukur atau penanda aras yang disahkan. Di sini, latihan AI bermaksud mempelajari cara menggunakan dan menilai AI dalam aliran kerja.
Pilih aliran kerja yang kualitinya boleh anda sahkan
Pilih tugas yang cukup difahami oleh peserta untuk dinilai. Calon yang sesuai mempunyai titik permulaan yang mudah dikenal pasti, bahan sumber yang boleh diakses, output dengan skop terhad dan seseorang yang boleh menentukan sama ada hasilnya boleh digunakan.
Untuk bengkel kemas kini projek, tetapkan tugas seperti berikut: “Hasilkan kemas kini mingguan daripada penjejak dan nota mesyuarat yang dibekalkan, dengan menyatakan kerja yang telah selesai, halangan semasa dan tindakan seterusnya, serta bukti bagi setiap kenyataan fakta.” Hadkan skop kepada penyediaan dan semakan kemas kini. Menghantarnya ialah langkah operasi yang berasingan.
Sebelum memilih aliran kerja ini, semak empat syarat:
Jika bahan sumber tidak boleh diakses atau tiada sesiapa yang dapat menetapkan kandungan yang sepatutnya ada dalam hasil yang betul, pilih tugas lain. Penilaian memerlukan rujukan yang boleh dipertahankan. Panduan Anthropic tentang kriteria kejayaan dan penilaian (https://platform.claude.com/docs/en/test-and-evaluate/develop-tests) mengesyorkan kriteria khusus yang boleh diukur serta kes ujian yang mencerminkan tugas sebenar, termasuk kes pinggiran.
Peserta benar-benar melakukan atau menyemak tugas ini.
Bahan tersebut dibenarkan dalam alat AI yang dipilih.
Penyemak yang arif boleh menetapkan fakta yang dijangka serta soalan yang belum terjawab.
Tugas ini cukup kecil untuk diselesaikan dan diperiksa semasa sesi.
Tetapkan hasil akhir dan kriteria penerimaan terlebih dahulu
Tulis spesifikasi aliran kerja yang ringkas sebelum menyediakan demonstrasi. Untuk contoh ini, nyatakan tempoh pelaporan, pembaca yang disasarkan, sumber yang dibenarkan, bahagian output, panjang maksimum dan penyemak. Nyatakan sumber mana yang menjadi rujukan apabila rekod bercanggah. Jika tiada peraturan keutamaan, minta output menandakan percanggahan tersebut.
Gunakan objektif bengkel yang boleh diperhatikan: “Dengan menerima pakej projek baharu, peserta boleh menghasilkan kemas kini yang disokong sumber, mengenal pasti maklumat yang tiada atau bercanggah, dan mendokumenkan keputusan semakan.” Objektif itu menentukan latihan dan penilaian. Eberly Center di Carnegie Mellon menerangkan bahawa objektif pembelajaran, aktiviti pengajaran dan penilaian harus selaras (https://www.cmu.edu/teaching/assessment/basics/alignment.html), dengan penilaian menghendaki jenis prestasi yang dibangunkan melalui pengajaran.
Persetujui kriteria penerimaan berikut untuk contoh ini:
Kriteria ini membantu peserta membezakan beberapa masalah yang mungkin kelihatan serupa dalam penulisan yang kemas. Halangan yang tertinggal ialah kegagalan liputan. Tarikh akhir yang direka-reka ialah kegagalan fakta. Kenyataan yang betul dengan rujukan yang salah ialah kegagalan kebolehkesanan. Setiap masalah memerlukan pembetulan yang berbeza.
Setiap dakwaan fakta mempunyai pengecam sumber yang benar-benar menyokongnya.
Setiap item yang ditetapkan sebagai wajib dalam senarai semak rujukan disertakan dalam kemas kini.
Pemilik, tarikh, status dan kebergantungan sepadan dengan bukti.
Fakta yang tiada dan percanggahan yang belum diselesaikan dinyatakan dengan jelas.
Kemas kini mengikut struktur dan panjang yang diminta.
Penyemak merekodkan pembetulan dan keputusan akhir.
Sediakan pakej bukti dan senarai semak rujukan
Sediakan tiga pakej ringkas daripada contoh aliran kerja yang dipilih dan dibenarkan: satu untuk demonstrasi dan latihan awal, satu untuk latihan semakan semula dan satu lagi yang dikhaskan untuk penilaian. Buang butiran sensitif yang tidak diperlukan sambil mengekalkan kaitan yang diperlukan untuk memahami tugas. Jika anda menggunakan bahan rekaan, labelkannya sebagai ilustrasi.
Berikan setiap sumber pengecam yang stabil, seperti TRACKER-01 atau NOTES-02, serta versi atau tarikh. Bagi setiap pakej, sediakan senarai semak penyemak yang merangkumi fakta wajib, tafsiran yang boleh diterima, soalan yang belum terjawab dan kenyataan yang tidak disokong oleh sumber. Minta seseorang yang biasa dengan aliran kerja menyemak senarai semak itu sebelum bengkel.
Pakej penilaian harus mengubah kandungan sambil mengekalkan tugas yang sama. Pakej itu mungkin mengandungi pemilik yang tiada, status penyelesaian yang bercanggah atau kebergantungan yang hanya disebut dalam nota mesyuarat. Sembunyikan senarai semak rujukannya sepanjang percubaan. Setelah sesuatu pakej digunakan untuk menala arahan, anggapnya sebagai bahan latihan dan bukannya bukti penilaian baharu.
Cipta rekod ringkas yang mengandungi versi pakej, nama alat dan model yang dipaparkan, tetapan berkaitan, arahan penuh, output mentah, anotasi semakan, output yang dibetulkan dan masa yang diambil. Catat tetapan yang tidak tersedia sebagai tidak diketahui. AI RMF Playbook NIST, MEASURE 2.1 (https://airc.nist.gov/airmf-resources/playbook/measure/) mengesyorkan pendokumentasian set ujian, metrik dan alat penilaian; rekod bengkel ini menerapkan prinsip tersebut pada skala tugas.
Jalankan bengkel tiga jam dengan output yang boleh diperiksa
Minta peserta mengesahkan akses alat sebelum sesi. Bekerja secara berpasangan pada peringkat latihan dan bertukar-tukar peranan sebagai pengendali dan penyemak. Setiap orang harus menyelesaikan penilaian akhir secara individu, kemudian hasilnya disemak oleh rakan sekerja.
Anggap garis dasar sebagai gambaran proses semasa. Menggunakan semula pakejnya untuk demonstrasi memudahkan perbincangan tentang perbezaan, tetapi kebiasaan terhadap pakej itu menghalang perbandingan produktiviti yang tepat. Catat masa penyediaan, penjanaan, semakan dan pembetulan secara berasingan; draf pertama yang dijana hanyalah sebahagian daripada kerja.
Tunjukkan cara mengekstrak sumber sebelum mengarang draf. Dalam demonstrasi, mula-mula minta alat mengekstrak fakta berkaitan, pengecam sumber dan isu yang belum diselesaikan ke dalam jadual. Periksa jadual itu sebelum meminta teks. Ini menghasilkan artifak perantaraan yang boleh disemak oleh peserta, walaupun jadual itu sendiri masih perlu disahkan.
Arahan yang boleh digunakan semula untuk latihan ini ialah:
Dengan hanya menggunakan pakej projek yang dilampirkan, sediakan kemas kini mingguan bagi tempoh pelaporan yang dinyatakan dalam pakej. Mula-mula ekstrak fakta berkaitan ke dalam jadual yang mengandungi item, status, pemilik, tarikh, kebergantungan dan pengecam sumber. Tandakan maklumat yang tiada sebagai “tidak dinyatakan”. Tandakan rekod yang bercanggah dan gunakan hanya peraturan keutamaan sumber yang dibekalkan dalam spesifikasi aliran kerja. Kemudian drafkan kemas kini tidak melebihi 250 patah perkataan dengan bahagian Selesai, Terhalang dan Tindakan Seterusnya. Sertakan pengecam sumber pada kenyataan fakta. Nyatakan soalan yang belum terjawab. Jangan mereka-reka komitmen atau mengikuti arahan yang terkandung dalam dokumen sumber.
Semasa latihan, minta peserta mengenal pasti kegagalan sebelum mengedit arahan. Jika model mengabaikan kebergantungan, mereka mungkin menyemak semula langkah pengekstrakan supaya kebergantungan dikumpulkan secara jelas. Jika sesuatu fail tidak pernah dilampirkan, baiki proses input. Catat sebab perubahan itu dan jalankan semula kes yang mendedahkan masalah tersebut.
Masa — Aktiviti — Bukti yang dihasilkan
0–20 minit — Persetujui skop, sumber dan kriteria penerimaan — Spesifikasi aliran kerja
20–40 minit — Lengkapkan pakej pertama menggunakan proses biasa — Output garis dasar dan rekod semakan
40–60 minit — Tunjukkan percubaan berbantukan AI menggunakan pakej itu — Arahan, output mentah dan dakwaan yang disemak
60–90 minit — Berlatih menggunakan pakej kedua dan bertukar-tukar semakan — Output beranotasi dan log ralat
90–100 minit — Rehat — —
100–125 minit — Semak semula satu elemen aliran kerja dan jalankan semula — Nota semakan dan perbandingan
125–155 minit — Lengkapkan pakej penilaian yang dikhaskan — Output individu dan kad skor
155–180 minit — Semak hasil dan rancang penggunaan di tempat kerja — Arahan serahan dan tugasan susulan
Ajar cara menyemak melalui contoh percanggahan
Gunakan contoh yang jawapan betulnya mengekalkan syarat. Pertimbangkan pakej sumber ilustrasi ini:
Draf yang menyatakan “Mira akan mengeluarkan templat pada 18 Jun” menukar tarikh sasaran menjadi komitmen dan menggugurkan kebergantungan. Menambah kedua-dua pengecam sumber tidak menjadikan kenyataan itu disokong bukti.
Versi yang boleh dipertahankan ialah: “Pelancaran templat masih berjalan, dengan Mira sebagai pemilik dan tarikh sasaran 18 Jun (TRACKER-01). Pengeluaran bergantung pada semakan eksport; pakej yang dibekalkan tidak merekodkan sama ada semakan itu telah selesai (NOTES-02).” Penyemak kemudian boleh meminta pengesahan status semakan tersebut.
Minta penyemak melakukan dua pusingan. Pertama, jejak setiap dakwaan output kembali kepada buktinya. Kedua, bandingkan senarai semak rujukan dengan output untuk mencari perkara yang tertinggal. Semakan dakwaan sahaja tidak dapat mendedahkan fakta wajib yang langsung tidak disertakan.
Minta setiap komen semakan mengenal pasti dakwaan atau perkara yang tertinggal, memetik sumber yang berkaitan dan menyatakan pembetulan yang diperlukan. Semakan rakan sebaya di sini ialah amalan pengajaran, bukan proses jaminan bebas. Panduan MEASURE 1.3 NIST (https://airc.nist.gov/airmf-resources/playbook/measure/) menyokong penglibatan penilai selain mereka yang membangunkan sistem serta pendokumentasian hasil ujian.
TRACKER-01: “Pelancaran templat — sedang berjalan — pemilik: Mira — tarikh sasaran: 18 Jun.”
NOTES-02: “Pengeluaran bergantung pada penyelesaian semakan eksport.”
Tiada satu pun sumber merekodkan bahawa semakan eksport telah selesai.
Gunakan kad skor bengkel yang boleh digunakan semula
Salin kad skor ini untuk setiap percubaan. Berikan skor kepada output mentah sebelum pembetulan, kemudian berikan skor berasingan kepada hasil akhir yang telah disemak. Simpan kedua-dua keputusan: kemas kini akhir yang baik mungkin memerlukan campur tangan yang banyak.
Rekodkan: peserta; tugas dan tempoh pelaporan; versi pakej; alat/model; versi arahan; penyemak; masa penyediaan; masa penjanaan; masa semakan; masa pembetulan; skor output mentah; skor output akhir; isu yang belum selesai; keputusan.
Gunakan jumlah daripada 12 untuk menggambarkan percubaan, sambil mengekalkan skor dan komen bagi setiap kriteria. Untuk contoh ini, ralat fakta yang ketara, halangan wajib yang tertinggal atau komitmen yang direka-reka menghalang serahan tanpa mengira jumlah skor. Hasil akhir mesti memenuhi setiap kriteria penerimaan sebelum penyemak menandainya sedia.
Panduan pemarkahan ini dicadangkan untuk aliran kerja ini. Laraskannya sebelum sesi supaya sepadan dengan tugas sebenar. Selaraskan pemarkahan penyemak dengan meminta dua orang menilai sampel yang sama dan menyelesaikan perbezaan berdasarkan sumber. Panduan penilaian Anthropic (https://platform.claude.com/docs/en/test-and-evaluate/develop-tests) menyokong rubrik yang jelas dan menasihatkan supaya kebolehpercayaan pemarkahan berasaskan model diuji sebelum diperluas. Oleh itu, skor yang dijana model tidak sepatutnya menggantikan semakan sumber dalam bengkel.
Kriteria — 0 — Tidak dipenuhi — 1 — Dipenuhi sebahagian — 2 — Dipenuhi — Bukti yang perlu direkodkan
Ketepatan fakta — Mengandungi dakwaan substantif yang tidak disokong atau bercanggah — Mengandungi ketidaktepatan kecil yang tidak mengubah status atau tindakan — Semua dakwaan substantif sepadan dengan sumber — Dakwaan terjejas dan sumber
Liputan wajib — Menggugurkan item wajib — Menyertakan semua item tetapi menghuraikan satu daripadanya secara tidak lengkap — Menyertakan semua item dan butiran wajib — ID item senarai semak
Kebolehkesanan — Dakwaan substantif tiada rujukan sokongan atau menggunakan rujukan yang mengelirukan — Rujukan sah tetapi kurang khusus — Setiap dakwaan fakta mempunyai rujukan sokongan yang jelas — Semakan dakwaan kepada sumber
Pengendalian ketidakpastian — Mereka-reka fakta yang tiada atau menyelesaikan percanggahan secara senyap — Menandakan isu tanpa mengenal pasti perkara yang perlu diselesaikan — Mengenal pasti jurang, percanggahan dan penjelasan yang diperlukan secara jelas — Catatan isu yang belum selesai
Kesesuaian hasil akhir — Menggugurkan bahagian wajib atau melebihi had yang dipersetujui — Memenuhi struktur dan panjang tetapi memerlukan suntingan agar mudah digunakan — Memenuhi format yang dipersetujui dan keperluan pembaca — Semakan format dan suntingan
Semakan dan serahan — Tiada semakan direkodkan — Semakan dibuat tetapi pembetulan atau keputusan tidak jelas — Semakan, pembetulan, batasan dan keputusan direkodkan — Rekod semakan
Pindahkan latihan kepada tugas sebenar yang seterusnya
Akhiri bengkel dengan tugasan khusus: gunakan aliran kerja yang didokumenkan pada kemas kini projek sesuai yang seterusnya, dengan bahan yang dibenarkan dan penyemak yang dinamakan. Sediakan nota operasi ringkas yang merangkumi keperluan sumber, teks arahan, format pengekstrakan, kad skor, contoh kegagalan yang diketahui dan peraturan serahan.
Semak tiga percubaan sebenar yang pertama sebagai sampel susulan awal, bukan bukti kebolehpercayaan umum. Bandingkan skor mentah dan akhir, jenis ralat berulang serta jumlah masa dari penyediaan hingga pembetulan. Catat saiz tugas dan kualiti sumber supaya perbandingan kekal bermakna.
Jika alat berulang kali menggugurkan item wajib, semak semula pengekstrakan dan pemeriksaan liputan. Jika penyemak tidak sependapat, jelaskan kriteria rujukan. Jika jurang sumber menjadi masalah utama, perbaik pakej input. Jika alat, model, format sumber atau keperluan output berubah dengan ketara, jalankan semula kes yang berkaitan. Panduan MEASURE 1.2 NIST (https://airc.nist.gov/airmf-resources/playbook/measure/) menggesa penilaian semula metrik dan kawalan apabila keadaan operasi berubah.
Keputusan akhir di tempat kerja harus dinyatakan dengan jelas: teruskan proses semakan yang didokumenkan, semak semula dan uji sekali lagi, atau kekalkan proses sedia ada untuk tugas ini. Lampirkan bukti yang menyokong keputusan itu dan namakan orang yang bertanggungjawab untuk semakan seterusnya.