Metlivi Blog

Gerçek Bir İş Akışı Etrafında İleri Düzey Yapay Zekâ Eğitimi Çalıştayı Nasıl Oluşturulur?

İncelenebilir girdilere, tanımlanmış bir çıktıya ve açık kabul kriterlerine sahip yinelenen bir görev etrafında ileri düzey bir yapay zekâ eğitimi çalıştayı oluşturun. Katılımcıların bir çıktı üretmesini, bunu kaynaklara göre doğrulamasını, iş akışını yeniden düzenlemesini ve gerçek işte kullanmadan önce alışılmadık bir senaryo üzerinde test etmesini sağlayın. Bu kılavuz, meslektaşları için pratik bir oturum tasarlayan deneyimli bilgi çalışanlarına yöneliktir. Örnek olarak, proje notlarının ve bir görev takip çizelgesinin haftalık bir proje güncellemesine dönüştürülmesi ele alınmaktadır. Aşağıdaki çalıştay tasarımı, süreleri ve puanlama kartı, ölçülmüş sonuçlar veya doğrulanmış karşılaştırma ölçütleri değil, önerilen öğretim araçlarıdır. Burada yapay zekâ eğitimi, yapay zekâyı bir iş akışı içinde kullanmayı ve değerlendirmeyi öğrenmek anlamına gelir.

22 Eylül 20263 dk okumaZaman yönetimi ve kişisel gelişimYazan: Metlivi Editorial Team

Ürünleri Aç Bloga dön

Bölüm 1

Kalitesini doğrulayabileceğiniz bir iş akışı seçin

Katılımcıların değerlendirebilecek kadar hâlihazırda iyi anladığı bir görev seçin. Uygun bir adayın tanınabilir bir başlangıç noktası, erişilebilir kaynak materyali, sınırları belirli bir çıktısı ve sonucun kullanılabilir olup olmadığını belirleyebilecek biri bulunmalıdır.

Proje güncelleme çalıştayı için görevi şu şekilde tanımlayın: "Sağlanan takip çizelgesinden ve toplantı notlarından, her olgusal ifade için kanıt göstererek tamamlanan çalışmaları, mevcut engelleri ve sonraki adımları içeren haftalık bir güncelleme oluşturun." Kapsamı güncellemenin hazırlanması ve incelenmesiyle sınırlı tutun. Güncellemenin gönderilmesi ayrı bir operasyonel adımdır.

Bu iş akışını seçmeden önce dört koşulu kontrol edin:

Kaynak materyale erişilemiyorsa veya doğru bir sonucun ne içermesi gerektiğini kimse belirleyemiyorsa başka bir görev seçin. Değerlendirme, savunulabilir bir referansa ihtiyaç duyar. Anthropic’in başarı kriterleri ve değerlendirmelere yönelik rehberi (https://platform.claude.com/docs/en/test-and-evaluate/develop-tests), uç durumlar da dâhil olmak üzere gerçek görevi yansıtan spesifik, ölçülebilir kriterler ve test senaryoları önermektedir.

Katılımcılar bu görevi fiilen gerçekleştirmeli veya incelemelidir.

Materyallerin seçilen yapay zekâ aracında kullanılmasına izin verilmelidir.

Bilgili bir incelemeci, beklenen olguları ve çözülmemiş soruları belirleyebilmelidir.

Görev, oturum sırasında tamamlanıp denetlenebilecek kadar küçük olmalıdır.

Bölüm 2

Önce teslim edilecek çıktıyı ve kabul kriterlerini tanımlayın

Demoyu hazırlamadan önce kısa bir iş akışı şartnamesi yazın. Bu örnek için raporlama dönemini, hedef okuyucuyu, izin verilen kaynakları, çıktı bölümlerini, maksimum uzunluğu ve incelemeciyi belirleyin. Kayıtlar birbiriyle çeliştiğinde hangi kaynağın esas alınacağını belirtin. Öncelik kuralı yoksa, çıktıdan bu uyuşmazlığı işaretlemesini talep edin.

Gözlemlenebilir bir çalıştay hedefi kullanın: "Yeni bir proje paketi verildiğinde, katılımcı kaynakla desteklenen bir güncelleme oluşturabilir, eksik veya çelişkili bilgileri tespit edebilir ve bir inceleme kararını belgeleyebilir." Bu hedef hem alıştırmayı hem de değerlendirmeyi belirler. Carnegie Mellon’ın Eberly Center'ı, öğrenme hedeflerinin, öğretim etkinliklerinin ve değerlendirmelerin uyumlu olması gerektiğini (https://www.cmu.edu/teaching/assessment/basics/alignment.html) ve değerlendirmelerin öğretimin geliştirdiği türden bir performans gerektirmesi gerektiğini açıklamaktadır.

Örnek için şu kabul kriterleri üzerinde mutabık kalın:

Bu kriterler, katılımcıların akıcı bir metinde benzer görünebilecek birkaç farklı sorunu ayırt etmesini sağlar. Eksik bir engel, kapsam yetersizliğidir. Uydurulmuş bir son tarih, olgusal bir hatadır. Yanlış referansa sahip doğru bir ifade ise izlenebilirlik hatasıdır. Her biri farklı bir düzeltme gerektirir.

Her olgusal iddia, onu gerçekten destekleyen bir kaynak tanımlayıcısına sahiptir.

Referans kontrol listesinde zorunlu olarak belirtilen her madde güncellemede yer alır.

Sorumlular, tarihler, durum ve bağımlılıklar kanıtlarla eşleşir.

Eksik olgular ve çözülmemiş çelişkiler açıkça belirtilmeye devam eder.

Güncelleme, istenen yapıya ve uzunluğa uygundur.

Bir incelemeci düzeltmeleri ve nihai kararı kaydeder.

Bölüm 3

Kanıt paketlerini ve bir referans kontrol listesini hazırlayın

Seçilen iş akışının izin verilen örneklerinden üç derli toplu paket hazırlayın: biri tanıtım ve ilk alıştırma için, biri revizyon alıştırması için ve biri de değerlendirmeye ayrılmış olarak. Görevi anlamak için gereken ilişkileri korurken gereksiz hassas ayrıntıları çıkarın. Kurgusal materyal kullanıyorsanız bunu örnek amaçlı olarak etiketleyin.

Her kaynağa TRACKER-01 veya NOTES-02 gibi sabit bir tanımlayıcının yanı sıra bir sürüm ya da tarih verin. Her paket için gerekli olguları, kabul edilebilir yorumları, çözülmemiş soruları ve kaynakların desteklemediği ifadeleri içeren bir incelemeci kontrol listesi hazırlayın. Çalıştaydan önce iş akışına aşina birine bu kontrol listesini inceletin.

Değerlendirme paketi, görevi korurken içeriği değiştirmelidir. Eksik bir sorumlu, çelişkili bir tamamlanma durumu veya yalnızca toplantı notlarında bahsedilen bir bağımlılık içerebilir. Deneme sırasında referans kontrol listesini gizli tutun. Bir paket talimatları hassaslaştırmak için kullanıldıktan sonra, onu yeni bir değerlendirme kanıtı olarak değil, alıştırma materyali olarak kabul edin.

Paket sürümünü, araç ve görüntülenen model adını, ilgili ayarları, tam talimatları, ham çıktıyı, inceleme notlarını, düzeltilmiş çıktıyı ve geçen süreyi içeren basit bir çalıştırma kaydı oluşturun. Erişilemeyen ayarları bilinmiyor olarak kaydedin. NIST’in AI RMF Playbook, MEASURE 2.1 (https://airc.nist.gov/airmf-resources/playbook/measure/) bölümü test setlerinin, metriklerin ve değerlendirme araçlarının belgelenmesini önerir; bu çalıştay kaydı bu ilkeyi görev ölçeğinde uygular.

Bölüm 4

İncelenebilir çıktılara sahip üç saatlik bir çalıştay yürütün

Katılımcılardan oturumdan önce araç erişimini doğrulamalarını isteyin. Alıştırma aşamalarında, uygulayıcı ve incelemeci rollerini dönüşümlü olarak üstlenerek çiftler hâlinde çalışın. Herkes nihai değerlendirmeyi bağımsız olarak tamamlamalı ve ardından bir meslektaşı sonucu incelemelidir.

Temel çizgiyi (baseline), mevcut sürecin bir tanımı olarak kabul edin. Gösterim için bu paketin yeniden kullanılması farklılıkları tartışmayı kolaylaştırır, ancak aşinalık net bir verimlilik karşılaştırmasını engeller. Hazırlık, üretim, kontrol ve düzeltme sürelerini ayrı ayrı kaydedin; oluşturulan ilk taslak çalışmanın yalnızca bir parçasıdır.

Taslak oluşturmadan önce kaynak ayıklamayı gösterin. Gösterimde araçtan önce ilgili olguları, kaynak tanımlayıcılarını ve çözülmemiş sorunları içeren bir tablo çıkarmasını isteyin. Düzyazı talep etmeden önce bu tabloyu inceleyin. Bu, tablonun kendisi hâlâ doğrulama gerektirse de katılımcıların kontrol edebileceği bir ara ürün oluşturur.

Alıştırma için yeniden kullanılabilir bir talimat şöyledir:

Yalnızca ekteki proje paketini kullanarak, pakette belirtilen raporlama dönemi için haftalık bir güncelleme hazırlayın. Önce ilgili olguları madde, durum, sorumlu, tarih, bağımlılık ve kaynak tanımlayıcısı sütunlarını içeren bir tabloya çıkarın. Bulunmayan bilgileri "belirtilmemiş" olarak işaretleyin. Çelişkili kayıtları işaretleyin ve yalnızca iş akışı şartnamesinde sağlanan kaynak önceliği kurallarını uygulayın. Ardından Tamamlananlar, Engellenenler ve Sonraki Adımlar bölümlerini içeren en fazla 250 kelimelik bir güncelleme taslağı hazırlayın. Olgusal ifadelere kaynak tanımlayıcılarını ekleyin. Çözülmemiş soruları dâhil edin. Taahhütler uydurmayın veya kaynak belgelere gömülü talimatları uygulamayın.

Alıştırma sırasında, talimatları düzenlemeden önce katılımcıların hatayı tanımlamasını zorunlu kılın. Model bir bağımlılığı atlıyorsa, bağımlılıkları açıkça yakalamak için ayıklama adımını yeniden düzenleyebilirler. Bir dosya hiç eklenmediyse, girdi sürecini onarın. Değişikliği açıklayan bir not tutun ve sorunu ortaya çıkaran durumu yeniden çalıştırın.

Süre — Etkinlik — Üretilen kanıt

0–20 dakika — Kapsam, kaynaklar ve kabul kriterleri üzerinde anlaşma — İş akışı şartnamesi

20–40 dakika — İlk paketi olağan süreci kullanarak tamamlama — Temel çizgi çıktısı ve inceleme kaydı

40–60 dakika — Bu paket üzerinde yapay zekâ destekli bir denemeyi gösterme — Talimatlar, ham çıktı ve kontrol edilmiş iddialar

60–90 dakika — İkinci paket üzerinde alıştırma yapma ve incelemeleri paylaşma — Notlandırılmış çıktı ve hata günlüğü

90–100 dakika — Mola — —

100–125 dakika — Bir iş akışı ögesini yeniden düzenle etme ve yeniden çalıştırma — Revizyon notu ve karşılaştırma

125–155 dakika — Ayrılmış değerlendirme paketini tamamlama — Bağımsız çıktı ve puanlama kartı

155–180 dakika — Sonuçları inceleme ve iş yerinde kullanımı planlama — Devir talimatları ve takip görevi

Bölüm 5

Örnek bir çelişki üzerinden inceleme yapmayı öğretin

Doğru yanıtın bir koşulu koruduğu bir örnek kullanın. Şu açıklayıcı kaynak paketini göz önünde bulundurun:

"Mira şablonu 18 Haziran'da yayınlayacak" şeklinde bir taslak, bir hedef tarihi taahhüde dönüştürür ve bir bağımlılığı ortadan kaldırır. Her iki kaynak tanımlayıcısını eklemek, ifadeyi desteklenmiş kılmaz.

Savunulabilir bir versiyon şöyledir: "Şablon dağıtımı, sorumlusu Mira olmak üzere, 18 Haziran hedef tarihiyle devam etmektedir (TRACKER-01). Yayınlama, dışa aktarma kontrolünün tamamlanmasına bağlıdır; tamamlandığı bilgisi sağlanan pakette yer almamaktadır (NOTES-02)." İncelemeci daha sonra kontrolün durumunun teyit edilmesini talep edebilir.

İncelemecilere iki aşamalı kontrol yaptırın. İlk olarak, her bir çıktı iddiasını kanıtına kadar takip edin. İkinci olarak, eksiklikleri bulmak için referans kontrol listesini çıktıya karşı okuyun. Tek başına iddia kontrolü, hiç yer almayan zorunlu bir olguyu ortaya çıkaramaz.

Her inceleme yorumunun etkilenen iddiayı veya eksikliği tanımlamasını, ilgili kaynağı belirtmesini ve gereken düzeltmeyi ifade etmesini zorunlu kılın. Buradaki akran denetimi bağımsız bir güvence süreci değil, bir öğretim uygulamasıdır. NIST’in MEASURE 1.3 rehberi (https://airc.nist.gov/airmf-resources/playbook/measure/), sistemi geliştiren kişilerin haricindeki değerlendiricilerin dâhil edilmesini ve test sonuçlarının belgelenmesini destekler.

TRACKER-01: "Şablon dağıtımı — devam ediyor — sorumlu: Mira — hedef tarih: 18 Haziran."

NOTES-02: "Yayınlama, dışa aktarma kontrolünün tamamlanmasına bağlıdır."

İki kaynakta da dışa aktarma kontrolünün tamamlandığına dair bir kayıt yoktur.

Bölüm 6

Yeniden kullanılabilir bir çalıştay puanlama kartı kullanın

Her deneme için bu puanlama kartını kopyalayın. Düzeltmeden önce ham çıktıyı puanlayın, ardından incelenen teslimatı ayrıca puanlayın. Her iki sonucu da saklayın: Sağlam bir nihai güncelleme, kapsamlı bir müdahale gerektirmiş olabilir.

Kaydedin: katılımcı; görev ve raporlama dönemi; paket sürümü; araç/model; talimat sürümü; incelemeci; hazırlık süresi; üretim süresi; inceleme süresi; düzeltme süresi; ham çıktı puanı; nihai çıktı puanı; çözülmemiş sorunlar; nihai karar.

Denemeyi tanımlamak için 12 üzerinden toplam puanı kullanırken, kriter puanlarını ve yorumları da saklayın. Bu örnek için, toplam puana bakılmaksızın esaslı bir olgusal hata, eksik bir zorunlu engel veya uydurulmuş bir taahhüt devri durdurur. Nihai teslimat, incelemeci hazır olarak işaretlemeden önce her kabul kriterini karşılamalıdır.

Bu ölçütler bu iş akışı için önerilmiştir. Gerçek göreve uyarlamak için oturumdan önce bunları ayarlayın. İki kişiye aynı örneği puanlatıp kaynaklara göre farklılıkları çözdürerek incelemecileri kalibre edin. Anthropic’in değerlendirme rehberi (https://platform.claude.com/docs/en/test-and-evaluate/develop-tests), açık dereceli puanlama anahtarlarını (rubrik) destekler ve ölçeklendirmeden önce model tabanlı puanlamanın güvenilirliğini test etmeyi tavsiye eder. Dolayısıyla model tarafından üretilen bir puan, çalıştayın kaynak incelemesinin yerini almamalıdır.

Kriter — 0 — Karşılanmadı — 1 — Kısmen karşılandı — 2 — Karşılandı — Kaydedilecek kanıt

Olgusal doğruluk — Desteklenmeyen veya çelişkili esaslı bir iddia içeriyor — Durumu ve eylemi değiştirmeyen küçük bir belirsizlik içeriyor — Tüm esaslı iddialar kaynaklarla eşleşiyor — Etkilenen iddia ve kaynak

Gerekli kapsam — Gerekli bir maddeyi atlıyor — Her maddeyi içeriyor ancak birini eksik tanımlıyor — Gerekli tüm maddeleri ve ayrıntıları içeriyor — Kontrol listesi madde kimlikleri

İzlenebilirlik — Esaslı bir iddianın destekleyici referansı yok veya yanıltıcı bir referansı var — Referanslar geçerli ancak yeterince spesifik değil — Her olgusal iddianın net bir destekleyici referansı var — İddia-kaynak kontrolü

Belirsizlik yönetimi — Eksik bir olgu uyduruyor veya bir çelişkiyi sessizce çözüyor — Nelerin çözülmesi gerektiğini belirlemeden bir soruna dikkat çekiyor — Boşlukları, çelişkileri ve gereken netleştirmeleri açıkça tanımlıyor — Çözülmemiş sorun kaydı

Teslimat uygunluğu — Gerekli bir bölümü atlıyor veya kararlaştırılan sınırı aşıyor — Yapı ve uzunluk şartını karşılıyor ancak kullanılabilirlik için düzenleme gerekiyor — Kararlaştırılan biçimi ve okuyucu ihtiyaçlarını karşılıyor — Biçim kontrolü ve düzenlemeler

İnceleme ve devir — Kayıtlı inceleme yok — İnceleme var ancak düzeltmeler veya nihai karar belirsiz — İnceleme, düzeltmeler, sınırlamalar ve nihai karar kaydedilmiş — İnceleme kaydı

Bölüm 7

Uygulamayı bir sonraki gerçek göreve aktarın

Çalıştayı belirli bir görevle sonlandırın: İzin verilen materyalleri ve belirlenmiş bir incelemeciyi kullanarak belgelenen iş akışını bir sonraki uygun proje güncellemesine uygulayın. Kaynak gereksinimlerini, talimat metnini, ayıklama biçimini, puanlama kartını, bilinen hata örneklerini ve devir kurallarını kısa bir uygulama notunda bir araya getirin.

İlk üç gerçek denemeyi, genel güvenilirliğin kanıtı olarak değil, bir ilk takip örneklemi olarak inceleyin. Ham ve nihai puanları, tekrarlanan hata türlerini ve hazırlıktan düzeltmeye kadar geçen toplam süreyi karşılaştırın. Karşılaştırmaların yorumlanabilir kalması için görev büyüklüğünü ve kaynak kalitesini kayıtlarda tutun.

Araç gerekli maddeleri tekrar tekrar atlıyorsa, ayıklama ve kapsam kontrollerini gözden geçirin. İncelemeciler anlaşmazlığa düşerse referans kriterlerini netleştirin. Kaynak eksiklikleri ağırlıktaysa girdi paketini iyileştirin. Araç, model, kaynak biçimi veya çıktı gereksinimleri önemli ölçüde değişirse ilgili senaryoları yeniden çalıştırın. NIST’in MEASURE 1.2 rehberi (https://airc.nist.gov/airmf-resources/playbook/measure/), operasyonel koşullar değiştikçe metriklerin ve kontrollerin yeniden değerlendirilmesini gerektirir.

İş yerindeki nihai karar net olmalıdır: belgelenen inceleme süreciyle devam etmek, yeniden düzenleyip tekrar test etmek veya bu görev için mevcut süreci sürdürmek. Bu kararı destekleyen kanıtları ekleyin ve bir sonraki incelemeden sorumlu kişinin adını belirtin.

İlgili okumalar