စိတ်လျှော့ပါ။ ဒီခန်းကို စာအုပ်လိုမဟုတ်ဘဲ စကားပြောသလိုပဲ၊ နားလည်လွယ်အောင် ရှင်းပါမယ်။
ခဏလေး ဒီလိုပဲ စဉ်းစားကြည့်
Project က အသစ်မဟုတ်ပါဘူး။ Happy / missing / trap၊ must / must-not၊ ကိုယ်တိုင်judge၊ ပြင်ပြီးပြန်စမ်း၊ secret မထည့်၊ coverage ရေး — ဒါတွေကို pack တစ်ခုပေါ်မှာ အဆုံးသတ်တာပါ။ ကတ်တွေက Cite the notes၊ Stop if missing၊ No fortune telling၊ Keep the shape၊ Don’t leak secrets။ တစ်ခုချင်း အမူအကျင့်တစ်ခု။ ပြီးရင် prompt တစ်ခုပြင်ပြီး သုံးကတ်ပြန်ခေါ်ပါ။ ဒါမှ pack က ကိုယ့်ဟာဖြစ်ပါတယ်။
နေ့စဉ်ဘဝနဲ့ ချိတ်ကြည့်မယ်
ဖိုင်တစ်ခုထဲရေးပါ။ ကတ်တိုင်းမှာ When၊ Ask၊ Must၊ Must not။ ထိပ်မှာ Tested / Untested။ eval-log.md မှာ v1 / v2။ Prompt pack နဲ့ context pack ရှိရင် နာမည်ချိတ်ပါ။ UI မလိုသေးပါဘူး။ Judge model မလိုသေးပါဘူး။ ကတ်အုပ်ငယ်လေး ပြီးရင် ဒီသင်တန်းပြီးပါတယ်။ နောက်မှ ကတ်များများထည့်လို့ရပါတယ်။
အတူတူ လက်တွေ့စမ်းမယ်
# Study Eval Pack
1. Cite the notes
2. Stop if missing
3. No fortune telling
4. Keep the shape
5. Don’t leak secrets
Each card: When + Ask + Must + Must not
Log: v1 → v2 after one prompt changeစမ်းပြီးသား Study Eval Pack တစ်ခု ပြီးစီးမည်။၅ မိနစ် စမ်းကြည့်
ကတ် ၅ ခုရေးပါ။ Prompt တစ်ကြောင်းပြင်ပြီး ကတ် ၃ ခုပြန်စမ်းပါ။ log နဲ့ coverage ကို တွဲတင်ပါ။
သတိလေးတစ်ချက်
Pack လှလို့ bot မှန်တာမဟုတ်ပါဘူး။ ပြင်ပြီးပြန်ရှုံးမှ ကိုယ့်ကိရိယာပါ။