စိတ်လျှော့ပါ။ ဒီခန်းကို စာအုပ်လိုမဟုတ်ဘဲ စကားပြောသလိုပဲ၊ နားလည်လွယ်အောင် ရှင်းပါမယ်။
ခဏလေး ဒီလိုပဲ စဉ်းစားကြည့်
Paper eval ဆိုတာ UI မရှိသေးပါဘူး။ နာမည်၊ မေးခွန်း၊ must / must-not၊ ဘယ်အခါပြန်စမ်း၊ ဘယ် prompt/context နဲ့တွဲမလဲ ကို ကတ်တစ်ခုလို ရေးတာပါ။ Prompt pack၊ context pack နဲ့ ချိတ်ချင်ရင် နာမည်တူအောင်ပေးပါ။ Magic box ရှိရင် အဲဒါကို must အဖြစ်ခွဲပါ။ ကတ်ပေါ်မှာ ရှင်းမှ chat ထဲစမ်းပါ။
နေ့စဉ်ဘဝနဲ့ ချိတ်ကြည့်မယ်
ကတ်နမူနာ — နာမည်: Cite the handbook။ Ask: ဖုန်းသုံးလို့ရလား။ Must: မရ၊ handbook.md။ Must not: ခွင့်ပြု။ When: prompt ပြင်ပြီး၊ ဖိုင်ပြင်ပြီး။ ပထမ pack မှာ ကတ် ၅ ခုထက်မပိုပါနှင့်။ Leaderboard မလိုသေးပါဘူး။
အတူတူ လက်တွေ့စမ်းမယ်
text
Card: Cite the handbook
Ask → Must / Must not
When → after prompt or note change
Then run. Write PASS/FAIL + one line.You should see
Eval ကတ်တစ်ခုကို စက္ကူပေါ်မှာ ရေးနိုင်မည်။၅ မိနစ် စမ်းကြည့်
ကတ် ၃ ခုအတွက် နာမည်၊ မေးခွန်း၊ must၊ must-not၊ ဘယ်အခါသုံးမလဲ ရေးပါ။
သတိလေးတစ်ချက်
ကတ်ပေါ်က must ကို ကျယ်ကျယ်ဖတ်မရသေးရင် မစမ်းသေးပါနှင့်။