Tokens and Context Windows

Token၊ context window၊ input/output budget နဲ့ conversation ရှည်လာချိန် အချက်အလက်စီမံနည်းကို သိရှိမည်။

ခဏလေး ဒီလိုပဲ စဉ်းစားကြည့်

Model က စာကို စကားလုံးတစ်လုံးစီမဟုတ်ဘဲ token အပိုင်းလေးများအဖြစ် ဖတ်ပါတယ်။ Context window ဆိုတာ request တစ်ကြိမ်မှာ instructions၊ history၊ documents နဲ့ output အပါအဝင် model စဉ်းစားနိုင်တဲ့ အကန့်အသတ်ပါ။ စာရှည်တိုင်း အသုံးဝင်တဲ့ context မဟုတ်ပါဘူး။

နေ့စဉ်ဘဝနဲ့ ချိတ်ကြည့်မယ်

Chat history အားလုံးပို့နေမယ့်အစား အဟောင်းကို summary လုပ်၊ လက်ရှိအလုပ်နဲ့ဆိုင်တဲ့ document ကိုပဲရွေး၊ output အရှည်ကန့်သတ်ပါ။ ဒီနည်းက cost နဲ့ latency လျော့စေပြီး အရေးကြီးတဲ့ညွှန်ကြားချက် ပျောက်မသွားအောင် ကူညီပါတယ်။

• Input၊ history နဲ့ output အားလုံး token သုံးသည်
• အသုံးဝင်မှုနည်းတဲ့ context ကို ဖယ်ပါ
• Conversation အဟောင်းကို summary လုပ်ပါ

အတူတူ လက်တွေ့စမ်းမယ်

Context budget
├── System instructions
├── User request
├── Relevant chat history
├── Retrieved documents
└── Reserved output space

Context မပြည့်လျှံအောင် chat request တစ်ခုကို စီမံနိုင်မည်။

OpenAI — Text generation — OpenAI