Thuta Learning
RAG Chatbot
IntermediateAIbeginner

စာအုပ်ကို ဘယ်လိုပိုင်းမလဲ

ဒီခန်းပြီးရင် ဘာတတ်သွားမလဲ

  • စာအုပ်ကို ဘယ်လိုပိုင်းမလဲ ကို ကြောက်စရာမလိုအောင် နားလည်မယ်
  • ကိုယ်တိုင် စမ်းသုံးတတ်အောင် လုပ်မယ်
  • မှန်းဖြည့်မှုနဲ့ secret ကို ပြုံးပြီး ရှောင်တတ်မယ်

Chunk ဆိုတာ စာအုပ်တစ်အုပ်လုံးကို တစ်လုတ်တည်း မမျိုဘဲ၊ လက်ဖက်ရည်သောက်ရင်း ဖတ်လို့ရအောင် ပိုင်းတာပါ။ ကြောက်စရာမလိုပါဘူး။

ခဏလေး ဒီလိုပဲ စဉ်းစားကြည့်

Model ရဲ့ပန်းကန်က သေးတယ်။ စာအုပ်တစ်အုပ်လုံးကို တစ်ခါတည်း မကျွေးပါနှင့်။ Chunk က အပိုဒ်တစ်ခု၊ ခေါင်းစဉ်တစ်ခု၊ စာမျက်နှာတစ်ဝက်လောက်ပါ။ ကြီးလွန်းရင် ရှာတဲ့အခါ ဆူညံတယ်။ သေးလွန်းရင် အဓိပ္ပာယ်ပြတ်တယ်။ ပထမဆုံးစည်းမျဉ်း — ခေါင်းစဉ်အလိုက် ပိုင်းပါ။ စာလုံးရေ မှော်ဂဏန်းကို အရင်မမှတ်ပါနှင့်။ လက်ဖက်ရည်တစ်ခွက်ဖတ်လို့ပြီးအောင် ပိုင်းရင် လုံလောက်ပါတယ်။

နေ့စဉ်ဘဝနဲ့ ချိတ်ကြည့်မယ်

handbook.md မှာ “ဖုန်း”၊ “ယူနီဖောင်း”၊ “နောက်ကျ” ဆိုတဲ့ ခေါင်းစဉ်သုံးခုရှိရင် chunk သုံးခုလုပ်ပါ။ “ဖုန်း” မေးရင် ယူနီဖောင်းအပိုဒ်က မလိုပါဘူး။ Word ကို ၅၀ လုံးတိတိပိုင်းပြီး စာကြောင်းအလယ်က ပြတ်သွားတာက ဟင်းကို ဓားနဲ့ပိတ်ပစ်သလိုပါပဲ။ overlap လိုအပ်ရင် ခေါင်းစဉ်ကို chunk ထိပ်မှာ ထပ်ထည့်ပါ။ ဒါလေးက မှော်ဂဏန်းထက် ပိုအလုပ်လုပ်တယ်။

အတူတူ လက်တွေ့စမ်းမယ်

text
handbook.md
  chunk A  ## ဖုန်း
  chunk B  ## ယူနီဖောင်း
  chunk C  ## နောက်ကျ

Question about phones → only chunk A goes to the model
You should see
ဖိုင်တစ်ခုကို အဓိပ္ပာယ်ရှိသော chunk ၃ ခု ပိုင်းနိုင်မည်။

၅ မိနစ် စမ်းကြည့်

စာပိုဒ် ၁၀ ကြောင်းတုရေးပါ။ ခေါင်းစဉ် ၃ ခုနဲ့ chunk ခွဲပါ။ ဘာကြောင့်ဒီလိုခွဲလဲ တစ်ကြောင်းစီ ရှင်းပါ။

သတိလေးတစ်ချက်

Chunking library မသုံးခင် စက္ကူပေါ်မှာ ပိုင်းကြည့်ပါ။ မျက်လုံးနဲ့ မရှင်းရင် code ကလည်း မရှင်းပါဘူး။

ဒီနေရာမှာ လူအများမှားတတ်တယ်

  • ဖိုင်တစ်ခုလုံးကို တစ်chunk လုပ်ခြင်း
  • စာလုံးရေပဲကြည့်ပြီး အဓိပ္ပာယ်ပြတ်အောင် ပိုင်းခြင်း

အခု ကိုယ်တိုင် စမ်းကြည့်

စာပိုဒ် ၁၀ ကြောင်းတုရေးပါ။ ခေါင်းစဉ် ၃ ခုနဲ့ chunk ခွဲပါ။ ဘာကြောင့်ဒီလိုခွဲလဲ တစ်ကြောင်းစီ ရှင်းပါ။

You'll know it worked when: ဖိုင်တစ်ခုကို အဓိပ္ပာယ်ရှိသော chunk ၃ ခု ပိုင်းနိုင်မည်။

စာအုပ်ကို ဘယ်လိုပိုင်းမလဲ | Thuta Learning