Large Language Model AI တွေကို ကိုယ့်စက်ထဲမှာ လွယ်လွယ်ကူကူ ဘယ်လို run ရမလဲဆိုတော့
ပထမဆုံး
https://ollama.ai/ မှာ ollama ကို download ဆွဲပါ။
Size ဘယ်လောက်မှမရှိပါဘူး။ (လက်ရှိမှာတော့ Mac နှင့် Linux ပဲရပါသေးတယ်။ Window မှာသုံးဖို့ဆိုရင်တော့ Window Subsystem Linux ကိုသုံးပါ။)
ပြီးရင် Mistral 7B model သုံးဖို့အတွက် command line ကနေ အောက်ပါအတိုင်း run လိုက်ပါ။
ollama run mistral
ဘာလို့ အခြား model မသုံးပဲ Mistral 7B သုံးရလဲဆိုရင် လက်ရှိမှာ ကျန်တဲ့ 7B model တွေထက် ပိုကောင်းလို့ပါ။ Size က 4.1GB ရှိပါတယ်။
Ollama က web server တခုအနေနဲ့လာပါတယ်။ Http Request အနေနှင့် အောက်ပါအတိုင်းခေါ်သုံးရင်ရပါတယ်။
curl http://localhost:11434/api/chat -d '{
"model": "mistral",
"messages": [
{ "role": "user", "content": "why is the sky blue?" }
]
}'
API Server အနေနဲ့ပါသုံးလို့ရတာမို့လို့ ကိုယ်ပိုင် LLM service တခုကို တည်ဆောက်နိုင်ပါပြီ။
