Modelni oʻz kompyuteringizda ishga tushirish

Ochiq modellarni (Llama, Qwen, Mistral, DeepSeek) yuklab olib, oʻz kompyuteringiz yoki serveringizda ishlatish mumkin. Bu ikki holatda ayniqsa foydali:

• maʼlumotlar maxfiy — bank, tibbiyot, davlat tashkilotlari;
• internet sekin yoki qimmat — model oflayn ishlaydi.

Qanday kompyuter kerak

Model hajmi	Kerakli xotira (RAM yoki videokarta)	Sifat
1–4B	4–8 GB	oddiy vazifalar, tez
7–9B	8–16 GB	kundalik ish uchun yaxshi
30B+	24 GB+	kuchli, lekin qimmat uskuna kerak

Apple M-seriyali MacBook’lar va zamonaviy NVIDIA videokartalari eng yaxshi ishlaydi.

Variant 1: LM Studio — dasturlashsiz

1. lmstudio.ai saytidan dasturni yuklab oling.
2. Qidiruvda “qwen” yoki “llama” deb yozing va kompyuteringizga mos modelni yuklab oling.
3. Chat oynasida gaplashing — internetni oʻchirsangiz ham ishlaydi.

Variant 2: Ollama — dasturchilar uchun

Ollama’ni oʻrnating va terminalda:

ollama run qwen3

Model yuklanadi va chat boshlanadi. Ollama shuningdek localhost:11434 manzilida API ochadi — oʻz ilovangizni unga ulashingiz mumkin:

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3",
  "prompt": "Sunʼiy intellekt nima? Bir gapda, oʻzbek tilida."
}'

Oʻzbek tili haqida

Kichik ochiq modellar oʻzbek tilida katta bulut modellariga qaraganda zaifroq yozadi. Rus tilida natija odatda yaxshiroq. Muhim matnlarni har doim tekshiring va turli modellarni solishtiring.

Keyingi qadam

Lokal modelga oʻz hujjatlaringizni ulash uchun RAG haqida oʻqing (lugʻatda) va Open WebUI’ni sinab koʻring — bu ChatGPT’ga oʻxshash interfeys, lekin toʻliq sizning serveringizda.