Ollama คืออะไร และวิธีรัน LLM บนเซิร์ฟเวอร์ของคุณเอง

ทดสอบบน Ubuntu Server 24.04 LTS

1. 1

   ติดตั้ง Ollama

   คัดลอก

   curl -fsSL https://ollama.com/install.sh | sh
   systemctl status ollama --no-pager

2. 2

   ตรวจว่า GPU ถูกใช้งาน

   ถ้าเป็น GPU Server ให้ยืนยันว่าไดรเวอร์ทำงานและ Ollama มองเห็นการ์ด

   คัดลอก

   nvidia-smi

3. 3

   ดาวน์โหลดและทดลองใช้โมเดล

   เลือกโมเดลให้พอดีกับหน่วยความจำของ GPU โมเดลที่ใหญ่เกินหน่วยความจำจะถูกย้ายไปรันบน CPU และช้าลงมาก

   คัดลอก

   ollama pull llama3.1:8b
   ollama run llama3.1:8b "สรุปหน้าที่ของฝ่ายไอทีใน 3 ข้อ"

4. 4

   เปิด API ให้ระบบภายในเรียกใช้

   ค่าเริ่มต้นฟังเฉพาะในเครื่อง ถ้าต้องการให้แอปในวงเรียกใช้ ให้ผูกกับไอพีภายในและจำกัดด้วย Firewall

   คัดลอก

   sudo systemctl edit ollama
   # เพิ่มบรรทัดนี้
   [Service]
   Environment="OLLAMA_HOST=10.10.0.60:11434"
   
   sudo systemctl restart ollama

5. 5

   ทดสอบเรียกผ่าน API

   คัดลอก

   curl http://10.10.0.60:11434/api/generate -d '{
     "model": "llama3.1:8b",
     "prompt": "แนะนำสเปกเซิร์ฟเวอร์สำหรับเว็บ WordPress",
     "stream": false
   }'

6. 6

   ต่อกับหน้าจอแชท

   ติดตั้ง Open WebUI เพื่อให้พนักงานใช้งานผ่านหน้าเว็บที่คุ้นเคยแทนการเรียก API เอง

ห้ามเปิดพอร์ต 11434 สู่อินเทอร์เน็ตโดยไม่มีการยืนยันตัวตน เพราะเท่ากับเปิดให้ใครก็ได้ใช้ GPU ของคุณฟรีและอ่านโมเดลที่ติดตั้งไว้