Milvus คืออะไร และวิธีติดตั้งบน Cloud Server

ทดสอบบน Ubuntu Server 24.04 LTS ที่ติดตั้ง Docker แล้ว

1. 1

   ดึงไฟล์ Compose ทางการ

   คัดลอก

   mkdir -p /srv/milvus && cd /srv/milvus
   curl -L https://github.com/milvus-io/milvus/releases/download/v2.4.0/milvus-standalone-docker-compose.yml -o docker-compose.yml

2. 2

   เริ่มระบบ

   คัดลอก

   docker compose up -d
   docker compose ps

3. 3

   ติดตั้งไลบรารีฝั่งแอปและเชื่อมต่อ

   คัดลอก

   pip install pymilvus
   
   from pymilvus import MilvusClient
   client = MilvusClient(uri="http://10.10.0.71:19530")

4. 4

   สร้างคอลเลกชัน

   กำหนดจำนวนมิติให้ตรงกับโมเดลที่ใช้แปลงข้อมูล และเลือกวิธีวัดระยะห่างให้เหมาะกับโมเดล

   คัดลอก

   client.create_collection(
       collection_name="docs",
       dimension=768,
       metric_type="COSINE",
   )

5. 5

   เพิ่มข้อมูลและสร้างดัชนี

   เพิ่มเวกเตอร์พร้อมข้อมูลประกอบ แล้วสร้างดัชนีตามวิธีที่เหมาะกับขนาดข้อมูลและความแม่นยำที่ต้องการ

   คัดลอก

   client.insert(collection_name="docs", data=[
       {"id": 1, "vector": embedding, "dept": "hr"},
   ])
   client.load_collection("docs")

6. 6

   ค้นหาและตั้งการสำรองข้อมูล

   ทดสอบค้นหาแล้วตั้งสำรองข้อมูลตามรอบ เพราะการสร้างเวกเตอร์ใหม่ทั้งหมดใช้เวลาและค่าใช้จ่ายสูงมากเมื่อข้อมูลมีจำนวนมาก

   คัดลอก

   res = client.search(collection_name="docs", data=[question_embedding], limit=5)

เริ่มจากแบบรวมทุกส่วนในเครื่องเดียวก่อนเสมอ แล้วค่อยแยกเป็นหลายเครื่องเมื่อข้อมูลโตจริง เพราะการติดตั้งแบบกระจายซับซ้อนกว่ามาก