दो मुख्य तकनीकें

प्रॉम्प्ट कैशिंग में बार-बार उपयोग होने वाले प्रॉम्प्ट भागों को कैश में रखकर दोबारा बिलिंग से बचा जा सकता है। दूसरी ओर, कम्प्रेशन तकनीक जैसे Microsoft के LLMLingua प्रॉम्प्ट की लंबाई घटाकर टोकन संख्या सीधे कम करते हैं।

कैशिंग बनाम कम्प्रेशन

दोनों तकनीकों में मुख्य अंतर यह है कि कैशिंग ज्यादातर प्रमुख AI प्रदाता आधिकारिक रूप से देते हैं, जबकि कम्प्रेशन समाधान उपलब्ध कराने वाले प्रदाता सीमित हैं। साथ ही, मॉडल चयन — यानी कम खर्चीले मॉडल का उपयोग — भी टोकन लागत घटाने का एक समान रूप से मान्य आधिकारिक तरीका है।

निष्कर्ष

यह कथन कि टोकन लागत बचत की केंद्रीय तकनीकें प्रॉम्प्ट कैशिंग और कम्प्रेशन हैं, समग्र रूप से ज़्यादातर सही है, क्योंकि इसके साथ मॉडल चयन जैसे वैकल्पिक आधिकारिक तरीके भी विद्यमान हैं।