การใช้งานและการปรับใช้ LLMs

Inference Optimization

เทคนิคการลด latency และหน่วยความจำขณะใช้งาน เช่น Quantization