LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models

Abstract

Large language models (LLMs) have been applied in various applications due to their astonishing capabilities. With advancements in technologies such as chain-of-thought (CoT) prompting and in-context learning (ICL), the prompts fed to LLMs are becoming increasingly lengthy, even exceeding tens of thousands of tokens. To accelerate model inference and reduce cost, this paper presents LLMLingua, a coarse-to-fine prompt compression method that involves a budget controller to maintain semantic integrity under high compression ratios, a token-level iterative compression algorithm to better model the interdependence between compressed contents, and an instruction tuning based method for distribution alignment between language models. We conduct experiments and analysis over four datasets from different scenarios, i.e., GSM8K, BBH, ShareGPT, and Arxiv-March23; showing that the proposed approach yields state-of-the-art performance and allows for up to 20x compression with little performance loss.

Main Idea

• Selective Context와 크게 다르지 않음
  • == 모델이 미리 알고 있는 정보를 쳐낸다
  • Coarse-to-fine framework를 도입한다!
    • Budget Controller
    • Iterative Token-Level Prompt Compression
  • Instruction Tuning을 통해 작은 모델이 큰 모델의 perplexity를 더 잘 따라하게끔 학습시킨다!

Methodology

Problem Definition

• $x = (x_{ins},x_{dem},x_{que})$
• $\tilde{x}$는 압축된 Prompt
• 압축된 프롬프트로 생성한 결과($\tilde{x}_G$)가 원래 프롬프트로 생성한 결과($x_G$)와 비슷해야함
• Selective Context 와 같은 objective

Budget 설정

• $\tau = \tilde{L}/L, \tau \in [0,1]$ (즉, 남는 prompt 길이의 비율)
• 전체 압축률을 설정하고, 그 압축률 안에서 instruction, demonstration, question의 압축률을 각각 할당하는 방식

  • instruction과 question이 더 중요하다는 전제 하에, 이 둘의 값을 먼저 정하고, 그것에 맞춰 demonstration의 압축률을 정함

    

  • Demonstration 압축이 끝난 이후에, 남는 budget은 추후에 instruction과 question에 추가적으로 할당 ( $\tilde{L}D$는 실제 압축된 길이, $k \times \tau{dems}L_{dems}$ 는 할당된 budget에 따른 최대 허용 길이)

    

Budget Controller

• $x_{dems}$에서 subset $D$를 뽑아내는 과정 (몇 개의 demonstration을 남길 것인가?)

  • 여기에서 Token level pruning을 하는 것은 아님.

• Perplexity를 보고, 높은 순서대로 정렬해둔 뒤, 주어진 subset 길이를 초과하기 전까지 demonstration을 추가 (남는 budget은 여기에서 발생)