用vllm传参batch_size无效。找到原因是当使用chat template的时候，batch_size写死了是16

[tzyodear]

opencompass/opencompass/utils/run.py

Line 306 in be3c06a

batch_size=16,

如题。看到这里比较困惑。

我看貌似是某次commit特地改的，请问是基于什么原因这么设置的？
按我的理解vllm会走Continuous batching所以应该是能把bs调大很多；甚至直接把全部数据集丢进去吧。