怎么使用主观评测，数据集有参考答案，用judemodel去评测模型生成的答案与参考答案对比进行打分可以吗

[Rosejacka]

有配置文件进行参考吗

[OyutianO]

相同的问题，想用alcapa数据集去进行主管评测。看user_guide文档中写明已经支持了alcapa数据集了，但是数据集下载包中并没有提供alcapa数据集，同时数据集处理的python文件也并不是按照insturction/input/outpu字段来处理的

[bittersweet1999]

相同的问题，想用alcapa数据集去进行主管评测。看user_guide文档中写明已经支持了alcapa数据集了，但是数据集下载包中并没有提供alcapa数据集，同时数据集处理的python文件也并不是按照insturction/input/outpu字段来处理的

Alpacaeval有下载的呀，现在OC是支持自动下载的，按理来说不用你自己去下载数据集会自动拉取的。如果你要自己下载的话参考这里：

opencompass/opencompass/utils/datasets_info.py

Line 413 in 2fee63f

"subjective/alpaca_eval": {

[bittersweet1999]

有配置文件进行参考吗
可以的呀，如果你要用这种对战的方式做评测的话，把参考答案做成一个单独的json，格式和你模型直接做prediction得到的那个json一致即可。这种配置参考Alpacaeval 和ArenaHard这两个数据集即可