LLM推理性能受输出格式影响,JSON最严重|json|format
输出格式不同,竟然还能影响大模型发挥?!两种提示下让大语言模型(LLMs)解同一道数学题,问题如下:Eliza每周工作的前40小时,每小时的工资是10美元,加班费每小时x1.2。如果Eliza这周工作了45小时,她这周的收入是多少?思维链prompt:“按照以下格式提供输出,逐步推理:…回答:最终答案是…”。格式限制prompt:“按照以下有效的JSON格式提供输出:…(具体JSON格式见图)“。正确答案是460,可以看出,思维链(让模型一步步思考)奏效,格式限制(“以JSON格式输出”)却失