年龄不大，可以考虑去，反之留在财政局或更好。
县级财政局为正科级单位，预算科（预算股）作为内设机构，所谓的科长只不过是科员级，也就是县区自定的股级。听起来像是个领导，在公务员序列里属于低的不能再低的一个层级。所以但凡有机会提拔副科级，县区公务员一般都不会犹豫。一方面这是组织安排，由不得你拒绝，另一方面一个副科级领导职务在县区一级的含金量不亚于市直的副处，提拔要经过组织部考察、县区委常委会研究，在县区大小也是个人物，也是县区公务员普遍认为突破难度较大的一个关口。有了这个基础，才有可能升局长、乡镇长或书记，在县区重要领导岗位中占据一席之地。现在有机会提拔副镇长，拿到了很多人梦想中的入场券，还有什么好犹豫的？
以县级单位实际情况，只要还有进步的想法，个人认为题主都应该考虑去，哪怕乡镇比较偏远。一个副镇长在县里意味着什么，题主应该很清楚。你不愿意去，多的是人想去，现在犹犹豫豫纠结，等过了这个村，保不准哪天后悔，到时候再找机会就难了。特别对年轻人更是如此。
当然年龄相对偏大，比如年过四十，有家庭等各方面的考虑，也可以考虑留在财政局。财政局最大的优势是经费收支的管理，这是所有县级单位都要给予足够尊重的部门。而预算科又号称财政局的“第一科室”，手握县级所有财政拨款单位的预算审核权，更是众人追捧的对象。因此，尽管县财政局预算科长只是小小的科员，连副科级都不是，因为所处位置比较重用，其在县里拥有的话语权和影响力未必会比一个偏远乡镇的副镇长差。从实惠性考虑，留在县财政局当预算科长未必不可，毕竟在县城工作软硬件环境都要比乡镇好，对家庭生活显然更有利。
更何况，县财政局预算科科长本身也是提拔的主要对象，不去乡镇，以后可能也可以提拔县直部门副职，即便没有实职，在县财政局解决一个四级主任科员待遇对预算科长来说也不是难事，到时候级别待遇有了，实惠也有了，委实不一定下乡镇去吃那辛苦。