可以退，但是需要有理有据，到税务局说明情况，带着双方的合同，让税务局重新开具即可。
另外，提醒一下，在税务局窗口办事时应该核对信息准确无误才能离开窗口的，否则，带来不必要的麻烦，要知道举证并且被采信是个困难的过程。
建议向税务机关查询。
