日本某银行应当地客户的要求开立了一份不可撤销的自由议付信用证，出口地为上海，信用证规定单证相符合后，议付行可向日本银行的纽约分行索偿。上海银行议付了该笔单据，并在信用证有效期内将单据交开证行，同时向其纽约分行索汇，五天后议付收回款项。第二天开证行来电提出单据有不符点，要求退款。议付行经落实，确定本行失误，该不符点成立，但又从受益人处得知开人已通过其他途径（未用提单）将货取走，且受益人现持有该批货通关的证据。试问：议付行是否可以凭受益人提交的通关证据回复开证行，拒绝退款？