案例分析题付先生2004年购买了一套120m2的住房，同年8月，开发商通知付先生入住。在办理了相关入住手续后，付先生高高兴兴地领到了新房钥匙。在该小区物业服务公司员工的陪同下，付先生对新房进行验收。在验收过程中，付先生发现了好几处质量问题，物业服务公司员工将其一一记录在验房单上。于是，付先生退回了钥匙，要求待提出的质量问题解决后再来收房。两个月后，物业服务公司以挂号信的方式通知付先生，质量问题已经彻底修好，可以收房了。一周后，付先生再次前往收房。经过验房确认，房屋质量问题已基本得到解决。于是付先生收下了新房钥匙，但是物业服务公司要求付先生交齐第一次验房到现在的物业管理费。付先生认为，应该从自己验收房子合格之日起才能收物业管理费，或者从要求自己再次验房的挂号信寄出的次日收取。因此，付先生与物业服务公司各持己见，争论不休。请问： 如果物业服务公司不向付先生收取这段时间的物业管理费则应该向谁收取？为什么？