某民营企业长期从事房地产业务，但随着市场竞争日趋激烈，发展前景不容乐观，管理层打算逐步退出房地产行业，并对今后的长远发展进行战略性决策。然而公司内部意见不统一。一派认为现在公司每年建材采购方面的费用太大，应果断进入建材行业以控制成本；另一派认为建材市场竞争也很激烈，而且搞建材和搞房地产性质截然不同。但现在各地都在搞工业园，对工业厂房和专业物业管理需求很大，公司应该发挥在民用房地产业积累起来的优势和经验尽快进入这一领域。要求：根据以上资料及有关理论，回答下列问题： 简要分析该企业退出房地产行业可能存在的困难。