根据政府采购法实施条例和相关法律法规，如果政府采购评审专家发现自己与参加采购活动的供应商存在利害关系，应该主动申请回避。具体来说：

1. 主动申请回避：评审专家应立即向采购人或采购代理机构提出书面回避申请，说明回避的理由。
2. 不得参与评审：在提出回避申请后，评审专家不应再参与该项目的评审工作。

这样做是为了确保政府采购过程的公平、公正，避免利益冲突影响评审结果。