能夠退回,但是有一定條件的。若使用者是因為沒有刷滿次數,才導致的信用卡被扣580元的年費,那麼這時候使用者是可以向客服申請進行補刷操作,然後可以在約定的時間內完成補刷,這樣使用者多扣的年費就可以退回了。