留置后已让家属退1100万，现通知还需退500万，该怎么办？