税務調査を断ることはできますか？

原則としてできません。税務調査は国税通則法にもとづくもので、正当な理由なく拒否すると加重処分の対象になることがあります。連絡を受けたら、まず専門家にご相談ください。日程変更を求められる場合もあります。