AWS CLI

構成設定はどこに保存されていますか。
...
~/.aws/credentials

[default]
aws_access_key_id=AKIAIOSFODNN7EXAMPLE
aws_secret_access_key=wJalrXUtnFEMI/K7MDENG/bPxRfiCYEXAMPLEKEY

~/.aws/config

[default]
region=us-west-2
output=json

設定ファイルと認証情報ファイルの設定 - AWS Command Line Interface

AWS｜AWS CLI(インストール, profileの設定, 使い方) - わくわくBank

AWS CLIでCloudWatchのアラームを制御する - t-sanoブログ

AWS CLIから設定していきます。(マネージメントコンソールから設定できそうかなと思い探したのですが無効化するような機能は見つけられませんでした。)
設定は簡単で下記コマンドで完了です。

アラームの無効化
$ aws cloudwatch disable-alarm-actions --alarm-name <アラームの名前>

運用作業を行うのでCloudWatchのアラーム設定を無効化させたい | DevelopersIO

よく使う aws-cli 「私的」コマンドチートシートとか jq の使い方とか - ようへいの日々精進XP