各botの説明サイトと実際のサービスサイトを張っておきます Semrush は無料では使えないので Disallow: / でよいと思います Ahrefs は無料で多少使えますが、詳しく見ようと思うと有料 majestic MJ12bot は無料でさわりを見ることができ、詳しく見ようと思う…