ActivityPub、セキュリティ関連のプラグインを一旦リセットして必要な部分だけ再設定したら繋がった
多分セキュリティ固めたさに外部連携部分をシャットアウトする設定になってたんだと思う
これでうまくいきそうなら改めて告知します