このマンションが契約しているISPですと、NATしている為ユーザ毎の帯域制御は出来ないので、制限されているとするとマンション全体で制御されてます。(ただ、約款にそういう記述が無かったと記憶しているので、多分これは無いです)
何れにせよ、100Mbpsの帯域をマンション全体で共有するので、利用者の母数が増えると体感速度が落ちるでしょう。
さらに、大量のデータ通信をどこかで行っているとそれにも引きずられます。
ですので、マンション内で利用するアクセスキャリアを分散するのが理想です。
我が家ではGlobal Addressが必要だったので、当初よりB-Fletsを契約しておりますが速度に問題は感じません。
au光も来るという話でしたので、利用キャリアが分散されると解決するかと思われます。