お考えのとおりでよろしいと思います。

親子は，相互に扶養義務を負いますが，成年に達した子に対する親の扶養義務は「生活扶助義務」であり，未成年の子に対する「生活保持義務(自分と同程度の生活を保持する義務)」より扶養義務の程度が軽いです。
すなわち，扶養対象者が困窮に陥り，かつ，親に扶養する経済的余裕がある場合に扶養の必要が生じます。

お子さんは，障害年金を受給しているほか，一応稼働能力を有するようなので，基本的には不要の必要はないと思われます。
但し，おっしゃるとおり，お子さんが稼働できず，施設に入所等して，自らの障害年金だけでは生活に窮する場合は，一定の範囲で扶養すべきと考えます。一定の範囲とは，生活に不足する分が基本です。
もっとも，奥様もお子さんに対し，扶養義務を負うので，お子さんに対する具体的な扶養については，双方の収入に照らし，按分すべきと考えます。

ご長女については，養育費の支払義務がなくなる，又は，減額できる可能性があると考えます。

養育費は，親子間の扶養義務に基づき支払われる未成熟な子の生活費です。

仮に，ご長女が，正社員等として就職したのであれば，一応経済的独立が可能と認められ，未成熟とはいえないこととなり，養育費の支払義務はなくなると思われます。
これに対し，フリーターとなると，少し話が異なるように思います。
職種や収入にもよると思いますが，いわゆる就職の場合と比べると若干経済的に不安定な感じを受けます。他方で，学生がアルバイトをしているのとは異なり，フリーターとはいえ，仕事に専念しているわけですから，学生とは扱いが異なるのではないかとも思います。

そこで，ご長女がそれなりに安定した職種につき，長期間そこで勤務することが予想され，それなりの収入を安定して得られるのであれば，もう「未成熟」とはいえない経済的に独立した存在として，養育費を支払う必要はなくなるのではないかと考えます。他方で，そこまでは言えない場合でも，ある程度は成熟したものとして，減額は可能なように思います(もっとも，もともとの月4万円という養育費額が適正な場合に限ります)。

今後も現在の事業を継続するのであれば，養育費の減額は難しい可能性があります。
その理由は，調停が昨年成立したばかりであること，昨年時点で今年以降の業績不振であることが予想されていたのであれば，例えば令和６年中に養育費額の見直しをする等の条項を盛り込むことが可能であったのに，それをしていないといったことです（元妻が口頭で業績不振による見直しに賛同していた，だけでは弱いと思います）。
他方，廃業して他社の従業員として勤務されるのであれば，減額は可能です。
実際に収入が下がったことが必須条件ではありますが，転職により，調停時とは異なる状況にあることが明らかとなるため，事業継続の場合とは扱いが異なることになります。
転職後，２，３か月勤務し，給与明細書を取得してから減額調停を申し立てるのがよいです。
養育費減額を求める場合，減額を相当とする根拠を示す必要があり，給与明細書を示すのが適当だからです。

養育費は，「未成熟の子」に対する扶養義務が根拠になります。
未成熟，とは，平たく言えば，学生の間と言えるかもしれません。要は，経済的に独立していない，できない状態ということです。
そのため，娘さんが大学を卒業した以上は，未成熟とはいえないため，養育費の支払義務はない，と言えます。

なお，「障害等で就職が困難」等の理由で要扶養状態の子がいる場合は，養育費ではなく，扶養一般の問題になると思います。

お子さんの出産が，元夫との婚姻成立から２００日経過後であれば，嫡出推定（民法７７２条２項）が及ぶため，父子関係を否認するには，元夫が子の出生を知った時から「１年以内に」嫡出否認の訴えを提起しなければなりません（７７７条）。
しかし，すでにお子さんが３歳になったということなので，上記の場合であれば，原則として，元夫との間の嫡出子であることを否認できず，父子関係は切れないことになります。
例外的に，外形的客観的に見て元夫との関係が明らかに破たんしていた場合などは親子関係不存在確認の訴えによることもできる可能性がありますが，お話を聞く限り，これには該当しないように思います。

他方で，出産が元夫との婚姻成立から２００日以内であれば，嫡出推定が及ばない嫡出子になるので，親子関係不存在確認の訴えが可能です。
この方法により，元夫とお子さんとの父子関係を断つことができれば，実の父親に対し，認知を求め，認知後に養育費を請求することが可能です。

養育費を定める際に，現時点では出生していない夫と不貞相手との間の子のことは考慮しなくてよいと思います。
あなたと夫との間のお子さんにつき，現在の状況をもとに養育費を定めておいて，今後，夫が再婚なり認知なりして不貞相手との間の子に対して扶養義務を負うこととなったときに，夫の方から養育費減額を申し出ればよいのではないでしょうか。

公正証書で養育費について定める場合，支払いのお期についても定めます。公正証書作成時には，必ず，公証人による読み聞かせと，記載内容を確認する作業がありますので，その際に『養育費はちゃんと20歳までとなって』いるかの確認はできます。
また，公正証書の内容に不安を感じたときは，作成前か作成時に，公証人の先生に確認してみてください。

お子さんが３人いらっしゃるとのことですから，なるべく養育費の支払が確保できるよう公正証書を作成するか，調停を申し立て，調停調書に養育費のことを記載してもらうのがよろしいかと思います。
家の名義変更についても書面化しておく方が安心でしょう。

夫の転居先は，夫が住民票を異動していれば，離婚後であっても養育費の請求などを理由に調べることは可能です。転職先については，養育費の未払いがあれば，調査することはできますが，前提として調停調書などの書面により養育費が認められている必要があります。