お考えのとおりでよろしいと思います。

親子は，相互に扶養義務を負いますが，成年に達した子に対する親の扶養義務は「生活扶助義務」であり，未成年の子に対する「生活保持義務(自分と同程度の生活を保持する義務)」より扶養義務の程度が軽いです。
すなわち，扶養対象者が困窮に陥り，かつ，親に扶養する経済的余裕がある場合に扶養の必要が生じます。

お子さんは，障害年金を受給しているほか，一応稼働能力を有するようなので，基本的には不要の必要はないと思われます。
但し，おっしゃるとおり，お子さんが稼働できず，施設に入所等して，自らの障害年金だけでは生活に窮する場合は，一定の範囲で扶養すべきと考えます。一定の範囲とは，生活に不足する分が基本です。
もっとも，奥様もお子さんに対し，扶養義務を負うので，お子さんに対する具体的な扶養については，双方の収入に照らし，按分すべきと考えます。

扶養義務は，⑴生活保持義務と⑵生活扶助義務に分けられます。
⑴は，自分と同程度の生活を対象に保証するという義務，⑵は，自分が経済的に余裕があれば，必要な分だけ対象に保証するという義務であり，内容が違います。
では，⑴と⑵をどういう基準で分けるのか，についてですが，夫婦間と，未成熟な子に対しては，⑴になります。
未成年ではなく，未成熟，というのは，経済的独立ができない子という意味ですが，一般的には，成年に達し，かつ，大学などの教育機関にも通っていない子は，未成熟とは言わないです。
障害がある場合は，障害の程度，内容，その子の生活ぶりによります。

対象のお子さんは，２１歳で，軽度の障害があるが，障害者雇用で勤務しているとのことですので，未成熟とはいえないのかなと思います。ただ，障害者雇用なので，給与額は低いだろうと想像できます。

以上のことから，あなたが対象の子に対して扶養義務を負うとしても，⑵の生活扶助義務ではないか，と考えてもよいように思います。
そうすると，問題となるのは，あなたの経済状況と，対象の子が月々いくらの扶助を必要としているか，ということでしょう。

そのため，調停においては，ご自身の世帯の収入と支出を明らかにして，経済的余裕がないことを主張しつつ，対象の子の生活状況を尋ねるべきでしょう。

また，仮に，扶養料を支払うことになった場合の期間ですが，対象の子の状況が変化することがあり得るので，何年後かに見直すことを前提に，５年といった一定期間の扶養義務とする解決となるように思います。

弁護士に依頼することが前提となりますが，弁護士であれば，⑴支払義務者（元配偶者）の住民票上の住所，⑵携帯電話番号が変更されていなければ，携帯電話業者に登録がある支払義務者の住所を調べることは可能です。
ただ，いずれの手段もある程度時間がかかるのと，⑴については，住民票上の住所と現住所とが一致していなければ意味がなく，⑵については，携帯電話業者の登録情報に現住所が記載されていなければ意味がないことになります。
その点を踏まえた上で，それでも調べたいというのであれば，弁護士に支払義務者に対する養育費の請求を依頼するのがよいと思います。

養育費を定める際に，現時点では出生していない夫と不貞相手との間の子のことは考慮しなくてよいと思います。
あなたと夫との間のお子さんにつき，現在の状況をもとに養育費を定めておいて，今後，夫が再婚なり認知なりして不貞相手との間の子に対して扶養義務を負うこととなったときに，夫の方から養育費減額を申し出ればよいのではないでしょうか。

公正証書で養育費について定める場合，支払いのお期についても定めます。公正証書作成時には，必ず，公証人による読み聞かせと，記載内容を確認する作業がありますので，その際に『養育費はちゃんと20歳までとなって』いるかの確認はできます。
また，公正証書の内容に不安を感じたときは，作成前か作成時に，公証人の先生に確認してみてください。

面会交流なしの取り決めをした理由や事情によりますが，基本的には，面会交流ありに変更することは可能だと思います。

気になるのは，お子さんが皆幼いことです。
あなたがお子さんたちと離れてどれくらい経つのか分かりませんが，あまり時間が経過していると，お子さんがあなたに会うことを拒絶する可能性もあるように思いました。
仮に，家庭裁判所に面会交流調停を申し立てたとして，裁判所が面会交流を実施すべきだと考えたとしても，元夫は「子供が嫌がっている」などと反論してくる可能性があり，実際に，お子さんがあなたのことを忘れたり，気持ちが離れていた場合に，お父さんの顔色や気持ちに配慮して「会いたくない」と言い出す可能性があります。
つまり，一番の懸念は，お子さんの気持ちの点です。
この点は，あくまで可能性の話なので，心に留めておいて，あなたがお子さんと会いたいと思うのなら，夫に求めるよりも，速やかに面会交流調停を申し立てるべきだと思います。

あなた自身が元夫の住所を調べて，請求書を出すということもできなくはないでしょうが，現実的には，弁護士に，元夫に対して未払養育費の支払いを請求することを依頼して，現在の元夫の住所を調べてもらって，過去１０年分遡って請求する，というのがよいでしょう。

もっとも，お子さん２人に対し月額１万円の養育費すら支払わない男が，たとえ弁護士から請求があったとしても素直に支払うとは思えません。裁判をしても，回収できるかどうかは不明です。
勤務先を調べられたとしても，元夫が勤務先をやめてしまえば給与差押えも空振りになります。

要は，弁護士に依頼して請求したとしても費用倒れになる可能性があるということです。
それでもどうしても支払わせたいというのであれば，弁護士に依頼することをお勧めします。

ご長女については，養育費の支払義務がなくなる，又は，減額できる可能性があると考えます。

養育費は，親子間の扶養義務に基づき支払われる未成熟な子の生活費です。

仮に，ご長女が，正社員等として就職したのであれば，一応経済的独立が可能と認められ，未成熟とはいえないこととなり，養育費の支払義務はなくなると思われます。
これに対し，フリーターとなると，少し話が異なるように思います。
職種や収入にもよると思いますが，いわゆる就職の場合と比べると若干経済的に不安定な感じを受けます。他方で，学生がアルバイトをしているのとは異なり，フリーターとはいえ，仕事に専念しているわけですから，学生とは扱いが異なるのではないかとも思います。

そこで，ご長女がそれなりに安定した職種につき，長期間そこで勤務することが予想され，それなりの収入を安定して得られるのであれば，もう「未成熟」とはいえない経済的に独立した存在として，養育費を支払う必要はなくなるのではないかと考えます。他方で，そこまでは言えない場合でも，ある程度は成熟したものとして，減額は可能なように思います(もっとも，もともとの月4万円という養育費額が適正な場合に限ります)。