הקשרים החברתיים והפוליטיים של טוביה בתוך יהודה היו עמוקים והתבססו על קשרי משפחה הדוקים עם האצולה המקומית. הפרשנים מסכימים כי המילים רַבִּים בִּיהוּדָה מכוונות לשרים ולאנשים החשובים ביותר בעם, שהיו מקורבים מאוד לטוביה. אותם מנהיגים היו בַּעֲלֵי שְׁבוּעָה לוֹ, כלומר אנשים שכרתו עמו ברית ונשבעו לו אמונים.
בריתות אלו נשענו על קשרי חיתון כפולים עם משפחות ההנהגה המיוחסות. כִּי־חָתָן הוּא, טוביה עצמו היה חתנו של שכניה, שהיה שר וגדול בישראל, וכן וִיהוֹחָנָן בְּנוֹ של טוביה נשא את בַּת־מְשֻׁלָּם, שגם הוא נמנה עם השרים הגדולים.
מצב זה יצר מציאות מורכבת של קשרי משפחה עם מי שנמנה עם צרי יהודה. עם זאת, נישואין אלו לא בוטלו במהלך טיהור משפחות העם שערך עזרא. הסיבה לכך היא שטוביה השומרוני ובנו לקחו בנות יהודיות לביתם, בעוד שפעולת הטיהור של עזרא התמקדה אך ורק בגירוש נשים נוכריות שנישאו לגברים יהודים [רלב"ג].