על אף הצלחת בניית החומה והפחד שנפל על עמי הסביבה, נחמיה נאלץ להתמודד עם איום פנימי וחתרנות מתוך העם עצמו. הכתוב חושף את הקשרים החשאיים שניהלה ההנהגה המקומית עם מתנגדיו של נחמיה.
המונח חֹרֵי יְהוּדָה מכוון לשרים ולאצילי העם, ואילו המילים עַל־טוֹבִיָּה משמעותן "אל טוביה" [רש"י, ביאור שטיינזלץ]. הביטוי וַאֲשֶׁר לְטוֹבִיָּה מתייחס לאגרות הנגדיות ששלח טוביה בחזרה אליהם [רש"י].
באשר לתזמון של אירועים אלו, המילים גַּם בַּיָּמִים הָהֵם מתפרשות בשתי דרכים משלימות. יש המפרשים כי התכתבויות אלו התרחשו בעצם ימי בניית החומה, והיוו מכשול מתמשך למלאכה [רלב"ג]. מנגד, גישה אחרת מדגישה כי הקשרים נמשכו אף לאחר השלמת הבנייה; למרות שהשרים ראו כי המלאכה נעשתה מאת ה', הם המשיכו לקיים קשרים של אהבה וחיבה עם טוביה [מצודת דוד, מלבי"ם].
המניע לקשר הרציף עם טוביה, שהתנגד למפעלו של נחמיה, נובע ממורכבות חברתית ופוליטית. טוביה היה למעשה ישראל רשע [רש"י], ובאותה תקופה הפער בין היהודים לשומרונים טרם היה מוחלט. השומרונים הציגו עצמם כיהודים המבקשים להיות שותפים במפעל, וכך רבים ביהודה סברו כי ההתנגדות לטוביה אינה אלא מחלוקת פנימית בתוך עם אחד [ביאור שטיינזלץ]. בנוסף, טוביה יצר בריתות פוליטיות חזקות באמצעות קשרי חיתון עם משפחות השרים החשובים, ורבים מהם אכן החזיקו בדעה כי הוא איש טוב וישר [מלבי"ם].
כיוון שאותם שרים לא העזו להתעמת עם נחמיה בגלוי, הם פעלו מאחורי גבו [ביאור שטיינזלץ]. דרך חלופת האגרות הענפה, השרים שימשו למעשה כמרגלים שהדליפו את סודותיו של נחמיה לטוביה, ואיפשרו לו לשלוח אגרות איום כדי להטיל מורא על נחמיה. מציאות עגומה זו מסבירה מדוע נחמיה נאלץ למנות שומרים על ירושלים ולהקפיד על שמירה יתרה גם לאחר שהחומה כבר עמדה על תילה, שכן האיום מצד בני ישראל עצמם היה מסוכן לא פחות מאיום הגויים מסביב [מלבי"ם].