תגובתם של אחי יוסף להאשמה החמורה כי הם מרגלים, משלבת הכחשה נחרצת יחד עם הצגת מניע תמים וגלוי להגעתם למצרים.
בתחילת דבריהם הם אומרים לֹא אֲדֹנִי. מאחר שיוסף לא שאל אותם שאלה אלא קבע עובדה נחרצת שהם מרגלים, רוב הפרשנים מסבירים כי משמעות המילה לֹא כאן אינה רק תשובת שלילה רגילה, אלא בקשה או דרישה: אל תאמר כן [רש"י, מזרחי, שפתי חכמים, גור אריה]. זוהי דחייה מוחלטת של החשד, המצהירה כי אין שום בסיס לחשוד בהם כלל, גם אם היו מגיעים ללא סיבה נראית לעין [אור החיים, העמק דבר].
לגבי האות וי"ו במילה וַעֲבָדֶיךָ, הפרשנים מציעים מספר הבנות. גישה אחת מסבירה כי האות וי"ו משמשת במובן של "אבל", כלומר: איננו מרגלים כפי שאתה אומר, אלא עבדיך באו לקנות תבואה [רד"ק, ביאור יש"ר]. גישה אחרת מפרשת את הוי"ו במשמעות של "והרי", במטרה להציג את האמת העובדתית שלשמה הגיעו [מזרחי, שפתי חכמים, גור אריה]. זווית התבוננות ייחודית מחברת את המילה הקודמת למילה זו, "אדוני ועבדיך", ומסבירה כי האחים ניבאו מבלי לדעת מה ניבאו: גם אדוני (יוסף, שדרכו ממשיך ה' את שפע המזון למצרים) וגם עבדיך (האחים) הגיעו למצרים בדיוק לאותה מטרה משותפת – קיום ופרנסה בשנות הרעב [אדרת אליהו].
הצהרתם כי באו לִשְׁבָּר אֹכֶל (לקנות מזון) מעוררת דיון בקרב הפרשנים: האם קניית אוכל אכן מהווה הוכחה שאינם מרגלים? הרי מרגלים נוהגים להתחזות לסוחרים ולרוכלים כדי לסייר ברחבי הארץ באין מפריע [מזרחי, שפתי חכמים]. משום כך, יש המפרשים שמשפט זה אינו מתיימר להיות הוכחה ניצחת, אלא רק הצהרה כנה על כוונתם האמיתית [גור אריה].
עם זאת, פרשנים אחרים חושפים את ההיגיון והתחכום שבתשובת האחים. האחים סברו שיוסף חושד בהם רק משום שעשרה אנשים מכובדים הגיעו יחד. על כך השיבו שהגעה קבוצתית לקניית מזון היא פעולה הגיונית ושגרתית, ולכן אין בה כל ריעותא שתצדיק חשד [דברי דוד]. הם שללו את מאפייני הריגול אחד לאחד: בניגוד למרגלים שבאים ללא עסק מוגדר, להם יש מטרה גלויה; ובניגוד למשפחה אחת שהייתה שולחת עשרה מרגלים רק כדי שיתפזרו באזורים שונים לאסוף מידע, הם נשארו יחד כקבוצה אחת מאז שנכנסו לארץ [מלבי"ם].
את התנהגותם המחשידה, כגון היבלעותם והסתתרותם בתוך ההמון, הסבירו האחים בניסיון להימנע מעין הרע שעלולה לפגוע בעשרה אחים נאים המרוכזים במקום אחד, וכקיום ציווי אביהם שלא יבלטו, ולא מתוך רצון להסתתר כמרגלים. ברגע שסיבת ההסתתרות הוסברה, נופל מאליו גם החשד שבאו לראות את נקודות התורפה של הארץ [כלי יקר]. לבסוף, מונח כאן גם נימוק מוסרי עמוק: לא ייתכן שיבואו כמרגלים כדי להרע למקום שמעניק להם אוכל ומים ומציל את חייהם, בבחינת אל תזרוק אבן לבאר ששתית ממנה [פרדס יוסף].