תגובתם של אחי יוסף להאשמת מנהל הבית בגניבת הגביע מבטאת זעזוע עמוק ודחייה מוחלטת של עצם החשד. הם אינם מסתפקים בהכחשת המעשה בלבד, אלא תוקפים את ההיגיון שעומד מאחורי ההאשמה.
כאשר האחים שואלים לָמָּה יְדַבֵּר אֲדֹנִי כַּדְּבָרִים הָאֵלֶּה, הם מוחים על כך שהממונה מדבר בביטחון גמור, כאילו ברור לו לחלוטין שהגניבה נמצאת אצלם ושכולם שותפים לה ומוּדעים אליה [ספורנו, העמק דבר]. יתרה מזו, השימוש באות כף להשוואה במילה כַּדְּבָרִים (ולא "הדברים"), נועד להדגיש כי אין שום היגיון או בסיס להאשמות הללו, וכי האחים שוללים מכל וכל לא רק את הגניבה עצמה, אלא כל רמז, משמעות נסתרת או מעשה הדומה לה [אור החיים, מלבי"ם, שפתי כהן].
הזדעזעותם באה לידי ביטוי במילה חָלִילָה. הגישה המרכזית בקרב הפרשנים היא כי מילה זו נגזרת מלשון "חולין", כלומר מעשה של ביזיון וגנאי. האחים טוענים כי גניבה, ובפרט ממי שהיטיב עמם כל כך, היא מעשה חולין הזר לחלוטין למהותם, עד כדי כך שעצם המחשבה עליו מהווה הרס של אופיים המוסרי והרוחני, וזרות זו לעניינים חומריים-שפלים אמורה להיות ברורה אפילו לאדם מצרי [רש"י, ביאור יש"ר, רש"ר הירש, חומש קה"ת]. לעומת זאת, התרגום הארמי מפרש את המילה מלשון "חס" ורחמים. לפי קו מחשבה זה, האחים נושאים מעין תפילה קצרה: יהי רצון שיחוס וירחם עלינו ה' מלכתחילה, וישמור אותנו מלהגיע לידי מכשול ומעשה כזה [רש"י, מזרחי, גור אריה, שפתי חכמים].
כדי לבסס את חפותם, האחים משתמשים במידת "קל וחומר" ויוצרים את אחת מעשר דרשות הקל וחומר המופיעות בתורה [רבנו בחיי]. הם נשענים על כך שכבר הוכיחו את יושרם כאשר השיבו את הכסף שמצאו באמתחותיהם [שטיינזלץ]. ההיגיון שהם מציגים הוא ניצח: אם אדם מוצא כסף בארץ רחוקה, קשה לו מאוד להשיבו אפילו אם הוא אדם ישר ונאמן, ובכל זאת הם טרחו והחזירו את הכסף מארץ כנען מרצונם החופשי, מבלי שאיש תבע זאת מהם. קל וחומר שלא יעלו על דעתם לגנוב באופן פעיל מבית מי שאירח אותם ודאג להם [אור החיים, אלשיך]. בנוסף, הם עוקרים את המניע לגניבה: גם אם הממונה מייחס לגביע כוחות קסם וניחוש, עבורם הוא נחשב לחתיכת כסף או זהב פשוטה וחסרת משמעות, שכן הם אינם עוסקים בכישוף ואין להם כל עניין או ידע בו [אור החיים, אלשיך].