ההיסטוריה של כיבוש הארץ רצופה במפגשים עם עמים קדומים ועוצמתיים, והתורה מוצאת לנכון לתאר לא רק את זהותם, אלא גם את ההשפעה הפסיכולוגית העמוקה שהותירו על סביבתם. הכתוב פורש בפנינו את שרשרת ההורשה של נחלות, ומדגיש כיצד עמים אימתניים הובסו מפני עמים אחרים מכוח השגחה אלוהית.
הפרשנים מציעים מגוון כיוונים להבנת מהותם של הרְפָאִים. הגישה המרכזית בקרב רוב הפרשנים היא שהשם נובע מההשפעה שהייתה להם על האויב: כל הרואה אותם, ידיו מתרפות מרוב פחד. גישה אחרת קושרת את שמם לעולם המתים, שכן הם הפחידו את רואיהם כפי שרוחות רפאים מפחידות בני אדם [שד"ל]. מנגד, יש הסבורים כי מדובר בשרידים של גזע ענקים קדום מתקופה פרהיסטורית שכבר נכחד מן העולם [רש"ר הירש]. זווית חברתית וצבאית מוצגת בטענה שהשם רְפָאִים נגזר מהמילה "פראים", ומעידה על אומה פראית שחיה ללא עול מלכות ושלטון מסודר, איש הישר בעיניו יעשה, מה שהפך את הכנעתה לקשה פי כמה מאשר כיבוש של צבא מאורגן [העמק דבר].
באשר למילה יֵחָשְׁבוּ, חלק מהפרשנים מסבירים אותה כלשון חשיבות ומעלה, כלומר הרפאים זכו למעמד רם והיו נמנים בשורה אחת עם הענקים [הטור הארוך, ביאור יש"ר]. לעומת זאת, יש מי שסובר כי זו הייתה תפיסה שגויה: בני התקופה חשבו בטעות שהם ענקים בשל גבורתם העצומה, אך למעשה שמם העיקרי והאמיתי היה אֵמִים [חזקוני]. הבדל נוסף בין הכינויים הוא שבעוד שהשם ענקים מתאר את המראה הפיזי והקומה התמירה, השם אֵמִים מתאר את הרושם הפסיכולוגי שהם הותירו על המתבונן [רש"ר הירש].
הפרשנים מסכימים כי המֹּאָבִים, שלשונם הייתה קרובה לעברית [ביאור שטיינזלץ], קראו להם אֵמִים משום שאימתם הייתה מוטלת על הבריות והם עוררו חרדה עמוקה בלב כל מי שפגש בהם.
עולה השאלה, מדוע התורה מפרטת את שמותיהם ותכונותיהם של עמים אלו? הפרשנים מצביעים על שתי סיבות עיקריות. הראשונה היא העצמת הנס: העובדה שהמואבים הצליחו לכבוש אומה של ענקים פראיים ומטילי אימה שקשה היה לנצחם בדרך הטבע, מוכיחה שאין מדובר בניצחון רגיל, אלא בירושה מאת ה' שאין מעצור לפניו [העמק דבר, ברכת אשר]. הסיבה השנייה קשורה להבטחת הארץ: הרפאים היו אחד מעשרת העמים שהובטחו לאברהם. התורה מסבירה כיצד חבל ארץ זה הועבר לידי בני לוט (מואב) כנחלה ובשכר על שתיקתו של לוט במצרים. שינוי השם על ידי המואבים לאֵמִים לא היה רק עניין לשוני, אלא היווה מעין קניין משפטי של שינוי בעלות ושליטה על הארץ [אור החיים, רבנו בחיי, שפתי כהן].