השילוב המרתק שבין עוצמה רוחנית לכוח צבאי עומד במוקד תיאורם של החסידים. מצד אחד הם אנשי אמונה, ומצד שני הם לוחמים הפועלים לשנות את העולם. הפסוק מתאר כיצד רוממות אל, כלומר סיפור נפלאותיו של ה' והשבח על כך שגאל את עמו מן הגלות, נמצאים בגרונם. הבחירה במילה גרון, ולא פה, נועדה להמחיש כי הקול בוקע משם בטרם יציאתו החוצה, או כדי להדגיש שמדובר בתפילה הנאמרת בצעקה ובקול רם [רד"ק, מאירי, מצודת ציון]. במקביל, אוחזים החסידים חרב פיפיות, שהיא חרב חדה המושחזת משני צדדיה, שכן חוד הלהב מכונה בלשון המקרא "פה" [רד"ק, מצודת ציון].
בקרב הפרשנים ניכרות שתי גישות מרכזיות להבנת הקשר שבין התפילה לחרב. הגישה הראשונה מפרשת את הפסוק כפשוטו, ורואה בו תיאור של פעולה כפולה: כאשר החסידים יוצאים למלחמה, ובפרט במלחמת גוג ומגוג, הם אוחזים הלכה למעשה בחרב פיפיות בידם האחת, ובו בזמן מתפללים ומשבחים את ה' בקול גדול [רד"ק, אבן עזרא בשם ר' משה, ביאור שטיינזלץ]. המלבי"ם מוסיף חלוקה מדויקת לתפקידו של כל נשק: החרב הפיזית נועדה לנקמה באומות שבאות להילחם פיזית, ואילו השבח והרוממות משמשים כנשק רוחני בוויכוחים מול עמים בעלי דתות אחרות, כדי לברר ולהוכיח את אמיתות האמונה.
לעומת זאת, הגישה השנייה מפרשת את הפסוק באופן מטאפורי, ולפיה התפילה עצמה היא היא כלי הנשק. כלומר, השבח וההתעסקות בנפלאות ה' פועלים ומגנים על החסידים ממש כאילו אחזו בידם חרב פיפיות, ובעזרתם הם מתגברים על האויב ללא צורך במלחמה פיזית [רש"י, ר' ישועה באבן עזרא, מצודת דוד, מאירי]. האלשיך מעמיק בגישה זו ומסביר כי הניצחון אינו נובע מתפילות של זעם ובקשות נקמה, אלא דווקא מתוך שבח. ה' אינו ממתין עד שהמתפללים יגיעו לברכות האמצעיות בתפילת העמידה שבהן מבקשים על הכרתת האויבים, אלא מושיע אותם כבר בברכות הראשונות שעניינן רוממות ה'. בעוד התפילה עדיין בגרונם, היא הופכת מיד לחרב המכה באויבים.
לבסוף, המאירי מוצא רמז היסטורי בביטוי פיפיות: שתי פיות החרב רומזות לשתי האומות המרכזיות שבתוכן שהה עם ישראל ברוב שנות גלותו, והתפילה משמשת כחרב רוחנית המגנה מפניהן משני הצדדים.