בסוף הסמטה עומד בניין גדול עם סימני פגיעות כדורים, שנקרא בית-אשתם. ממול עומד צריח של מסגד. כאן היה הגבול בין הרובע היהודי והמוסלמי. במאורעות תרפ"ט (1929) התכנסו ערביי צפת במסגד, ומשם פשטו על הרובע היהודי, הרגו ופצעו יהודים רבים. הערבים הציתו מאגר דלק בתוך הרובע, אך הרוח נשבה וכיוונה את האש דווקא לעבר בתי הערבים, שגרו סמוך לרובע היהודי.
הבריטים פינו את היישוב היהודי, כ-3,000 נפש, לבניין הסרייה (כיום מתנ"ס וולפסון). שם הוחזקו היהודים במשך שלושה ימים בעוד הערבים בוזזים ושורפים באופן שיטתי את הרובע היהודי. חלק גדול מהקהילה היהודית, המיוחד הצעירים, עזבו את צפת אחרי המאורעות. הנשארים החלו לארגן הגנה מקומית כדי להדוף התקפה ערבית-עתידית. הם בנו את בית-אשתם כמרכז מסחרי, אך מטרתו העיקרית היתה לחסום את הדרך בפני הערבים שעלולים להתקיף את הרובע בצורה דומה בעתיד.
בניין זה ועמדות רבות נוספות עזרו ליהודים להגן על צפת במאורעות תרצ"ו (1936), ובמיוחד במלחמת השחרור. במלחמה זו ניסו הערבים לפרוץ לכאן, אך נהדפו. במקום ישנן מצבות זכרון לחיילים שנפלו בקרב. אחרי שלא הצליחו לפרוץ לרובע, החלו הערבים לחפור מנהרה מתחת לבית אשתם. הם תכננו לפוצץ את יסודותיו בסתר, ולהסתער על הרובע. המלחמה הסתיימה לפני שהספיקו לסיים את חפירת המנהרה.
אחרי מלחמת השחרור נשאל הרב הראשי של צפת דאז, הרב הלר, איך הצליחו היהודים לנצח מספר כה רב של ערבים. הוא השיב שהיהודים ניצחו בדרך הטבע ובדרך הנס. "דרך הטבע" היתה שהיהודים התפללו לה' וניצלו. ה"נס" היה שלמרות המצור הצליחו חיילי הפלמ"ח להגיע לעיר.