"מלכות הרשעה" או "אדום הרשעה" ואף "מלכות שאינה הוגנת", יחס היהודים כלפי האימפריה הרומית היה שלילי בעיקרו עוד לפני המרד הגדול וחורבן בית המקדש בשנת 70 לספירה. הוסיפו לזה את המגבלות הדתיות השונות, כמו שמירת השבת, דיני הכשרות, חוסר היכולת להשתתף בטקסי הסגידה לקיסר וכיו"ב, וניתן להבין מדוע יהודים לא מיהרו להתנדב לשרת בצבא הקיסרי. זאת, להבדיל מצבאותיהם של מלכי יהודה בחסות רומאית, שהורכבו גם מחיילים יהודים, ובהם נעשה שימוש בעיקר ככוח שיטור מקומי.
גם שליטי הקיסרות לא ששו לגייס חיילים יהודים, וכך למשל יוליוס קיסר פטר את היהודים משירות צבאי. סיבה זו, בין היתר, הביאה לכך שהיהודים זכרו לו טובה, ובמותו התאבלו עליו, ו-"לילות רצופים באו לבקר במקום השריפה" – סווטוניוס, שנים עשר הקיסרים, א' 84. מדיניות זו נשמרה ככלל בתקופת השושלת היוליו-קלאודית (31 לפנה"ס-68 לספירה) מלבד יוצאים מהכלל בולטים. כך למשל, זמן קצר לאחר עלייתו לשלטון, הקיסר טיבריוס (ששלט בין השנים 14-37 לספירה) גייס בכפייה כ – 4,000 צעירים יהודים תושבי רומא, שהיו ככל הנראה גם אזרחים רומאים, ושלחם להילחם בשודדי הים בסרדיניה. (ההיסטוריון טקיטוס מציין כי היהודים המגויסים סירוב לשרת בעיקר עקב חששם להפר את "חוקי אבותיהם" – טקיטוס, דברי הימים, 18.83-84).
ככל הנראה המהלך נועד על מנת לפטור את העיר רומא מאלמנטים "בלתי רצויים" בעיני טיבריוס. מנגד, עלתה הסברה, כי טיבריוס שלח דווקא יהודים לסרדיניה שכן שודדי הים דיברו פיניקית (בהיותם צאצאי המתיישבים המקוריים באי) והוא היה מעוניין בחיילים בעלי ידע בשפה דומה (למרות שמעניין לציין כי לא ברור אם היהודים תושבי רומא באותה תקופה ידעו עברית). על פי הטענה, שליחת יחידה קוהרנטית בגודל של לגיון, נועדה פשוט לפתור חלק גדול מהבעיות שנלוו, כאמור, לשירות אינדיבידואלי של יהודים בצבא הרומאי (שמירת השבת ועוד). כך או כך, ככל הנראה הגזרה סוכלה, כולה או חלקה (לכל הפחות, לא ידוע לנו דבר על צבא יהודי שנלחם באופן פעיל באזור).
"הלגיון היהודי של טיבריוס" היה כנראה היחידה היהודית הראשונה בצבא הרומאי אולם לא האחרונה. כך למשל ידוע לנו כי בשנת 175 לספירה, כ – 100 שנה לאחר המרד הגדול, חיילים יהודים, ככל הנראה בתור יחידה נפרדת בחילות העזר הרומים, שירתו בצבאו של מושל סוריה אווידיוס קאסיוס. ככלל, ניתן לחלק את הצבא הרומי לשני חלקים: הלגיונות הרומים, שהורכבו מאזרחים רומים, וחילות העזר שהורכבו מנתיני האימפריה שאינם אזרחים. ידוע גם על לפחות עוד שתי יחידות צבאיות יהודיות ששירתו בצבא הרומי בתקופת הקיסרות המאוחרת, באוסרואנה (כיום בטורקיה), ובדורה אירפוס מעל גדות נהר הפרת (כיום בסוריה), שם ככל הנראה גם נבנה / הורחב בית הכנסת, במיוחד עבור החיילים היהודים שהוצבו במקום.
ישנן עדויות על שירות אינדיבידואלי של יהודים בצבא הרומי, לעיתים מרצון, שכן מלבד שכר טוב, השירות בחיל העזר גרר אחריו מתן אזרחות רומית לאחר 26 שנות שירות, ולעיתים בעל כורחם. זאת למרות שנראה שבד"כ ניתן היה להימנע מחובת השירות הצבאי על ידי תשלום כופר כספי (ירושלמי, פסחים פ"ד). כך למשל, ידוע לנו על יהודי בשם מתתיהו, ששירת בחילות העזר משנת 40 ועד ל – 68 לספירה, כאשר בסוף התקופה קיבל אזרחות רומית. על פי המתואר בכתבי יוסף בן מתתיהו, יד ימינו של טיטוס במשך המצור על ירושלים ודיכוי המרד הגדול, היה יהודי מצרי ממשפחה מיוחסת בעל אזרחות רומית בשם טיבריוס יוליוס אלכסנדר (ישנה טענה כי הוא אפילו הגיע לעמדה של מפקד המשמר הפרטוריאני).
במצרים, בתחילת המאה השנייה לספירה, אנו מודעים לקיומו של חייל יהודי בשם חנניה שהגיע לדרגה הנכבדה של קנטוריון (מעין שילוב של מש"ק וקצין זוטר). קיימת אף עדות לנושא נס בשם מלאכי ששירת בלגיונות שהוצבו בפאנוניה (אזור הונגריה של ימינו) ולאביו, ששירת אף הוא בצבא הרומי. על פי "ההיסטוריה אוגוסטה", היו מספיק יהודים בצבא הרומאי, באמצע המאה השלישית לספירה, עד כי על קברו של הקיסר גורדיאנוס השלישי, שנפטר במזרח התיכון בעת מלחמה בפרס, נחקקה כתובת בעברית, למרות שיש להתייחס למקור זה בחשדנות רבה.
ישנם עוד מספר עדויות על שירות של יהודים בצבא הרומי. עם זאת ניתן לשער שהמידע החלקי והמצומצם שהגיע לידינו מייצג תופעה נרחבת יותר אולם לא מאוד נפוצה. הרי קשה להעלות על הדעת שירות בצבא הרומי לחיילים המקפידים ונזהרים מפני מאכלות אסורים וכיוצא בזה. בהמשך לכך, על פי המלומד אהרון אופנייהמר, סביר להניח כי היהודים ששירתו כחיילים אינדיבידואלים בצבא הרומי לא הקפידו בשמירת המצוות, ולפיכך השירות הצבאי לא העמיד לפניהם דילמות קשות. כך למשל, יוסף בן מתתיהו מתאר את טיבריוס יוליוס אלכסנדר כאחד "שלא נשאר בדת אבותיו" (קדמוניות היהודים, ספר 20 פרק ה', פסקה ב'). לפיכך, שירות יהודים בצבא הרומי היה תופעה זעומה. נראה כי יש בדבריו מידה של צדק ולו בשל העובדה כי אין במקורות היהודים דברים בגנותה של רומא על כך שהיא מכריחה חיילים יהודים לעבור על חוקי אבותיהם.
השירות הצבאי של יהודים בצבאות האימפריה פסק סופית ככל הנראה תחת הקיסרים תאודיסיוס השני ופלביוס אוגוסטוס הונריוס, במאה החמישית לספירה (באותה עת האימפריה הרומית היתה מחולקת בין החלק המערבי לחלק המזרחי כאשר לכל חלק היה קיסר משלו). כך, כחלק מהמגמה האנטי יהודית שאפיינה את האימפריה המאוחרת (בעיקר עקב השפעה נוצרית), נחקק בשנת 418 לספירה חוק במסגרתו נקבע כי השירות הצבאי סגור ליהודים, והמשרתים בו ישוחררו מייד מן הצבא.
צחוק הגורל הוא כי המוניטין של יוליוס קיסר כבעל גישה מקבלת וסובלנית כלפי יהודים נובע, בין היתר, מכך שפטר את היהודים משירות בצבא הרומי ואילו החוק משנת 418, שסילק את היהודים מהצבא הרומי הינו דוגמא מובהקת דווקא לחוסר סובלנות (למרות ששניהם הביאו בפועל לאותה תוצאה מיידית – שיהודים לא משרתים בצבא ברומי).
