מכונות GPU במשפחת מכונות שעברו אופטימיזציה למאיץ

במאמר הזה מתוארות מכונות Compute Engine עם כרטיסי NVIDIA GPU שמצורפים מראש למשפחת המכונות שעברו אופטימיזציה להאצת ביצועים. המופעים האלה מיועדים במיוחד לבינה מלאכותית (AI), למידת מכונה (ML), מחשוב עתיר ביצועים (HPC) וליישומים עתירי גרפיקה.

משפחת המכונות שעברה אופטימיזציה להאצה כוללת את סדרות המכונות הבאות: A4X Max,‏ A4X,‏ A4,‏ A3,‏ A2,‏ G4 ו-G2. לכל סוג מכונה בסדרה יש דגם ספציפי ומספר של כרטיסי GPU של NVIDIA שמחוברים אליה. אפשר גם לצרף דגמים מסוימים של GPU לסוגי מכונות לשימוש כללי N1.

מידע על מכונות וירטואליות שעברו אופטימיזציה לשימוש במאיצים עם יחידות TPU מצורפות זמין במאמר בנושא מכונות TPU בסדרת מכונות שעברו אופטימיזציה לשימוש במאיצים.

בקטע הבא מפורטות סדרות המכונות המומלצות על סמך עומסי העבודה של ה-GPU:

סוג עומס העבודה סוג המכונה המומלץ
מודלים שעברו אימון מראש ‫A4X Max,‏ A4X,‏ A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High ו-A2

כדי לזהות את המודל המתאים ביותר, אפשר לעיין ב המלצות לאימון מוקדם של מודלים במסמכי התיעוד של AI Hypercomputer.
כוונון עדין של מודלים ‫A4X Max,‏ A4X,‏ A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High,‏ A2 ו-G4

כדי לזהות את המודל המתאים ביותר, אפשר לעיין במאמר המלצות לכוונון עדין של מודלים במסמכי התיעוד של AI Hypercomputer.
הסקת מסקנות לגבי הצגת מודעות ‫A4X Max,‏ A4X,‏ A4,‏ A3 Ultra,‏ A3 Mega,‏ A3 High,‏ A3 Edge,‏ A2 ו-G4

כדי לזהות את ההתאמה הטובה ביותר, אפשר לעיין ב המלצות להסקת מסקנות במסמכי התיעוד של AI Hypercomputer.
עומסי עבודה שדורשים הרבה משאבים גרפיים G4,‏ G2 ו-N1+T4
מחשוב עתיר ביצועים (HPC) עבור עומסי עבודה של מחשוב עתיר ביצועים, כל סדרת מכונות שעברה אופטימיזציה להאצה תתאים. ההתאמה הטובה ביותר תלויה בכמות החישובים שצריך להעביר ל-GPU.

מידע נוסף זמין במאמר המלצות ל-HPC במסמכי התיעוד של AI Hypercomputer.

אפשרויות תמחור וצריכה

אפשרויות הצריכה מתייחסות לדרכים להשגת משאבי מחשוב ולשימוש בהם.‫Google Cloud מחויבים על סוגי מכונות שעברו אופטימיזציה להאצת ביצועים לפי יחידות של vCPU, זיכרון ו-SSD מקומי (אם רלוונטי). ההנחות על מופעים שעברו אופטימיזציה לשימוש במאיץ משתנות בהתאם לאפשרות הצריכה שבה אתם משתמשים. מידע נוסף על תמחור של מכונות VM שעברו אופטימיזציה לשימוש במאיצים זמין בקטע משפחת סוגי מכונות שעברו אופטימיזציה לשימוש במאיצים בדף התמחור של מכונות VM.

ההנחות על מופעים שעברו אופטימיזציה לשימוש במאיצים משתנות בהתאם לאפשרות הצריכה שבוחרים:

זמינות אפשרויות הצריכה לפי סוג המכונה

בטבלה הבאה מפורטת הזמינות של כל אפשרות צריכה לפי סוגי מכונות. מידע נוסף על בחירת אפשרות צריכה זמין במאמר בחירת מודל צריכה במאמרי העזרה של AI Hypercomputer.

סוג המכונה (דגם ה-GPU) על פי דרישה Spot Flex-start הזמנות על פי דרישה הזמנות עתידיות הזמנות עתידיות במצב יומן מקום שמור לעתיד ב-AI Hypercomputer

חוויית התחזוקה של מכונות וירטואליות שעברו אופטימיזציה למאיץ

במהלך מחזור החיים של מכונה של Compute Engine, המחשב המארח שעליו המכונה שלכם פועלת עובר כמה אירועים במארח. אירוע מארח יכול לכלול תחזוקה שוטפת של תשתית Compute Engine, או במקרים נדירים, שגיאה במארח. בנוסף,‏ Compute Engine מבצע שדרוגים קלים ולא מפריעים ל-Hypervisor ולרשת ברקע.

בטבלה הבאה מתוארות התכונות של תחזוקת המארח לסוגי מכונות שעברו אופטימיזציה למאיצים:

סוג המכונה מספר יחידות ה-GPU התדירות הטיפוסית של אירועי תחזוקה מתוזמנים התנהגות תחזוקה התראה מתקדמת על תחזוקה מתוזמנת תחזוקה על פי דרישה סימולציה של תחזוקה
‫A4X Max2 ו-A4X2 4 לפחות 90 יום הפעולה מסתיימת עם שמירת נתונים ב-SSD מקומי 90 ימים כן לא
A42 8 לפחות 90 יום הסיום עם נתונים קבועים ב-Local SSD 90 ימים כן לא
A3 Ultra2 8 לפחות 90 יום הסיום עם נתונים קבועים ב-Local SSD 90 ימים כן לא
‫A3 Mega2 ו-A3 High2 8 לפחות 30 יום1 סיום והפעלה מחדש 7 ימים כן כן
A3 High 1, 2, 4 לפחות 30 יום1 סיום והפעלה מחדש 7 ימים1 לא כן
A3 Edge 8 לפחות 30 יום סיום והפעלה מחדש 7 ימים כן כן
A2 Ultra ‫1, 2, 4, 8 לפחות 30 יום סיום והפעלה מחדש 7 ימים כן (8 יחידות GPU בלבד) כן
A2 Standard ‫1, 2, 4, 8 או 16 לפחות 30 יום סיום והפעלה מחדש 7 ימים כן (8 ו-16 מעבדי GPU בלבד) כן
G4 ‫1, 2 או 4 לפחות 30 יום מפסיקים את התהליך ומפעילים מחדש. אם מצורפים דיסקים של Local SSD, המופע מסתיים עם שמירת נתונים של Local SSD. 7 ימים לא כן
G4 8 לפחות 90 יום מפסיקים את התהליך ומפעילים מחדש. אם מצורפים דיסקים של Local SSD, המופע מסתיים עם שמירת נתונים של Local SSD. 30 ימים כן כן
G2 ‫1, 2, 4 או 8 לפחות 30 יום סיום והפעלה מחדש 7 ימים כן (8 יחידות GPU בלבד) כן
N1+T4 ‫1 או 2 לפחות 15 ימים סגירת חשבון והפעלה מחדש 7 ימים לא כן
N1+T4 4 לפחות 30 יום סגירת חשבון והפעלה מחדש 7 ימים כן כן
N1+P4 ‫1 או 2 לפחות 15 ימים סגירת חשבון והפעלה מחדש 7 ימים לא כן
N1+P4 4 לפחות 30 יום סגירת חשבון והפעלה מחדש 7 ימים כן כן
N1+P100 ‫1 או 2 לפחות 15 ימים סגירת חשבון והפעלה מחדש 7 ימים לא כן
N1+P100 4 לפחות 30 יום סגירת חשבון והפעלה מחדש 7 ימים כן כן
N1+V100 ‫1, 2 או 4 לפחות 15 ימים סגירת חשבון והפעלה מחדש 7 ימים לא כן
N1+V100 8 לפחות 30 יום סגירת חשבון והפעלה מחדש 7 ימים כן כן

‫1 לא כולל מקרים שמכוסים בהסכמי תחזוקה ספציפיים ללקוחות.
2 אפשר גם לעיין במאמר הסבר על תחזוקת המארח במאמרי העזרה של AI Hypercomputer.

תדירויות התחזוקה שמוצגות בטבלה הקודמת הן הערכות, ולא הבטחות. יכול להיות שב-Compute Engine יבוצעו מדי פעם פעולות תחזוקה בתדירות גבוהה יותר.

סדרת המכונות A4X Max ו-A4X

סדרת המכונות A4X Max ו-A4X פועלת בפלטפורמת אקססקייל שמבוססת על ארכיטקטורת rack-scale של NVIDIA ועברה אופטימיזציה לעומסי עבודה של אימון ML ו-HPC שדורשים הרבה משאבי מחשוב וזיכרון, ומוגבלים על ידי הרשת. ההבדל העיקרי בין A4X Max לבין A4X הוא ברכיבי ה-GPU והרשת. ‫A4X Max זמין רק כמופעי Bare Metal, שמאפשרים גישה ישירה למעבד ולזיכרון של השרת המארח, בלי Hypervisor של Compute Engine באמצע.

לכל סוגי המכונות בסדרות A4X Max ו-A4X יש שני שקעים עם מעבדי NVIDIA Grace™‎ עם ליבות Arm® Neoverse™ V2. המעבדים האלה מתחברים לארבעה מעבדים גרפיים באמצעות תקשורת מהירה בין שבבים NVLink-C2.

גם סדרת המכונות A4X Max וגם סדרת המכונות A4X מבוססות על ארכיטקטורת NVL72 של NVIDIA, שמתאימה למתקנים גדולים ומבוססת על מתחמי NVLink כדי לאפשר מחשוב GPU בקנה מידה גדול ועם ביצועים גבוהים. תחום NVLink הוא קבוצה של שבבי NVIDIA NVSwitch מחוברים ושל יחידות GPU שמחוברות אליהם, שיוצרים רשת מהירה שמאפשרת תקשורת ישירה ומהירה בין יחידות GPU. בסוגי המכונות A4X Max ו-A4X, דומיין NVL72 (NVLink) יחיד מורכב מ-18 מכונות ו-72 יחידות GPU.

השוואה בין A4X Max ל-A4X

בטבלה הבאה מוצגת השוואה מפורטת בין סוגי המכונות A4X Max ו-A4X:

תכונה A4X Max A4X
האצת GPU מכונות A4X Max כוללות באופן אוטומטי שבבי NVIDIA GB300 Ultra Superchips. הסופר-צ'יפים האלה כוללים מעבדי NVIDIA B300 GPU, ומציעים עד 20 TB של זיכרון GPU כולל לכל דומיין NVL72, מה שמספק בערך 279 GB לכל GPU. למופעי A4X מצורפים באופן אוטומטי שבבי NVIDIA GB200 Superchip. הסופר-צ'יפים האלה כוללים מעבדי NVIDIA B200 GPU ומציעים זיכרון של 186GB לכל GPU.
שיפור הקישוריות לרשת באמצעות RoCE

במקרים של A4X Max, ‏ RoCE משפר את ביצועי הרשת על ידי שילוב של NVIDIA ConnectX-8 (CX-8) SuperNICs ושל הרשת של Google במרכזי הנתונים, שכוללת eight-way rail-alignment. ההגדרה הזו מספקת ביצועים גבוהים עוד יותר עם רוחב פס של עד 3,200 Gbps, שעבר אופטימיזציה למשימות אימון ולמשימות HPC תובעניות בקנה מידה גדול.

לשימוש כללי ברשת, לכל מכונה יש גם רוחב פס של עד 400 Gbps.

במכונות A4X, ‏ RDMA over Converged Ethernet ‏ (RoCE) משפר את ביצועי הרשת על ידי שילוב של כרטיסי רשת NVIDIA ConnectX-7 ‏ (CX-7) עם הרשת של Google במרכזי הנתונים, שכוללת יישור מסילות בארבעה כיוונים. הארכיטקטורה הזו מספקת רוחב פס של עד 1,600 Gbps, ומאפשרת תקשורת עם תפוקה גבוהה וזמן אחזור נמוך לעומסי עבודה מבוזרים בקנה מידה גדול.

לשימוש כללי ברשת, לכל מכונה יש גם רוחב פס של עד 400 Gbps.
ביצועים

שבבי העל NVIDIA GB300 Ultra מספקים ביצועים של 15 פטה-פלופים של FP4 צפוף. לביצוע הסקת מסקנות בפורמט FP4 בקנה מידה גדול, צפוי שהביצועים של שבבי העל GB300 Ultra יהיו גבוהים ב-20-40% בהשוואה לשבבי העל GB200.

 השבבים המתקדמים NVIDIA GB200 מספקים ביצועים של 10 פטה-פלופס של FP4 צפוף.
תמיכה ב-Bare metal ובמכונות וירטואליות רק מופעי Bare Metal רק מכונות וירטואליות
תמיכה במערכת ההפעלה מופעי A4X Max תומכים במגוון תמונות של מערכות הפעלה מבוססות Linux. עם זאת, מכיוון שמופעי Bare Metal משתמשים במנהל התקן של רשת IDPF, תמונת מערכת ההפעלה שלכם צריכה לתמוך ב-IDPF. אם רוצים להשתמש בתמונת מערכת הפעלה שזמינה ב-Compute Engine, תמונות של מערכות הפעלה שתומכות ב-IDPF. מופעי A4X תומכים במגוון קובצי אימג' של מערכות הפעלה מבוססות Linux. רשימה מלאה של מערכות ההפעלה הנתמכות ב-Compute Engine מופיעה במאמר תמיכה במערכות הפעלה עבור מעבדי GPU.
פלטפורמת CPU סוגי המכונות A4X Max ו-A4X משתמשים בפלטפורמת NVIDIA Grace CPU עם ליבות Arm® Neoverse™ V2. מידע נוסף על הפלטפורמה זמין במאמר בנושא פלטפורמות CPU.
מדרגיות של NVLink גם בסוגי המכונות A4X Max וגם בסוגי המכונות A4X,‏ NVLink מרובה צמתים יכול להתרחב עד 72 מעבדי GPU בדומיין יחיד, ומספק רוחב פס של GPU NVLink של ‎1,800 GBps, דו-כיווני לכל GPU.
תמיכה בדיסקים

מכונות A4X Max ומכונות A4X תומכות ב-SSD מקומי לדיסקים זמניים מהירים, וזה שימושי להזנת נתונים ל-GPU ולמניעת צווארי בקבוק של קלט/פלט. כדי לקבל אחסון עמיד, אפשר לצרף נפחי Hyperdisk.

‫12,000 GiB של Local SSD נוספים אוטומטית למופעי A4X Max ו-A4X.

כדי לקבל אחסון עמיד, אפשר גם לצרף עד 512 TiB של אחסון Hyperdisk. מידע נוסף על סוגי דיסקים זמין במאמר בחירת סוג דיסק.
תמיכה בהקצאה צפופה ובתזמון שמודע לטופולוגיה גם סוגי המכונות A4X Max וגם סוגי המכונות A4X תומכים בבקשה של בלוקים של קיבולת שהוקצתה בצפיפות. מכונות המארח מוקצות קרוב פיזית זו לזו, מוקצות כבלוקים של משאבים ומחוברות זו לזו באמצעות רשת ML דינמית כדי לצמצם את מספר הקפיצות ברשת ולבצע אופטימיזציה לזמן אחזור נמוך. בנוסף, במקרים של מכונות וירטואליות מסוג A4X Max ו-A4X אפשר לקבל מידע על הטופולוגיה ברמת הצומת והאשכול לשימוש במיקום משימות.

סוג המכונה A4X Max (Bare Metal)

סוגי מכונות שעברו אופטימיזציה למאיץ A4X Max משתמשים ב-NVIDIA GB300 Grace Blackwell Ultra Superchips ‏ (nvidia-gb300) והם אידיאליים לאימון מודלים בסיסיים ולמילוי בקשות. סוגי המכונות A4X Max זמינים כמכונות Bare Metal.

‫A4X Max היא פלטפורמה בקנה מידה אקססקייל שמבוססת על NVIDIA GB300 NVL72. לכל מכונה יש שני שקעים עם מעבדי NVIDIA Grace עם ליבות Arm Neoverse V2. יחידות העיבוד המרכזיות האלה מחוברות לארבע יחידות GPU מסוג NVIDIA B300 Blackwell עם תקשורת מהירה בין שבבים (NVLink-C2C).

מצורפים שבבי NVIDIA GB300 Grace Blackwell Ultra Superchips
סוג המכונה מספר המעבדים הווירטואליים1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) מספר כרטיסי ה-NIC הפיזיים רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3 ‏
(GB HBM3e)
a4x-maxgpu-4g-metal 144 960 ‫12,000 6 3,600 4 1,116

‫1vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2 רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

סוג המכונה A4X

סוגי מכונות שעברו אופטימיזציה למאיץ A4X משתמשים ב-Superchips של NVIDIA GB200 Grace Blackwell‏ (nvidia-gb200) והם אידיאליים לאימון מודלים בסיסיים ולמילוי בקשות.

‫A4X היא פלטפורמה בקנה מידה אקססקייל שמבוססת על NVIDIA GB200 NVL72. לכל מכונה יש שני שקעים עם מעבדי NVIDIA Grace עם ליבות Arm Neoverse V2. המעבדים האלה מחוברים לארבע יחידות GPU מסוג NVIDIA B200 Blackwell עם תקשורת מהירה בין שבבים (NVLink-C2C).

מצורפים שבבי NVIDIA GB200 Grace Blackwell Superchips
סוג המכונה מספר המעבדים הווירטואליים1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) מספר כרטיסי ה-NIC הפיזיים רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3 ‏
(GB HBM3e)
a4x-highgpu-4g 140 884 ‫12,000 6 2,000 4 744

‫1vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2 רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

המגבלות של A4X Max ו-A4X

המגבלות הבאות חלות על מופעי A4X Max ו-A4X:

מופעי A4X Max

מופעי A4X

סוגי דיסקים נתמכים למופעי A4X Max ו-A4X

A4X Max

במופעי A4X Max אפשר להשתמש בסוגי האחסון הבלוקים הבאים:

  • ‫Hyperdisk Balanced‏ (hyperdisk-balanced): זהו סוג הדיסק היחיד שנתמך בדיסק האתחול
  • Hyperdisk Throughput (hyperdisk-throughput)
  • ‫Hyperdisk ML‏ (hyperdisk-ml)
  • ‫Hyperdisk Extreme (hyperdisk-extreme)
  • ‫Local SSD: שנוסף באופן אוטומטי למופעים שנוצרו באמצעות כל אחד מסוגי המכונות A4X Max
מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות All Hyperdisk Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme אחסון SSD מקומי שמצורף
a4x-maxgpu-4g-metal 32 32 32 32 8 4

A4X

באינסטנסים מסוג A4X אפשר להשתמש בסוגי האחסון הבלוקים הבאים:

  • ‫Hyperdisk Balanced‏ (hyperdisk-balanced): זהו סוג הדיסק היחיד שנתמך בדיסק האתחול
  • ‫Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk ML (hyperdisk-ml)
  • ‫SSD מקומי: מתווסף באופן אוטומטי למופעים שנוצרים באמצעות כל אחד מסוגי המכונות A4X
מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות All Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme אחסון SSD מקומי שמצורף
a4x-highgpu-4g 128 128 0 0 128 8 4

1 השימוש ב-Hyperdisk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין בתמחור של Hyperdisk.

מגבלות על נפח האחסון

אפשר לצרף לאינסטנס שילוב של סוגים שונים של Hyperdisk, אבל הקיבולת הכוללת המקסימלית של הדיסקים (ב-TiB) בכל סוגי הדיסקים לא יכולה לעלות על 512 TiB לכל ה-Hyperdisk.

פרטים על מגבלות הקיבולת מופיעים במאמר בנושא גודל Hyperdisk ומגבלות על צירוף.

סדרת המכונות A4

סדרת המכונות A4 מציעה סוגי מכונות עם עד 224 יחידות vCPU ו-3,968 GB של זיכרון. מכונות A4 מספקות ביצועים טובים פי 3 בהשוואה לסוגים קודמים של מכונות GPU, ברוב עומסי העבודה שמואצים על ידי GPU. מומלץ להשתמש ב-A4 לעומסי עבודה של אימון ML, במיוחד בהיקפים גדולים – למשל, מאות או אלפי מעבדי GPU. סדרת המכונות A4 זמינה בסוג מכונה יחיד.

מכונות וירטואליות שנוצרו באמצעות סוג המכונה A4 מספקות את התכונות הבאות:

  • האצת GPU עם מעבדי NVIDIA B200: מעבדי NVIDIA B200 מצורפים אוטומטית למכונות A4, שמציעות 180 GB של זיכרון GPU לכל GPU.

  • מעבד Intel Xeon Scalable דור 5 (Emerald Rapids): מציע תדר טורבו מקסימלי של עד ‎4.0 GHz לליבה אחת. מידע נוסף על המעבד הזה זמין במאמר בנושא פלטפורמת CPU.

  • יכולת הרחבה מובילה בתעשייה של NVLink: מעבדי ה-GPU של NVIDIA B200 מספקים רוחב פס של NVLink ל-GPU של 1,800 GBps, דו-כיווני לכל GPU.

    בטופולוגיית NVLink של כל-אל-כל בין 8 מעבדי GPU במערכת, רוחב הפס המצטבר של NVLink הוא עד 14.4 TBps.

  • שיפור הקישוריות לרשת באמצעות RoCE: ‏RDMA over Converged Ethernet‏ (RoCE) משפר את ביצועי הרשת על ידי שילוב של כרטיסי ממשק רשת (NIC) של NVIDIA ConnectX-7 עם רשת של Google במרכזי נתונים, שכוללת ארבעה מסלולים בארכיטקטורת rail-aligned. באמצעות RDMA over Converged Ethernet ‏ (RoCE), מופעי A4 משיגים תפוקה גבוהה בהרבה בין מופעים באשכול בהשוואה לרוב מופעי A3, למעט מופעים שפועלים בסוג המכונה A3 Ultra.

  • מהירויות רשת גבוהות יותר: מהירויות הרשת גבוהות עד פי 4 בהשוואה למכונות מדור קודם מסוג A2.

    מידע נוסף על רשתות זמין במאמר רוחבי פס של רשתות ו-GPU.

  • אופטימיזציות של וירטואליזציה להעברת נתונים ושחזור נתונים: טופולוגיית Peripheral Component Interconnect Express ‏ (PCIe) של מופעי A4 מספקת מידע מדויק יותר על מיקום, שעומס העבודה יכול להשתמש בו כדי לבצע אופטימיזציה של העברת נתונים.

    מעבדי ה-GPU גם חושפים איפוס ברמת הפונקציה (FLR) לשחזור תקין מכשלים ותמיכה בפעולות אטומיות לשיפורים של פעולות מקבילות בתרחישים מסוימים.

  • תמיכה בדיסק: מכונות A4 תומכות ב-SSD מקומי לדיסקים זמניים מהירים, וזה שימושי להזנת נתונים למעבדי GPU תוך מניעת צווארי בקבוק של קלט/פלט. כדי לקבל אחסון עמיד, אפשר לצרף נפחי Hyperdisk.

    ‫12,000 GiB של Local SSD מתווספים אוטומטית למופעי A4. עבור עומסי עבודה שדורשים אחסון בלוקים עמיד, אפשר גם לצרף עד 512 TiB של Hyperdisk למופעי A4. מידע נוסף על סוגי דיסקים זמין במאמר בחירת סוג דיסק.

  • תמיכה בהקצאה צפופה ובתזמון מודע לטופולוגיה: כשמפעילים הקצאה של מכונות וירטואליות מסוג A4, אפשר לבקש בלוקים של קיבולת שהוקצתה בצפיפות. מכונות המארח שלכם מוקצות פיזית קרוב זו לזו, מוקצות כבלוקים של משאבים ומחוברות זו לזו באמצעות רשת ML דינמית כדי לצמצם את מספר הקפיצות ברשת ולבצע אופטימיזציה לזמן האחזור הנמוך ביותר. בנוסף, אפשר לקבל מידע על הטופולוגיה ברמת הצומת והאשכול, שאפשר להשתמש בו למיקום משימות.

סוג מכונה A4

לסוגי המכונות A4 שעברו אופטימיזציה להאצה מצורפים מעבדי NVIDIA B200 Blackwell GPU (nvidia-b200), והם אידיאליים לאימון מודלים בסיסיים ולהצגתם.

מעבדים גרפיים (GPU) מסוג NVIDIA B200 Blackwell מצורפים
סוג המכונה מספר המעבדים הווירטואליים1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) מספר כרטיסי ה-NIC הפיזיים רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3 ‏
(GB HBM3e)
a4-highgpu-8g 224 3,968 ‫12,000 10 3,600 8 1,440

‫1vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2 רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר בנושא רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

מגבלות ב-A4

  • אפשר לבקש קיבולת רק באמצעות אפשרויות הצריכה הנתמכות לסוג מכונה A4.
  • לא מקבלים הנחות על שימוש קבוע והנחות גמישות תמורת התחייבות לשימוש על מקרים לדוגמה שבהם נעשה שימוש בסוג מכונה A4.
  • אפשר להשתמש בסוג מכונה A4 רק באזורים ותחומים מסוימים.
  • אי אפשר להשתמש בדיסקים לאחסון מתמיד (persistent disks) (אזוריים או של תחום מוגדר). אפשר להשתמש רק ב-Google Cloud Hyperdisk.
  • סוג המכונה A4 זמין רק בפלטפורמת המעבד Emerald Rapids.
  • אי אפשר לשנות את סוג המכונה של מופע לסוג מכונה A4 או מסוג מכונה A4. צריך ליצור מכונה חדשה עם סוג המכונה הזה.
  • סוגי מכונות A4 לא תומכים בדיירות בלעדית.
  • אי אפשר להריץ מערכות הפעלה של Windows בסוג מכונה A4.
  • במקרים של מופעי A4, כשמשתמשים ב-ethtool -S כדי לעקוב אחרי רשתות GPU, מוני יציאות פיזיות שמסתיימים ב-_phy לא מתעדכנים. זו התנהגות צפויה במקרים שבהם נעשה שימוש בארכיטקטורה של פונקציה וירטואלית (VF) של MRDMA. מידע נוסף זמין במאמר פונקציות MRDMA וכלים לניטור רשת.
  • אי אפשר לצרף דיסקים של Hyperdisk ML שנוצרו לפני 4 בפברואר 2026 לסוגי מכונות A4.

סוגי דיסקים נתמכים למכונות A4

במופעי A4 אפשר להשתמש בסוגים הבאים של אחסון בלוקים:

  • ‫Hyperdisk Balanced‏ (hyperdisk-balanced): זהו סוג הדיסק היחיד שנתמך בדיסק האתחול
  • ‫Hyperdisk Extreme (hyperdisk-extreme)
  • ‫Hyperdisk ML‏ (hyperdisk-ml)
  • ‫Local SSD: שנוסף אוטומטית למופעים שנוצרו באמצעות כל אחד מסוגי המכונות A4
מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות All Hyperdisk Hyperdisk Balanced Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme אחסון SSD מקומי שמצורף
a4-highgpu-8g 128 128 לא רלוונטי 128 8 32

1 השימוש ב-Hyperdisk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין בתמחור של Hyperdisk.

מגבלות על נפח האחסון

אפשר לצרף לאינסטנס שילוב של סוגים שונים של Hyperdisk, אבל הקיבולת הכוללת המקסימלית של הדיסקים (ב-TiB) בכל סוגי הדיסקים לא יכולה לעלות על 512 TiB לכל ה-Hyperdisk.

פרטים על מגבלות הקיבולת מופיעים במאמר בנושא גודל Hyperdisk ומגבלות על צירוף.

סדרת המכונות A3

בסדרת המכונות A3 יש עד 224 ליבות vCPU ו-2,944 GB של זיכרון. סדרת המכונות הזו מותאמת לעומסי עבודה של אימון ML שדורשים הרבה משאבי מחשוב וזיכרון, וגם לעומסי עבודה של HPC. סדרת המכונות A3 זמינה בסוגי המכונות A3 Ultra,‏ A3 Mega,‏ A3 High ו-A3 Edge.

מכונות וירטואליות שנוצרו באמצעות סוגי המכונות A3 מספקות את התכונות הבאות:

תכונה A3 Ultra ‫A3 Mega, ‏ High, ‏ Edge
האצת GPU

מעבדי NVIDIA H200 SXM GPU מצורפים, עם זיכרון GPU בנפח 141 GB לכל GPU, וזיכרון גדול ומהיר יותר לתמיכה במודלי שפה גדולים ועומסי עבודה של HPC.

מעבדים גרפיים (GPU) מסוג NVIDIA H100 SXM מצורפים, עם זיכרון GPU של 80 GB לכל GPU, והם אידיאליים למודלים גדולים של שפה מבוססי-טרנספורמציה, למסדי נתונים ול-HPC.
מעבדי Intel Xeon Scalable

מעבד Intel Xeon Scalable דור 5 (Emerald Rapids) ומציע תדר טורבו מקסימלי של עד 4.0 GHz לליבה יחידה. מידע נוסף על המעבד הזה זמין במאמר בנושא פלטפורמת המעבד.

מעבד Intel Xeon Scalable מדור רביעי (Sapphire Rapids) ומציע עד 3.3 GHz של תדר טורבו מקסימלי יציב של ליבה יחידה. מידע נוסף על המעבד הזה זמין במאמר בנושא פלטפורמת המעבד.
מדרגיות NVLink מובילה בתעשייה

מעבדי NVIDIA H200 GPU מספקים רוחב פס של GPU NVLink של 900 GB/s, באופן חד-כיווני.

בטופולוגיית NVLink של כל-אל-כל בין 8 מעבדי GPU במערכת, רוחב הפס המצטבר של NVLink הוא עד 7.2 TB/s.

מעבדי GPU מסוג NVIDIA H100 מספקים רוחב פס של GPU NVLink של 450 GB/s, חד-כיווני.

בטופולוגיית NVLink של כל-אל-כל בין 8 מעבדי GPU במערכת, רוחב הפס המצטבר של NVLink הוא עד 7.2 TB/s.
רשת משופרת בסוג המכונה הזה, פרוטוקול RDMA over Converged Ethernet ‏ (RoCE) משפר את ביצועי הרשת על ידי שילוב של כרטיסי ממשק רשת (NIC) מסוג NVIDIA ConnectX-7 עם רשת ארבע-כיוונית בארכיטקטורת rail-aligned ברמת מרכז הנתונים. באמצעות RDMA over Converged Ethernet ‏ (RoCE), סוג המכונה a3-ultragpu-8g משיג תפוקה גבוהה בהרבה בין מופעים באשכול בהשוואה לסוגי מכונות אחרים מסוג A3.
  • בסוגי המכונות A3 Mega, ‏ GPUDirect-TCPXO משפר עוד יותר את GPUDirect-TCPX על ידי העברת פרוטוקול TCP. באמצעות GPUDirect-TCPXO, סוג המכונה a3-megagpu-8g מכפיל את רוחב הפס של הרשת בהשוואה לסוגי המכונות A3 High ו-A3 Edge.
  • בסוגי המכונות A3 Edge ‏ (a3-edgegpu-8g) ו-A3 High ‏ (a3-highgpu-8g), ‏ GPUDirect-TCPX משפר את ביצועי הרשת בכך שהוא מאפשר להעביר נתונים ישירות מזיכרון ה-GPU לממשק הרשת. השימוש ב-GPUDirect-TCPX מאפשר לסוגי המכונות האלה להשיג תפוקה גבוהה בהרבה בין מופעים באשכול, בהשוואה לסוגי המכונות A2 או G2 שעברו אופטימיזציה להאצה.
שיפור המהירויות ברשת

מהירויות רשת גבוהות פי 4 בהשוואה לסדרת המכונות הקודמת A2.

מידע נוסף על רשתות זמין במאמר רוחבי פס של רשתות ו-GPU.

הוא מציע מהירויות רשת גבוהות פי 2.5 בהשוואה לסדרת המכונות הקודמת A2.

מידע נוסף על רשתות זמין במאמר רוחבי פס של רשתות ו-GPU.
אופטימיזציות של וירטואליזציה

טופולוגיית Peripheral Component Interconnect Express‏ (PCIe) של מופעי A3 מספקת מידע מדויק יותר על המיקום, שבעומסי עבודה יכולים להשתמש בו כדי לבצע אופטימיזציה של העברות נתונים.

בנוסף, יחידות ה-GPU חושפות איפוס ברמת הפונקציה (FLR) כדי לאפשר שחזור חלק מכשלים, ותמיכה בפעולות אטומיות לשיפורים של פעולות מקבילות בתרחישים מסוימים.
תמיכה בדיסק

מכונות A3 תומכות ב-Local SSD לדיסקים מהירים של קבצים זמניים, מה שמועיל להזנת נתונים ל-GPU תוך מניעת צווארי בקבוק של קלט/פלט. כדי לקבל אחסון עמיד, אפשר לצרף נפחי Persistent Disk ו-Hyperdisk.

אחסון SSD מקומי מצורף באופן הבא:

  • ‫12,000 GiB של SSD מקומי מתווסף אוטומטית למופעי A3 Ultra.
  • ‫6,000 GiB של Local SSD מתווספים באופן אוטומטי למופעי A3 Mega,‏ High ו-Edge.

עבור עומסי עבודה שדורשים אחסון בלוקים עמיד, אפשר גם לצרף עד 512 TiB של Persistent Disk ו-Hyperdisk לסוגי מכונות בסדרות האלה. בסוגים מסוימים של מכונות, יש גם תמיכה ב-Persistent Disk בנפח של עד 257 TiB. מידע נוסף על סוגי דיסקים זמין במאמר בחירת סוג דיסק.
תמיכה במדיניות למיקום קומפקטי

נותן לכם יותר שליטה במיקום הפיזי של המופעים שלכם במרכזי נתונים.

כך אפשר לקבל זמן אחזור נמוך יותר ורוחב פס גבוה יותר למופעים שנמצאים באותו אזור זמינות.

מידע נוסף זמין במאמר מידע על מדיניות בנושא מיקומי מודעות קומפקטיים.

סוג המכונה A3 Ultra

לסוגי המכונות A3 Ultra מצורפים מעבדים גרפיים (GPU) מסוג NVIDIA H200 SXM (nvidia-h200-141gb), והם מספקים את ביצועי הרשת הגבוהים ביותר בסדרת A3. סוגי המכונות A3 Ultra הם אידיאליים לאימון מודלים בסיסיים ולהצגתם.

מעבדי GPU של NVIDIA H200 שמצורפים
סוג המכונה מספר המעבדים הווירטואליים1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) מספר כרטיסי ה-NIC הפיזיים רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3 ‏
(GB HBM3e)
a3-ultragpu-8g 224 2,952 ‫12,000 10 3,600 8 1128

‫1vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2 רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

הגבלות ב-A3 Ultra

סוג המכונה A3 Mega

סוגי המכונות A3 Mega כוללים מעבדי NVIDIA H100 SXM GPU והם אידיאליים לאימון מודלים גדולים ולהסקת מסקנות במארחים מרובים.
מעבדי GPU מסוג NVIDIA H100 שמצורפים
סוג המכונה מספר המעבדים הווירטואליים1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) מספר כרטיסי ה-NIC הפיזיים רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3‏
(GB HBM3)
a3-megagpu-8g 208 1,872 6,000 9 ‫1,800 8 640

‫1vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2 רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

מגבלות של A3 Mega

סוג המכונה A3 High

סוגי המכונות A3 High כוללים מעבדי GPU מסוג NVIDIA H100 SXM ומתאימים היטב הן להסקת מסקנות ממודלים גדולים והן לכוונון עדין של מודלים.
מעבדי GPU מסוג NVIDIA H100 שמצורפים
סוג המכונה מספר המעבדים הווירטואליים1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) מספר כרטיסי ה-NIC הפיזיים רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3‏
(GB HBM3)
a3-highgpu-1g 26 234 750 1 25 1 80
a3-highgpu-2g 52 468 1,500 1 50 2 160
a3-highgpu-4g 104 936 3,000 1 100 4 320
a3-highgpu-8g 208 1,872 6,000 5 1,000 8 640

‫1vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2 רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

מגבלות של מינוי A3 High

סוג מכונת Edge‏ A3

סוגי המכונות A3 Edge כוללים מעבדי NVIDIA H100 SXM GPU ומיועדים במיוחד להצגת תוכן. הם זמינים בקבוצה מוגבלת של אזורים.
מעבדי GPU מסוג NVIDIA H100 שמצורפים
סוג המכונה מספר המעבדים הווירטואליים1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) מספר כרטיסי ה-NIC הפיזיים רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3‏
(GB HBM3)
a3-edgegpu-8g 208 1,872 6,000 5
  • ‫600: for asia-south1 and northamerica-northeast2
  • ‫400: לכל שאר אזורי A3 Edge
 8 640

‫1vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2 רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

מגבלות של A3 Edge

סוגי דיסקים נתמכים למופעי A3

A3 Ultra

במופעי A3 Ultra אפשר להשתמש בסוגי האחסון הבלוקים הבאים:

  • ‫Hyperdisk Balanced‏ (hyperdisk-balanced): זהו סוג הדיסק היחיד שנתמך עבור דיסק האתחול
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • ‫Hyperdisk Extreme (hyperdisk-extreme)
  • ‫Hyperdisk ML‏ (hyperdisk-ml)
  • ‫Local SSD: שנוסף באופן אוטומטי למופעים שנוצרו באמצעות אחד מסוגי המכונות A3
מספר הדיסקים המקסימלי לכל מכונה1
סוגי
מכונות		 All Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme דיסקים של
Local SSD
מצורפים
a3-ultragpu-8g 128 128 128 לא רלוונטי 128 8 32

1 השימוש ב-Hyperdisk מחויב בנפרד מהתמחור של סוג המכונה. במחירון של Hyperdisk תוכלו לעיין ברשימת התעריפים של דיסקים.

A3 Mega

באינסטנסים מסוג A3 Mega אפשר להשתמש בסוגים הבאים של אחסון בלוקים:

  • דיסק אחסון מתמיד מאוזן (pd-balanced)
  • דיסק אחסון מתמיד (persistent disk) שמבוסס על SSD (ביצועים) (pd-ssd)
  • ‫Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • ‫Hyperdisk ML‏ (hyperdisk-ml)
  • ‫Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • ‫Local SSD: נוסף באופן אוטומטי למופעים שנוצרים באמצעות כל אחד מסוגי המכונות A3
מספר הדיסקים המקסימלי לכל מכונה1
סוגי
מכונות		 All Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme דיסקים של
Local SSD
מצורפים
a3-megagpu-8g 128 32 32 64 64 8 16

‫1השימוש ב-Hyperdisk וב-Persistent Disk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין במאמר תמחור של דיסקים אחסון מתמיד (persistent disk) ו-Hyperdisk.

A3 High

באינסטנסים מסוג A3 High אפשר להשתמש בסוגי אחסון הבלוקים הבאים:

  • דיסק אחסון מתמיד מאוזן (pd-balanced)
  • דיסק אחסון מתמיד (persistent disk) שמבוסס על SSD (ביצועים) (pd-ssd)
  • ‫Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • ‫Hyperdisk ML‏ (hyperdisk-ml)
  • ‫Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • ‫Local SSD: נוסף באופן אוטומטי למופעים שנוצרים באמצעות כל אחד מסוגי המכונות A3
מספר הדיסקים המקסימלי לכל מכונה1
סוגי
מכונות		 All Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme דיסקים של
Local SSD
מצורפים
a3-highgpu-1g 128 32 32 64 64 לא רלוונטי 2
a3-highgpu-2g 128 32 32 64 64 לא רלוונטי 4
a3-highgpu-4g 128 32 32 64 64 8 8
a3-highgpu-8g 128 32 32 64 64 8 16

‫1השימוש ב-Hyperdisk וב-Persistent Disk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין במאמר תמחור של דיסקים אחסון מתמיד (persistent disk) ו-Hyperdisk.

A3 Edge

במופעי A3 Edge אפשר להשתמש בסוגי האחסון הבלוקים הבאים:

  • דיסק אחסון מתמיד מאוזן (pd-balanced)
  • דיסק אחסון מתמיד (persistent disk) שמבוסס על SSD (ביצועים) (pd-ssd)
  • ‫Hyperdisk Balanced (hyperdisk-balanced)
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • ‫Hyperdisk ML‏ (hyperdisk-ml)
  • ‫Hyperdisk Extreme (hyperdisk-extreme)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • ‫Local SSD: נוסף באופן אוטומטי למופעים שנוצרים באמצעות כל אחד מסוגי המכונות A3
מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות All Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Throughput Hyperdisk ML Hyperdisk Extreme אחסון SSD מקומי שמצורף
a3-edgegpu-8g 128 32 32 64 64 8 16

‫1השימוש ב-Hyperdisk וב-Persistent Disk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין במאמר תמחור של דיסקים אחסון מתמיד (persistent disk) ו-Hyperdisk.

מגבלות על נפח האחסון

אם סוג המכונה תומך בכך, אפשר לצרף למכונה שילוב של נפחי Hyperdisk ו-Persistent Disk, אבל חלות ההגבלות הבאות:

  • המספר הכולל של נפחי Hyperdisk ו-Persistent Disk לא יכול להיות יותר מ-128 לכל מכונה.

  • הקיבולת הכוללת המקסימלית של הדיסקים (ב-TiB) בכל סוגי הדיסקים לא יכולה לחרוג מהערכים הבאים:

    • לסוגי מכונות עם פחות מ-32 יחידות vCPU:

      • ‫257 TiB לכל Hyperdisk או לכל Persistent Disk
      • ‫257 TiB לשילוב של Hyperdisk ו-Persistent Disk

    • לסוגי מכונות עם 32 או יותר vCPU:

      • ‫512 TiB לכל Hyperdisk
      • ‫512 TiB לשילוב של Hyperdisk ו-Persistent Disk
      • ‫257 TiB לכל דיסק אחסון מתמיד

לפרטים על מגבלות הקיבולת, ראו מגבלות הגודל והצירוף של Hyperdisk והקיבולת המקסימלית של Persistent Disk.

סדרת מכונות A2

סדרת המכונות A2 זמינה בסוגי המכונות A2 Standard ו-A2 Ultra. לסוגי המכונות האלה יש 12 עד 96 ליבות vCPU ועד 1,360GB של זיכרון.

מכונות וירטואליות שנוצרו באמצעות סוגי המכונות A2 מספקות את התכונות הבאות:

  • האצת GPU: לכל מופע A2 יש מעבדי GPU של NVIDIA A100. האפשרויות האלה זמינות גם ב-A100 40GB וגם ב-A100 80GB.

  • התאמה ל-NVLink מובילה בתעשייה עם רוחב פס שיא של 600 GBps ל-NVLink מ-GPU ל-GPU. לדוגמה, למערכות עם 16 יחידות GPU יש רוחב פס מצטבר של NVLink של עד 9.6 TBps. אפשר להשתמש ב-16 יחידות ה-GPU האלה כמאיץ יחיד בעל ביצועים גבוהים עם מרחב זיכרון מאוחד, כדי לספק עד 10 פטה-פלופס של כוח מחשוב ועד 20 פטה-פלופס של כוח מחשוב להסקת מסקנות. אפשר להשתמש בכוח המחשוב הזה לעומסי עבודה של בינה מלאכותית, למידה עמוקה ולמידת מכונה.

  • מהירויות מחשוב משופרות: מעבדי ה-GPU מסוג NVIDIA A100 שמצורפים מציעים שיפורים של עד פי 10 במהירות החישוב בהשוואה למעבדי ה-GPU מסוג NVIDIA V100 מהדור הקודם.

    עם סדרת המכונות A2, אפשר לקבל רוחב פס ברשת של עד 100 Gbps.

  • תמיכה בדיסק: מכונות A2 תומכות ב-Local SSD לדיסקים זמניים מהירים, וזה שימושי להזנת נתונים למעבדי GPU תוך מניעת צווארי בקבוק של קלט/פלט. כדי לקבל אחסון עמיד, אפשר לצרף נפחי אחסון של Persistent Disk ו-Hyperdisk.

    יש תמיכה באחסון SSD מקומי באופן הבא:

    • כשיוצרים מכונה מסוג A2 Standard, אפשר להוסיף עד 3,000 GiB של SSD מקומי.
    • בסוגי מכונות A2 Ultra, כונן SSD מקומי מצורף באופן אוטומטי כשיוצרים מופע.

    עבור עומסי עבודה שדורשים אחסון בלוקים עמיד, אפשר לצרף עד 257 TiB של Persistent Disk ו-512 TiB של נפחי Hyperdisk למכונות A2. מידע נוסף על סוגי דיסקים זמין במאמר בחירת סוג דיסק.

  • תמיכה במדיניות מיקום קומפקטית: מאפשרת לכם שליטה רבה יותר במיקום הפיזי של המופעים במרכזי נתונים. כך אפשר להשיג זמן אחזור נמוך יותר ורוחב פס גבוה יותר למופעים שנמצאים באזור זמינות יחיד. מידע נוסף זמין במאמר בנושא הפחתת זמן האחזור באמצעות מדיניות מיקום קומפקטית.

סוגי המכונות הבאים זמינים בסדרת המכונות A2.

סוגי מכונות A2 Ultra

לסוגי המכונות האלה יש מספר קבוע של מעבדי A100 80GB GPU. כונן SSD מקומי מצורף אוטומטית למופעים שנוצרו באמצעות סוגי המכונות A2 Ultra.

מעבדי GPU מסוג NVIDIA A100 בנפח 80GB שצורפו
סוג המכונה מספר המעבדים הווירטואליים1 זיכרון המכונה (GB) אחסון SSD מקומי מצורף (GiB) רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU3
(GB HBM2e)
a2-ultragpu-1g 12 170 375 24 1 80
a2-ultragpu-2g 24 340 750 32 2 160
a2-ultragpu-4g 48 680 1,500 50 4 320
a2-ultragpu-8g 96 1,360 3,000 100 8 640

‫1vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2 רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

הגבלות ב-A2 Ultra

  • אפשר לבקש קיבולת רק באמצעות אפשרויות הצריכה הנתמכות של סוג מכונה A2 Ultra.
  • לא תקבלו הנחות על שימוש קבוע והנחות גמישות תמורת התחייבות לשימוש על מקרים לדוגמה שבהם נעשה שימוש בסוג מכונה A2 Ultra.
  • אפשר להשתמש בסוג המכונה A2 Ultra רק באזורים ותחומים מסוימים.
  • סוג המכונה A2 Ultra זמין רק בפלטפורמת Cascade Lake.
  • אם המופע שלכם משתמש בסוג מכונה A2 Ultra, לא תוכלו לשנות את סוג המכונה. אם אתם צריכים להשתמש בסוג מכונה אחר של A2 Ultra, או בכל סוג מכונה אחר, אתם צריכים ליצור מופע חדש.
  • אי אפשר לשנות אף סוג מכונה אחר לסוג מכונה A2 Ultra. אם אתם צריכים מופע שמשתמש בסוג מכונה A2 Ultra, אתם צריכים ליצור מופע חדש.
  • אי אפשר לבצע פורמט מהיר של דיסקים מקומיים מסוג SSD שמצורפים למופעי Windows שמשתמשים בסוגי מכונות A2 Ultra. כדי לפרמט את כונני ה-SSD המקומיים האלה, צריך לבצע פרמוט מלא באמצעות כלי השירות diskpart ולציין format fs=ntfs label=tmpfs.

סוגי מכונות A2 Standard

לסוגי המכונות האלה יש מספר קבוע של מעבדי A100 40GB GPU. אפשר גם להוסיף דיסקים מקומיים מסוג SSD כשיוצרים מופע A2 Standard. במאמר סוגי מכונות שבהם צריך לבחור מספר של דיסקים מקומיים מסוג SSD מפורט מספר הדיסקים שאפשר לצרף.

מעבדי GPU מסוג NVIDIA A100 בנפח 40GB מצורפים
סוג המכונה מספר המעבדים הווירטואליים1 זיכרון המכונה (GB) יש תמיכה באחסון SSD מקומי רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU‏3 ‏
(GB HBM2)
a2-highgpu-1g 12 85 כן 24 1 40
a2-highgpu-2g 24 170 כן 32 2 80
a2-highgpu-4g 48 340 כן 50 4 160
a2-highgpu-8g 96 680 כן 100 8 320
a2-megagpu-16g 96 1,360 כן 100 16 640

‫1vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2 רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

מגבלות של A2 Standard

סוגי דיסקים נתמכים למכונות A2

במופעי A2 אפשר להשתמש בסוגי האחסון הבלוקים הבאים:

  • ‫Hyperdisk ML‏ (hyperdisk-ml)
  • דיסק אחסון מתמיד מאוזן (pd-balanced)
  • דיסק אחסון מתמיד (persistent disk) שמבוסס על SSD (ביצועים) (pd-ssd)
  • דיסק מתמיד סטנדרטי (pd-standard)
  • ‫SSD מקומי: מצורף אוטומטית למופעים שנוצרו באמצעות סוגי המכונות A2 Ultra.

A2 Ultra

מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות All disks 2 ‫Hyperdisk ML Attached Local SSD
a2-ultragpu-1g 128 32 1
a2-ultragpu-2g 128 48 2
a2-ultragpu-4g 128 64 4
a2-ultragpu-8g 128 64 8

‫1השימוש ב-Hyperdisk וב-Persistent Disk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין במאמר תמחור של דיסקים מתמידים ודיסקים מסוג Hyperdisk.
2 המגבלה הזו חלה על Persistent Disk ו-Hyperdisk, אבל לא כוללת דיסקים של Local SSD.

A2 Standard

מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות All disks 2 ‫Hyperdisk ML Local SSD
a2-highgpu-1g 128 32 8
a2-highgpu-2g 128 48 8
a2-highgpu-4g 128 64 8
a2-highgpu-8g 128 64 8
a2-megagpu-16g 128 64 8

‫1השימוש ב-Hyperdisk וב-Persistent Disk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין במאמר תמחור של דיסקים מתמידים ודיסקים מסוג Hyperdisk.
2 המגבלה הזו חלה על Persistent Disk ו-Hyperdisk, אבל לא כוללת דיסקים של Local SSD.

אם סוג המכונה תומך בכך, אפשר לצרף למכונה שילוב של נפחי Hyperdisk ו-Persistent Disk, אבל חלות ההגבלות הבאות:

  • המספר הכולל של נפחי Hyperdisk ו-Persistent Disk לא יכול להיות יותר מ-128 לכל מכונה.

  • הקיבולת הכוללת המקסימלית של הדיסקים (ב-TiB) בכל סוגי הדיסקים לא יכולה לחרוג מהערכים הבאים:

    • לסוגי מכונות עם פחות מ-32 יחידות vCPU:

      • ‫257 TiB לכל Hyperdisk או לכל Persistent Disk
      • ‫257 TiB לשילוב של Hyperdisk ו-Persistent Disk

    • לסוגי מכונות עם 32 או יותר vCPU:

      • ‫512 TiB לכל Hyperdisk
      • ‫512 TiB לשילוב של Hyperdisk ו-Persistent Disk
      • ‫257 TiB לכל דיסק אחסון מתמיד

לפרטים על מגבלות הקיבולת, ראו מגבלות הגודל והצירוף של Hyperdisk והקיבולת המקסימלית של Persistent Disk.

סדרת המכונות G4

סדרת המכונות G4 משתמשת בפלטפורמת AMD EPYC Turin CPU וכוללת יחידות GPU של NVIDIA RTX PRO 6000 Blackwell Server Edition. סדרת המכונות הזו מציעה שיפורים משמעותיים בהשוואה לסדרת המכונות G2 מהדור הקודם, עם זיכרון GPU גדול בהרבה, רוחב פס גדול יותר של זיכרון GPU ורוחב פס גבוה יותר של הרשת.

למופעי G4 יש עד 384 vCPU,‏ 1,440 GB של זיכרון ו-12 TiB של דיסקים מסוג Titanium SSD שמצורפים. מכונות G4 מספקות גם ביצועים סטנדרטיים ברשת של עד 400 Gbps.

סדרת המכונות הזו מיועדת במיוחד לעומסי עבודה כמו עומסי עבודה של סימולציה ב-NVIDIA Omniverse, אפליקציות עתירות גרפיקה, טרנסקוד של סרטונים ומחשבים וירטואליים. סדרת מכונות G4 מספקת גם פתרון בעלות נמוכה לביצוע הסקה של מארח יחיד וכוונון מודלים בהשוואה לסוגי מכונות מסדרה A.

מכונות וירטואליות שמשתמשות בסוג המכונה G4 מספקות את התכונות הבאות:

  • האצת GPU באמצעות מעבדי NVIDIA RTX PRO 6000 Blackwell Server Edition GPU: מכונות G4 מצרפות באופן אוטומטי מעבדי NVIDIA RTX PRO 6000 Blackwell Server Edition GPU, שמציעים 96 GB של זיכרון GPU לכל GPU.

  • פלטפורמת מעבד AMD EPYC Turin מהדור החמישי: הפלטפורמה הזו מציעה תדר טורבו מקסימלי של עד 4.1GHz. מידע נוסף על המעבד הזה זמין במאמר בנושא פלטפורמת CPU.

  • ביצועים גרפיים מהדור הבא: מעבדי ה-GPU מסוג NVIDIA RTX PRO 6000 מספקים שדרוגים משמעותיים בביצועים ובתכונות בהשוואה למעבדי ה-GPU מסוג NVIDIA L4 שמצורפים לסדרת המכונות G2. אלה השדרוגים:

    • ליבות Tensor מהדור החמישי: הליבות האלה תומכות בדיוק FP4 וב-DLSS 4 Multi Frame Generation. המעבדים הגרפיים NVIDIA RTX PRO 6000 כוללים ליבות טנסור מהדור החמישי, ולכן הם מציעים ביצועים משופרים להאצת משימות כמו פיתוח מודלים גדולים של שפה (LLM) מקומיים ויצירת תוכן, בהשוואה למעבדים הגרפיים NVIDIA L4.
    • ליבות RT מהדור הרביעי: הליבות האלה מספקות ביצועים של עד פי שניים ב-ray-tracing בהשוואה למעבדי ה-GPU הקודמים של NVIDIA L4, ומאיצות את הרינדור לעומסי עבודה של עיצוב וייצור.
    • מספר הליבות: ה-GPU‏ NVIDIA RTX PRO 6000 כולל 24,064 ליבות CUDA,‏ 752 ליבות Tensor מדור חמישי ו-188 ליבות RT מדור רביעי. העדכון הזה מייצג עלייה משמעותית לעומת דורות קודמים כמו L4 GPU, שיש לו 7,680 ליבות CUDA ו-240 ליבות Tensor.

  • שיתוף GPU: יש כמה אפשרויות שבהן אפשר להשתמש כדי לאפשר למספר עומסי עבודה לגשת ל-GPU פיזי יחיד. שיתוף GPU שימושי לעומסי עבודה שלא דורשים את המשאבים של GPU מלא, ועוזר לכם לייעל את העלויות. אלה האפשרויות לשיתוף GPU שזמינות למופעי G4:

    • תמיכה ב-GPU חלקי (vGPU): התכונה הזו מאפשרת לשתף GPU פיזי יחיד בין כמה מקרים של מכונות וירטואליות (VM). מכשירי vGPU מספקים בידוד אבטחה של ריבוי דיירים, כי כל vGPU הוא מקרה נפרד של מכונה וירטואלית. כדי להשתמש ב-vGPU,‏ Compute Engine מספק את הצורות הבאות של מכונות וירטואליות: g4-standard-6 (1/8 GPU),‏ g4-standard-12 (1/4 GPU) ו-g4-standard-24 (1/2 GPU).
    • ‫Multi-Instance GPU (MIG): התכונה הזו מאפשרת לחלק GPU יחיד לארבעה מקרים מבודדים לכל היותר במכונה וירטואלית אחת. האפשרות הזו לא מציעה בידוד אבטחתי של ריבוי דיירים, כי כל המחיצות שייכות למכונה וירטואלית אחת.

  • תמיכה ב-Peripheral Component Interconnect Express‏ (PCIe) דור 5: מופעי G4 תומכים ב-PCI Express דור 5, שמשפר את מהירות העברת הנתונים מזיכרון ה-CPU ל-GPU בהשוואה ל-PCIe דור 3 שבו נעשה שימוש במופעי G2.

  • תמיכה בדיסקים: מכונות G4 תומכות ב-Titanium SSD לדיסקים זמניים מהירים, מה שמועיל להזנת נתונים ליחידות GPU תוך מניעת צווארי בקבוק של קלט/פלט. כדי לקבל אחסון עמיד, אפשר לצרף נפחי Hyperdisk.

    מכונות G4 תומכות בצירוף של עד 12,000 GiB של Titanium SSD. עבור עומסי עבודה שדורשים אחסון בלוקים עמיד, מכונות G4 תומכות גם בצירוף של עד 512 TiB של Hyperdisk. מידע נוסף על סוגי דיסקים זמין במאמר בחירת סוג דיסק.

  • תקשורת GPU Peer-to-Peer (P2P): מכונות G4 תומכות בתקשורת GPU P2P, שמאפשרת העברת נתונים ישירה בין מעבדי GPU באותה מכונה. השימוש ב-NVLink יכול לשפר באופן משמעותי את הביצועים של עומסי עבודה שמשתמשים בכמה מעבדים גרפיים, כי הוא מקטין את זמן האחזור של העברת הנתונים ומפנה משאבי מעבד. למידע נוסף, אפשר לעיין במאמר בנושא תקשורת עמית לעמית (P2P) של GPU‏ G4.

סוגי מכונות G4

סוגי המכונות G4 שעברו אופטימיזציה להאצה משתמשים ב יחידות GPU של NVIDIA RTX PRO 6000 Blackwell Server Edition (nvidia-rtx-pro-6000) ומתאימים לעומסי עבודה של סימולציה ב-NVIDIA Omniverse, לאפליקציות עתירות גרפיקה, לטרנסקוד של וידאו ולמחשבים וירטואליים. בנוסף, סוגי המכונות G4 מספקים פתרון בעלות נמוכה לביצוע הסקה של מארח יחיד וכוונון מודלים, בהשוואה לסוגי המכונות מסדרת A.

מעבדי GPU מסוג NVIDIA RTX PRO 6000 שמצורפים
סוג המכונה מספר המעבדים הווירטואליים1 זיכרון המכונה (GB) נפח ה-Titanium SSD המקסימלי שנתמך (GiB)2 מספר כרטיסי ה-NIC הפיזיים רוחב פס מקסימלי ברשת (Gbps)3 מספר יחידות ה-GPU זיכרון GPU‏4
(GB GDDR7)
g4-standard-6 6 22 0 1 20 1/8 12
g4-standard-12 12 45 375 1 20 1/4 24
g4-standard-24 24 90 750 1 20 1/2 48
g4-standard-48 48 180 1,500 1 50 1 96
g4-standard-96 96 360 3,000 1 100 2 192
g4-standard-192 192 720 6,000 1 200 4 384
g4-standard-384 384 1,440 ‫12,000 2 400 8 768

‫1vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2 אפשר להוסיף דיסקים של Titanium SSD כשיוצרים מופע G4. במאמר סוגי מכונות שבהם צריך לבחור מספר של דיסקים מקומיים מסוג SSD מפורט מספר הדיסקים שאפשר לצרף.
3 רוחב הפס המקסימלי של תעבורת הנתונים היוצאת (egress) לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע על רוחב הפס של הרשת
4זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

מגבלות ב-G4

סוגי דיסקים נתמכים למכונות G4

אפשר להשתמש בסוגי האחסון הבלוקים הבאים במופעי G4:

  • ‫Hyperdisk Balanced (hyperdisk-balanced): זהו סוג הדיסק היחיד שנתמך עבור דיסק האתחול
  • Hyperdisk Balanced High Availability (hyperdisk-balanced-high-availability)
  • ‫Hyperdisk Extreme ‏ (hyperdisk-extreme): סוג הדיסק הזה נתמך רק במכונות G4 עם שני מעבדי GPU או יותר שמצורפים אליהן
  • ‫Hyperdisk ML‏ (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • ‫Titanium SSD: אפשר להוסיף Titanium SSD למופעים שנוצרו באמצעות סוגי המכונות G4.

מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות All Hyperdisk Hyperdisk Balanced Hyperdisk Balanced High Availability Hyperdisk Extreme Hyperdisk ML Hyperdisk Throughput Titanium SSD
g4-standard-6 8 8 8 0 8 8 0
g4-standard-12 16 16 16 0 16 16 1
g4-standard-24 32 32 32 0 32 32 2
g4-standard-48 32 32 32 0 32 32 4
g4-standard-96 32 32 32 8 32 32 8
g4-standard-192 64 64 64 8 64 64 16
g4-standard-384 128 128 128 8 128 128 32

1 השימוש ב-Hyperdisk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין בתמחור של Hyperdisk.

אפשר לצרף לאינסטנס שילוב של סוגים שונים של Hyperdisk, אבל הקיבולת הכוללת המקסימלית של הדיסקים (ב-TiB) בכל סוגי הדיסקים לא יכולה לעלות על 512 TiB לכל ה-Hyperdisk.

פרטים על מגבלות הקיבולת מופיעים במאמר בנושא גודל Hyperdisk ומגבלות על צירוף.

תקשורת GPU מקצה לקצה (P2P)

מכונות G4 משפרות את הביצועים של עומסי עבודה עם כמה מעבדי GPU באמצעות תקשורת ישירה בין מעבדי GPU (P2P), שנתמכת רק בסוגי מכונות עם שני מעבדי GPU או יותר. הגישה הזו מאפשרת למעבדי GPU שמחוברים לאותו מופע G4 להחליף נתונים ישירות דרך אפיק ה-PCIe, בלי להעביר נתונים דרך הזיכרון הראשי של ה-CPU. הנתיב הישיר הזה מקצר את זמן האחזור, מפחית את השימוש במעבד ומגדיל את רוחב הפס האפקטיבי בין המעבדים הגרפיים. תקשורת P2P מאיצה באופן משמעותי אפליקציות מרובות GPU, כמו אימון למידת מכונה (ML) ומחשוב עתיר ביצועים (HPC).

בדרך כלל לא צריך לבצע שינויים בקוד האפליקציה כדי להשתמש בתכונה הזו. צריך להגדיר את NCCL לשימוש ב-P2P רק אם כדי להגדיר את NCCL לפני שמריצים את עומסי העבודה, צריך להגדיר את משתנה הסביבה NCCL_P2P_LEVEL במופע G4 על סמך סוג המכונה:

  • למופעי G4 עם 2 או 4 מעבדים גרפיים (g4-standard-96, g4-standard-192): מגדירים NCCL_P2P_LEVEL=PHB
  • למכונות G4 עם 8 מעבדים גרפיים (g4-standard-384): מגדירים את NCCL_P2P_LEVEL=SYS

מגדירים את משתנה הסביבה באחת מהאפשרויות הבאות:

  • בשורת הפקודה, מריצים את פקודת הייצוא המתאימה (לדוגמה, export NCCL_P2P_LEVEL=SYS) בסשן של Shell שבו מתכננים להריץ את האפליקציה. כדי שההגדרה הזו תישמר, מוסיפים את הפקודה הזו לסקריפט לטעינה בזמן ההפעלה של המעטפת (לדוגמה, ~/.bashrc).
  • מוסיפים את ההגדרה המתאימה (לדוגמה, NCCL_P2P_LEVEL=SYS) לקובץ התצורה של NCCL שנמצא במיקום /etc/nccl.conf.

יתרונות מרכזיים וביצועים

  • מאיץ עומסי עבודה של כמה מעבדי GPU במכונות G4 עם שני מעבדי GPU או יותר: מספק זמני ריצה מהירים יותר לאפליקציות שפועלות במכונות מסוג g4-standard-96,‏ g4-standard-192 ו-g4-standard-384.
  • תקשורת ברוחב פס גבוה: מאפשרת העברת נתונים במהירויות גבוהות בין מעבדי GPU.

  • שיפור הביצועים של NCCL: שיפורים משמעותיים בביצועים של אפליקציות שמשתמשות בספריית התקשורת הקולקטיבית של NVIDIA‏ (NCCL) בהשוואה לתקשורת שלא משתמשת ב-P2P. ההיפר-ויז'ר של Google מבודד בצורה מאובטחת את תקשורת ה-P2P הזו בתוך המופעים שלכם.

    • בארבע מכונות עם GPU‏ (g4-standard-192), כל יחידות ה-GPU נמצאות בצומת NUMA יחיד, מה שמאפשר תקשורת P2P יעילה ביותר. השינוי הזה יכול להוביל לשיפורים בביצועים של עד פי 2.04 בקהילות כמו Allgather,‏ Allreduce ו-ReduceScatter.
    • ב-8 מכונות GPU ‏ (g4-standard-384), יחידות ה-GPU מחולקות בין שני צמתי NUMA. התקשורת בין עמיתים מואצת עבור תנועה בתוך הצמתים האלה וביניהם, עם שיפורים בביצועים של עד 2.19x עבור אותם קולקטיבים.

סדרת המכונות G2

סדרת המכונות G2 זמינה בסוגי מכונות רגילים עם 4 עד 96 יחידות vCPU ועד 432GB של זיכרון. סדרת המכונות הזו מותאמת לעומסי עבודה של הסקת מסקנות וגרפיקה. סדרת המכונות G2 זמינה בסוג מכונה לשימוש סטנדרטי יחיד עם כמה תצורות.

מכונות וירטואליות שנוצרו באמצעות סוגי המכונות G2 מספקות את התכונות הבאות:

  • האצת GPU: לכל סוג מכונה G2 יש מעבדי GPU מסוג NVIDIA L4.

  • שיפור שיעורי ההסקה: סוג המכונה G2 מספק תמיכה בסוג הנתונים FP8 (נקודה צפה של 8 ביט), שמאיץ את שיעורי ההסקה של ML ומצמצם את דרישות הזיכרון.

  • ביצועי גרפיקה מהדור הבא: מעבדי GPU מסוג NVIDIA L4 מספקים שיפור של עד פי 3 בביצועי הגרפיקה באמצעות ליבות RT מהדור השלישי וטכנולוגיית NVIDIA DLSS 3 (Deep Learning Super Sampling).

  • רוחב פס ברשת עם ביצועים גבוהים: עם סוגי המכונות G2, אפשר לקבל רוחב פס ברשת של עד 100 Gbps.

  • תמיכה בדיסק: מכונות G2 תומכות ב-SSD מקומי לדיסקים זמניים מהירים, וזה שימושי להזנת נתונים למעבדי GPU תוך מניעת צווארי בקבוק של קלט/פלט. כדי לקבל אחסון עמיד, אפשר לצרף נפחי אחסון של Persistent Disk ו-Hyperdisk.

    אפשר להוסיף עד 3,000 GiB של Local SSD למופעי G2. עבור עומסי עבודה שדורשים אחסון בלוקים עמיד, אפשר לצרף נפחי Hyperdisk ו-Persistent Disk למופעי G2. קיבולת האחסון המקסימלית תלויה במספר ליבות ה-vCPU שיש למופע. מידע נוסף על סוגי דיסקים זמין במאמר בחירת סוג דיסק.

  • תמיכה במדיניות מיקום קומפקטית: מאפשרת לכם שליטה רבה יותר במיקום הפיזי של המופעים במרכזי נתונים. כך אפשר להשיג זמן אחזור נמוך יותר ורוחב פס גבוה יותר למופעים שנמצאים באזור זמינות יחיד. מידע נוסף זמין במאמר בנושא הפחתת זמן האחזור באמצעות מדיניות מיקום קומפקטית.

סוגי מכונות G2

סוגי המכונות שעברו אופטימיזציה להאצת G2 כוללים מעבדי NVIDIA L4 GPU מצורפים, והם אידיאליים להסקת מסקנות עם אופטימיזציה של עלויות, לעומסי עבודה של מחשוב עתיר ביצועים (HPC) ולעומסי עבודה שדורשים גרפיקה עתירת משאבים.

לכל סוג מכונה G2 יש גם זיכרון שמוגדר כברירת מחדל וטווח זיכרון בהתאמה אישית. טווח הזיכרון המותאם אישית מגדיר את נפח הזיכרון שאפשר להקצות למופע לכל סוג מכונה. אפשר גם להוסיף דיסקים מסוג Local SSD כשיוצרים מופע G2. במאמר סוגי מכונות שבהם צריך לבחור מספר של דיסקים מקומיים מסוג SSD מפורט מספר הדיסקים שאפשר לצרף.

מצורפים GPUs מסוג NVIDIA L4
סוג המכונה מספר המעבדים הווירטואליים1 זיכרון ברירת מחדל של מכונה (GB) טווח זיכרון מותאם אישית של מופע (GB) ‫SSD מקומי מקסימלי נתמך (GiB) רוחב הפס המקסימלי ברשת (Gbps)2 מספר יחידות ה-GPU זיכרון GPU‏3 (GB GDDR6)
g2-standard-4 4 16 ‫16 עד 32 375 10 1 24
g2-standard-8 8 32 ‫32 עד 54 375 16 1 24
g2-standard-12 12 48 ‫48 עד 54 375 16 1 24
g2-standard-16 16 64 ‫54 עד 64 375 32 1 24
g2-standard-24 24 96 ‫96 עד 108 750 32 2 48
g2-standard-32 32 128 ‫96 עד 128 375 32 1 24
g2-standard-48 48 192 ‫192 עד 216 1,500 50 4 96
g2-standard-96 96 384 ‫384 עד 432 3,000 100 8 192

‫1vCPU מיושם כהיפר-ת'רד יחיד בחומרה באחת מפלטפורמות ה-CPU הזמינות.
2 רוחב הפס המקסימלי של התעבורה היוצאת לא יכול להיות גבוה מהמספר שצוין. רוחב הפס בפועל של התעבורה היוצאת תלוי בכתובת ה-IP של היעד ובגורמים אחרים. מידע נוסף על רוחב פס ברשת זמין במאמר רוחב פס ברשת.
3זיכרון GPU הוא הזיכרון במכשיר GPU שאפשר להשתמש בו לאחסון זמני של נתונים. הזיכרון הזה נפרד מהזיכרון של המופע, והוא מיועד במיוחד לטיפול בדרישות רוחב הפס הגבוהות יותר של עומסי עבודה עתירי גרפיקה.

מגבלות של G2

סוגי הדיסקים שנתמכים במכונות G2

במופעי G2 אפשר להשתמש בסוגי האחסון הבלוקים הבאים:

  • דיסק אחסון מתמיד מאוזן (pd-balanced)
  • דיסק אחסון מתמיד (persistent disk) שמבוסס על SSD (ביצועים) (pd-ssd)
  • ‫Hyperdisk ML‏ (hyperdisk-ml)
  • Hyperdisk Throughput (hyperdisk-throughput)
  • ‫Local SSD: אפשר להוסיף Local SSD למופעים שנוצרו באמצעות סוגי המכונות G2.

מספר הדיסקים המקסימלי לכל מכונה1
סוגי מכונות All disks 2 ‫Hyperdisk ML Hyperdisk Throughput Local SSD
g2-standard-4 128 24 24 1
g2-standard-8 128 32 32 1
g2-standard-12 128 32 32 1
g2-standard-16 128 48 48 1
g2-standard-24 128 48 48 2
g2-standard-32 128 64 64 1
g2-standard-48 128 64 64 4
g2-standard-96 128 64 64 8

‫1השימוש ב-Hyperdisk וב-Persistent Disk מחויב בנפרד מהתמחור של סוג המכונה. למידע על תמחור הדיסקים, אפשר לעיין במאמר תמחור של דיסקים מתמידים ודיסקים מסוג Hyperdisk.
2 המגבלה הזו חלה על Persistent Disk ו-Hyperdisk, אבל לא כוללת דיסקים של Local SSD.

אם סוג המכונה תומך בכך, אפשר לצרף למכונה שילוב של נפחי Hyperdisk ו-Persistent Disk, אבל חלות ההגבלות הבאות:

  • המספר הכולל של נפחי Hyperdisk ו-Persistent Disk לא יכול להיות יותר מ-128 לכל מכונה.

  • הקיבולת הכוללת המקסימלית של הדיסקים (ב-TiB) בכל סוגי הדיסקים לא יכולה לחרוג מהערכים הבאים:

    • לסוגי מכונות עם פחות מ-32 יחידות vCPU:

      • ‫257 TiB לכל Hyperdisk או לכל Persistent Disk
      • ‫257 TiB לשילוב של Hyperdisk ו-Persistent Disk

    • לסוגי מכונות עם 32 או יותר vCPU:

      • ‫512 TiB לכל Hyperdisk
      • ‫512 TiB לשילוב של Hyperdisk ו-Persistent Disk
      • ‫257 TiB לכל דיסק אחסון מתמיד

לפרטים על מגבלות הקיבולת, ראו מגבלות הגודל והצירוף של Hyperdisk והקיבולת המקסימלית של Persistent Disk.

המאמרים הבאים