מבוא להקלטה ולהפעלה

מדריכים ספציפיים לפלטפורמה

רוב חוויות המציאות הרבודה הן "בזמן אמת". כדי ליהנות מהן, המשתמשים צריכים להיות במקום מסוים בזמן מסוים, עם טלפון שמוגדר במצב מיוחד של מציאות רבודה ואפליקציה של מציאות רבודה שפתוחה. לדוגמה, אם משתמש רוצה לראות איך ספה במציאות רבודה תיראה בסלון שלו, הוא צריך "להציב" את הספה בסביבה שמוצגת על המסך בזמן שהוא נמצא פיזית בחדר.

ה-API של הקלטה והפעלה מבטל את הדרישה הזו של 'זמן אמת', ומאפשר לכם ליצור חוויות AR שאפשר לצפות בהן בכל מקום ובכל זמן. ה-API של ההקלטה שומר את זרם הווידאו של המצלמה, נתוני IMU או כל מטא-נתונים מותאמים אישית אחרים שאתם בוחרים לשמור בקובץ MP4. אחר כך אפשר להזין את הסרטונים המוקלטים האלה ל-ARCore באמצעות Playback API, שיטפל בקובץ ה-MP4 כמו בפיד של הפעלה בשידור חי. עדיין אפשר להשתמש בסשן מצלמה בשידור חי, אבל באמצעות ה-API החדש הזה, אפליקציות ה-AR יכולות לבחור להשתמש בקובץ MP4 שהוקלט מראש במקום בסשן בשידור חי.

גם משתמשי קצה יכולים להשתמש בתכונה הזו. לא משנה איפה הם נמצאים בחיים האמיתיים, הם יכולים לפתוח כל סרטון שהוקלט באמצעות Recording and Playback API מהגלריה המקורית שלהם ולערוך או להפעיל אובייקטים, אפקטים ומסננים של מציאות רבודה. התכונה הזו מאפשרת למשתמשים לעשות קניות ב-AR בזמן הנסיעה ברכבת למשרד או במיטה.

תרחישי שימוש בפיתוח באמצעות Recording and Playback API

ה-API של הקלטה והפעלה מסיר את מגבלות הזמן והמקום של בניית אפליקציות AR. הנה כמה דרכים שבהן אפשר להשתמש בו בפרויקטים שלכם.

מקליטים פעם אחת, בודקים בכל מקום

במקום להגיע פיזית למיקום מסוים בכל פעם שרוצים לבדוק תכונת AR, אפשר להקליט סרטון באמצעות Recording API ואז להפעיל אותו בכל מכשיר תואם. רוצים ליצור חוויה בקניון? אין צורך להיכנס לשם בכל פעם שרוצים לבדוק שינוי. פשוט מקליטים את הביקור פעם אחת, ואז חוזרים על הפעולות ומפתחים את האתר בנוחות מהשולחן שלכם.

קיצור זמן האיטרציה

במקום להקליט סרטון לכל מכשיר Android שרוצים לתמוך בו, לכל תרחיש שרוצים לבדוק, אפשר להקליט את הסרטון פעם אחת ולהפעיל אותו בכמה מכשירים שונים במהלך שלב האיטרציה.

הפחתת העומס של בדיקות ידניות בצוותי פיתוח

במקום ליצור מערכי נתונים בהתאמה אישית לכל תכונה חדשה, אפשר להשתמש במערכי נתונים שהוקלטו מראש כשמשיקים תכונות חדשות שמשלבות עומק או את שיפורי המעקב האחרונים מ-ARCore.

אין לי מכשיר תואם

כדי להקליט נתונים באמצעות Recording and Playback API, צריך ARCore, אבל לא צריך אותו כדי להפעיל את ההקלטות. קובצי MP4 שמוקלטים באמצעות התכונה הזו הם למעשה קובצי וידאו עם נתונים נוספים שאפשר לצפות בהם באמצעות כל נגן וידאו. אפשר לבדוק אותם באמצעות ExoPlayer של Android או כל נגן תואם אחר שיכול לבצע דה-מולטיפלקס לקובצי MP4 ולנהל את הנתונים הנוספים שנוספו על ידי ARCore.

איך נתוני וידאו ו-AR מוקלטים להפעלה

‫ARCore שומר סשנים מוקלטים בקובצי MP4 במכשיר היעד. הקבצים האלה מכילים כמה טראקים של וידאו ונתונים שונים אחרים. אחרי שהסשנים האלה נשמרים, אפשר להגדיר את האפליקציה כך שתשתמש בנתונים האלה במקום בסשן מצלמה בשידור חי.

מה נכלל בהקלטה?

‫ARCore מתעד את הנתונים הבאים בסרטון H.264. אפשר לגשת אליו בכל נגן וידאו שתואם ל-MP4 ויכול להחליף טראקים. הטראק עם הרזולוציה הכי גבוהה מופיע ראשון ברשימה, כי חלק מנגני הווידאו שתואמים ל-MP4 מפעילים אוטומטית את הטראק הראשון ברשימה ולא מאפשרים לבחור איזה טראק וידאו להפעיל.

טראק הווידאו הראשי (טראק תמונת ה-CPU)

קובץ הווידאו הראשי מתעד את הסביבה או את הסצנה להפעלה מאוחרת יותר. כברירת מחדל, ARCore מתעד את תמונת המעבד בגודל 640x480 (VGA) שמשמשת למעקב תנועה כזרם הווידאו הראשי.

‫ARCore לא מצלם את הטקסטורה של ה-GPU (ברזולוציה גבוהה) שמוצגת במסך כתמונה מהמצלמה במצב מעבר.

אם רוצים שזרם תמונות ברזולוציה גבוהה יהיה זמין במהלך ההפעלה, צריך להגדיר מצלמה שמספקת תמונה של CPU ברזולוציה הרצויה. במקרה זה:

  • ‫ARCore יבקש גם את תמונת ה-CPU ברזולוציה ‎640x480 (VGA) שנדרשת למעקב אחרי תנועה, וגם את תמונת ה-CPU ברזולוציה גבוהה שצוינה בהגדרת המצלמה.
  • יכול להיות שצילום של הזרם השני של תמונות ה-CPU ישפיע על ביצועי האפליקציה, ושההשפעה תהיה שונה במכשירים שונים.
  • במהלך ההפעלה, ARCore ישתמש בתמונה ברזולוציה גבוהה של המעבד המרכזי שצולמה במהלך ההקלטה כטקסטורה של המעבד הגרפי במהלך ההפעלה.
  • תמונת המעבד ברזולוציה גבוהה תהפוך לזרם הווידאו שמוגדר כברירת מחדל בהקלטת ה-MP4.

הגדרת המצלמה שנבחרה במהלך ההקלטה קובעת את תמונת המעבד ואת זרם הווידאו הראשי בהקלטה. אם לא תבחרו הגדרת מצלמה עם תמונה ברזולוציה גבוהה של המעבד, הסרטון הזה יהיה הרצועה הראשונה בקובץ והוא יופעל כברירת מחדל, לא משנה באיזה נגן וידאו תשתמשו.

הדמיה של מפת העומק של המצלמה

זהו קובץ וידאו שמייצג את מפת העומק של המצלמה, שצולמה מחיישן העומק של חומרת המכשיר, כמו חיישן זמן מעוף (או חיישן ToF), והומר לערכי ערוץ RGB. הסרטון הזה מיועד לתצוגה מקדימה בלבד.

אירועים של קריאות ל-API

‫ARCore מתעד מדידות מחיישני הג'ירוסקופ ומד התאוצה של המכשיר. הוא גם מתעד נתונים אחרים, שחלקם עשויים להיות רגישים:

  • גרסאות של פורמטים של מערכי נתונים
  • גרסת SDK של ARCore
  • הגרסה של Google Play Services למציאות רבודה
  • טביעת האצבע של המכשיר (הפלט של adb shell getprop ro.build.fingerprint)
  • מידע נוסף על חיישנים שמשמשים למעקב אחר מציאות רבודה
  • כשמשתמשים ב-ARCore Geospatial API, המיקום המשוער של המכשיר, קריאות המגנטומטר וקריאות המצפן