Zarządzanie przypisaniem wideo w interfejsie Meet Media API

Po połączeniu z konferencją każde żądane audio jest natychmiast przesyłane i dostępne. Aby jednak odbierać wideo, klient musi najpierw zdefiniować obszary rysowania dla każdego strumienia wideo.

Obszary robocze pomagają Meet zrozumieć, w jaki sposób klient będzie korzystać ze strumienia wideo, określając jego rozdzielczość w pikselach (np. 1280 × 720), liczbę klatek na sekundę (FPS) i wybierając protokół przypisywania. Protokół przypisywania określa, jak Meet ma wybierać strumienie wideo, gdy jest więcej uczestników niż identyfikatorów SSRC.

Prośby o przypisanie filmu

Aby otrzymać wideo, klienci najpierw wysyłają żądanie przypisania wideo przez kanał danych VideoAssignment, definiując obszary robocze dla wynegocjowanych strumieni wideo.

Wysyłanie prośby o przypisanie filmu przez kanał danych przypisania filmu.
Rysunek 1. Wysyłanie prośby o przypisanie filmu przez kanał danych przypisania filmu.

Gdy Meet otrzyma prośbę, zacznie wybierać „odpowiednie” filmy uczestników na podstawie takich czynników jak:

  • Czy uczestnik mówi?
  • Czy uczestnik prowadzi prezentację?
  • Czy uczestnik udostępnia ekran?

Następnie Meet przypisuje „najbardziej odpowiednich” uczestników do dostępnych źródeł SSRC wideo i rozpoczyna transmisję wideo, dopasowując parametry obszaru roboczego tak ściśle, jak to możliwe.

Jeśli liczba uczestników konferencji przekracza liczbę SSRC, Meet będzie z czasem zastępować strumienie, aby dopasować je do najbardziej odpowiednich uczestników.

Serwery Meet odbierają żądania i przypisują strumienie wideo.
Rysunek 2. Serwery Meet odbierają żądania i przypisują strumienie wideo.

Gdy Meet zastosuje żądanie przypisania filmu, wyśle aktualizację zasobu przez VideoAssignment kanał danych. Ta aktualizacja obejmuje mapowanie SSRC na obszar roboczy. Dzięki temu mapowaniu klienci mogą określić rozdzielczość i liczbę klatek na sekundę strumienia wideo dla każdego identyfikatora SSRC. Z kolei klient wie, którego identyfikatora SSRC użyć, gdy szuka określonej rozdzielczości i liczby klatek na sekundę.

Prześlij aktualizację zasobu przez kanał danych przypisania filmu.
Rysunek 3. Prześlij aktualizację zasobu przez kanał danych przypisania filmu.

Uwagi

  • Meet decyduje o powiązaniu między SSRC a obszarem. Klient nie określa tego w żądaniu.

  • Meet nie przypisuje identyfikatorów SSRC w sposób deterministyczny. Nie zakładaj na przykład, że pierwszy SSRC to „najbardziej odpowiedni” uczestnik.

  • Klienci nie powinni prosić o rozdzielczość większą niż potrzebna. Na przykład nie wysyłaj żądania dotyczącego filmu w rozdzielczości 1080p, jeśli Twój model używa tylko rozdzielczości 480p.

  • Dopasowanie dokładnych rozdzielczości może nie zawsze być możliwe.

  • Klienci nie powinni wysyłać zbyt wielu próśb o przypisanie filmów. Będą one ograniczane lub ignorowane.