Zarządzanie przypisaniem wideo w interfejsie Meet Media API

Po połączeniu z konferencją wszelkie żądane dźwięki są natychmiast przesyłane i dostępne. Aby jednak odbierać wideo, klient musi najpierw zdefiniować obszary renderowania dla każdego strumienia wideo.

Płótna pomagają Meet zrozumieć, w jaki sposób klient będzie korzystać ze strumienia wideo, określając jego rozdzielczość w pikselach (np. 1280 × 720), liczbę klatek na sekundę (FPS) i wybierając protokół przypisania. Protokół przypisywania określa, jak Meet ma wybierać strumienie wideo, gdy liczba uczestników jest większa niż liczba identyfikatorów SSRC.

Prośby o przypisanie filmu

Aby odbierać wideo, klienci najpierw wysyłają żądanie przypisania wideo przez kanał danych VideoAssignment, określając obszary robocze dla wynegocjowanych strumieni wideo.

Wysyłanie prośby o przypisanie filmu przez kanał danych przypisania filmu.
Rysunek 1. Wysyłanie prośby o przypisanie filmu przez kanał danych przypisania filmu.

Gdy Meet otrzyma żądanie, zacznie wybierać „odpowiednie” filmy z uczestnikami na podstawie takich czynników jak:

  • Czy uczestnik mówi?
  • Czy uczestnik udostępnia ekran?
  • Czy uczestnik udostępnia ekran?

Następnie Meet przypisuje „najbardziej odpowiednich” uczestników do dostępnych strumieni SSRC wideo i rozpoczyna transmisję wideo, dopasowując parametry obszaru roboczego tak dokładnie, jak to możliwe.

Jeśli liczba uczestników konferencji przekracza liczbę SSRC, Meet będzie z czasem zastępować strumienie, aby dopasować je do najbardziej odpowiednich uczestników.

Serwery Meet odbierają żądania i przypisują strumienie wideo.
Rysunek 2. Serwery Meet odbierają żądania i przypisują strumienie wideo.

Po zastosowaniu prośby o przypisanie filmu Meet wysyła aktualizację zasobu przez VideoAssignment kanał danych. Ta aktualizacja obejmuje mapowanie SSRC na obszar. Dzięki temu mapowaniu klienci mogą określić rozdzielczość i liczbę klatek na sekundę strumienia wideo dla każdego identyfikatora SSRC. Klient wie, którego identyfikatora SSRC użyć, gdy szuka określonej rozdzielczości i liczby klatek na sekundę.

Prześlij aktualizację zasobu przez kanał danych przypisania filmu.
Rysunek 3. Prześlij aktualizację zasobu przez kanał danych przypisania filmu.

Uwagi

  • Meet decyduje o powiązaniu między SSRC a obszarem. Klient nie określa tego w żądaniu.

  • Meet nie przypisuje identyfikatorów SSRC w sposób deterministyczny. Nie zakładaj na przykład, że pierwszy identyfikator SSRC jest „najbardziej odpowiednim” uczestnikiem.

  • Klienci nie powinni żądać większej rozdzielczości niż potrzebują. Na przykład nie wysyłaj żądania dotyczącego filmu w rozdzielczości 1080p, jeśli Twój model używa tylko rozdzielczości 480p.

  • Nie zawsze można znaleźć dokładnie takie same rozdzielczości.

  • Klienci nie powinni wysyłać zbyt wielu próśb o przypisanie filmów. Będą one ograniczane lub ignorowane.