Meet 미디어 API에서 동영상 과제 관리

회의에 연결되면 요청된 오디오가 즉시 전송되고 사용할 수 있게 됩니다. 하지만 동영상을 수신하려면 클라이언트가 먼저 각 동영상 스트림의 캔버스를 정의해야 합니다.

캔버스는 Meet에서 클라이언트가 동영상 스트림을 사용하는 방식을 이해하는 데 도움이 되며, 픽셀 단위의 해상도 (예: 1280 × 720), 초당 프레임 수 (FPS)를 지정하고 할당 프로토콜을 선택합니다. 할당 프로토콜은 참여자 수가 SSRC보다 많은 경우 Meet에서 동영상 스트림을 선택하는 방법을 지정합니다.

동영상 할당 요청

동영상을 수신하려면 클라이언트가 먼저 협상된 동영상 스트림의 캔버스를 정의하는 데이터 채널을 통해 동영상 할당 요청을 보냅니다.VideoAssignment

동영상 할당 데이터 채널을 통해 동영상 할당 요청을 전송합니다.
그림 1. 동영상 할당 데이터 채널을 통해 동영상 할당 요청을 보냅니다.

Meet는 요청을 수신하면 다음과 같은 요소를 기반으로 '관련성 높은' 참여자 동영상을 선택하기 시작합니다.

  • 참여자가 말하고 있나요?
  • 참여자가 발표하고 있나요?
  • 참여자가 화면을 공유하고 있나요?

그런 다음 Meet는 '가장 관련성 높은' 참여자를 사용 가능한 동영상 SSRC에 매핑하고 캔버스 매개변수와 최대한 일치하도록 동영상 전송을 시작합니다.

회의의 참여자 수가 SSRC 수를 초과하면 Meet는 가장 관련성 높은 참여자와 일치하도록 시간이 지남에 따라 스트림을 대체합니다.

Meet 서버는 요청을 수신하고 동영상 스트림을 할당합니다.
그림 2. Meet 서버는 요청을 수신하고 동영상 스트림을 할당합니다.

Meet가 동영상 할당 요청을 적용하면 리소스 업데이트 를 VideoAssignment 데이터 채널 전체에 푸시합니다. 이 업데이트에는 SSRC-캔버스 매핑이 포함됩니다. 클라이언트는 이 매핑을 사용하여 각 SSRC의 동영상 스트림 해상도와 FPS를 식별할 수 있습니다. 반대로 클라이언트는 특정 해상도와 FPS를 찾을 때 사용할 SSRC를 알고 있습니다.

동영상 할당 데이터 채널을 통해 리소스 업데이트를 전송합니다.
그림 3. 동영상 할당 데이터 채널을 통해 리소스 업데이트를 보냅니다.

고려사항

  • Meet는 SSRC와 캔버스 간의 연결을 결정합니다. 클라이언트는 요청에서 이를 지정하지 않습니다.

  • Meet는 결정론적으로 SSRC를 할당하지 않습니다. 예를 들어 첫 번째 SSRC가 '가장 관련성 높은' 참여자라고 가정하지 마세요.

  • 클라이언트는 필요한 것보다 더 높은 해상도를 요청해서는 안 됩니다. 예를 들어 모델에서 480p만 사용하는 경우 1080p 동영상을 요청하지 마세요.

  • 정확한 해상도를 항상 일치시킬 수 있는 것은 아닙니다.

  • 클라이언트는 과도한 동영상 할당 요청을 보내서는 안 됩니다. 이러한 요청은 제한되거나 무시됩니다.