12

Estoy intentando crear un chat de voz en tiempo real. una vez que un cliente este hablando, quiero que el sonido se envía a través de la toma al backend de nodejs, entonces yo quiero transmitir estos datos a otro cliente.

aquí es el código de cliente remitente:

socket.on('connect', function() {
      var session = {
          audio: true,
          video: false
      };

      navigator.getUserMedia(session, function(stream){
          var audioInput = context.createMediaStreamSource(stream);
          var bufferSize = 2048;

          recorder = context.createScriptProcessor(bufferSize, 1, 1);

          recorder.onaudioprocess = onAudio;

          audioInput.connect(recorder);

          recorder.connect(context.destination);

      },function(e){

      });

      function onAudio(e) {

          if(!broadcast) return;

          var mic = e.inputBuffer.getChannelData(0);

          var converted = convertFloat32ToInt16(mic);

          socket.emit('broadcast', converted);
      }

    });

Después, el servidor recibe esta informacion y lo transmite a otro cliente (en este ejemplo, el mismo cliente)

Código servidor

socket.on('broadcast', function(buffer) {
    socket.emit('broadcast', new Int16Array(buffer));
});

Y entonces, con el fin de reproducir el sonido en el otro lado (el receptor), el código de cliente es como:

socket.on('broadcast', function(raw) {

      var buffer = convertInt16ToFloat32(raw);

      var src = context.createBufferSource();
      var audioBuffer = context.createBuffer(1, buffer.byteLength, context.sampleRate);

      audioBuffer.getChannelData(0).set(buffer);

      src.buffer = audioBuffer;

      src.connect(context.destination);

      src.start(0);
    });

Mi resultado esperado es que el sonido del cliente A se escuchará en el cliente B, puedo ver el búfer en el servidor, puedo ver el buffer de vuelta en el cliente, pero no escucho nada.

Sé que socket.io 1.x admite datos binarios, pero no puedo encontrar ningún ejemplo de hacer un chat de voz, He intentado también Uso BinaryJS pero los resultados son los mismos, también, sé que con WebRTC esta es una tarea sencilla, pero no quiero utilizar WebRTC, alguien me puede apuntar a un buen recurso o decirme lo que me estoy perdiendo?

La razón por la que no quiero utilizar WebRTC: Primero tengo que usar el servicio STUN y TURN con el fin de hacer que funcione en Internet y en segundo lugar, decir que quiero un cliente a la emisión a 10 usuarios que significa 10 conexiones entre pares, más clientes en el chat es más divertido.

2

1 respuesta 1

2
+50

colega, primero lo primero. Imagino que quieres hacer este proyecto unicamente para desktop ya que con todo el rollo de permisos y prohibiciones que tiene por ejemplo IOS para estas cosas nunca lo podrías hacer sin una APP de por medio, he buscado un poco por internet y me he encontrado con este Node Module que podría ayudarte, ya que por lo que tengo entendido Socket se utiliza principalmente para transmitir datos en tiempo real, además de que el streaming se debe transmitir en UDP en lugar de TCP y asegurarte de que ambos clientes tengan los codecs de audio y video necesarios según como estes transmitiendo, pegate un ojo en este modulo y ves que tal.

https://www.npmjs.com/package/socket.io-stream

1
  • 1
    iba a poner un voto negativo sobre tu respuesta porque no hay codigo ni ejemplos detras, pero en vez de ello te puse un +1 solo porque esa documentacion y el recurso se ven muy buenos y especificos para lo que el usuario busca.
    – Layer
    Commented el 6 jul. 2020 a las 4:27

Tu Respuesta

By clicking “Publica tu respuesta”, you agree to our terms of service and acknowledge you have read our privacy policy.

¿No es la respuesta que buscas? Examina otras preguntas con la etiqueta o formula tu propia pregunta.