ในสภาพแวดล้อมที่ซับซ้อน มนุษย์สามารถเข้าใจความหมายของคำพูดได้ดีกว่า AI เพราะเราไม่เพียงแต่ใช้หูเท่านั้น แต่ยังใช้ดวงตาอีกด้วย
ตัวอย่างเช่น เราเห็นปากของใครบางคนขยับ และอาจรู้โดยสัญชาตญาณว่าเสียงที่เราได้ยินจะต้องมาจากบุคคลนั้น
Meta AI กำลังทำงานบนระบบการสนทนา AI ใหม่ ซึ่งจะสอน AI ให้เรียนรู้ที่จะรับรู้ความสัมพันธ์ที่ละเอียดอ่อนระหว่างสิ่งที่เห็นและได้ยินในการสนทนา
VisualVoice เรียนรู้ในลักษณะเดียวกันกับวิธีที่มนุษย์เรียนรู้ที่จะฝึกฝนทักษะใหม่ ๆ ช่วยให้สามารถแยกคำพูดทั้งภาพและเสียงโดยการเรียนรู้สัญญาณภาพและการได้ยินจากวิดีโอที่ไม่มีป้ายกำกับ
สำหรับเครื่องจักร สิ่งนี้จะสร้างการรับรู้ที่ดีขึ้น ในขณะที่การรับรู้ของมนุษย์จะดีขึ้น
ลองนึกภาพความสามารถในการมีส่วนร่วมในการประชุมกลุ่มใน Metaverse กับเพื่อนร่วมงานจากทั่วทุกมุมโลก เข้าร่วมการประชุมกลุ่มเล็กๆ ขณะที่พวกเขาเคลื่อนตัวผ่านพื้นที่เสมือนจริง ในระหว่างนั้นเสียงก้องและเสียงดนตรีในฉากจะเป็นไปตามสภาพแวดล้อม ปรับตามนั้น
นั่นคือสามารถรับข้อมูลเสียง วิดีโอ และข้อความได้ในเวลาเดียวกัน และมีรูปแบบการทำความเข้าใจด้านสิ่งแวดล้อมที่สมบูรณ์ยิ่งขึ้น ช่วยให้ผู้ใช้ได้รับประสบการณ์เสียงที่ "ว้าวมาก"
เวลาโพสต์: Jul-20-2022
