Character.AI memperkenalkan TalkingMachines, sebuah terobosan dalam pembuatan video AI real-time, memanfaatkan model difusi canggih untuk animasi karakter yang interaktif dan berbasis audio.
Character.AI telah mengumumkan kemajuan signifikan dalam generasi video waktu nyata dengan peluncuran TalkingMachines, sebuah model difusi autoregresif yang inovatif. Teknologi baru ini memungkinkan pembuatan video interaktif yang digerakkan oleh audio, mirip FaceTime, yang memungkinkan karakter untuk bercakap-cakap secara waktu nyata dalam berbagai gaya dan genre, seperti yang dilaporkan oleh Blog Character.AI.
Merevolusi Generasi Video
TalkingMachines dibangun di atas pekerjaan sebelumnya Character.AI, AvatarFX, yang mendukung pembuatan video di platform mereka. Model baru ini membuka jalan bagi interaksi visual yang imersif dan real-time yang didorong oleh AI serta karakter animasi. Dengan memanfaatkan hanya sebuah gambar dan sinyal suara, model ini dapat menghasilkan konten video dinamis, membuka kemungkinan baru untuk hiburan dan media interaktif.
Teknologi Di Balik TalkingMachines
Model ini memanfaatkan arsitektur Diffusion Transformer (DiT), menggunakan metode yang dikenal sebagai distilasi pengetahuan asimetris. Pendekatan ini mengubah model video berkualitas tinggi yang bersifat bidirectional menjadi generator cepat dan real-time. Fitur kunci meliputi:
Difusi yang Sesuai Aliran: Dilatih sebelumnya untuk mengelola pola gerak yang kompleks, dari ekspresi halus hingga gerakan dinamis.
Perhatian Silang Berbasis Audio: Modul audio dengan 1,2 miliar parameter yang menyelaraskan suara dan gerakan secara rumit.
Perhatian Kausal Spars: Mengurangi memori dan latensi dengan fokus pada bingkai masa lalu yang relevan.
Distilasi Asimetris: Menggunakan model difusi dua langkah yang cepat untuk generasi panjang tak terbatas tanpa kehilangan kualitas.
Implikasi untuk Masa Depan
Terobosan ini melampaui animasi wajah, membuka jalan bagi karakter AI audiovisual interaktif. Ini mendukung berbagai gaya, dari fotorealistik hingga anime dan avatar 3D, dan siap untuk meningkatkan streaming dengan fase berbicara dan mendengarkan yang alami. Teknologi ini meletakkan dasar untuk peran bermain, penceritaan, dan pembangunan dunia interaktif.
Meningkatkan Kemampuan AI
Penelitian Character.AI menandai beberapa kemajuan, termasuk generasi waktu nyata, distilasi yang efisien, dan skalabilitas tinggi, dengan operasi yang mampu berjalan hanya dengan dua GPU. Sistem ini juga mendukung interaksi multispeaker, memungkinkan dialog karakter yang mulus.
Prospek Masa Depan
Meskipun belum diluncurkan sebagai produk, pengembangan ini adalah tonggak penting dalam peta jalan Character.AI. Perusahaan sedang berupaya untuk mengintegrasikan teknologi ini ke dalam platform mereka, dengan tujuan untuk memungkinkan pengalaman seperti FaceTime, streaming karakter, dan pembuatan dunia visual. Tujuan akhirnya adalah untuk mendemokratisasi penciptaan dan interaksi dengan karakter audiovisual yang imersif.
Character.AI telah menginvestasikan banyak dalam infrastruktur pelatihan dan desain sistem, memanfaatkan lebih dari 1,5 juta klip video yang disusun dan jalur pelatihan tiga tahap. Pendekatan ini mencerminkan ketepatan dan tujuan penelitian terdepan dalam teknologi AI.
Sumber gambar: Shutterstock
Lihat Asli
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Character.AI Memperkenalkan Teknologi Video AI Waktu Nyata dengan TalkingMachines
Rebeca Moen
Jul 04, 2025 04:27
Character.AI memperkenalkan TalkingMachines, sebuah terobosan dalam pembuatan video AI real-time, memanfaatkan model difusi canggih untuk animasi karakter yang interaktif dan berbasis audio.
Character.AI telah mengumumkan kemajuan signifikan dalam generasi video waktu nyata dengan peluncuran TalkingMachines, sebuah model difusi autoregresif yang inovatif. Teknologi baru ini memungkinkan pembuatan video interaktif yang digerakkan oleh audio, mirip FaceTime, yang memungkinkan karakter untuk bercakap-cakap secara waktu nyata dalam berbagai gaya dan genre, seperti yang dilaporkan oleh Blog Character.AI.
Merevolusi Generasi Video
TalkingMachines dibangun di atas pekerjaan sebelumnya Character.AI, AvatarFX, yang mendukung pembuatan video di platform mereka. Model baru ini membuka jalan bagi interaksi visual yang imersif dan real-time yang didorong oleh AI serta karakter animasi. Dengan memanfaatkan hanya sebuah gambar dan sinyal suara, model ini dapat menghasilkan konten video dinamis, membuka kemungkinan baru untuk hiburan dan media interaktif.
Teknologi Di Balik TalkingMachines
Model ini memanfaatkan arsitektur Diffusion Transformer (DiT), menggunakan metode yang dikenal sebagai distilasi pengetahuan asimetris. Pendekatan ini mengubah model video berkualitas tinggi yang bersifat bidirectional menjadi generator cepat dan real-time. Fitur kunci meliputi:
Implikasi untuk Masa Depan
Terobosan ini melampaui animasi wajah, membuka jalan bagi karakter AI audiovisual interaktif. Ini mendukung berbagai gaya, dari fotorealistik hingga anime dan avatar 3D, dan siap untuk meningkatkan streaming dengan fase berbicara dan mendengarkan yang alami. Teknologi ini meletakkan dasar untuk peran bermain, penceritaan, dan pembangunan dunia interaktif.
Meningkatkan Kemampuan AI
Penelitian Character.AI menandai beberapa kemajuan, termasuk generasi waktu nyata, distilasi yang efisien, dan skalabilitas tinggi, dengan operasi yang mampu berjalan hanya dengan dua GPU. Sistem ini juga mendukung interaksi multispeaker, memungkinkan dialog karakter yang mulus.
Prospek Masa Depan
Meskipun belum diluncurkan sebagai produk, pengembangan ini adalah tonggak penting dalam peta jalan Character.AI. Perusahaan sedang berupaya untuk mengintegrasikan teknologi ini ke dalam platform mereka, dengan tujuan untuk memungkinkan pengalaman seperti FaceTime, streaming karakter, dan pembuatan dunia visual. Tujuan akhirnya adalah untuk mendemokratisasi penciptaan dan interaksi dengan karakter audiovisual yang imersif.
Character.AI telah menginvestasikan banyak dalam infrastruktur pelatihan dan desain sistem, memanfaatkan lebih dari 1,5 juta klip video yang disusun dan jalur pelatihan tiga tahap. Pendekatan ini mencerminkan ketepatan dan tujuan penelitian terdepan dalam teknologi AI.
Sumber gambar: Shutterstock