10月25日，由声网和RTE开发者社区勾引主理的RTE2024第十届实时互联网大会在北京肃肃开幕，本届大会主题为“AI 爱”，掩饰AI、出海、酬酢泛文娱、IoT、Voice AI、空间联想等20+行业及本事分论坛。本年是声网成立的十周年，亦然RTE大会的第十届。十年间，实时互动从“理念”发展成一个“行业”。实时互动本事不仅助力酬酢泛文娱、在线教化、IoT、企业干事等几十个行业、数百个场景结尾了向上式成长，也撑抓了诸多互联网风口的进化，从昔时的电商直播、互联网医疗、秀场直播到如今的大模子，齐离不开RTE才智的参与和赋能。
在全新的生成式AI时期，RTE与AI也将迎来更多可能性。25日上昼的RTE2024主论坛中，声网独创东说念主兼CEO赵斌、Lepton AI独创东说念主兼CEO贾扬清、声网首席科学家、CTO钟声分离带来主题演讲。赵斌共享了声网十年以来专注实时互动行业的潜入知悉，以及他对RTE在生成式AI时期下将来发展的趋势判断。贾扬清则站在AI基础设施的视角下，共享了他对AI运用、云、和GPU算力云本事的私有不雅点。钟声的主题演讲聚焦在对实时AI基础设施的探讨上，并共享了AI与 RTE结合的前沿本事实践。
赵斌：生成式AI将开动IT行业四大变革
生成式AI正在开动IT行业发生大变革，赵斌以为，这一趋势主要体咫尺四个层面：结尾、软件、云和东说念主机界面。在结尾上，大模子才智将开动PC和Phone往AI PC和AI Phone的标的进化。在软件上，所有这个词的软件齐不错、也将和会过大模子再行结尾，并从Software with AI发展至AI Native Software。在云的层面，所有这个词云齐需要具备对大模子检修和推理的才智，AINativeCloud将成为主流。此外，东说念主机界面的主流交互样式也将从键盘、鼠标、触屏变成当然言语对话界面（LUI）。
跟着生成式AI成为下个时期IT行业进化的主题，RTE也成为了多模态运用和基础设施中一个要津的部分。10月初，声网的昆季公司Agora手脚语音API配合者，出咫尺了OpenAI发布的Realtime API公开测试版中。
在这次大会中，赵斌默示，声网与MiniMax正在打磨中国第一个Realtime API。赵斌也展示了声网基于MiniMax Realtime API打造的东说念主工智能体。在演示视频中，东说念主与智能体庸碌畅通的进行实时语音对话。当东说念主类打断智能体并建议新的疑问时，智能体也不详十分灵巧的快速反应，结尾了与东说念主类当然畅通的对话。
在生成式AI的大潮下，RTE将会提供更为繁密的空间。赵斌也在共享中文告，声网肃肃发布了RTE+AI才智全景图。在全景图中，声网从实时AI基础设施、RTE+AI生态才智、声网AI Agent、实时多模态对话式AI惩办决策、RTE+AI运用场景五个维度，明晰呈现了当下RTE与AI相结合的本事才智与运用决策。生成式AI与RTE结合带来的场景翻新，将成为下一个十年的主题。
昔时十年，声网不仅见证并鼓励了RTE从一个理念变成一个行业的过程，更身膂力行的冲突了国内实时音视频领域的三无现象。赵斌称，10年前行业内莫得行业会议、专科书本、以及专科媒体和社区。如今，RTE大会迈入第10年，声网也于本年8月肃肃出书行业首本系统先容实时互动的本事型科普文籍《读懂实时互动》，同期，RTE开发者社区也抓续闹热，加快鼓励。
贾扬清：AI是云的第三次波浪
跟着AI本事的发展，AI时期的大模子运用开发、AI云、以及GPU等基础设施耕种冉冉成为热点话题，也成为了撑抓通盘行业发展、催生新运用出生、新营业价值结尾的基本底座。Lepton AI独创东说念主兼CEO贾扬清在RTE2024主论坛上分离从AI运用、云、GPU算力云本事以及企业大模子自主性等层面带来了他对AI基础设施进化的解读。
针对AI运用，贾扬清指出，今天是最容易耕种AI运用的时期，越是简陋的AI模子想路越容易产生优秀的成果。AI才智加抓后，运用自己的开发范式也在从数据、模子、运用构建三个维度发生变化，将来的运用开发将从“以进程为中心”转换为“以模子为中心”。
除了AI运用层面，传统的云架构也在大模子、GPU优化等需求的催化下发生了揭地掀天的变化。贾扬清以为，AI是云的第三次波浪，继Web云、数据云之后，AI将成为第三朵云。AI云有以下三个特征：算力会成为智能的基础、AI云需要普遍联想与大规模的异构集群，以及小数但高质料的通信。总体而言，云的居品阵势，施行是联想和传输的均衡。贾扬清指出，在AI云的阵势下，实时的交流和智能的结合在用户体验门径十分迫切。绝不夸张的说，实时将径直与坐蓐力划上等号。
企业在构建我方的大模子自主性上，到底该如何决策？贾扬清强调，企业应该将开源和闭源大模子齐纳入沟通领域。罗致开源模子+定制化的上风不单是是具备更强的可定制性，还有更低的本钱以及更高的速率，开源+定制化不详达到比闭源模子更好的成果。
钟声：分散式端边云结合的AI系统将成为当代基础设施的基本阵势
在照旧到来的AI时期，当代化基础设施应该是什么样？声网首席科学家、CTO钟声提到，普遍用户斥地常常会先接入角落节点、并在需要的时候再接入云表，数据将在端斥地、角落节点和云之间来去传递。AI时期的数据中心会包含以普遍异构算力构成的超等联想集群（SuperScaler）。然则，停留在仅依赖超等联想集群的系统是远远不够的，万亿参数、多模态引入所酿成的腾贵联想本钱、勤快机制敛迹的数据秘密保护、几秒钟的延时齐将退却大模子的普惠，极地面肆意其在许多场景下的运用。
钟声以为，分散式端边云结合的AI系统将有用惩办这些痛点。这个系统将把联想和传输在各节点作念合理地确立，系统会智能地以自顺应的样式把任务编排到端与边上实施，十分有用地裁汰了本钱，同期提供了更低延时（低于1秒级的反应速率）、更高麇集抖动容忍度、优秀的抗噪声才智，而且完竣的用户数据只会保留在端上。
共享过程中，钟声还在大会现场演示了一个由STT、LLM、TTS、RTC四个模块构成的端边结合实时对话AI智能体，这亦然全球初度有厂商在比日常施行场景更具挑战的环境下展示实时AI对话才智。大会现场不雅众规模卓著千东说念主，濒临复杂的噪声、回声、麦克风延长等穷苦，但智能体与钟声的互动仍然施展出了优秀的对话才智，在开阔5G麇集环境下结尾了畅通、当然、真理的双向实时对话，对话模子的极快反应速率、实时打断与被打断的当然进度、扞拒噪声才智、奉命语音教唆作念恭候才智齐十分凸起。
正如钟声在临了共享的，跟着端斥地的各样化以及才智的普及，AI基础设施会变得更优化合理，使得AI无处不在，AI助理、AI分身匡助咱们有用缓解时候稀缺性，改善职责效能和生涯体验。
圆桌：AI的6000亿难题，从基础设施到营业化落地
AI的6000亿好意思元难题，一直齐是通盘行业十分温雅的话题，在圆桌商酌门径中，Lepton AI独创东说念主兼CEO贾扬清、MiniMax合资东说念主魏伟、面壁智能勾引独创东说念主＆CTO曾国洋、Hugging Face工程师王铁震、Agora勾引独创东说念主Tony Wang五位嘉宾沿路探讨了从AI基础设施到AI营业化落地的契机与挑战。
针对商用大模子和开源大模子将来的发展趋势，贾扬清共享了两个中枢不雅点：其一，同等质料模子的Size会变得越来越小，联想效能会越来越高，模子架构也会变得愈加绽开和步调。其二，除了极少数头部公司除外，越来越多的企业会罗致开源架构来作念下一代模子。因此，开源架构的运用会变的越来越普遍，通过开源架构检修出来的模子也齐会有各自不同的格调。
王铁震则默示，咱们将在将来看到越来越多Infra和Realtime的职责，全球不仅需要关注开源模子自己，还需要疼爱开源模子的基础设施和数据闭环，才能把开源模子跑得更好、更快。Realtime需要TTS、也需要大模子，如若不详通过一些样式放在沿路，放在角落侧、离用户更近的地点，才能产生十分好的成果。
对于如何看待音视频多模态模子的施走运用后劲，魏伟默示，跟着多模态的出现，生成式东说念主工智能的规模一定会被无间拓展，并加快这一产业的变革。从居品和用户干事过程中魏伟发现，文本、语音、音乐、视频这些模子不错很好的匡助艺术、影视、音乐等领域的创作家极地面提高效能，并为他们提供新的想路和方法。
针对大模子本事浩大的本钱使用问题，曾国洋共享到，跟着本事的前进，算力一定会变得越来越低廉，交流才智的模子规模也会变得越来越小，但算力本钱优化会最终转换为检修更顽强的模子。真确达到AGI水平之前，咱们只可感受到模子在变得越来越强，很难感受到本钱的变化。他还提到，由于面壁智能是作念端侧模子的，是以很关注如何让模子在端上跑得更快，在施行部署过程中，他们会用各样量化压缩甚而是荒芜化方法去优化施行部署的支拨。
追忆来说，Tony Wang以为想要鼓励AI Infra到模子、再到营业化落地，本事开动和本钱是最中枢的两个点。此外，在居品真确走向市集的过程中，流量和口碑亦然要津。
昔时十年，声网不仅见证并鼓励了RTE从一个理念变成一个行业的过程，更身膂力行的冲突了国内实时音视频领域无行业会议、无专科书本、无专科媒体及社区的三无现象。自此，RTE大会迈入第10年，行业首本系统先容实时互动的本事型科普文籍《读懂实时互动》于本年8月肃肃出书，RTE开发者社区也正在秉抓着“绽开、一语气、共创”的理念加快实时互动和AI的共生。
将来，声网将无间和全球沿路，站在全新的发轫、拥抱闹热且充满挑战的AI+RTE新时期。