上海人工智能实验室领军科学家林达华:大模型时代的AI产业分工将会被重塑
上证报中国证券网讯(记者 刘怡鹤)在3月24日举行的2024全球开发者先锋大会“大模型前沿论坛”上,上海人工智能实验室领军科学家林达华表示,大模型时代的AI产业分工将会被重塑,如果一个模型在特定领域具有数据优势(如数据积累、构造能力等),可以在局部超越GPT-4。
林达华认为,基座模型需要重大投入,只有少数头部机构真正具备研发能力。行业模型、插件等的投入相对较小,有巨大创新空间,竞争壁垒在于专业数据和对专业领域的理解。
回顾大模型横空出世的一年多来,林达华总结了大模型赛道上的主要趋势。OpenAI引领技术潮流,谷歌紧紧追赶,ChatGPT竞品Claude“异军突起”;技术探索的重点方向包括上下文长度、推理能力、更高效的模型架构;轻量级模型崭露头角;开源模型快速进步,开放生态已成气候。
林达华说:“大模型时代,技术演进有两股主要的驱动力量:一是对通用人工智能(AGI)的追求,即对尺度定律(Scaling Law)的信仰;二是对大模型带来新一次产业变革的憧憬。”
林达华从多方面前瞻了AI大模型的科研趋势。一是模型架构从追求参数到追求更高效的规模。二是训练数据从追求数量到寻求规模化构建高质量数据的路径。三是多模态融合将成为重要趋势,技术探索仍在路上,尚未收敛。四是超长上下文解锁新的应用,“记忆”形态还将继续发展,更长的上下文意味着什么,需要继续思考。五是智能体成为大模型应用的重要形态,但需要核心基础能力的支撑。六是计算环境方面,云侧算力还在指数式增长,端侧即算力将迎来黄金增长期,云端协同将成为未来的重要趋势。