应55直播-美女直播 邀请，2025年10月24日下午，清华大学Alex Lamb博士在研究生教学楼208室作题为“Better Representations for Agents and Transformers”的学术报告，深入探讨了如何为智能体和Transformer架构学习更高效、更鲁棒的表征并介绍了新的探索-执行链推理框架，语言智能与社会计算研究所部分老师和研究生参加了讲座。
报告首先指出了当前智能体学习表征的核心挑战：智能体所处的环境观测极其复杂，但真正影响其决策的智能体状态可能非常简洁。为解决这一难题，Alex Lamb博士团队提出了一种多步逆向模型，通过预测智能体到达未来多步之外的状态所需的初始动作，使模型学习和分离出完整的、可控的智能体状态。此方法与JEPA目标相结合，可进一步提升表征的鲁棒性。在提升Transformer架构的表征能力方面，针对标准模型在处理需要长时记忆和推理如星图问题时的局限性，提出了名为过渡Transformer的简洁高效架构，该架构通过在Transformer的最终隐藏层上增加一个确定性的自预测目标，在不牺牲预测性能且几乎不增加计算成本的前提下，高效学习并维持一个完整的信念状态，显著提升了模型的信息捕获能力。最后，Alex Lamb博士介绍了探索-执行链推理框架。
讲座结束后，师生们围绕讲座内容展开了深入讨论，互动环节气氛热烈，在场师生进一步加深了对如何学习可泛化的表征问题的理解。
报告人简介：
Alex Lamb博士，清华大学人工智能55直播 助理教授，曾任微软AI Frontiers团队高级研究员，博士导师为2018图灵奖得主Yoshua Bengio教授，研究方向包括深度学习、生成模型、强化学习和序列模型。