2021年11月26日下午，由世界十大赌网站(中国)有限公司主办的世界十大赌网站前沿学术论坛第二十期通过网络顺利举行。本期论坛邀请到粤港澳大湾区数字经济研究院（IDEA）讲席科学家、认知计算与自然语言研究中心负责人张家兴博士做主题为“从深度学习到大模型”的学术报告。讲座由信息科学技术学院副经理侯士敏教授主持，100余名师生线上参加了本次学术报告。

张家兴博士

讲座伊始，张家兴博士首先为我们介绍了深度学习的基本概念。随后张家兴博士指出，近十年深度学习的发展揭示出深度学习的研究一直聚焦在两大主线：网络结构设计与模型训练。在网络结构设计方面，RAM（Recurrent、Attention、Memory）一直是主导思想。Recurrent是为了应对变长输入，Attention是为了选择合适的输入，而Memory则通过key-value的形式存储和检索有用的信息。当前Transformer结构是集大成者，在其中可以看到RAM的完美结合，是最主流的一种网络结构，在自然语言处理领域最为流行，也在逐渐统一计算机视觉等方向。在模型训练方面，随着技术的发展，模型越来越深，参数数量也越来越多。深度学习的重大突破，包括AlexNet、ResNet、BERT、GPT-3等都伴随着更大的模型结构和更强的算力需求。这是历史的规律，也预示了未来，深度学习的发展不可避免地会追求更大的网络结构；而且，这些重大突破的工作都提出了一个新的研究方向，与已有研究相比具有截然不同的方法。深度学习已经成为众多机器学习方法中的绝对主流，远超SVM、GBDT等其他机器学习方法。张家兴博士认为，这背后的原因有四点：1）深度学习模型可做大，因为可以引入任意数量的神经元；2）可以设计网络结构，这可以使领域专家的经验转化成适合特定任务的网络结构设计；3）可以预训练，这大大降低了对每个下游任务训练的难度；4）适应于GPU架构，深度学习和硬件结构形成了协同发展。

接着张家兴博士为我们讲解了大模型给认知智能带来的机遇。当前深度学习技术发展迅速，预训练大模型的参数规模近乎以每年10倍的速度呈爆炸式增长。各大公司纷纷入局，尤其是GPT-3这样的千亿参数大模型的出现，使我们进入了真正的大模型时代。张家兴博士提出，人脑认知有五大要素，分别为语法、记忆、知识、先验和类比；而大模型让机器也拥有了这些要素，给其带来了重大突破。大模型可以存储数据，并且通过生成来检索出存储的数据。模型即数据，这让我们对什么是数据有了新的思考。大模型也可以学习知识，而知识以参数的形式存储在模型中。尽管对模型如何存储知识还不可解释，但是在行为上模型可以像知识图谱一样进行事实判断、实体链指和问答。模型即知识，这促使我们思考：在知识表示和使用这条道路上，知识图谱是否是最好的方式、是否大模型可以取代知识图谱等。

张家兴博士还讲到，深度学习的发展目前也面临着两大本质性瓶颈：算力和人才。针对这两个问题，张家兴博士也给出了他们的解决方案，包括“封神榜”大模型开源计划与模型生产平台。业界共同合作开源，让每个人都可以在前人的基础上继续训练自己的大模型，并且鼓励大家将自己研发的新的大模型也开源，这可以极大地减少大模型领域的整体算力消耗。模型生产平台，将最前沿的算法领域研究成果固化到平台内，平台可以接受用户针对具体任务的少量训练数据，实现针对这个任务的模型自动化无人生产，这将减少对算法工程师的依赖，从而突破人工智能领域的人才瓶颈。张家兴博士也展望了未来AI的新架构，曾经依赖系统搭建的架构都在逐步的模型化，一切曾经认为理所当然的架构都可能被颠覆。

讲座最后，张家兴博士为同学们分享了他多年来对于商业的思考，特别是对技术、产品与商业之间联系的认知。在陈述了技术、产品、商业双循环的运行逻辑之后，张家兴博士提出了自己的三个观点：成功的商业模式非常稀缺、伟大的公司都有伟大的产品、重大技术突破产生新的产品和商业。如果某个商业和产品所依赖的技术突破发生的时间过于久远，那么这个行业就有可能已经走向了平台期甚至衰落期。张家兴博士希望这些思考能够对同学们的未来发展有所帮助。

在提问环节，参会师生积极提问、同张家兴博士进行了互动交流。针对同学们提出的跨行业的可能性与挑战、AI的局限性、AI会替代哪些工作等问题，张家兴博士进行了精彩、细致的回答。针对电子类专业同学进入AI领域所具备的优势，张家兴博士认为我们的优势在于具备了良好的数学基础和物理思维，尤其是对世界建模的物理思维是人工智能的核心思维方式。对于AI会替代哪些工作这个问题，张家兴认为没有什么工作是绝对“安全”的，甚至AI算法工程师本身也会被替代；或许只有人的情感不会被替代，而这也仅仅是因为消费者更愿意选择人来服务，拒绝机器来服务。老的工作都在被AI替代中，但同时技术的发展和人力的富余也会产生新的工作机会，在新的工作中AI将助力人类发展。至于技术的发展是否可以完全脱离人类、算法能否研究更好的算法以及机器能否制造更好的机器，对此张家兴博士保持了理性乐观的态度，认为技术有发展自我的“动机”，对人的依赖的比例也会越来越少，但是人永远是技术发展闭环中不可或缺的关键节点。