副教授、硕士生导师，北京师范大学人工智学院

地址：北京市新街口外大街19号，100875

邮箱：jli [at] bnu.edu.cn

研究方向

以大语言模型为代表的人工智能方法，在算法与应用层面得到了长足发展，但其“黑盒”特性导致模型缺乏理论可解释性，同时现有模型参数规模巨大，面临计算性能瓶颈。通过研究机器学习基础理论，探索模型底层工作原理，在模型性能与计算效率之间取得良好权衡，进而指导设计具有更优泛化能力、更加高效的机器学习算法。具体的研究兴趣包括但不限于：

• 大语言模型的基础研究: 探索大语言模型的基础理论，解释大模型的独特能力，如缩放准则、上下文学习和复杂推理等；结合大规模机器学习技术，改进大模型基础架构，提高计算效率和性能；研究下一代高效轻量化语言模型，降低参数量，保留或提升特定任务上的能力。

• 深度神经网络的泛化理论: 探索神经网络与核方法之间的内在联系，研究非平稳谱性质的泛化优越性，探索深层神经网络的泛化能力；利用随机矩阵理论，深入研究深度神经网络中良性过拟合、测试误差双下降等现象的底层原理。

• 大规模机器学习的最优泛化理论: 研究大规模机器学习方法的最优泛化理论，放松原有假设条件，以此为基础改进大规模算法，包括联邦学习、分布式学习、随机特征、Nyström方法以及草图等方法。

工作经历

教育背景

代表性工作 [完整列表] [谷歌学术]

• A Survey on Model Compression for Large Language Models. [pdf]
  Jian Li, Yong Liu, Weiping Wang.
  Transactions of the Association for Computational Linguistics (TACL), 2024, 已录用. CCF-B 期刊 / JCR Q1.
  大模型领域首篇模型压缩综述.

• Distilling mathematical reasoning capabilities into Small Language Models. [pdf]
  Xunyu Zhu, Jian Li*, Yong Liu, Can Ma, Weiping Wang.
  Neural Networks, 2024. CCF-B 期刊 / JCR Q1.

• Optimal Rates for Agnostic Distributed Learning. [pdf] [code]
  Jian Li, Yong Liu, Weiping Wang.
  IEEE Transactions On Information Theory (TIT), 2023. CCF-A 期刊，信息论理论顶级期刊..
  

• Optimal Convergence Rates for Distributed Nyström Approximation. [pdf] [code]
  Jian Li, Yong Liu, Weiping Wang.
  Journal of Machine Learning Research (JMLR), 2023. CCF-A 期刊，机器学习领域顶级期刊.
  

• Convolutional Spectral Kernel Learning with Generalization Guarantees. [pdf] [code]
  Jian Li, Yong Liu, Weiping Wang.
  Artificial Intelligence (AI), 2022. CCF-A 期刊，人工智能领域顶级期刊.
  

• Optimal Convergence Rates for Agnostic Nyström Kernel Learning. [pdf]
  Jian Li, Yong Liu, Weiping Wang.
  International Conference on Machine Learning (ICML), 2023. CCF-A 会议，机器学习领域顶级会议.

• Federated learning for non-iid data: From theory to algorithm. [pdf] [presentation] [🏆最佳学生论文奖] (1/92)
  Bojian Wei, Jian Li*, Yong Liu, Weiping Wang.
  Pacific Rim International Conference on Artificial Intelligence (PRICAI), 2021. CCF-C 会议.

• Multi-Class Learning: From Theory to Algorithm. [pdf] [poster] [sildes] [3-minute video] [code]
  Jian Li, Yong Liu, Rong Yin, Hua Zhang, Lizhong Ding, Weiping Wang.
  Advances in Neural Information Processing Systems 31 (NeurIPS), 2018. CCF-A 会议，机器学习领域顶级会议.

主持项目

• 国家重点研发项目子课题 (2022YFB3105302.2)，2022.12 - 2025.11，120万元.
  题目：跨平台异质性数据聚合与协同技术.
  • 跨平台数据安全共享技术研究
  • 基于热点标签发现的人机融合标注技术研究
  • 基于约束特征分布差异的异质数据融合技术研究

• 国家自然科学基金青年基金 (No. 62106257)，2022.01 - 2024.12，30万元.
  题目：面向大规模结构化预测的自动谱核学习研究.

• 中国博士后科学基金特别资助项目（No. 2023T160680，731人），2023.07 - 2024.03，18万元.
  题目：面向结构化预测的深度可微高斯过程方法研究.

• 中国科学院特别研究助理资助（中科院人才项目），2020.09 - 2022.09，80万元.
  题目：面向大规模小样本数据的自动机器学习研究.

• 中国科学院信息工程研究所优才计划-A类，预聘研究员，2023.10 - 2026.09.

• 中国科学院信息工程研究所优才计划-B类，青年预聘研究员（全所唯一），2020.09 - 2023.10.

发明专利

专利授权

• 林海伦, 刘勇, 李健, 王伟平. 一种融合表示学习和分治策略的大规模本体合并方法：中国. 授权号：CN110059194A. 2022年4月8日.

专利申请

• 李健，李骄扬，韦博舰，刘勇，王伟平. 一种基于注意力机制的联邦学习方法及系统：中国. 申请号：202311073645.3. 2023年8月24日.
• 李健，李骄扬，林政，刘勇，王伟平. 一种基于知识蒸馏和提示工程的垂域大模型方法及系统：中国. 申请号：202311073641.5. 2023年8月24日.
• 李健，刘勇，王流斌，杨毅果，王巨宏. 神经网络结构搜索方法、装置、计算机设备和存储介质：中国. 专利申请号：202011567991.3. 2020年12月25日.

指导学生

• 博士研究生
  • 康艺霖（2020.09 - 2023.06）🎓，差分隐私.
    发表论文：Computers & Security、CIKM、ICCS.
    毕业去向：紫金山实验室.
  • 朱勋宇（2020.09 - 至今），神经网络结构搜索.
    发表论文：Neural Networks $\times$ 2, TACL, ICDM.
    投稿论文：TACL.
  • 车博轩（2022.09 - 至今），高效图神经网络.
• 硕士研究生
  • 韦博舰（2020.09 - 2022.06）🎓，联邦学习.
    发表论文：PRICAI 2021 (最佳学生论文奖)、TNNLS、ECML-PKDD、IJCNN.
    毕业去向：中国银行总行管培生.
  • 张旭宁（2022.09 - 至今），联邦学习.
    2023年武汉大学优秀学士论文奖.
    投稿论文：AAAI 2025.

荣誉称号

• 2024年，微软亚洲研究院“铸星计划”.
• 2023年，中科院信工所优才计划 A 类-预聘正高.
• 2021年，PRICAI 2021 最佳学生论文奖.
• 2020年，中国科学院特别研究助理.
• 2020年，中科院信工所优才计划 B 类-青年预聘正高.
• 2020年，百度研究院AIDU人才计划.
• 2020年2月至2021年2月，斯坦福大学联合培养博士（因新冠疫情中止）.
• 2020年，北京市优秀毕业生.
• 2020年，中国科学院大学优秀毕业生.
• 2019年，博士研究生国家奖学金.
• 2019年，朱李月华优秀博士生奖.
• 2019年，中科院院长优秀奖.
• 2018年，博士研究生国家奖学金.

学术服务

• Mathematics 客座编辑
• 会议程序委员：ICML、NeurIPS、ICLR、AAAI、IJCAI、ECAI
• 期刊审稿人：TPAMI、JMLR、Pattern Recognition