首页
产品系列
行业应用
渠道合作
新闻中心
研究院
投资者关系
技术支持
关于创泽
| En
 
  当前位置:首页 > 新闻资讯 > ai智能 > 大模型基准测试体系研究报告(2024年) -方升大模型基准测试体系  
 

大模型基准测试体系研究报告(2024年) -方升大模型基准测试体系

来源:中国信息通信研究院      编辑:创泽      时间:2024/10/18      主题:其他   [加盟]

近几年,大模型推动人工智能技术迅猛发展,极大地拓展了机器 智能的边界,展现出通用人工智能的“曙光”。如何准确、客观、全 面衡量当前大模型能力,成为产学研用各界关注的重要问题。设计合 理的任务、数据集和指标,对大模型进行基准测试,是定量评价大模 型技术水平的主要方式。大模型基准测试不仅可以评估当前技术水平, 指引未来学术研究,牵引产品研发、支撑行业应用,还可以辅助监管 治理,也有利于增进社会公众对人工智能的正确认知,是促进人工智 能技术产业发展的重要抓手。全球主要学术机构和头部企业都十分重 视大模型基准测试,陆续发布了一系列评测数据集、框架和结果榜单, 对于推动大模型技术发展产生了积极作用。然而,随着大模型能力不 断增强和行业赋能逐渐深入,大模型基准测试体系还需要与时俱进, 不断完善。

本研究报告首先回顾了大模型基准测试的发展现状,对已发布的 主要大模型评测数据集、体系和方法进行了梳理,分析了当前基准测试存在的问题和挑战,提出了一套系统化构建大模型基准测试的框架 —— “方升”大模型基准测试体系,介绍了基于“方升”体系初步开 展的大模型评测情况,并对未来大模型基准测试的发展趋势进行展望。 面向未来,大模型基准测试仍存在诸多开放性的问题,还需要产学研 各界紧密合作,共同建设大模型基准测试标准,为大模型行业健康有 序发展提供有力支撑

人工智能技术发展迅速,大模型、RAG、AGENT、 具身智能、 AGI等新概念和新技术层出不穷。大模型基准测试作为研究较为深入 的领域,将带动其他新技术的研究。当前虽然 AGI 仍未有明确的定 义,但针对 AGI 的探索性评测研究已有初步成果。例如微软发布论 文《通用人工智能的火花:GPT-4 的早期实验》,通过数学、编程、 视觉、医学、法律、心理学等复杂度较高的任务证明GPT-4已经进入 AGI 的早期阶段。北京通用人工智能研究院发布《通智测试:通用人 工智能具身物理与社会测试评级系统》,提出一种基于能力和价值维 度的 AGI 的评测方法。中国科学院和美国俄亥俄州立大学等先后推 出AGIBench 和MMMU 评测数据集,从多模态、多学科、多粒度等 维度衡量大模型距离AGI 的差距。虽然当前AGI 的发展仍然处于初 期阶段,但通过基准测试的研究,可以为未来 AGI 的发展方向提供 思路,并对AGI 的能力进行监控以指引其正向发展。


附件:大模型基准测试体系研究报告(2024年) -方升大模型基准测试体系




【声明:转载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述,文章内容仅供参考,如有侵权,请联系删除。】


通用大模型2024年发展趋势:多功能与小型化

参数规模扩展在数据量和参数量上将迎来显著跃升;多模态融合实现跨模态的交互与理解,从而拓宽其应用场景和实用价值;大模型小模型化更易于产业落地

2024汽车AI大模型TOP10分析报告-汽车行业的应用现状和发展趋势

分析了AI大模型在汽车行业的应用现状和发展趋势,涵盖了技术演进、产业挑战与企业实践案例;盘古大模型和ModelArtsAI开发生产线,已经在多个车企和商用车场景中成功运用

AI视频生成研究报告-由检索生成、局部生成走向依靠自然语言提示词的全量生成

检索生成主要是对现有的视频素材根据关键词和标签进行检索匹配,再进行相应的拼接和排列组合;仅针对视频的一部分进行生 成,例如视频中人物角色、 动作、背景、风格化、特殊 效果等

中国未来五十年人工智能行业生态全景—AI基础层全景

中国在AI基础设施和软件层面严重依赖国际厂商,特别是在计算芯片和存储芯片领域;在软件层面,依赖程度更加严重,软件仍是中国各大企业的常用工具占比达59%

中国未来五十年人工智能行业生态全景—关键技术

以注意力机制为核心的Transformer架构赋能AI在文本、图像、视频生成、文字交互、智能语音和计算机视觉 领域的技术能力增强和应用范围拓宽

中国近几年人工智能相关政策汇总

生成式人工智能服务管理暂行办法,算力基础设施高质量发展行动计划,关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见,国家新一代人工智能创新 发展试验区建设工作指引

中国人工智能竞争与发展潜力—技术优势

中国多年来在人工智能论文发表数量和专利授权数量方面均居世界首位;显著领先于其他国家,中国人工智能专利授权的数量在全球范围内占比达61.3%,位居全球榜首

2024智能算力产业发展白皮书-算力规模增速超过50%

我国智能算力占比已经超过通用算力,成为整体算力增长的主要驱动力;国算力结构为通用算力:智能算力:超级算力=40%:59%:1%智能算力占比已较大幅度超过通用算力占比

大模型安全实践白皮书2024-安全性、可靠性、可控性以及评测四个角度剖析

分析了大模型发展趋势挑战的基础上,提出了大模型安全实践总体框架,并从安全性、可靠性、可控性以及评测四个角度对大模型安全技术进行了深度剖析

中国未来50年产业发展趋势白皮书-人工智能、智能制造、大消费、生命科学、碳中和等五大产业

白皮书将聚焦中国未来核心产业的发展方向,从人工智能、智能制造、大消费、生命科学、碳中和等五大产业出发,探讨中国将如何迎接下一波增长浪潮

脉脉2024大模型人才报告-人才供需比为1.76,薪酬涨幅保持在30%-50%

大模型领域人才供需比为1.76,整体供大于求,但高端技术岗位如云计算和算法仍紧缺,薪酬涨幅保持在30%-50%,65.79%每周工作超50小时,从业者中82%因技术和前景而主动加入

AI医学影像行业发展现状与未来趋势蓝皮书-92款人工智能医学影像辅助诊断软件获批

设备精度提升以及对更精准诊断的追求使得我国医学影像数据大量积累人工智能可以充分利用这些数据进行模型训练;提高了医学诊断效率, 减轻了医生工作负担、促进了医疗资源均衡分配
 
资料获取
新闻资讯
== 资讯 ==
» 中国AI大模型产业发展驱动力:政策因素
» 2025年中国AI大模型市场现状及发展趋
» 表情陪伴人形机器人:AI陪伴的高级赛道,
» 人形机器人“好用”的关键 特斯拉Opti
» AI迎宾接待机器人的技术壁垒之情感智能
» 医疗场景陪伴机器人市场前景:潜在需求约3
» 青年陪伴机器人市场前景:潜在需求约500
» 深圳人形机器人产业发展情况:具有人形机器
» 珠三角人形机器人产业发展情况:全球人形机
» 长三角人形机器人产业发展情况:完整的机器
» 京津冀人形机器人产业发展情况:产业链协同
» 老人陪伴机器人市场前景:潜在需求约420
» AI智能交互陪伴机器人核心技术:外观设计
» AI陪伴机器人-自然交互的陪伴机器人
» 欠驱动机械手的优缺点:节省空间和重量,不
 
== 机器人推荐 ==
 
迎宾讲解服务机器人

服务机器人(迎宾、讲解、导诊...)

智能消毒机器人

智能消毒机器人

机器人底盘

机器人底盘

 

商用机器人  Disinfection Robot   展厅机器人  智能垃圾站  轮式机器人底盘  迎宾机器人  移动机器人底盘  讲解机器人  紫外线消毒机器人  大屏机器人  雾化消毒机器人  服务机器人底盘  智能送餐机器人  雾化消毒机  机器人OEM代工厂  消毒机器人排名  智能配送机器人  图书馆机器人  导引机器人  移动消毒机器人  导诊机器人  迎宾接待机器人  前台机器人  导览机器人  酒店送物机器人  云迹科技润机器人  云迹酒店机器人  智能导诊机器人 
版权所有 © 创泽智能机器人集团股份有限公司     中国运营中心:北京·清华科技园九号楼5层     中国生产中心:山东日照太原路71号
销售1:4006-935-088    销售2:4006-937-088   客服电话: 4008-128-728