腾讯云推出了自主研发的大数据高速运算引擎Meson，其性能表现最高可实现6倍的增强。

编辑日期：2024年07月05日

腾讯云最近推出了自主研发的大数据高性能计算工具Meson，该工具通过整合硬件加速和智能技术，有效提升了AI等领域的数据处理效率，并能节省大量计算资源。例如，在数据湖操作中，Meson可将单次数据查询分析速度提升6倍，而在微信读书的“AI问书”项目中，Meson帮助降低了90%的大数据任务资源消耗。

Meson目前已应用于腾讯云的数据湖、搜索分析服务和云数据仓库三大板块，作为基础的计算加速平台，服务于企业的大数据业务。

在大数据行业，数据存储和计算是关键环节，提升这两方面的性能是技术发展的主要目标。然而，随着AI时代的多元化计算需求，单纯依赖硬件或软件加速的局限性日益显现。

Meson在多层面实现了优化加速，包括软件层面的向量化计算和JIT编译优化，以及硬件层面的GPU和FPGA加速。同时，借助智能查询优化和负载预测等先进技术，Meson能自动调整处理策略，使数据分析更为高效。

Meson的性能提升在处理大规模数据时尤为明显。在数据湖场景下，腾讯云运用Meson实现了与Spark兼容的向量化计算，提升了大数据处理的效能。在TPC-DS基准测试中，数据湖Meson引擎性能提升了2.27倍以上，单个查询任务的性能最高可提升6.2倍。

对于搜索分析的高频率需求，腾讯云的Elasticsearch Service（ES）结合Meson解决方案，成为全球首个支持GPU加速的ES服务，显著提高了向量生成和检索的速度。微信读书的“AI问书”功能就受益于腾讯云ES和Meson的技术支持。

这一策略将原本需要400台64GB内存服务器的成本显著降低至仅需30台，极大地压缩了运维开支。另外，腾讯内部的云知、安灯和乐享等业务系统都依托腾讯云ES实现了信息检索和生成的高效率。对于企业级数据仓库TCHouse而言，Meson就像是一个能干的仓库监管者，运用查询优化、向量计算和AI智能调度等先进技术，显著提升了大规模数据分析的速度和精度，为客户提供即时、高效且经济的数据分析服务。

目前，腾讯云大数据已助力超过1000家大型企业打造本土化大数据平台，涉及能源、制造、电力等多个行业，包括国家电网、中国商飞、三一重工、陕西建工等业界翘楚。多项解决方案荣获工信部、数博会等权威机构的认可，年数据增长速率超过90%。

以上全文，欢迎继续阅读学习