晶心科技苏泓萌：RISC-V驱动大型AI/ML SoC架构创新
自2023年11月ChatGPT横空出世以来，AI/ML技术呈现指数级增长，从云端大模型（如DeepSeek）到边缘设备（如自动驾驶、工业机器人），应用场景不断扩展。
这一趋势对计算架构提出更高要求：不仅需要高性能算力，还需灵活适配多样化的硬件需求。而RISC-V凭借其开放性、可扩展性，成为构建AI/ML SoC的理想选择。
7月18日，在上海举办的2025年RISC-V中国峰会人工智能分论坛上，晶心科技（Andes）总经理兼技术长苏泓萌发表了主题为《基于RISC-V处理器的大型AI/ML SoC架构创新》的演讲。他系统阐述了RISC-V架构在AI/ML领域的技术突破与生态实践，并展示了晶心科技在该领域的核心成果与未来布局。
晶心科技（Andes）总经理兼技术长苏泓萌
晶心科技基于RISC-V的Meta架构已成功应用于多个AI加速器场景：
- 服务器级AI SoC：基于SRAM的计算内存加速器（如AXELERA、ATIF等）通过Andes处理器优化数据流，显著提升矩阵运算效率；
- 光子学AI加速器：与LIGHTELLIGENCE、后摩智能合作，利用RISC-V的低延迟特性突破传统电子计算的带宽瓶颈；
- 边缘与云端协同：为ADAS、智能监控等领域定制的AI加速器，通过多核集群架构（如HOUMO.AI方案）实现算力与能效的平衡。
据苏泓萌介绍，在Meta MTIA（Meta Training and Inference Accelerators）架构中，Andes处理器通过扩展自定义指令（如ACE-RVV和ACE标量），与矩阵乘法加速器（AMM）协同工作，显著提升了AI SoC的性能。
苏泓萌强调：“RISC-V的灵活性使得我们能够快速适配不同客户的需求，无论是服务器级AI芯片还是边缘端低功耗设备。”
从“海平面”到“矩阵引擎”的SoC架构创新
在大型AI/ML SoC设计中，苏泓萌展示了晶心科技的多核并行架构实践。
该架构采用“Sea of PE’s”（Processing Elements）设计，通过Mesh互联的多核集群（Meta MTIA或Multi-Clustered）实现高效计算。每个PE单元内集成了标量、向量和矩阵运算能力，支持从基础标量处理到复杂矩阵乘法的全场景需求。例如，在AI推理中，PE单元可通过向量扩展（RVV）加速GEMM（通用矩阵乘法），并通过自定义指令（ACE）优化Softmax、ReLU等激活函数。
晶心科技最新的AX46MP(V)计算/控制处理器进一步强化了这一能力。基于AX45MPV的成功经验，AX46MP(V)升级至8核集群架构，支持1024位VLEN/DLEN（向量长度），并引入双发射机制（双向量/标量指令），显著提升吞吐量。
此外在内存优化上，通过双加载/单存储设计、私有L2缓存（64KB-512KB，8路关联）和HVM（High-speed Vector Memory）接口的多请求并行与乱序数据返回，解决了内存带宽瓶颈，为AI模型训练和推理提供高效数据流支持。
AMM矩阵加速和端到端解决方案
苏泓萌重点介绍了晶心科技的AMM矩阵加速和AndesAIRE端到端AI/ML解决方案。
针对AI核心的矩阵乘法运算，晶心科技推出Andes Matrix Multiplication（AMM）技术。该方案通过PE（处理单元）架构支持GEMM、GEMV等操作，并加速Softmax、Sigmoid等特殊函数，同时兼容数据并行计算模式。苏泓萌强调，AMM与RVV的深度整合，使得无需专用加速器即可实现高效的矩阵运算，为服务器级AI SoC提供了更灵活的解决方案。
AndesAIRE端到端方案，则覆盖从模型开发到部署的全流程：
- 软件生态：兼容PyTorch、TensorFlow Lite等主流框架，并通过XNNPACK、MLIR、LLVM等开源工具链实现跨平台优化；
- 自定义指令：通过ACE（Automated Custom Extensions）技术，开发者可快速将算法转化为硬件指令，例如在TinyLLaMA 1.1B模型中，仅依赖RVV向量扩展即可实现26.7倍的性能加速；
- 硬件加速：结合AnDLA I350加速器与SoC硬连线引擎，支持从FP8到BF16的混合精度计算，满足LLM（大语言模型）的多样化需求。
RISC-V生态共建
苏泓萌强调，RISC-V的成功离不开生态协作。过去六年，晶心科技持续扩展RISC-V AI/ML处理器产品线，并与RISE、RISC-V国际基金会等组织深度合作，推动XNNPACK、MLIR等软件工具的标准化。
根据SHD集团数据，晶心科技在过去两年稳居RISC-V IP市场份额前列，其AX系列处理器已广泛应用于服务器、汽车、工业等领域。
展望未来，苏泓萌呼吁更多开发者加入RISC-V生态：“AI/ML的快速发展需要开放架构的支撑。无论是定制指令开发，还是软件栈优化，RISC-V都能提供最灵活的解决方案。”
