开放创新是进迭时空的企业价值观之一,公司的软硬件技术栈构建在开源之上,同时也积极在操作系统、编译器、AI计算生态等领域为开源做贡献。
opencv 是最具影响力的机器视觉开源工程。今年进迭时空和 opencv 社区进行合作,基于进迭时空的RISC-V AI CPU芯片K1,优化了 opencv 的基础视觉算法在RISC-V vector1.0 的性能,取得了显著的性能提升,平均性能提升超过200%,相关代码都已经合入主支。
部分算法性能数据
opencv官方社区的报道
llamacpp是最具影响力的大模型端侧推理库。进迭时空已经将基于RISC-V AI CPU芯片K1的优化实现开源到社区,并已合入官方主支。开发者直接使用开源版本,就可以在K1开发板上获得极致的推理性能。
llamacpp提交patch
此外,我们在进迭时空官方社区开源了适配onnxruntime的加速后端spacemit-ep和量化工具xslim。使用onnxruntime进行推理的时候,加上后端spacemit-ep,开发者就可以在K1芯片上获得优异的推理性能;叠加使用xslim量化的模型,可以获得更优的推理性能。
进迭时空AI计算生态的开源贡献才刚刚开始,后续我们将把triton、基础算子库等工作继续开源出来。欢迎广大开发者们共同参与。
opencv社区报道:https://opencv.org/blog/introducing-hal-riscv-rvv-unleashing-the-power-of-risc-v-cpus-with-rvv-1-0/
opencv提交patch:opencv/opencv
llamacpp提交patch:ggml: riscv: add riscv spacemit backend by alex-spacemit · Pull Request #15288 · ggml-org/llama.cpp
进迭时空官方社区:https://github.com/spacemit-com/
spacemit-ep地址:https://github.com/spacemit-com/onnxruntime/tree/spacemit-dev-1.21.0