## [SYCL] 0.3.43 多模态推理输出乱码，0.3.41 正常

[allanmeng]

背景

自从上次跟你联调，解决 0.3.41 在某些环境编译出现 bin/ lib/ 问题后，我的应用系统环境发生了很多变化

pytorch.xpu 2.12-->2.13

comfyui 0.27--> 0.28

今天拿到 0.3.43，sycl 编译，测试时候发现了一些问题：

PyTorch XPU	llama-cpp-python	ComfyUI	结果
2.13	0.3.41 (a5ceecb)	0.27	❌ access violation，SYCL decode 崩溃
2.13	0.3.41 (a5ceecb)	0.28	❌ access violation，SYCL decode 崩溃
2.13	0.3.43 (a641283)	0.28	❌ access violation，SYCL decode 崩溃
2.12	0.3.41 (a5ceecb)	0.27	✅ 正常
2.12	0.3.41 (a5ceecb)	0.28	✅ 正常
2.12	0.3.43 (a641283)	0.27	✅ 跑通（输出乱码）
2.12	0.3.43 (a641283)	0.28	✅ 跑通（输出乱码）
任意	任意	Standalone	✅ 跑通（不崩溃验证）

但这些问题是交叉场景，我无法定位到 单纯的是 llama-cpp-python-sycl 的部分，

所以我尽量收缩范围，先集中在一个 0.3.43 llama-cpp-python 编译的sycl 可能性很高的问题入手，
就是下面这个：

llama-cpp-python	结果
0.3.41 (a5ceecb)	✅ 正常
0.3.43 (a641283)	✅ 跑通（输出乱码）

这个问题没有ComfyUI / PyTorch 依赖
0.3.41 (a5ceecb) 是之前改完 bin/ 的 hot fix 版本（我没升级 0.3.42）

0.3.41_standalone.txt
0.3.43_standalone.txt

环境

• OS: Windows 11
• GPU: Intel Arc B580, SYCL oneAPI 2025.3.2
• Python: 3.13.11

模型

• 主模型: Qwen3.5-4B Q4_K_M (hybrid: attention + SSM)
• mmproj: mmproj-BF16.gguf

测试方式

纯 standalone Python 脚本（不含 ComfyUI / PyTorch），mmproj_path 传入 Llama()，create_chat_completion 带图片。

结果

版本	输出
0.3.41 (a5ceecb)	✅ 用户希望我用中文详细描述这张图片的内容。
0.3.43 (a641283)	❌ #enkofferrhzosима方方面面...（随机垃圾字节）

详细对比

指标	0.3.41	0.3.43
Chat template	相同	相同
渲染 prompt	151 chars	151 chars
图像编码尺寸	1088×1440	1088×1440
IMAGE chunk	1530 tokens	1530 tokens
GPU graphs reused	98	98
生成速度	14.72 ms/tok	14.65 ms/tok
模型加载时间	17839 ms	9963 ms
输出	正常中文	乱码

所有可测量指标（模板渲染、图像编码、GPU 计算）在两个版本间完全相同。唯一显著差异是模型加载时间减半（17839ms → 9963ms），同时输出质量崩塌。推测 0.3.43 的 SYCL 权重加载或 KV cache 初始化不完整，导致 token 生成质量退化。

重现脚本

F:\ComfyUI-aki-v3\python\python.exe -c "
import os
os.environ['PATH'] = r'F:\Intel-oneAPI\2025.3\bin' + os.pathsep + \
    r'F:\ComfyUI-aki-v3\python\Lib\site-packages\llama_cpp\lib'

from llama_cpp import Llama
import base64

llm = Llama(
    model_path=r'F:\...\Qwen3.5-4B-Uncensored-HauhauCS-Aggressive-Q4_K_M.gguf',
    mmproj_path=r'F:\...\Qwen3.5-4B-Uncensored-HauhauCS-Aggressive-mmproj-BF16.gguf',
    n_gpu_layers=-1, n_ctx=4096, ctx_checkpoints=0,
    n_batch=2048, n_ubatch=512, offload_kqv=True, use_mmap=True,
    chat_handler_kwargs={'use_gpu': True, 'image_min_tokens': 1024},
)

with open(r'F:\...\image.png', 'rb') as f:
    data_uri = 'data:image/png;base64,' + base64.b64encode(f.read()).decode()

response = llm.create_chat_completion(
    messages=[
        {'role': 'system', 'content': '你必须用中文回答'},
        {'role': 'user', 'content': [
            {'type': 'text', 'text': '用中文详细描述这张图片的内容'},
            {'type': 'image_url', 'image_url': {'url': data_uri}}
        ]}
    ],
    max_tokens=100,
)
print(response['choices'][0]['message']['content'][:200])
"

[JamePeng]

我这边依旧正常，模型加载到输出时间减半是新版本对mtmd的一些调用的优化减少不必要的处理流程：

[JamePeng]

ggml-org/llama.cpp#25761 不排除是底层最近更新的一些sycl库导致的

[allanmeng]

ggml-org/llama.cpp#25761 不排除是底层最近更新的一些sycl库导致的

你cuda版本没事，确实指向了.3.43 的 garbled output 是 SYCL 后端专属问题，脑袋疼~~~~

我先观察一下

[JamePeng]

你试试结合这个打一下补丁再编译看看：ggml-org/llama.cpp#25741

[allanmeng]

你试试结合这个打一下补丁再编译看看：ggml-org/llama.cpp#25741

GitHub 未连接，我写好内容你复制过去：

---

PR #25741 补丁测试通过 ✅

环境：

• Intel Arc B580, SYCL oneAPI 2025.3.2, Windows 11
• 0.3.43 (a641283) + 手动 cherry-pick PR #25741 到 vendor/llama.cpp
• 模型: Qwen3.5-4B Q4_K_M + mmproj-BF16

补丁前：乱码（#enkofferrhzosима方方面...）
补丁后：正常输出（用户希望我用中文详细描述这张图片的内容。）

同时验证了 ComfyUI 环境下带图多模态推理也恢复正常。

这就是之前 standalone 测试报告的 garbled output 问题。

感谢指引！

[JamePeng]

似乎还有几个后续的SYCL的补丁新出现的在底层的PR，你或者可以先观察它们什么时候合并，当然你也可以基于补丁编译发布个魔改版本发布

[allanmeng]

似乎还有几个后续的SYCL的补丁新出现的在底层的PR，你或者可以先观察它们什么时候合并，当然你也可以基于补丁编译发布个魔改版本发布

近期底层能关注 sycl 版本是好事，目前已经能解决 vlm 工作流的事务，已经 patch #25880 ，补上了之前更新 #25741 的 6%速度损失

前面说的 pytorch 2.13 和 comfyui 0.28 交叉的问题也解决了，我更新到 oneapi 2026.1.0 再编译就正常了

感谢支持！

[bobocup]

之前0.3.31使用正常，更新0.3.43后报错，Image input detected, but the loaded model is not configured with a mmproj module.
模型：Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-Q8_0，mmproj-Qwen3.5-9B-Uncensored-HauhauCS-Aggressive-BF16
显卡5060ti 16g，Python 版本 : 3.13.11，PyTorch 版本: 2.9.1+cu130，comfyui 0.28

[JamePeng]

@bobocup 最好验证是什么问题再发过来，这个报错不属于我这边的。