之前在做一些带图片信息的任务时总被一个问题卡住DeepSeek 本身的文本能力很强但遇到截图、拍照、表格、票据这类图片输入它就像“失明”了一样无法直接理解。网上能找到的方案大多比较零散有的说要换多模态模型有的说要本地部署一个视觉大模型成本都不小。折腾了几轮之后我整理出一套可行的“伪多模态”方案用 OCR 图片语义描述模型先把图片“翻译”成文字和描述再交给 DeepSeek 去理解和分析。这篇文章就把这个思路完整拆开从原理、环境准备、代码实现到常见报错一次性说清楚。给 DeepSeek 安上眼睛支持识图伪多模态1. 为什么要给 DeepSeek “安上眼睛”1.1 DeepSeek 是纯文本模型DeepSeek 这类大语言模型核心处理对象是文本序列。输入是一段文字输出也是一段文字。很多人第一次接触时会误以为既然模型这么聪明应该也能“看”懂图片吧其实不是。DeepSeek 的内部结构和训练方式决定了它没有视觉编码器。换句话说模型无法把一张图片的像素矩阵直接映射到语义空间里。虽然部分开放平台在交互层提供了“上传文件”入口但文件要经过服务端的预处理、转写、提取最终变成文本片段后模型才会开始理解。也就是说上传图片这件事并不等价于模型本身具备视觉能力。这就带来一个很实际的开发问题如果你的业务流程里恰好需要“看图说话”能力该怎么办换多模态模型是一种方案但不是唯一方案。在很多场景下我们可以用工程手段补齐视觉能力——这就是本文要讲的“伪多模态”。1.2 “伪多模态”到底是什么思路所谓“伪多模态”并不是贬义词而是业界常见的“外挂式视觉方案”。核心思想很简单用专门的视觉模型从图片中提取关键信息。把提取结果转换成文本描述。将文本描述拼接成 Prompt交给 DeepSeek 分析。这里有几层意思图片里的文字用 OCR 引擎提取。图片里的物体、场景、人物动作用图像描述模型Image Captioning生成语义描述。图表、结构关系可以通过定位信息进一步格式化。最后DeepSeek 拿到的是完整的“图片文字版”再基于它回答问题、写总结、做推断。这个过程绕开了“让文本模型学会看图片”的难题用多个单一能力模块拼出一个完整的多模态链路工程上可控、成本上更低、效果上也能满足大部分业务场景。1.3 适合哪些场景这套方案特别适合以下几类需求场景说明发票、票据信息提取OCR 识别关键字段DeepSeek 做结构化和异常判断截图问答聊天记录、错误日志、数据看板截图先提取文字再分析拍照识物图像描述模型生成物体描述DeepSeek 回答“这是什么”“怎么用”广告图/海报内容理解提取画面文字和视觉信息后生成营销解读或合规审核批量图片信息汇总对一批图片做自动标注、分类、摘要如果你需要的不是高精度的物体检测框而是“看懂图片内容并回答用户问题”伪多模态方案是性价比很高的选择。2. 整体方案设计2.1 管道架构整个系统可以拆成三个模块文字提取模块从图片里识别文字支持中文和英文。语义描述模块生成图片的语义描述告诉模型“图上大概有什么”。LLM 分析模块把前两个模块的结果作为上下文结合用户问题调用 DeepSeek API 生成答案。这三个模块按顺序串联就是一个完整的图像理解管道。管道输入是一张图片和用户问题输出是 DeepSeek 的参考答案。具体流程如下用户传入图片路径。模块 A 运行 OCR得到图片中所有文字。模块 B 运行图像描述模型得到一句或几句语义描述。系统把文字内容 语义描述 用户问题拼成一段结构化的 Prompt。调用 DeepSeek API。返回分析结果。如需多轮对话把历史记录一起传给 DeepSeek。2.2 为什么需要“两条通道”有人可能会问只做 OCR 不行吗图片里的文字提取出来就够了。答案是不行。请看几个例子一张“猫坐在窗台上”的照片没有任何文字。OCR 提取结果为空DeepSeek 无法回答。一张“红色背景促销海报”文字只有“限时优惠”但用户想知道“这海报是卖什么的”。图片区域里的商品、人物、配色信息OCR 拿不到。一张包含柱状图的报表截图光有数值文字缺少“坐标轴含义”“趋势方向”这些视觉信息。所以在 OCR 之外还需要一条“语义描述通道”。图像描述模型的作用是把视觉内容转成自然语言。比如看到一张街景照片它可能生成这样的描述“A street scene with a red shop sign, several cars parked on the side, and people walking on the sidewalk.”这段描述虽然不一定包含全部细节但足够让 DeepSeek 建立“画面感”再结合 OCR 得到的精确文字回答质量会高很多。2.3 技术选型本教程选用的技术栈如下OCR 引擎EasyOCR。支持中文、英文、数字混合识别安装方便CPU 也能跑。图像描述模型BLIPbase 版来自 Hugging Face Transformers 库。模型体积适中生成的描述比较自然。LLMDeepSeek API通过 OpenAI SDK 调用模型参数按实际环境配置。图片处理Pillow。这套组合的好处是全部基于 Python。依赖相对较少不用部署独立服务。EasyOCR 和 BLIP 都能本地运行图片不需要上传第三方安全性更高。DeepSeek API 调用方式与 OpenAI 兼容很多开发者可以直接上手。3. 环境准备与依赖安装3.1 运行环境说明本文示例以常见的 Python 3.9 或 3.10 环境为例操作系统可以是 Windows、Linux 或 macOS。不同系统的安装命令略有差异但 Python 依赖安装部分基本一致。有一点需要说明EasyOCR 和 BLIP 默认依赖 PyTorch安装体积较大。如果机器没有 NVIDIA GPU使用 CPU 也能运行只是速度会慢一些。本文代码里会把 GPU 参数做成可选配置。版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路不写死具体小版本。3.2 安装 Python 依赖建议先创建一个独立虚拟环境避免污染全局环境。python -m venv deepseek_vision_env在 Windows 下激活虚拟环境deepseek_vision_env\Scripts\activate在 Linux / macOS 下激活虚拟环境source deepseek_vision_env/bin/activate然后安装依赖pip install -U pip pip install easyocr transformers torch pillow openai如果网络环境下载 PyTorch 较慢可以参考离线安装或国内镜像源方案。安装完成后可以快速验证关键依赖是否可用python -c import easyocr; print(easyocr ok) python -c import transformers; print(transformers ok) python -c from openai import OpenAI; print(openai ok)三个输出都正常说明环境准备完毕。3.3 获取 DeepSeek API Key调用 DeepSeek API 需要提前准备 API Key。具体步骤如下打开 DeepSeek 开放平台。注册并登录账号。进入 API Key 管理页面。创建一个新的 Key并复制保存。需要注意不要把 Key 提交到 Git 仓库。不要在前端代码中暴露 Key。建议把 Key 保存到环境变量或本地配置文件中。Windows 临时设置环境变量set DEEPSEEK_API_KEYsk-你的keyLinux / macOS 临时设置环境变量export DEEPSEEK_API_KEYsk-你的key后面 Python 代码会从环境变量中读取这个值。4. 从零实现图像信息提取4.1 用 EasyOCR 提取图片文字EasyOCR 的使用方式非常简洁。先初始化一个 Reader 对象指定需要支持的语言。中文简体用ch_sim英文用en。import easyocr # 初始化 OCR 引擎 reader easyocr.Reader([ch_sim, en], gpuFalse) # 识别图片 result reader.readtext(example.png, detail0) for line in result: print(line)参数说明[ch_sim, en]语言列表表示同时支持中文简体和英文。gpuFalse强制使用 CPU。如果机器有 GPU可以改为gpuTrue识别速度更快。detail0只返回文字内容不返回坐标和置信度。如果希望拿到每个文本块的位置信息用于后续排版还原可以去掉detail0result reader.readtext(example.png) for box, text, confidence in result: print(f坐标: {box}, 文字: {text}, 置信度: {confidence:.2f})这样返回的每一项都包含多边形四角坐标、文字内容和置信度。对于票据字段定位、表格结构还原来说这些信息很有价值。4.2 用 BLIP 生成图片语义描述BLIP 是一个比较经典的图像描述模型。通过 Transformers 库可以快速加载。基础用法如下from PIL import Image from transformers import BlipProcessor, BlipForConditionalGeneration # 加载模型和处理器 processor BlipProcessor.from_pretrained(Salesforce/blip-image-captioning-base) model BlipForConditionalGeneration.from_pretrained(Salesforce/blip-image-captioning-base) # 读取图片 image Image.open(example.png).convert(RGB) # 生成描述 inputs processor(image, return_tensorspt) out model.generate(**inputs, max_length50) caption processor.decode(out[0], skip_special_tokensTrue) print(caption)首次运行时Transformers 会从 Hugging Face 下载模型权重。下载完成后会缓存在本地后续运行不再重复下载。说明Salesforce/blip-image-captioning-base是模型名称。max_length50控制生成描述的最大长度。如果希望描述更侧重图片中的文字信息可以调节 Prompt 模板。BLIP 生成的描述是英文为主。DeepSeek 的中英理解能力都很强所以中文提问也能结合英文描述回答不会明显影响效果。4.3 把两种能力封装成统一函数实际项目中建议把视觉能力封装成独立模块方便复用。下面是一个vision_extractor.py文件# 文件路径vision_extractor.py import easyocr from PIL import Image from transformers import BlipProcessor, BlipForConditionalGeneration class VisionExtractor: 视觉信息提取器负责从图片中提取文字和语义描述。 def __init__(self, use_gpu: bool False): # OCR 引擎 self.ocr_reader easyocr.Reader([ch_sim, en], gpuuse_gpu) # BLIP 图像描述模型 print(正在加载 BLIP 模型首次运行需要下载权重...) self.blip_processor BlipProcessor.from_pretrained( Salesforce/blip-image-captioning-base ) self.blip_model BlipForConditionalGeneration.from_pretrained( Salesforce/blip-image-captioning-base ) print(BLIP 模型加载完成) def extract_text(self, image_path: str) - str: 提取图片中的文字多个文本框用换行拼接。 result self.ocr_reader.readtext(image_path, detail0) lines [line.strip() for line in result if line and line.strip()] return \n.join(lines) def describe_image(self, image_path: str) - str: 生成图片的语义描述。 image Image.open(image_path).convert(RGB) inputs self.blip_processor(image, return_tensorspt) out self.blip_model.generate(**inputs, max_length50) caption self.blip_processor.decode(out[0], skip_special_tokensTrue) return caption.strip() def extract_all(self, image_path: str): 同时提取文字和语义描述。 text self.extract_text(image_path) caption self.describe_image(image_path) return { text: text, caption: caption, }这段代码把视觉能力集中在一个类里后面调用时只需要传入图片路径即可。5. 接入 DeepSeek 实现图像问答5.1 DeepSeek API 调用基础DeepSeek API 兼容 OpenAI 的调用方式Python 端可以直接用openai库。基础调用代码如下import os from openai import OpenAI client OpenAI( api_keyos.environ.get(DEEPSEEK_API_KEY), base_urlhttps://api.deepseek.com ) resp client.chat.completions.create( modeldeepseek-chat, messages[ {role: user, content: 你好请介绍一下你自己} ] ) print(resp.choices[0].message.content)关键点api_key从环境变量读取。base_url是 DeepSeek 的接口地址不同服务商可能不同以官方文档为准。model参数使用模型名称例如deepseek-chat。需要注意的是模型列表和具体命名可能随平台版本更新使用时以开放平台展示的模型名为准。5.2 组装提示词视觉信息提取完成后需要组装成一段结构清晰的提示词让 DeepSeek 明白上下文。推荐的提示词模板如下prompt f 我需要你扮演一个图像理解助手。由于你是文本模型下面是用视觉模型提取出的图片信息。 图片语义描述 {caption} /图片语义描述 图片中的文字 {ocr_text} /图片中的文字 用户问题 {question} 请基于以上图片信息回答问题。 如果信息不足以判断请直接说明不要编造。 如果图片中存在可提取的关键信息请结合图片文字与语义描述给出有依据的回答。 这个模板有几个设计要点用 XML 风格标签分隔不同区块让大模型更容易区分信息来源。提醒模型“信息不足就说明”降低幻觉概率。明确要求“结合图片文字与语义描述”避免模型只依赖其中一部分。5.3 完整管道代码下面把视觉提取和 LLM 调用串起来形成一个完整的main.py。# 文件路径main.py import os from openai import OpenAI from vision_extractor import VisionExtractor def build_prompt(caption: str, ocr_text: str, question: str) - str: 组装给 DeepSeek 的提示词。 return f 我需要你扮演一个图像理解助手。由于你是文本模型下面是用视觉模型提取出的图片信息。 图片语义描述 {caption} /图片语义描述 图片中的文字 {ocr_text if ocr_text.strip() else 图片中未识别到文字} /图片中的文字 用户问题 {question} 请基于以上图片信息回答问题。 如果信息不足以判断请直接说明不要编造。 如果图片中存在可提取的关键信息请结合图片文字与语义描述给出有依据的回答。 class DeepSeekImageQA: 伪多模态图片问答管道。 def __init__(self, use_gpu: bool False): self.vision VisionExtractor(use_gpuuse_gpu) self.client OpenAI( api_keyos.environ.get(DEEPSEEK_API_KEY), base_urlhttps://api.deepseek.com ) def ask(self, image_path: str, question: str) - str: 输入图片路径和问题返回 DeepSeek 的回答。 # 1. 提取图片信息 info self.vision.extract_all(image_path) # 2. 组装提示词 prompt build_prompt( captioninfo[caption], ocr_textinfo[text], questionquestion ) # 3. 调用 DeepSeek resp self.client.chat.completions.create( modeldeepseek-chat, messages[ {role: system, content: 你是一个可靠的图像理解助手。}, {role: user, content: prompt} ], temperature0.3 ) return resp.choices[0].message.content if __name__ __main__: import sys if len(sys.argv) 3: print(用法: python main.py 图片路径 问题) sys.exit(1) image_path sys.argv[1] question sys.argv[2] qa DeepSeekImageQA(use_gpuFalse) answer qa.ask(image_path, question) print(图片分析结果) print(answer)运行命令python main.py example.png 这张图片里有哪些信息管道会把图片信息提取、提示词组装、DeepSeek 调用全部执行一遍。5.4 支持多轮对话如果用户想针对同一张图片连续提问每次都重新提取图片会产生额外耗时。更好的做法是第一次提问时提取图片信息之后把提取结果作为上下文缓存后续问题直接带着缓存结果发送。示例如下# 文件路径chat_example.py import os from openai import OpenAI from vision_extractor import VisionExtractor vision VisionExtractor(use_gpuFalse) client OpenAI( api_keyos.environ.get(DEEPSEEK_API_KEY), base_urlhttps://api.deepseek.com ) # 图片只处理一次 image_path example.png info vision.extract_all(image_path) context_block f 图片语义描述 {info[caption]} /图片语义描述 图片中的文字 {info[text] if info[text].strip() else 图片中未识别到文字} /图片中的文字 messages [ {role: system, content: 你是一个可靠的图像理解助手以下图片信息来自外部视觉模型。}, {role: user, content: context_block \n用户问题图中的标题是什么}, ] resp client.chat.completions.create( modeldeepseek-chat, messagesmessages, temperature0.3 ) print(resp.choices[0].message.content) # 第二轮提问直接追加消息 messages.append({role: user, content: 刚刚的识别结果里日期是哪一天}) resp2 client.chat.completions.create( modeldeepseek-chat, messagesmessages, temperature0.3 ) print(resp2.choices[0].message.content)这样既能复用图片信息又能保持多轮对话上下文。6. 运行演示与结果说明6.1 准备测试图片建议先找一张信息量比较丰富的图比如一张带文字和图标的活动海报。一张商品宣传图。一张包含数据的报表截图。为了体验完整流程最好选择“既有文字、又有画面内容”的图片这样 OCR 和语义描述两个通道都能发挥作用。下面用一张简化的商品宣传海报为例图片中包含标题文字夏季促销。关键词饮品、第二杯半价。画面一杯带有水果装饰的饮料。6.2 运行过程截图执行命令python main.py summer_drink.png 这张海报在宣传什么控制台会依次输出 BLIP 模型加载信息、OCR 识别过程和最终答案。整体耗时主要受以下因素影响EasyOCR 首次初始化 Reader。BLIP 模型加载。图片解码和推理。DeepSeek API 网络耗时。CPU 环境下单张图片的完整处理时间可能在几秒到十几秒之间属于正常现象。6.3 预期输出假设视觉模块提取到的信息如下OCR 文字夏季促销、鲜果饮品、第二杯半价语义描述a promotional poster with a drink and fruit decorationDeepSeek 的回答可能类似这是一张夏季促销海报主题是鲜果饮品。海报中标注了“第二杯半价”的优惠信息画面中包含带有水果装饰的饮品图片整体风格突出清爽、冰凉的夏季感觉。这个回答结合了 OCR 提取的准确文字和 BLIP 生成的画面描述比单独使用任何一种方案都更完整。6.4 结果说明从运行结果可以看出OCR 保证了“文字信息”不丢失。BLIP 补充了“画面信息”。DeepSeek 负责把两类信息整合成可读性更强的中文答案。三者缺一不可。如果只做 OCRDeepSeek 无法理解“画面里有什么”如果只做语义描述DeepSeek 无法准确说出具体的促销文案。伪多模态的核心价值就是让各模块各司其职最终形成互补。7. 常见问题与排查思路7.1 常见问题汇总问题现象常见原因解决思路401 UnauthorizedAPI Key 错误或过期到开放平台重新生成 Key确认环境变量已正确设置连接超时网络不稳定或接口地址错误检查 base_url适当调大超时时间重试OCR 识别率低图片分辨率不足、字体特殊、光照不均预处理图片裁剪、放大、增强对比度切换语言列表BLIP 下载失败网络无法访问 Hugging Face检查网络或配置镜像源提前下载模型到本地模型回答不准确图片信息提取不完整增加图像预处理检查提示词模板是否清晰内存占用过高EasyOCR 和 BLIP 同时加载按需加载分开运行两个模块或使用 GPUAPI 报 thinking mode 相关错误如 upstream_status 400思考模式要求回传 reasoning_content 字段检查是否经过自定义代理/网关保留 reasoning_content 字段原样回传升级 SDK 后重试7.2 OCR 识别率低的排查顺序如果你发现 OCR 识别效果不理想可以按以下顺序排查检查原始图片是否清晰。模糊、倾斜、光线暗都会影响识别。尝试对图片做预处理灰度化、二值化、对比度增强。如果需要识别表格建议先用目标检测定位表格区域再逐格识别。测试不同语言组合。中文和英文混排时语言顺序会影响识别结果。一个简单的图片预处理示例from PIL import Image, ImageEnhance image Image.open(example.png).convert(L) enhancer ImageEnhance.Contrast(image) image enhancer.enhance(2.0) image.save(example_preprocessed.png)7.3 DeepSeek 上下文设置技巧在调用 API 时不要把所有历史消息无限制发送给模型。长时间多轮对话会导致Token 消耗快速增长。响应延迟变高。模型容易丢失最早的关键信息。建议只保留最近若干轮对话或者对历史记录做摘要压缩。7.4 关于 thinking mode 的报错处理在某些代理配置或自定义网关场景下调用 DeepSeek 双思考模式时可能遇到 400 错误报错信息里会提示thereasoning_contentin the thinking mode must be passed back to the api.这个报错通常不是 DeepSeek 本身不可用而是调用链中间层破坏了协议约定。排查思路确认是否使用了自定义代理、网关或中间 SDK。检查当前 SDK 版本优先升级到最新版本。确认 messages 里是否有reasoning_content字段且原样保留不要擅自删除。如果疑问仍然存在可以用官方 SDK 直接调用对比是否复现。8. 工程化建议与进一步优化8.1 控制成本与性能DeepSeek API 按 Token 计费图片提取结果和 Prompt 模板都会消耗 Token。优化建议控制max_length避免图片描述过长。过滤 OCR 结果中的重复文字和无效字符。固定重复使用的图片上下文避免每次重复提取。为不同任务准备专用提示词模板减少多余上下文。模型推理方面EasyOCR 和 BLIP 都是本地模型支持 GPU 加速。如果有 GPU 环境把use_gpu参数改为True处理速度会有明显提升。8.2 隐私与安全边界图片可能包含敏感信息使用这套方案时要注意如果图片中有身份证、合同、发票等敏感数据本地 OCR 和本地 BLIP 不会外传图片这是优势。但 DeepSeek API 调用会把提取后的文字和描述发送到云端属于外部服务。处理敏感图片前需要评估合规风险。不要在生产环境日志中打印完整 Prompt 或 API 返回内容。API Key 使用环境变量或密钥管理系统保存禁止写死到代码中。8.3 可扩展方向这套管道可以继续扩展用更强的视觉模型替代 BLIP例如 Qwen-VL、LLaVA 等但需要额外部署成本。增加图像分类模块先判断图片类型再选择对应处理流程。增加目标检测模块定位图片中的物体位置。把管道包装成 Web 服务通过 FastAPI 对外提供接口。结合 deepseek harness 这类桌面工具链将 OCR/BLIP 能力沉淀为可复用的本地 skill后续在 IDE、聊天客户端中快速调用。伪多模态的灵活性就在这里任何一个环节都可以单独替换、升级不需要改动整体架构。8.4 代码结构建议如果项目进一步扩展建议把代码分成四个模块project/ ├── main.py # 入口命令行交互 ├── vision_extractor.py # 视觉信息提取 ├── llm_client.py # DeepSeek API 封装 ├── prompt_templates.py # 提示词模板 └── config.py # 配置项模块职责越单一后期维护成本越低。这套“外挂式视觉”方案不一定能替代真正的多模态大模型但它用很低的成本让现有 DeepSeek 文本能力在图片场景中发挥出实用价值。如果你手头正好有大量图片需要理解、归档或问答可以先按本文的管道搭建一版跑通后再逐步替换视觉模块。如果你在配置过程中遇到其他报错也可以按第 7 节的排查思路逐步定位多数问题都集中在依赖版本、API Key 和提示词格式这三个环节上。