专业词元：食品安全大模型理解行业知识的基础入口

人工智能加速进入食品安全风险监测、法规查询、抽检分析、企业自查和消费咨询等领域。很多应用看起来只需向大模型提出问题，模型就能生成较为流畅的回答。然而，在自然语言输入模型并形成答案之前，还要经历一个基础而关键的环节：模型需要先把文本转换成自己能够处理的基本单位，这些基本单位通常被称为“词元”（Token）。词元处理是否合理，直接影响模型理解专业术语、关联风险信息和生成可靠答案的能力。

食品安全专业知识具有术语密集、中英文混用、数字单位繁多、标准更新快等特点。通用大模型虽然具备较强的中文能力，却不一定能够稳定处理农兽药名称、致病微生物、食品添加剂、检验指标和法规代码。如果一些关键专业表达被不合理切分，或者同一对象的不同称谓无法关联，模型就可能出现“每个字都认识，组合起来却理解不准”的现象。因此，推动大模型在食品安全领域可靠应用，除了建设高质量语料库、开展科学标注，还应重视专业词元的评估与优化。

词元不是词语，却是模型处理语言的基础单位

在人类语言中，词语通常是具有相对完整意义的表达单位；在大模型中，词元则是由具体分词器根据训练数据和算法规则划分出来的计算单位。一个汉字可能是一个词元，一个常用词语也可能整体成为一个词元；较长的专业术语、中英文缩写或数字组合，则可能被拆成多个词元。同一个表达在不同模型中还可能得到不同的切分结果。

例如，一个食品安全术语可能同时包含中文名称、字母、数字和符号。模型若把它拆成多个片段，就需要依靠上下文重新组合含义。拆分本身并不必然导致错误，现代大模型能够通过上下文理解许多多词元表达；但如果专业术语在训练材料中出现较少、切分方式不稳定，或者多个片段在其他语境中具有不同含义，模型理解和生成的难度就会增加。

因此，专业词元不能简单等同于专业术语，词元优化也不能理解为把所有长术语都加入模型词表。切分过细可能增加计算负担、破坏术语边界；切分过粗又可能遮蔽词语内部的重要信息。真正需要关注的是：词元划分能否保持专业语义，能否支持风险实体和数值关系识别，能否提高模型在真实食品安全任务中的效率与稳定性。

食品安全专业语言对词元处理提出特殊要求

一是专业名称结构复杂。同一风险对象可能拥有规范名称、英文名称、缩写、商品名和俗称。一些化学物质、微生物和食品添加剂名称较长，还可能包含字母、数字、希腊字符或菌株编号。如果模型只把不同写法当作彼此无关的字符串，就难以汇集同一对象的抽检、舆情和处置信息。

二是数值和单位承担关键语义。食品安全判断经常依赖“对象—检测值—单位—限量值—适用食品类别”的完整关系。模型即使正确识别了风险物质，如果把数值与单位拆散、把检测值与限量值混淆，仍可能得出错误结论。专业词元处理因而不能只关注名词，还应保持数字、符号、单位和比较关系的稳定联系。

三是术语具有明显的层级和语境差异。例如，一个上位风险类别可能包含多种具体物质，同一物质在不同食品类别中又可能适用不同要求。日常语言中的近义表达，在法规和检验语境中未必能够互换。模型需要理解词元组成的术语指向哪个标准实体，以及它与食品类别、生产环节和监管措施之间存在何种关系。

四是专业语言持续变化。食品安全国家标准不断完善，新食品原料、新污染物、新业态和新型风险表达持续出现。模型训练时建立的词表不可能永久覆盖后续产生的全部专业名称。如果缺少动态更新和场景评估机制，早期表现较好的模型也会随着知识变化逐渐出现识别偏差。

专业词元优化关系食品安全大模型的实际能力

首先，词元处理影响专业信息检索。法规标准、抽检公告、风险监测报告和企业记录可能使用不同称谓。稳定的术语切分与同义映射，有助于模型把问题与正确材料对应起来，减少因名称差异造成的检索遗漏。对于检索增强型大模型而言，检索入口一旦偏离，后续生成再流畅也难以弥补知识来源错误。

其次，词元处理影响风险实体与关系抽取。食品安全风险事件往往同时涉及食品、危害物、企业、地区、时间、检测结果和处置措施。专业词元边界不清，可能导致实体识别不完整，进而破坏“哪种食品检出何种物质、是否超过何项标准”等关键关系。风险预警需要的不是孤立关键词，而是能够相互验证的证据链。

再次，词元处理影响模型使用成本和响应效率。相同内容被拆分为更多词元，通常意味着模型需要处理更长的输入序列。在海量抽检文本、法规文件和生产记录分析中，专业术语反复被过度拆分，会增加计算开销，并压缩有限上下文中能够容纳的有效信息。词元优化由此不仅是准确性问题，也是专业大模型轻量化部署和规模化应用需要考虑的效率问题。

最后，词元处理影响答案的规范性。食品安全问答需要准确输出物质名称、标准编号、数值单位和适用条件。模型在生成专业名称时如果出现漏字、错序、缩写混淆或单位错误，可能使普通使用者难以发现其中风险。专业词元的稳定表征可以降低这类错误，但仍不能替代知识检索、证据引用和人工复核。

从扩大词表转向面向任务的系统优化

第一，建立权威、规范并可更新的食品安全术语资源。以食品安全国家标准、检验方法、监管业务规范和权威专业文献为基础，系统整理规范名称、英文名称、缩略语、上下位关系和常见变体。术语资源既可用于分析现有模型的切分表现，也可服务语料标注、知识图谱和专业检索。

第二，开展词元切分的专业体检。不能只凭少量例子判断模型是否适合食品安全场景，而应选取不同类型的专业表达，比较其被拆分的数量、边界和稳定性。测试范围应覆盖风险物质、食品类别、菌种名称、药物名称、标准编号、数值单位及中英文混合表达，并进一步观察切分差异是否真正影响实体识别、标准检索和问答准确性。

第三，综合运用词表扩充、领域训练和知识增强。对于高频且边界稳定的专业表达，可以研究增加领域词元或优化分词器；对于不断变化的新术语，更适合通过领域语料训练、检索增强和术语映射提升模型能力；对于风险物质与标准条款之间的复杂关系，则应结合知识图谱和规则校验。专业词元优化不是单项工程，而应与语料、标注、知识和应用任务协同推进。

第四，建立专家参与和动态评价机制。词元优化涉及计算效率，也涉及专业含义，单靠算法指标难以判断切分是否合理。应由人工智能技术人员、食品安全专家和实际使用部门共同确定测试集与评价标准。每当标准更新或出现新风险表达时，及时检测模型能否正确识别、检索和生成相关术语。

第五，对高风险应用保留人工复核。词元优化可以提高专业语言处理能力，却不能保证模型回答必然正确。涉及风险定性、执法判断、健康建议和公共信息发布时，应要求模型提供知识来源，明确区分原文信息与模型推断，并由专业人员复核关键术语、标准条款和数值单位。

夯实食品安全人工智能的语言底座

语料库为大模型提供学习材料，标注把原始材料转化为结构化知识，词元则是模型读取和生成这些知识的基础入口。三者相互联系，却不能相互替代。没有高质量语料，专业词元缺乏真实使用环境；没有科学标注，模型难以建立风险实体之间的关系；没有合理的词元处理，专业知识又可能在进入模型时被低效或失真地表达。

食品安全专业词元优化的目标，不是追求所有术语都以一个词元出现，也不是无限扩大模型词表，而是根据风险监测、标准检索、事件抽取和专业问答等任务，形成语义保持、计算效率与治理可靠性之间的合理平衡。只有把这一基础环节与专业语料、知识体系、场景测试和责任机制统筹起来，食品安全大模型才能真正做到术语识别准确、风险关系清楚、知识来源可靠，为食品安全风险治理提供更加稳固的智能支撑［本文为上海市经济信息化委员会（2025-GZL-RGZN-BTBX-02016）的阶段性研究成果，作者系江南大学食品安全与国家战略治理实验室副教授徐磊］。