tokenizers-0.22.1.jar中文-英文对照文档.zip 中包含以下内容

1. 中文-英文对照文档：位于压缩包内的“文档”文件夹中
2. 说明文件：使用说明.txt、README.md
3. Maven依赖：tokenizers-0.22.1.jar Maven依赖信息(可用于项目pom.xml).txt
4. Gradle依赖：tokenizers-0.22.1.jar Gradle依赖信息(可用于项目build.gradle).txt
5. jar包下载地址：tokenizers-0.22.1.jar下载地址(官方地址+国内镜像地址).txt
6. 源码下载地址：tokenizers-0.22.1-sources.jar下载地址(官方地址+国内镜像地址).txt

使用方法

1. 解压 tokenizers-0.22.1.jar中文-英文对照文档.zip，找到 解压后的文件夹>文档>index.html，双击index.html即可用浏览器打开查看。
2. 为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）。
3. 有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。

组件信息

简介

• 名称： DJL NLP utilities for Huggingface tokenizers
• 描述： Huggingface 分词器的 Deep Java Library (DJL) NLP 工具
• 版本： 0.22.1

Maven依赖

<dependency>
	<groupId>ai.djl.huggingface</groupId>
	<artifactId>tokenizers</artifactId>
	<version>0.22.1</version>
</dependency>

Gradle依赖

Gradle:
	implementation group: 'ai.djl.huggingface', name: 'tokenizers', version: '0.22.1'
Gradle (Short):
	implementation 'ai.djl.huggingface:tokenizers:0.22.1'
Gradle (Kotlin):
	implementation("ai.djl.huggingface:tokenizers:0.22.1")

寒水馨 Java 组件中文文档系列说明

• 文档为 Java 组件的中文翻译文档
• 文档由 寒水馨 翻译整理，非官方版本
• 本系列文档获取地址：https://hanshuixin.org
• 本文档为人性化翻译，精心制作，请放心使用
• 本文档为双语同时展示，一行原文、一行译文，可逐行对照，避免了原文/译文来回切换的麻烦
• 有原文可参照，不再担心翻译偏差误导
• 边学技术、边学英语
• 只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等
• 不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等

版权声明与来源信息

本翻译文档基于以下开源项目制作，严格遵守各项目的开源许可证，并在此列出其版权归属与许可证信息。

• 组件 GAV 坐标：ai.djl.huggingface:tokenizers:0.22.1
• 原始项目地址：https://central.sonatype.com/artifact/ai.djl.huggingface/tokenizers/0.22.1
• 许可证：The Apache License, Version 2.0
• 许可证链接：https://www.apache.org/licenses/LICENSE-2.0
• 所有原始代码及注释版权归其原作者所有
• 本翻译内容的版权归 寒水馨 所有（© 2025 寒水馨），未经许可不得用于二次分发或再销售

本组件包含的 Java package（包）

ai.djl.huggingface.tokenizers
ai.djl.huggingface.tokenizers.jni
ai.djl.huggingface.translator
ai.djl.huggingface.zoo

本组件包含的 Java class（类）

ai.djl.huggingface.tokenizers.Encoding
ai.djl.huggingface.tokenizers.HuggingFaceTokenizer
ai.djl.huggingface.tokenizers.HuggingFaceTokenizer.Builder
ai.djl.huggingface.tokenizers.jni.CharSpan
ai.djl.huggingface.tokenizers.jni.LibUtils
ai.djl.huggingface.tokenizers.jni.TokenizersLibrary
ai.djl.huggingface.translator.FillMaskBatchTranslator
ai.djl.huggingface.translator.FillMaskTranslator
ai.djl.huggingface.translator.FillMaskTranslator.Builder
ai.djl.huggingface.translator.FillMaskTranslatorFactory
ai.djl.huggingface.translator.PretrainedConfig
ai.djl.huggingface.translator.QuestionAnsweringBatchTranslator
ai.djl.huggingface.translator.QuestionAnsweringTranslator
ai.djl.huggingface.translator.QuestionAnsweringTranslator.Builder
ai.djl.huggingface.translator.QuestionAnsweringTranslatorFactory
ai.djl.huggingface.translator.TextClassificationBatchTranslator
ai.djl.huggingface.translator.TextClassificationTranslator
ai.djl.huggingface.translator.TextClassificationTranslator.Builder
ai.djl.huggingface.translator.TextClassificationTranslatorFactory
ai.djl.huggingface.translator.TextEmbeddingBatchTranslator
ai.djl.huggingface.translator.TextEmbeddingTranslator
ai.djl.huggingface.translator.TextEmbeddingTranslator.Builder
ai.djl.huggingface.translator.TextEmbeddingTranslatorFactory
ai.djl.huggingface.translator.TokenClassificationBatchTranslator
ai.djl.huggingface.translator.TokenClassificationTranslator
ai.djl.huggingface.translator.TokenClassificationTranslator.Builder
ai.djl.huggingface.translator.TokenClassificationTranslatorFactory
ai.djl.huggingface.zoo.HfModelZoo
ai.djl.huggingface.zoo.HfZooProvider