KRAFTON AI发布了小型语言模型Raon-1 nano,可遵循韩语和英语指令,并在对话中调用工具。开发者可从Hugging Face下载模型权重,即训练得到的内部数值信息,通过兼容的运行路径在设备上运行,或以API服务器形式提供服务。

模型卡是介绍模型信息的说明文档,将办公任务和移动设备控制列为主要用例。希望在包括Apple Silicon在内的设备上结合对话与任务处理的开发团队,可以考虑这一开放模型。

1. 面向设备端运行与工具调用的模型

Raon-1 nano的有效参数,即实际运算所用的模型内部数值,共15亿个;加上含15亿参数的逐层嵌入表,总规模为31亿个。从Hugging Face下载的权重包还包含一个5500万参数的多令牌预测模块,用于同时预测多个令牌,整体规模为32亿个参数。

根据Apache 2.0许可证,仓库提供的权重和配置文件可用于包括商业用途在内的使用、修改和再分发。开发团队可以选择将开放模型部署到自身运行环境的方式。

2. 面向长上下文的混合架构

模型支持最长262,144令牌的上下文,24层中有18层采用以固定大小状态传递信息的线性注意力,6层采用保留键值缓存的全注意力。该架构只在部分层保留缓存,而非所有层。根据公司公布的数据,BF16即16位浮点格式的缓存约为每令牌7KiB。

训练首先缩减更大的Raon-1 mini预览模型的架构,并传递其训练成果。随后进行了3万亿令牌的继续预训练,即对已训练模型进一步训练的阶段,以及后续训练。

3. 韩语对话评估中展现的优势

根据公司公布的数据,其韩语对话得分在参与比较的五个模型中最高。以下为咨询、客户服务、粉丝社群和《绝地求生》对话得分的内部评估平均结果。

表:韩语对话评估中各模型的得分

条件:Chatbot Korean内部基准,即按内部标准衡量性能的测试。结果为咨询、客户服务、粉丝社群及PUBG对话的平均值。Raon-1 nano的temperature(调节回答随机性的设置)为0.1,presence_penalty为1.5,对比模型使用各自模型卡推荐的设置。

单位:分数

公司公布的韩语对话评估Raon-1 nano: 分数 91.0; Qwen3.5 2B: 分数 42.2; Gemma 4 E2B: 分数 87.6; MiniCPM5 2B: 分数 41.6; LFM3 1.7B: 分数 58.3Raon-1 nano91.0Qwen3.5 2B42.2Gemma 4 E2B87.6MiniCPM5 2B41.6LFM3 1.7B58.3
公司公布的韩语对话评估
韩语对话评估中展现的优势
模型分数
Raon-1 nano91.0
Qwen3.5 2B42.2
Gemma 4 E2B87.6
MiniCPM5 2B41.6
LFM3 1.7B58.3

在这项评估中,Gemma是最接近的对比模型。重视日常韩语对话能力的团队可以优先查看这一结果。

在上述一般对话采样设置下,公司公布的指令遵循得分为IFBench 75.9、MultiChallenge 40.5。

在相同设置的上下文评估中,公司公布的FACTS Grounding得分为44.4,PersonaMem v2在32k上下文中的得分为38.8。

在相同设置下,公司公布的PrefEval得分为44.0,是生成任务在10、70、150轮对话中的平均值。模型卡显示,这五项指令与上下文评估的得分也均为对比模型中最高。

不同任务的选择标准有所不同。根据公司公布的数据,Raon在知识评估MMLU-Redux中得分81.1,低于MiniCPM5 2B的84.0。此时Raon的温度为0.7。

根据公司公布的数据,以温度1.0测试的Raon在通用函数调用评估BFCL v4中得分56.3,低于LFM3 1.7B的67.2。对比模型采用各自模型卡推荐的设置。

在相同工具使用设置下,公司公布的终端任务评估NL2SH-ALFA得分为Raon 58.0、Gemma 4 E2B 62.6。因此,除了韩语对话成绩,还应考察实际要交给模型处理的任务结果。

4. 运行选项与实际成本

模型卡介绍了直接生成回答或启动API服务器的运行路径。以下是使用压缩后的GGUF模型启动终端对话的原始命令,需先按流程构建KRAFTON的llama.cpp专用分支。

./build/bin/llama-cli \
    -hf KRAFTON/Raon-1-nano-gguf:Q4_K_M \
    --ctx-size 65536 \
    --reasoning on \
    --chat-template-kwargs '{"enable_thinking": true}'

虽然可以选择设备端运行或服务器服务的部署方式,但开发团队需要付出匹配运行格式与硬件的准备成本。vLLM示例以单张NVIDIA B300和BF16权重为前提,Apple Silicon则有MLX格式可用。

据模型卡介绍,Transformers路径中的RDA按顺序处理提示令牌,因此模型处理长输入上下文的预填充阶段可能较慢。LiteRT-LM包使用4位权重和fp16激活值,即计算过程中临时生成的数值信息,上下文限制为4,096令牌,不经思考过程直接回答,首次运行时编译GPU程序约需30~60秒。

Raon-1 nano在公开对比中的韩语对话和指令遵循表现突出,但选择时仍需综合考虑部署环境和各项任务的评估结果。