AI I024: 动漫创作者的福音来了！NewBie-image-Exp0。1 携3。5B参数+16通道VAE，拯救手残党，开源ACG新标杆。

2025年12月9日星期二

动漫创作者的福音来了！NewBie-image-Exp0。1 携3。5B参数+16通道VAE，拯救手残党，开源ACG新标杆。

添加微信号：AIGC_Tech，公众号小助手会拉你进群！点击下方名片关注AIGC Studio公众号！

添加微信号：AIGC_Tech，公众号小助手会拉你进群！

点击下方名片关注AIGC Studio公众号！获取最新AI前沿应用/AIGC实践教程！

动漫创作者的福音来了！NewBie-image-Exp0.1 携 35亿参数震撼开源，基于 Lumina+Next-DiT双架构打造新一代ACG文本到图像生成底模。其核心创新点包括：

双编码器融合：Gemma3-4B-it（倒数第二层token隐藏状态） + Jina CLIP v2（池化特征投影），实现提示理解与指令遵守的双重突破；
16通道FLUX.1-dev VAE：赋予图像更丰富的色彩层次与更细腻的纹理细节，动漫风格视觉质量直接拉满；
结构化XML输入：多角色场景精准控制，告别"盲盒式"生成。作为NewBie框架的首个实验性发布，Exp0.1堪称开源ACG领域的"六边形战士"，手残党也能秒出专业级作品！

unsetunset相关链接unsetunset

代码：https://github.com/NewBieAI-Lab/ComfyUI-Newbie-V0.1
模型：https://www.modelscope.cn/models/NewBieAi-lab/NewBie-image-Exp0.1

unsetunset模型简介unsetunset

NewBie图像Exp0.1 是基于 Next-DiT 架构研发的高效文本到图像生成模型，拥有 35亿参数 的强大能力。通过 Lumina架构 与 NewBie创新架构 的融合，该模型在动漫风格图像生成领域实现突破性进展，支持自然语言、标签及结构化XML提示输入，为创作者提供前所未有的精准控制体验。

unsetunset核心亮点unsetunset

1. 双编码器融合，理解力升级

Gemma3-4B-it 作为主文本编码器，提取倒数第二层token隐藏状态作为条件输入
Jina CLIP v2 提供池化文本特征，经投影后融入时间/AdaLN条件路径
双重机制 显著提升提示理解精度与指令遵循能力，支持复杂语义解析

2. FLUX.1-dev VAE，画质革命

采用 16通道变分自编码器 将图像编码为潜在变量
实现 更丰富的色彩渲染 与 更精细的纹理细节
动漫风格图像视觉质量达到行业顶尖水平

3. XML结构化提示，精准控制

<character_1>
  <n>$character_1$</n>
<gender>1girl</gender>
<appearance>chibi, red_eyes, blue_hair...</appearance>
<clothing>school_uniform, serafuku...</clothing>
<position>center_left</position>
</character_1>
<general_tags>
<style>anime_style</style>
<background>white_background</background>
</general_tags>

属性解耦：通过XML标签分离角色、场景、风格等元素
多角色定位：精准控制角色位置与互动关系
实验证明：结构化输入使生成准确率提升40%，收敛速度加快30%

unsetunset训练过程unsetunset

unsetunset应用场景unsetunset

动漫创作

生成高分辨率角色设定图（支持1024×1024像素）
快速实现多角色场景构图
自定义服装、表情、动作等细节

游戏开发

批量生成NPC角色形象
创建道具、场景概念图
支持实时修改提示词调整设计

虚拟偶像运营

定制化生成偶像宣传图
快速迭代不同风格造型
生成互动场景素材

unsetunset🛠️ 快速入门unsetunset

环境配置



python
import torch
from modelscope import NewbiePipeline

# 加载模型（需支持bfloat16的GPU）
pipe = NewbiePipeline.from_pretrained(
    "NewBieAi-lab/NewBie-image-Exp0.1",
    torch_dtype=torch.bfloat16
).to("cuda")

2. 基础生成
python
prompt = "1girl, school uniform, standing under cherry blossoms"
image = pipe(prompt, height=1024, width=1024).images[0]
image.save("output.png")

3. 进阶控制
python
xml_prompt = """
<character>
  <appearance>long silver hair, cat ears</appearance>
  <clothing>black dress, lace gloves</clothing>
  <action>holding magic staff</action>
</character>
<style>anime_style</style>
"""

unsetunset开源协议unsetunset

模型权重：遵循 Newbie-NC-1.0非商业许可证
仅限个人/研究使用
衍生品需保持相同协议
代码：Apache 2.0许可证
允许商业使用与修改
需保留原作者声明

感谢你看到这里，添加小助手 AIGC_Tech 加入官方 AIGC读者交流群，下方扫码加入 AIGC Studio 星球，获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等，欢迎一起交流学习💗～

AI I024