Transformers documentation

Janus

Transformers

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

该模型于 2024-10-17 在 HF papers 上发布，并于 2025-04-17 贡献至 Hugging Face Transformers。

Janus

概述

Janus 模型最初由 DeepSeek AI 团队在 Janus：解耦视觉编码以实现统一的多模态理解与生成中提出，并在 Janus-Pro：通过数据和模型扩展实现统一的多模态理解与生成中进一步完善。Janus 是一种视觉语言模型，能够生成图像和文本输出，同时也能接受图像和文本作为输入。

该模型不会以交错格式同时生成图像和文本。用户必须传递一个参数，以指示是生成文本还是图像。

原始论文的摘要如下：

在本文中，我们提出了 Janus，一个统一多模态理解与生成的自回归框架。先前的研究通常依赖单一的视觉编码器来同时处理这两项任务，例如 Chameleon。然而，由于多模态理解与生成所需的信息粒度不同，这种方法可能导致次优的性能，尤其是在多模态理解方面。为了解决这一问题，我们将视觉编码解耦为独立的路径，同时仍然利用单一、统一的 transformer 架构进行处理。这种解耦不仅缓解了视觉编码器在理解与生成中的角色冲突，还增强了框架的灵活性。例如，多模态理解和生成组件都可以独立选择最适合它们的编码方法。实验表明，Janus 超越了先前的统一模型，并且达到或超过了任务特定模型的性能。Janus 的简洁性、高灵活性和有效性使其成为下一代统一多模态模型的有力候选者。

上述 Janus-Pro 论文（稍后发布）的摘要如下：

在本工作中，我们推出了 Janus-Pro，这是先前工作 Janus 的进阶版本。具体而言，Janus-Pro 引入了 (1) 优化的训练策略、(2) 扩展的训练数据，以及 (3) 向更大模型规模的扩展。凭借这些改进，Janus-Pro 在多模态理解和文生图指令遵循能力方面均取得了显著进展，同时提升了文生图生成的稳定性。我们希望这项工作能够激发该领域的进一步探索。代码和模型已公开可用。

该模型由 Yaswanth Gali 和 Hugo Silva 贡献。原始代码可在此处找到。

使用示例

单图像推理

以下是一个使用单张图片进行视觉理解的示例。

请注意，该模型是使用特定的聊天提示格式进行训练的。请使用 processor.apply_chat_template(my_conversation_dict) 来正确格式化您的提示。


from transformers import JanusForConditionalGeneration, JanusProcessor


model_id = "deepseek-community/Janus-Pro-1B"
# Prepare Input for generation.
messages = [
    {
        "role": "user",
        "content": [
            {'type':'image', 'url': 'http://images.cocodataset.org/val2017/000000039769.jpg'},
            {'type':"text", "text":"What do you see in this image?."}
        ]
    },
]

# Set generation mode to `text` to perform text generation.
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(model_id,
            device_map="auto")

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    generation_mode="text",
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

output = model.generate(**inputs, max_new_tokens=40,generation_mode='text',do_sample=True)
text = processor.decode(output[0], skip_special_tokens=True)
print(text)

多图像推理

Janus 支持以多张图片作为输入进行推理，这些图片可以属于同一个提示词，也可以属于批量推理中不同的提示词，此时模型会并行处理多个对话。具体操作如下：


from transformers import JanusForConditionalGeneration, JanusProcessor


model_id = "deepseek-community/Janus-Pro-1B"

image_urls = [
    "http://images.cocodataset.org/val2017/000000039769.jpg",
    "https://www.ilankelman.org/stopsigns/australia.jpg",
    "https://huggingface.co/microsoft/kosmos-2-patch14-224/resolve/main/snowman.jpg"
]

messages = [
    [
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What’s the difference between"},
                {"type": "image", "url": image_urls[0]},
                {"type": "text", "text": " and "},
                {"type": "image", "url": image_urls[1]}
            ]
        }
    ],
    [
        {
            "role": "user",
            "content": [
                {"type": "image", "url": image_urls[2]},
                {"type": "text", "text": "What do you see in this image?"}
            ]
        }
    ]
]

# Load model and processor
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(
    model_id, device_map="auto"
)

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    generation_mode="text",
    tokenize=True,
    padding=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Generate response
output = model.generate(**inputs, max_new_tokens=40, generation_mode='text', do_sample=False)
text = processor.batch_decode(output, skip_special_tokens=True)
print(text)

文本到图像生成

Janus 还可以根据提示词生成图像。

from transformers import JanusForConditionalGeneration, JanusProcessor


# Set generation mode to `image` to prepare inputs for image generation..

model_id = "deepseek-community/Janus-Pro-1B"
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(model_id,
            device_map="auto")

messages = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "A dog running under the rain."},
        ],
     }
]

prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt,generation_mode="image",return_tensors="pt").to(model.device)

# Set num_return_sequence parameter to generate multiple images per prompt.
model.generation_config.num_return_sequences = 2
outputs = model.generate(**inputs,
                         generation_mode="image",
                         do_sample=True,
                         use_cache=True,
                         )
# Perform post-processing on the generated token ids.
decoded_image = model.decode_image_tokens(outputs)
images = processor.postprocess(list(decoded_image.float()),return_tensors="PIL.Image.Image").to(model.device)
# Save the image
for i, image in enumerate(images['pixel_values']):
    image.save(f"result{i}.png")

Transformers

Janus

概述

使用示例

单图像推理

多图像推理

文本到图像生成

JanusConfig

class transformers.JanusConfig

JanusVisionConfig

class transformers.JanusVisionConfig

JanusVQVAEConfig

class transformers.JanusVQVAEConfig

JanusProcessor

class transformers.JanusProcessor

__call__

JanusImageProcessor

class transformers.JanusImageProcessor

预处理

JanusImageProcessorPil

class transformers.JanusImageProcessorPil

预处理

JanusVisionModel

class transformers.JanusVisionModel

forward

JanusVQVAE

class transformers.JanusVQVAE

forward

JanusModel

class transformers.JanusModel

forward

get_image_features

JanusForConditionalGeneration

class transformers.JanusForConditionalGeneration

forward

call