Transformers documentation

UnlimitedOcr

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Bu model, 2026-06-23 tarihinde HF papers'ta yayımlandı ve 2026-10-14 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

UnlimitedOcr

Genel Bakış

UnlimitedOcr modeli, Baidu Inc. bünyesindeki Youyang Yin, Huanhuan Liu, Qunyi Xie, Chaorun Liu, Shiqi Yang, Shaohua Wang, Zhanlong Liu, Hao Zou, Jinyue Chen, Shu Wei, Jingjing Wu, Mingxin Huang, Zhen Wu, Guibin Wang, Tengyu Du ve Lei Jia tarafından Unlimited OCR Works makalesinde önerilmiştir.

Bu, standart bağlam uzunluğu 32.768 token olan tek bir 3B parametreli modeldir.

Makalenin özeti aşağıdaki gibidir:

Recently, end-to-end OCR models, exemplified by DeepSeek OCR, have once again thrust OCR into the spotlight. A widely held view is that employing a large language model (LLM) as the decoder allows the model to leverage the prior distribution of language, leading to improved OCR performance. However, the downside is equally evident: as the output sequence lengthens, the accumulated KV cache drives up memory consumption and progressively slows down generation. This stands in stark contrast to humans, who exhibit no such decline in efficiency during long-horizon copying tasks. In this technical report, we propose Unlimited OCR, a model designed to emulate human parsing working memory. Taking DeepSeek OCR as the baseline, we replace all attention layers in the decoder with our proposed Reference Sliding Window Attention (R-SWA), which reduces attention computation costs while maintaining a constant KV cache throughout the entire decoding process. By combining the high compression rate of DeepSeek OCR’s encoder with our constant KV cache design, Unlimited OCR can transcribe dozens of pages of documents in a single forward pass under a standard maximum length of 32K. More importantly, R-SWA is a general-purpose parsing attention mechanism — beyond OCR, it is equally applicable to tasks such as ASR, translation, etc. Codes and model weights are publicly available at http://github.com/baidu/Unlimited-OCR

Unlimited-OCR iki çıkarım yapılandırmasını destekler: varsayılan “gundam” modu, yüksek çözünürlüklü belgeler için dinamik kırpma ile 640x640 karolar kullanırken, “base” modu standart çözünürlüklü girdiler için tek bir 1024x1024 küresel görünüm kullanır. Base modunu etkinleştirmek için işlemcide crop_to_patches=False ayarlayın veya apply_chat_template() kullanırken processor_kwargs üzerinden iletin.

Görme kulesi, DeepSeek-OCR-2'deki iki aşamalı yaklaşımı izler: SAM ViT-B kodlayıcı, CLIP ViT kodlayıcısına beslenir. DeepSeek-OCR-2'den farklı olarak, CLIP özellikleri, nihai görüntü jetonlarını elde etmek amacıyla SAM özellikleriyle ek olarak birleştirilir. Unlimited-OCR, DeepSeek-OCR-2'deki öğrenilebilir yama sorgularını da atlar.

Metin modeli, ek olarak Reference Sliding Window Attention (R-SWA) içeren DeepSeek-OCR-2 ile özdeştir. R-SWA yalnızca üretilen token'lara uygulanır. Tüm görüntü ve istem token'ları, çözümleme boyunca tamamen görünür kalır; bu sayede uzun belgeler, önceki sayfalardan bağlam kaybetmez.

Bu model guarin tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Orijinal uygulama, modeli bfloat16 ile torch.autocast kullanarak çalıştırır. Çıktılarını yeniden üretmek için forward ve generate çağrılarını bir autocast bağlamıyla sarmalayın.
with torch.autocast(device_type=model.device.type, dtype=torch.bfloat16):
    output = model.generate(**inputs)

Tek sayfalık OCR

Çok sayfalı OCR

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained("baidu/Unlimited-OCR", device_map="auto")
processor = AutoProcessor.from_pretrained("baidu/Unlimited-OCR")

image = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg"
messages = [
    {
        "role": "user",
        "content": [{"type": "image", "url": image}, {"type": "text", "text": "document parsing."}],
    }
]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device, model.dtype)

output = model.generate(**inputs, max_new_tokens=512)
processor.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
# image [383, 87, 497, 171]\ntext [333, 201, 558, 230]R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM...

# All bounding boxes are in (x1, y1, x2, y2) format with coordinates normalized to [0, 999]

Toplu işleme

Toplu işleme için bir mesaj listesi iletin. Görsellerin boyutları farklıysa, işlemci için padding=True olarak ayarlayın.

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained("baidu/Unlimited-OCR", device_map="auto")
processor = AutoProcessor.from_pretrained("baidu/Unlimited-OCR")

image1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg"
image2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_receipt.jpeg"
messages = [
    [
        {
            "role": "user",
            "content": [{"type": "image", "url": image}, {"type": "text", "text": "document parsing."}],
        }
    ]
    for image in [image1, image2]
]
inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    processor_kwargs={"padding": True},
).to(model.device, model.dtype)

output = model.generate(**inputs)
processor.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=True)
# image [383, 87, 497, 171]\ntext [333, 201, 558, 230]R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM...

# All bounding boxes are in (x1, y1, x2, y2) format with coordinates normalized to [0, 999]

Bölge algılamaları

Tüm algılama ve bölge türlerini <|det|>...<|/det|> işaretçileriyle sarmalamak için skip_special_tokens=False değerini ayarlayın. Bu, örneğin algılanan sınırlayıcı kutuları (bounding box) görüntü üzerinde çizmek gibi çıktıların ileri işlenmesi için faydalıdır. Her algılama, koordinatlar [0, 999] aralığına normalize edilmiş şekilde <|det|>region_type [x1, y1, x2, y2]<|/det|>text... biçiminde sarmalanır. Tüm algılamaların {"region_type": region_type, "box": [x1, y1, x2, y2], "text": "..."} olarak ayrıştırıldığı ek bir sözlük listesi almak için return_detections=True değerini ayarlayın.

from transformers import AutoProcessor, AutoModelForImageTextToText

model = AutoModelForImageTextToText.from_pretrained("baidu/Unlimited-OCR", device_map="auto")
processor = AutoProcessor.from_pretrained("baidu/Unlimited-OCR")

image = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg"
messages = [
    {
        "role": "user",
        "content": [{"type": "image", "url": image}, {"type": "text", "text": "document parsing."}],
    }
]
inputs = processor.apply_chat_template(
    messages, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt"
).to(model.device, model.dtype)

output = model.generate(**inputs)
decoded, detections = processor.decode(output[0, inputs["input_ids"].shape[1]:], skip_special_tokens=False, return_detections=True)
# <|det|>image [383, 87, 497, 171]<|/det|>\n<|det|>text [333, 201, 558, 230]<|/det|>R&D QUALITY IMPROVEMENT\nSUGGESTION/SOLUTION FORM...

# Visualization
import random
import matplotlib.pyplot as plt
import matplotlib.patches as patches
from transformers.image_utils import load_image

image = load_image("https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/ocr_suggestion_form.jpg")
width, height = image.size

figure, axis = plt.subplots(figsize=(10, 12))
axis.imshow(image)
for detection in detections:
    region_type = detection["region_type"]
    x1, y1, x2, y2 = detection["box"]
    x1, y1, x2, y2 = int(x1) / 999 * width, int(y1) / 999 * height, int(x2) / 999 * width, int(y2) / 999 * height
    color = (random.random(), random.random(), random.random())
    rectangle = patches.Rectangle((x1, y1), x2 - x1, y2 - y1, linewidth=1.5, edgecolor=color, facecolor="none")
    axis.add_patch(rectangle)
    axis.text(x1, y1, region_type, color="white", fontsize=8, backgroundcolor=color, verticalalignment="top")
axis.axis("off")
plt.show()

Transformers

UnlimitedOcr

Genel Bakış

Toplu işleme

Bölge algılamaları

UnlimitedOcrConfig

sınıf transformers.UnlimitedOcrConfig

UnlimitedOcrTextConfig

sınıf transformers.UnlimitedOcrTextConfig

UnlimitedOcrVisionConfig

sınıf transformers.UnlimitedOcrVisionConfig

UnlimitedOcrVisionEncoderConfig

sınıf transformers.UnlimitedOcrVisionEncoderConfig

UnlimitedOcrSamVisionConfig

sınıf transformers.UnlimitedOcrSamVisionConfig

UnlimitedOcrImageProcessor

sınıf transformers.UnlimitedOcrImageProcessor

crop_image_to_patches

get_number_of_image_patches

pad_to_square

UnlimitedOcrProcessor

sınıf transformers.UnlimitedOcrProcessor

batch_decode

decode

UnlimitedOcrPreTrainedModel

sınıf transformers.UnlimitedOcrPreTrainedModel

UnlimitedOcrTextPreTrainedModel

sınıf transformers.UnlimitedOcrTextPreTrainedModel

UnlimitedOcrTextModel

sınıf transformers.UnlimitedOcrTextModel

forward

UnlimitedOcrVisionModel

sınıf transformers.UnlimitedOcrVisionModel

forward

UnlimitedOcrModel

sınıf transformers.UnlimitedOcrModel

forward

UnlimitedOcrForConditionalGeneration

sınıf transformers.UnlimitedOcrForConditionalGeneration

forward