Transformers

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

이 모델은 2021-11-30에 HF papers에 게시되었으며, 2022-08-12에 Hugging Face Transformers에 기여되었습니다.

Donut

Donut (Document Understanding Transformer)는 Optical Character Recognition(OCR) 엔진이 필요 없는 시각적 문서 이해 모델입니다. OCR을 사용해 텍스트를 추출한 후 처리하는 기존 방식과 달리, Donut은 end-to-end Transformer 기반 아키텍처를 활용해 문서 이미지를 직접 분석합니다. 이를 통해 OCR 관련 비효율성을 제거하여 정확도를 높이고, 다양한 언어와 형식에 더 유연하게 대응할 수 있습니다.

Donut에는 비전 인코더(Swin)와 텍스트 디코더(BART)가 있습니다. Swin은 문서 이미지를 임베딩으로 변환하고, BART는 이를 의미 있는 텍스트 시퀀스로 처리합니다.

모든 원본 Donut 체크포인트는 Naver Clova Information Extraction 조직에서 찾을 수 있습니다.

오른쪽 사이드바의 Donut 모델에 클릭하여 Donut을 다양한 언어 및 비전 작업에 적용하는 방법에 대한 추가 예제를 확인하세요.

아래 예제는 Pipeline와 AutoModel을 사용하여 Donut로 문서 이해 작업을 수행하는 방법을 보여줍니다.

Pipeline

AutoModel

Quantization은 가중치를 더 낮은 정밀도로 표현하여 대규모 모델의 메모리 부담을 줄입니다. 사용 가능한 다른 양자화 백엔드에 대해서는 Quantization 개요를 참조하세요.

아래 예제는 torchao를 사용하여 가중치만 int4로 양자화합니다.

# pip install datasets torchao
from datasets import load_dataset

from transformers import AutoModelForImageTextToText, AutoProcessor, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)
processor = AutoProcessor.from_pretrained("naver-clova-ix/donut-base-finetuned-docvqa")
model = AutoModelForImageTextToText.from_pretrained("naver-clova-ix/donut-base-finetuned-docvqa", quantization_config=quantization_config, device_map="auto")

dataset = load_dataset("hf-internal-testing/example-documents", split="test")
image = dataset[0]["image"]
question = "What time is the coffee break?"
task_prompt = f"<s_docvqa><s_question>{question}</s_question><s_answer>"
inputs = processor(image, task_prompt, return_tensors="pt").to(model.device)

outputs = model.generate(
    input_ids=inputs.input_ids,
    pixel_values=inputs.pixel_values,
    max_length=512
)
answer = processor.decode(outputs[0], skip_special_tokens=True)
print(answer)

The input is a single word "Notes". 참고

아래와 같이 Donut를 문서 이미지 분류에 사용하세요.

import re
from transformers import DonutProcessor, VisionEncoderDecoderModel
    from datasets import load_dataset
import torch

processor = DonutProcessor.from_pretrained("naver-clova-ix/donut-base-finetuned-rvlcdip")
model = VisionEncoderDecoderModel.from_pretrained("naver-clova-ix/donut-base-finetuned-rvlcdip", device_map="auto")

model.to(model.device)  # doctest: +IGNORE_RESULT

# load document image
dataset = load_dataset("hf-internal-testing/example-documents", split="test")
image = dataset[1]["image"]

# prepare decoder inputs
task_prompt = "<s_rvlcdip>"
decoder_input_ids = processor.tokenizer(task_prompt, add_special_tokens=False, return_tensors="pt").to(model.device).input_ids

pixel_values = processor(image, return_tensors="pt").to(model.device).pixel_values

outputs = model.generate(
    pixel_values.to(model.device),
    decoder_input_ids=decoder_input_ids.to(model.device),
    max_length=model.decoder.config.max_position_embeddings,
    pad_token_id=processor.tokenizer.pad_token_id,
    eos_token_id=processor.tokenizer.eos_token_id,
    use_cache=True,
    bad_words_ids=[[processor.tokenizer.unk_token_id]],
    return_dict_in_generate=True,
)

sequence = processor.batch_decode(outputs.sequences)[0]
sequence = sequence.replace(processor.tokenizer.eos_token, "").replace(processor.tokenizer.pad_token, "")
sequence = re.sub(r"<.*?>", "", sequence, count=1).strip()  # remove first task start token
print(processor.token2json(sequence))
{'class': 'advertisement'}

아래와 같이 Donut를 문서 파싱에 사용하세요.

import re
    from datasets import load_dataset
from transformers import DonutProcessor, VisionEncoderDecoderModel
import torch

processor = DonutProcessor.from_pretrained("naver-clova-ix/donut-base-finetuned-cord-v2")
model = VisionEncoderDecoderModel.from_pretrained("naver-clova-ix/donut-base-finetuned-cord-v2", device_map="auto")

model.to(model.device)  # doctest: +IGNORE_RESULT

# load document image
dataset = load_dataset("hf-internal-testing/example-documents", split="test")
image = dataset[2]["image"]

# prepare decoder inputs
task_prompt = "<s_cord-v2>"
decoder_input_ids = processor.tokenizer(task_prompt, add_special_tokens=False, return_tensors="pt").to(model.device).input_ids

pixel_values = processor(image, return_tensors="pt").to(model.device).pixel_values

outputs = model.generate(
    pixel_values.to(model.device),
    decoder_input_ids=decoder_input_ids.to(model.device),
    max_length=model.decoder.config.max_position_embeddings,
    pad_token_id=processor.tokenizer.pad_token_id,
    eos_token_id=processor.tokenizer.eos_token_id,
    use_cache=True,
    bad_words_ids=[[processor.tokenizer.unk_token_id]],
    return_dict_in_generate=True,
)

sequence = processor.batch_decode(outputs.sequences)[0]
sequence = sequence.replace(processor.tokenizer.eos_token, "").replace(processor.tokenizer.pad_token, "")
sequence = re.sub(r"<.*?>", "", sequence, count=1).strip()  # remove first task start token
print(processor.token2json(sequence))
{'menu': {'nm': 'CINNAMON SUGAR', 'unitprice': '17,000', 'cnt': '1 x', 'price': '17,000'}, 'sub_total': {'subtotal_price': '17,000'}, 'total': 
{'total_price': '17,000', 'cashprice': '20,000', 'changeprice': '3,000'}}

Transformers

Donut

The input is a single word "Notes". 참고

DonutSwinConfig

class transformers.DonutSwinConfig

DonutImageProcessor

class transformers.DonutImageProcessor

preprocess

DonutImageProcessorPil

class transformers.DonutImageProcessorPil

preprocess

DonutProcessor

class transformers.DonutProcessor

__call__

from_pretrained

save_pretrained

batch_decode

decode

DonutSwinModel

class transformers.DonutSwinModel

forward

DonutSwinForImageClassification

class transformers.DonutSwinForImageClassification

forward

call