# Fitur generasi

API [generate()](/docs/transformers/v5.23.0/id/main_classes/text_generation#transformers.GenerationMixin.generate) mendukung beberapa fitur untuk membangun aplikasi di atasnya.

Panduan ini akan menunjukkan cara menggunakan fitur-fitur tersebut.

## Streaming

Streaming mulai mengembalikan teks segera setelah teks tersebut dihasilkan, sehingga Anda tidak perlu menunggu untuk melihat seluruh respons yang dihasilkan sekaligus. Hal ini penting dalam aplikasi yang berhadapan langsung dengan pengguna karena mengurangi latensi yang dirasakan dan memungkinkan pengguna melihat progres generasi.

    

> [!TIP]
> Pelajari lebih lanjut tentang streaming di dokumen [Text Generation Inference](https://huggingface.co/docs/text-generation-inference/en/conceptual/streaming).

Buat instance [TextStreamer](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.TextStreamer) dengan tokenizer. Teruskan [TextStreamer](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.TextStreamer) ke parameter `streamer` di [generate()](/docs/transformers/v5.23.0/id/main_classes/text_generation#transformers.GenerationMixin.generate) untuk mengalirkan output satu kata per kata.

```py
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer

tokenizer = AutoTokenizer.from_pretrained("openai-community/gpt2")
model = AutoModelForCausalLM.from_pretrained("openai-community/gpt2")
inputs = tokenizer(["The secret to baking a good cake is "], return_tensors="pt")
streamer = TextStreamer(tokenizer)

_ = model.generate(**inputs, streamer=streamer, max_new_tokens=20)
```

Parameter `streamer` kompatibel dengan kelas apa pun yang memiliki metode [put()](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.TextStreamer.put) dan [end()](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.TextStreamer.end). [put()](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.TextStreamer.put) mendorong token baru, dan [end()](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.TextStreamer.end) menandai akhir dari proses generasi. Anda dapat membuat kelas streamer Anda sendiri selama kelas tersebut mencakup kedua metode ini, atau Anda dapat menggunakan kelas streamer dasar dari Transformers.

## Watermarking

Watermarking berguna untuk mendeteksi apakah teks dihasilkan oleh model. [Strategi watermarking](https://hf.co/papers/2306.04634) di Transformers secara acak "mewarnai" sebagian token dengan warna hijau. Ketika token hijau dihasilkan, bias kecil ditambahkan ke logits-nya, sehingga probabilitasnya untuk dihasilkan menjadi lebih tinggi. Anda dapat mendeteksi teks yang dihasilkan dengan membandingkan proporsi token hijau terhadap jumlah token hijau yang biasanya ditemukan dalam teks yang dibuat oleh manusia.

Watermarking didukung untuk model generatif apa pun di Transformers dan tidak memerlukan model klasifikasi tambahan untuk mendeteksi teks yang diberi watermark.

Buat [WatermarkingConfig](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.WatermarkingConfig) dengan nilai bias yang akan ditambahkan ke logits dan algoritma watermarking. Contoh di bawah menggunakan algoritma `"selfhash"`, di mana pemilihan token hijau hanya bergantung pada token saat ini. Teruskan [WatermarkingConfig](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.WatermarkingConfig) ke [generate()](/docs/transformers/v5.23.0/id/main_classes/text_generation#transformers.GenerationMixin.generate).

> [!TIP]
> Kelas [WatermarkDetector](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.WatermarkDetector) mendeteksi proporsi token hijau dalam teks yang dihasilkan, itulah mengapa disarankan untuk menghapus teks prompt jika panjangnya jauh melebihi teks yang dihasilkan. Padding juga dapat memengaruhi [WatermarkDetector](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.WatermarkDetector).

```py
from transformers import AutoTokenizer, AutoModelForCausalLM, WatermarkDetector, WatermarkingConfig

model = AutoModelForCausalLM.from_pretrained("openai-community/gpt2")
tokenizer = AutoTokenizer.from_pretrained("openai-community/gpt2")
tokenizer.pad_token_id = tokenizer.eos_token_id
tokenizer.padding_side = "left"

inputs = tokenizer(["This is the beginning of a long story", "Alice and Bob are"], padding=True, return_tensors="pt")
input_len = inputs["input_ids"].shape[-1]

watermarking_config = WatermarkingConfig(bias=2.5, seeding_scheme="selfhash")
out = model.generate(**inputs, watermarking_config=watermarking_config, do_sample=False, max_length=20)
```

Buat instance dari [WatermarkDetector](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.WatermarkDetector) dan lewati output model ke dalamnya untuk mendeteksi apakah teks tersebut dihasilkan oleh mesin. [WatermarkDetector](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.WatermarkDetector) harus memiliki [WatermarkingConfig](/docs/transformers/v5.23.0/id/internal/generation_utils#transformers.WatermarkingConfig) yang sama dengan yang digunakan selama proses generasi.

```py
detector = WatermarkDetector(model_config=model.config, device="cpu", watermarking_config=watermarking_config)
detection_out = detector(out, return_dict=True)
detection_out.prediction
array([True, True])
```

