Transformers documentation
Sapiens2
Mô hình này được công bố trên HF papers vào ngày 2026-04-23 và được đóng góp cho Hugging Face Transformers vào ngày 2026-06-03.
Sapiens2
Tổng quan
Mô hình Sapiens2 được đề xuất trong Sapiens2 bởi Rawal Khirodkar, He Wen, Julieta Martinez, Yuan Dong, Zhaoen Su, Shunsuke Saito. Sapiens2 là một họ các vision transformer độ phân giải cao được huấn luyện trước trên ~1 tỷ hình ảnh con người được tuyển chọn, được thiết kế cho các tác vụ thị giác máy tính tập trung vào con người, bao gồm ước lượng tư thế, phân đoạn bộ phận cơ thể, ước lượng pháp tuyến bề mặt và ước lượng pointmap.
Bạn có thể tìm thấy tất cả các checkpoint gốc của Sapiens2 trong bộ sưu tập Sapiens2.
Tóm tắt từ bài báo như sau:
Chúng tôi giới thiệu Sapiens2, một họ transformer độ phân giải cao cho thị giác tập trung vào con người, hướng đến khả năng tổng quát hóa, tính đa dụng và đầu ra độ trung thực cao. Chúng tôi huấn luyện trước trên ~1 tỷ hình ảnh con người chất lượng cao được tuyển chọn kỹ lưỡng với chú thích tác vụ được cải thiện, kết hợp tái tạo ảnh có mặt nạ với các mục tiêu tương phản tự chưng cất để học cả đặc trưng cấp thấp lẫn đặc trưng ngữ nghĩa. Mô hình của chúng tôi mở rộng từ 0,4B đến 5B tham số và được huấn luyện ở độ phân giải gốc 1K, với các biến thể 4K phân cấp cho suy luận không gian mở rộng. Sapiens2 đạt được những cải thiện đáng kể so với phiên bản tiền nhiệm: +4 mAP trong ước lượng tư thế, +24,3 mIoU trong phân đoạn bộ phận cơ thể, và giảm 45,6% lỗi trong ước lượng pháp tuyến, đồng thời mở rộng sang các tác vụ mới như ước lượng pointmap và albedo. Mã nguồn được công khai.
Mẹo:
- Sapiens2 sử dụng Rotary Position Embeddings (RoPE) và hỗ trợ độ phân giải đầu vào tùy ý. Bộ xử lý ảnh mặc định sẽ thay đổi kích thước ảnh thành 1024×768 (chiều cao×chiều rộng).
- Mô hình sử dụng Grouped Query Attention (GQA) cho các lớp trung gian và full multi-head attention cho 8 lớp đầu và 8 lớp cuối.
- Việc đăng ký các token (mặc định là 8) giúp giảm các hiện tượng bất thường có chuẩn cao trong các token patch, từ đó tạo ra các bản đồ chú ý sạch hơn và cải thiện hiệu suất trên các tác vụ dự đoán dày đặc.
Mô hình này được đóng góp bởi guarin. Mã nguồn gốc có thể được tìm thấy tại đây.
Ví dụ sử dụng
Ví dụ dưới đây cho thấy cách lấy token CLS (nhúng toàn bộ hình ảnh) bằng Sapiens2Model.
import torch
from transformers import AutoImageProcessor, AutoModel
from transformers.image_utils import load_image
image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pretrain-0.4b")
model = AutoModel.from_pretrained("facebook/sapiens2-pretrain-0.4b", device_map="auto")
inputs = image_processor(images=image, return_tensors="pt").to(model.device)
with torch.inference_mode():
outputs = model(**inputs)
# outputs.pooler_output is the CLS token (whole-image embedding)
cls_token = outputs.pooler_output
print("CLS token shape:", cls_token.shape) # [1, 1024]Sapiens2Backbone cung cấp các patch token đã được định hình lại theo chiều không gian và các token CLS trực tiếp trên đối tượng đầu ra.
import torch
from transformers import AutoBackbone, AutoImageProcessor
from transformers.image_utils import load_image
image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pretrain-0.4b")
model = AutoBackbone.from_pretrained("facebook/sapiens2-pretrain-0.4b", device_map="auto")
inputs = image_processor(images=image, return_tensors="pt").to(model.device)
with torch.inference_mode():
outputs = model(**inputs, return_class_token=True)
# Patch tokens shaped (batch, height, width, channels)
patch_features = outputs.feature_maps[0]
cls_token = outputs.cls_tokens[0]
print("CLS token shape:", cls_token.shape) # [1, 1024]
print("Patch features shape:", patch_features.shape) # [1, 64, 48, 1024]Ví dụ dưới đây cho thấy cách ước lượng pháp tuyến bề mặt bằng Sapiens2ForNormalEstimation.
Các pháp tuyến đầu ra là thô (chưa được chuẩn hóa); hãy sử dụng post_process_normal_estimation để thay đổi kích thước và chuẩn hóa L2 chúng.
import torch
from transformers import AutoImageProcessor, AutoModelForNormalEstimation
from transformers.image_utils import load_image
image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-normal-0.4b")
model = AutoModelForNormalEstimation.from_pretrained("facebook/sapiens2-normal-0.4b", device_map="auto")
inputs = image_processor(image, return_tensors="pt").to(model.device)
with torch.inference_mode():
outputs = model(**inputs)
# outputs.normals shape: (batch_size, 3, height, width) — raw, unnormalized XYZ normals
print("Normals shape:", outputs.normals.shape) # [1, 3, 1024, 768]
# Remove preprocessing padding, resize to original size, and L2-normalize to unit vectors in [-1, 1]
original_size = (image.height, image.width)
result = image_processor.post_process_normal_estimation(
outputs, source_sizes=[original_size], target_sizes=[original_size]
)
normals = result[0]["normals"]
print("Normals shape:", normals.shape) # [3, original_height, original_width]
### Example code for visualization
# Convert L2-normalized normals in [-1, 1] to RGB in [0, 255]
normals_rgb = ((normals + 1.0) / 2.0 * 255.0).clamp(0, 255).to(torch.uint8)
# Apply background removal using the segmentation model output.
# `segmentation` is the output of `post_process_semantic_segmentation` — a (H, W) tensor
# of per-pixel class IDs, where class 0 is background.
background_mask = segmentation == 0
normals_rgb[:, background_mask] = 0
print("Normals RGB shape:", normals_rgb.shape) # [3, original_height, original_width]Ví dụ dưới đây cho thấy cách ước lượng tọa độ 3D cho từng pixel bằng Sapiens2ForPointmapEstimation.
Sử dụng post_process_pointmap_estimation để loại bỏ phần đệm tiền xử lý, điều chỉnh kích thước về kích thước ảnh gốc và áp dụng tỷ lệ tiêu cự dự đoán.
import torch
from transformers import AutoImageProcessor, AutoModelForPointmapEstimation
from transformers.image_utils import load_image
image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pointmap-0.4b")
model = AutoModelForPointmapEstimation.from_pretrained("facebook/sapiens2-pointmap-0.4b", device_map="auto")
inputs = image_processor(image, return_tensors="pt").to(model.device)
with torch.inference_mode():
outputs = model(**inputs)
# outputs.pointmaps shape: (batch_size, 3, height, width) — raw XYZ in canonical camera space
print("Pointmaps shape:", outputs.pointmaps.shape) # [1, 3, 1024, 768]
# Remove preprocessing padding, resize to original size, and apply focal-length scale
original_size = (image.height, image.width)
result = image_processor.post_process_pointmap_estimation(
outputs, source_sizes=[original_size], target_sizes=[original_size]
)
pointmap = result[0]["pointmap"]
print("Pointmap shape:", pointmap.shape) # [3, original_height, original_width]
### Example code for visualization
# Visualize the pointmap as an RGB image using inverse-depth and the turbo colormap.
import matplotlib.pyplot as plt
# `segmentation` is the output of `post_process_semantic_segmentation` — a (H, W) tensor
# of per-pixel class IDs, where class 0 is background.
foreground_mask = segmentation != 0
depth = pointmap[2] # Z channel: depth in camera space, shape (H, W)
pointmap_rgb = torch.zeros(3, *depth.shape, dtype=torch.uint8)
foreground_depth = depth[foreground_mask]
if foreground_depth.numel() > 0:
depth_low, depth_high = torch.quantile(foreground_depth, torch.tensor([0.01, 0.99]))
inverse_depth = 1.0 / foreground_depth.clamp(min=1e-6)
inverse_depth_low = 1.0 / depth_high.clamp(min=1e-6)
inverse_depth_high = 1.0 / depth_low.clamp(min=1e-6)
inverse_depth_normalized = ((inverse_depth - inverse_depth_low) / (inverse_depth_high - inverse_depth_low + 1e-8)).clamp(0, 1)
turbo = plt.get_cmap("turbo")
foreground_colors = torch.from_numpy(turbo(inverse_depth_normalized.cpu().numpy())[..., :3] * 255).to(torch.uint8) # (N, 3)
pointmap_rgb[:, foreground_mask] = foreground_colors.T
print("Pointmap RGB shape:", pointmap_rgb.shape) # [3, original_height, original_width]Ví dụ dưới đây cho thấy cách chạy ước lượng tư thế với Sapiens2ForPoseEstimation.
Mô hình dự đoán heatmap cho từng điểm then chốt; hãy dùng post_process_pose_estimation để giải mã chúng thành
tọa độ điểm then chốt trong không gian ảnh. Nó yêu cầu opencv-python (pip install opencv-python).
import torch
from transformers import AutoImageProcessor, AutoModelForPoseEstimation
from transformers.image_utils import load_image
image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pose-0.4b")
model = AutoModelForPoseEstimation.from_pretrained("facebook/sapiens2-pose-0.4b", device_map="auto")
# Provide bounding boxes in COCO format (x, y, width, height) for each person
boxes = [[[270.8, 0.6, 294.1, 379.5]]]
inputs = image_processor(image, boxes=boxes, return_tensors="pt").to(model.device)
with torch.inference_mode():
outputs = model(**inputs)
# outputs.heatmaps shape: (num_persons, num_keypoints, heatmap_height, heatmap_width)
print("Heatmaps shape:", outputs.heatmaps.shape) # [1, 308, 256, 192]
# Decode heatmaps to image-space keypoint coordinates
results = image_processor.post_process_pose_estimation(outputs, boxes=boxes)[0]
keypoints = results[0]["keypoints"] # (num_keypoints, 2) — x/y in image coordinates
scores = results[0]["scores"] # (num_keypoints,) — per-keypoint confidence
print("Keypoints shape:", keypoints.shape)Kỹ thuật tăng dữ liệu lật ngang (tăng dữ liệu khi kiểm thử) cải thiện độ chính xác của điểm khóa bằng cách lấy trung bình các dự đoán từ ảnh gốc và ảnh được lật gương. Truyền flip_pairs — một tensor chứa các cặp [left_keypoint, right_keypoint] — vào lần chạy forward thứ hai. Mô hình sẽ lật các heatmap trở lại hướng gốc trước khi trả về, do đó bạn có thể lấy trung bình trực tiếp cả hai đầu ra.
import torch
from transformers import AutoImageProcessor, AutoModelForPoseEstimation
from transformers.image_utils import load_image
image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pose-0.4b")
model = AutoModelForPoseEstimation.from_pretrained("facebook/sapiens2-pose-0.4b", device_map="auto")
boxes = [[[270.8, 0.6, 294.1, 379.5]]]
inputs = image_processor(image, boxes=boxes, return_tensors="pt").to(model.device)
pixel_values = inputs["pixel_values"]
flip_pairs = torch.tensor(model.config.flip_pairs, device=model.device)
with torch.inference_mode():
outputs = model(pixel_values)
outputs_flipped = model(pixel_values.flip(-1), flip_pairs=flip_pairs)
results = image_processor.post_process_pose_estimation(outputs, outputs_flipped=outputs_flipped, boxes=boxes)[0]
keypoints = results[0]["keypoints"]
scores = results[0]["scores"]Ví dụ dưới đây cho thấy cách tính toán tổn thất Mean Squared Error (MSE) có giám sát với Sapiens2ForPoseEstimation bằng cách truyền labels và label_weights tùy chọn. Điều này hữu ích cho việc tinh chỉnh sử dụng API Trainer.
import torch
from transformers import AutoImageProcessor, AutoModelForPoseEstimation
from transformers.image_utils import load_image
image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pose-0.4b")
model = AutoModelForPoseEstimation.from_pretrained("facebook/sapiens2-pose-0.4b", device_map="auto")
# Provide bounding boxes in COCO format (x, y, width, height) for each person
boxes = [[[270.8, 0.6, 294.1, 379.5]]]
inputs = image_processor(image, boxes=boxes, return_tensors="pt").to(model.device)
# Create dummy labels (heatmaps) and visibility weights to simulate ground truth
# 1.0 for visible keypoints, 0.0 for occluded/invisible keypoints
batch_size, num_keypoints = 1, 308
heatmap_height, heatmap_width = 1024, 768
labels = torch.randn(batch_size, num_keypoints, heatmap_height, heatmap_width, device=model.device)
label_weights = torch.ones(batch_size, num_keypoints, 1, 1, device=model.device)
# Forward pass with loss calculation
outputs = model(**inputs, labels=labels, label_weights=label_weights)
print("Loss:", outputs.loss.item())Ví dụ dưới đây cho thấy cách thực hiện phân đoạn bộ phận cơ thể bằng Sapiens2ForSemanticSegmentation.
import torch
from transformers import AutoImageProcessor, AutoModelForSemanticSegmentation
from transformers.image_utils import load_image
image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-seg-0.4b")
model = AutoModelForSemanticSegmentation.from_pretrained("facebook/sapiens2-seg-0.4b", device_map="auto")
inputs = image_processor(image, return_tensors="pt").to(model.device)
with torch.inference_mode():
outputs = model(**inputs)
# outputs.logits shape: (batch_size, num_labels, height, width)
print("Logits shape:", outputs.logits.shape) # [1, 29, 1024, 768]
# Get per-pixel class predictions, optionally resized to the original image size
original_size = (image.height, image.width)
segmentation = image_processor.post_process_semantic_segmentation(
outputs, target_sizes=[original_size]
)[0]
print("Segmentation map shape:", segmentation.shape) # [original_height, original_width]Ví dụ dưới đây cho thấy cách chạy image matting với Sapiens2ForImageMatting.
Đầu ra đã được kích hoạt sigmoid và nằm trong khoảng [0, 1]; hãy dùng post_process_image_matting để thay đổi kích thước và tách
thành alphas, foregrounds, và một hình ảnh composite tùy chọn. Hình ảnh composite hiển thị
phần nền trước chồng lên phần nền sau theo công thức: composite = foreground * (1 - alpha) * background.
import torch
from transformers import AutoImageProcessor, AutoModelForImageMatting
from transformers.image_utils import load_image
image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-matting-1b")
model = AutoModelForImageMatting.from_pretrained("facebook/sapiens2-matting-1b", device_map="auto")
inputs = image_processor(image, return_tensors="pt").to(model.device)
with torch.inference_mode():
outputs = model(**inputs)
# outputs.foregrounds: (1, 3, H, W), outputs.alphas: (1, 1, H, W) — both in [0, 1]
original_size = (image.height, image.width)
# Pass an optional background to composite the foreground over it.
# A (3, 1, 1) tensor broadcasts as a uniform color; PIL images and numpy arrays are also accepted.
background = torch.tensor([0, 177, 64], dtype=torch.uint8).view(3, 1, 1) # chroma green in RGB
result = image_processor.post_process_image_matting(
outputs, target_sizes=[original_size], backgrounds=background
)[0]
print("Alpha shape:", result["alpha"].shape) # [1, original_height, original_width]
print("Foreground shape:", result["foreground"].shape) # [3, original_height, original_width]
print("Composite shape:", result["composite"].shape) # [3, original_height, original_width] — uint8 [0, 255]Sapiens2Config
lớp transformers.Sapiens2Config
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonepatch_size: int | list[int] | tuple[int, int] = 16hidden_size: int = 1024intermediate_size: int = 4096num_hidden_layers: int = 24num_attention_heads: int = 16hidden_act: str = 'silu'attention_dropout: float | int = 0.0initializer_range: float = 0.02rope_theta: float = 100.0image_size: int | list[int] | tuple[int, int] = 224num_channels: int = 3query_bias: bool = Truekey_bias: bool = Truevalue_bias: bool = Trueproj_bias: bool = Truemlp_bias: bool = Truelayerscale_value: float = 1.0drop_path_rate: float | int = 0.0use_gated_mlp: bool = Truenum_register_tokens: int = 8pos_embed_shift: float | None = Nonepos_embed_jitter: float | None = Nonepos_embed_rescale: float | None = 2.0_out_features: list[str] | None = None_out_indices: list[int] | None = Nonereshape_hidden_states: bool = Trueuse_mask_token: bool = Falserms_norm_eps: float = 1e-06normalize_backbone_outputs: bool = Trueuse_qk_norm: bool = Truenum_key_value_heads_per_layer: list[int] | None = Nonenum_key_value_attention_heads: int = 8num_first_full_attention_layers: int = 8num_last_full_attention_layers: int = 8semantic_loss_ignore_index: int = 255flip_pairs: list[list[int]] | None = Nonehead_config: transformers.models.sapiens2.configuration_sapiens2.Sapiens2HeadConfig | dict | None = None )
Tham số
- patch_size (
Union[int, list[int], tuple[int, int]], tùy chọn, mặc định là16) — Kích thước (độ phân giải) của mỗi patch. - hidden_size (
int, tùy chọn, mặc định là1024) — Kích thước của các biểu diễn ẩn. - intermediate_size (
int, tùy chọn, mặc định là4096) — Kích thước của các biểu diễn MLP. - num_hidden_layers (
int, tùy chọn, mặc định là24) — Số lượng lớp ẩn trong bộ giải mã Transformer. - num_attention_heads (
int, tùy chọn, mặc định là16) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer. - hidden_act (
str, tùy chọn, mặc định làsilu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ,"gelu","relu","silu", v.v. - attention_dropout (
Union[float, int], tùy chọn, mặc định là0.0) — Tỷ lệ dropout cho các xác suất chú ý. - initializer_range (
float, tùy chọn, mặc định là0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số. - rope_theta (
float, tùy chọn, mặc định là 100.0) — Chu kỳ cơ bản của các nhúng RoPE. - image_size (
Union[int, list[int], tuple[int, int]], tùy chọn, mặc định là224) — Kích thước (độ phân giải) của mỗi hình ảnh. - num_channels (
int, tùy chọn, mặc định là3) — Số lượng kênh đầu vào. - query_bias (
bool, tùy chọn, mặc định làTrue) — Có thêm bias vào phép chiếu query hay không. - key_bias (
bool, tùy chọn, mặc định làFalse) — Có thêm bias vào phép chiếu key hay không. - value_bias (
bool, tùy chọn, mặc định làTrue) — Có thêm bias vào phép chiếu giá trị hay không. - proj_bias (
bool, tùy chọn, mặc định làTrue) — Có thêm bias vào phép chiếu đầu ra hay không. - mlp_bias (
bool, tùy chọn, mặc định làTrue) — Có sử dụng bias trong các lớp up_proj, down_proj và gate_proj của các lớp MLP hay không. - layerscale_value (
float, tùy chọn, mặc định là 1.0) — Giá trị ban đầu để sử dụng cho layer scale. - drop_path_rate (
Union[float, int], tùy chọn, mặc định là0.0) — Tỷ lệ drop path cho việc hợp nhất patch. - use_gated_mlp (
bool, tùy chọn, mặc định làFalse) — Có sử dụng mạng nơ-ron tiền truyền SwiGLU hay không. - num_register_tokens (
int, tùy chọn, mặc định là 0) — Số lượng token đăng ký. - pos_embed_shift (
float, tùy chọn) — Mức độ dịch chuyển ngẫu nhiên tọa độ nhúng vị trí trong khoảng [-shift, shift], chỉ được áp dụng ở chế độ huấn luyện nếu không phảiNone. - pos_embed_jitter (
float, tùy chọn) — Mức độ nhiễu ngẫu nhiên cho tọa độ position embedding theo phân phối log-uniform trong khoảng [1/jitter, jitter], chỉ được áp dụng ở chế độ training nếu không phảiNone. - pos_embed_rescale (
float, tuỳ chọn, mặc định là 2.0) — Mức độ để ngẫu nhiên điều chỉnh lại các toạ độ của position embedding theo giá trị log-uniform trong khoảng [1/rescale, rescale], chỉ được áp dụng ở chế độ training nếu không phảiNone. - reshape_hidden_states (
bool, tùy chọn, mặc định làTrue) — Có nên định dạng lại hidden states thành các chiều không gian khi được sử dụng làm backbone hay không. - use_mask_token (
bool, tùy chọn, mặc định làFalse) — Có sử dụng token mask trong embeddings hay không (cần thiết cho tiền huấn luyện mô hình hóa ảnh có mask). - rms_norm_eps (
float, tùy chọn, mặc định là 1e-6) — Epsilon cho các lớp chuẩn hóa RMS. - normalize_backbone_outputs (
bool, tùy chọn, mặc định làTrue) — Liệu có áp dụng RMSNorm cho các đầu rafeature_mapsvàcls_tokenscủa backbone trước khi trả về chúng từ bước forward hay không. Chỉ áp dụng khi mô hình được sử dụng như một backbone. - use_qk_norm (
bool, tùy chọn, mặc định làTrue) — Có áp dụng RMSNorm cho queries và keys trước RoPE trong các lớp attention hay không. - num_key_value_heads_per_layer (
list[int], tuỳ chọn) — Số lượng đầu key/value cho mỗi lớp transformer. Đặt giá trị của một lớp bằngnum_attention_headssẽ cho phép chú ý đa đầu đầy đủ; giá trị nhỏ hơn sẽ cho phép chú ý truy vấn nhóm. Mặc định lànum_attention_headschonum_first_full_attention_layerslớp đầu tiên vànum_last_full_attention_layerslớp cuối cùng, vànum_key_value_attention_headscho tất cả các lớp còn lại. - num_key_value_attention_heads (
int, tùy chọn, mặc định là8) — Số lượng đầu key/value cho các lớp sử dụng grouped-query attention khinum_key_value_heads_per_layerkhông được đặt. Bỏ qua khinum_key_value_heads_per_layerđược đặt. - num_first_full_attention_layers (
int, tuỳ chọn, mặc định là 8) — Số lượng các lớp transformer đầu tiên sử dụng chú ý đa đầu đầy đủ. Chỉ được sử dụng khinum_key_value_heads_per_layerlàNone. - num_last_full_attention_layers (
int, tuỳ chọn, mặc định là 8) — Số lượng các lớp transformer cuối cùng sử dụng chú ý đa đầu đầy đủ. Chỉ được sử dụng khinum_key_value_heads_per_layerlàNone. - semantic_loss_ignore_index (
int, tùy chọn, mặc định là 255) — Chỉ số nhãn bị bỏ qua khi tính toán tổn thất phân đoạn. - flip_pairs (
list[list[int]], tuỳ chọn) — Các cặp chỉ số điểm then được phản chiếu theo chiều ngang (ví dụ: tai trái ↔ tai phải). Mỗi cặp là một danh sách hai phần tử[left_index, right_index]. Được dùng cho tăng dữ liệu lật ngang tại thời điểm kiểm tra trong ước lượng tư thế: truyền các cặp này vào lần gọi forward thứ hai để mô hình lật lại các bản đồ nhiệt trước khi trả về chúng. - head_config (
Sapiens2HeadConfig, tùy chọn) — Cấu hình cho đầu giải mã. Xem Sapiens2HeadConfig để biết các tùy chọn khả dụng.
Đây là lớp cấu hình để lưu trữ cấu hình của một Sapiens2Model. Nó được sử dụng để khởi tạo một mô hình Sapiens2 theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của facebook/sapiens2-pretrain-0.4b
Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.
Sapiens2HeadConfig
lớp transformers.Sapiens2HeadConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneupsample_out_channels: list[int] | None = Noneupsample_kernel_sizes: list[int] | None = Noneupsample_kernel_size: int = 4use_pixel_shuffle: bool | None = Noneconv_out_channels: list[int] | None = Noneconv_kernel_sizes: list[int] | None = Noneconv_kernel_size: int = 1scale_conv_out_channels: list[int] | None = Nonescale_conv_kernel_sizes: list[int] | None = Nonescale_conv_kernel_size: int = 1scale_final_input_size: int | None = Nonescale_final_hidden_sizes: list[int] | None = None )
Tham số
- upsample_out_channels (
list[int], tùy chọn) — Số lượng kênh đầu ra cho mỗi khối upsample. Khối đầu tiên nhậnhidden_sizekênh làm đầu vào; các khối tiếp theo sử dụng đầu ra của khối trước đó. - upsample_kernel_sizes (
list[int], tùy chọn) — Kích thước kernel cho mỗi khối upsample. Được tự động điền bằng[4, ...]khiupsample_out_channelsđược đặt nhưng giá trị này làNone. Phải có cùng độ dài vớiupsample_out_channels. - upsample_kernel_size (
int, mặc định là 4) — Kích thước kernel mặc định cho các khối upsample khiupsample_kernel_sizeskhông được đặt. - use_pixel_shuffle (
bool, tùy chọn) — Xác định xem đầu upsample có sử dụng pixel-shuffle upsampling thay vì transposed convolutions hay không. KhiNone(mặc định), đầu sẽ sử dụng transposed convolutions. - conv_out_channels (
list[int], tùy chọn) — Số lượng kênh đầu ra cho các lớp conv tinh chỉnh đi theo sau các khối upsample. - conv_kernel_sizes (
list[int], tùy chọn) — Kích thước kernel cho mỗi lớp conv tinh chỉnh. Được tự động điền bằng[1, ...]khiconv_out_channelsđược đặt nhưng giá trị này làNone. Phải có cùng độ dài vớiconv_out_channels. - conv_kernel_size (
int, mặc định là 1) — Kích thước kernel mặc định cho các lớp conv khiconv_kernel_sizeskhông được đặt. - scale_conv_out_channels (
list[int], tùy chọn) — Số lượng kênh đầu ra cho các lớp conv có stride-2 được dùng để dự đoán thang đo tiêu cự. KhiNone(mặc định), không xây dựng nhánh scale. - scale_conv_kernel_sizes (
list[int], tùy chọn) — Kích thước kernel cho từng lớp conv theo scale. Được tự động điền bằng[1, ...]khiscale_conv_out_channelsđược đặt nhưng giá trị này làNone. Phải có cùng độ dài vớiscale_conv_out_channels. - scale_conv_kernel_size (
int, mặc định là 1) — Kích thước kernel mặc định cho các lớp conv của scale khiscale_conv_kernel_sizeskhông được đặt. - scale_final_input_size (
int, tuỳ chọn) — Kích thước đặc trưng đã được làm phẳng được truyền vào scale MLP. KhiNone(mặc định), giá trị này được suy ra tự động từimage_sizevàpatch_sizetrong Sapiens2Config cha. - scale_final_hidden_sizes (
list[int], tùy chọn) — Kích thước các lớp ẩn của MLP ánh xạ các đặc trưng scale đã được làm phẳng sang đầu ra scale dạng vô hướng. KhiNone(mặc định), không xây dựng nhánh scale.
Đây là lớp cấu hình để lưu trữ cấu hình của một Sapiens2Model. Nó được sử dụng để khởi tạo một mô hình Sapiens2 theo các đối số được chỉ định, xác định kiến trúc mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như của facebook/sapiens2-seg-0.4b
Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.
Sapiens2ImageProcessor
lớp transformers.Sapiens2ImageProcessor
< source >( **kwargs: *<class 'transformers.models.sapiens2.image_processing_sapiens2.Sapiens2ImageProcessorKwargs'> )
Tham số
- do_convert_rgb (
bool, kwargs, optional) — Có nên chuyển đổi ảnh sang RGB hay không. - do_resize (
bool, kwargs, tuỳ chọn, mặc định làTrue) — Có nên thay đổi kích thước ảnh hay không. - size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, mặc định là{'height' -- 1024, 'width': 768}): Mô tả kích thước đầu vào tối đa cho mô hình. - default_to_square (
bool, kwargs, tùy chọn, mặc định làTrue) — Có nên mặc định dùng ảnh vuông khi thay đổi kích thước không, nếu size là một số nguyên. - crop_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, mặc định là{'height' -- 224, 'width': 224}): Kích thước của ảnh đầu ra sau khi áp dụngcenter_crop. - resample (
Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, mặc định là2) — Bộ lọc lấy mẫu lại (resampling filter) được sử dụng khi thay đổi kích thước ảnh. Giá trị này có thể là một trong các hằng số liệt kê (enum) củaPILImageResampling. Chỉ có hiệu lực khido_resizeđược đặt thànhTrue. - do_rescale (
bool, kwargs, tuỳ chọn, mặc định làTrue) — Có nên điều chỉnh lại tỷ lệ ảnh hay không. - rescale_factor (
float, kwargs, optional, mặc định là0.00392156862745098) — Hệ số rescale để rescale ảnh nếudo_rescaleđược đặt thànhTrue. - do_normalize (
bool, kwargs, tuỳ chọn, mặc định làTrue) — Có nên chuẩn hóa hình ảnh hay không. - image_mean (
Union[float, list[float], tuple[float, ...]], kwargs, optional, mặc định là[0.485, 0.456, 0.406]) — Giá trị trung bình của ảnh để sử dụng cho việc chuẩn hóa. Chỉ có hiệu lực nếudo_normalizeđược đặt thànhTrue. - image_std (
Union[float, list[float], tuple[float, ...]], kwargs, optional, mặc định là[0.229, 0.224, 0.225]) — Độ lệch chuẩn của ảnh để sử dụng cho việc chuẩn hóa. Chỉ có hiệu lực nếudo_normalizeđược đặt thànhTrue. - do_pad (
bool, kwargs, tuỳ chọn, mặc định làFalse) — Có nên đệm (pad) ảnh hay không. Việc đệm được thực hiện đến kích thước lớn nhất trong batch hoặc đến một kích thước vuông cố định cho mỗi ảnh. Chiến lược đệm cụ thể phụ thuộc vào mô hình. - pad_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Kích thước ở dạng{"height": int, "width" int}để đệm cho các hình ảnh. Phải lớn hơn kích thước bất kỳ hình ảnh nào được cung cấp để tiền xử lý. Nếu không cung cấppad_size, các hình ảnh sẽ được đệm đến chiều cao và chiều rộng lớn nhất trong lô. Chỉ được áp dụng khido_pad=True. - do_center_crop (
bool, kwargs, tuỳ chọn, mặc định làFalse) — Có nên cắt ảnh theo tâm hay không. - data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Chỉ hỗ trợChannelDimension.FIRST. Được thêm vào để tương thích với các bộ xử lý chậm. - input_data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, tùy chọn) — Định dạng chiều kênh cho ảnh đầu vào. Nếu không được đặt, định dạng chiều kênh sẽ được suy ra từ ảnh đầu vào. Có thể là một trong các giá trị:"channels_first"hoặcChannelDimension.FIRST: ảnh ở định dạng (num_channels, height, width)."channels_last"hoặcChannelDimension.LAST: ảnh ở định dạng (height, width, num_channels)."none"hoặcChannelDimension.NONE: ảnh ở định dạng (chiều cao, chiều rộng).
- device (
Annotated[Union[str, torch.device, NoneType], None], kwargs) — Thiết bị để xử lý các video. Nếu không được đặt, thiết bị sẽ được suy ra từ các video đầu vào. - return_tensors (
Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Trả về các tensor được xếp chồng nếu được đặt thành'pt', ngược lại trả về một danh sách các tensor. - disable_grouping (
bool, kwargs, tuỳ chọn) — Có nên vô hiệu hóa việc nhóm các hình ảnh theo kích thước để xử lý chúng riêng lẻ thay vì theo lô hay không. Nếu là None, giá trị sẽ được đặt thành True nếu các hình ảnh nằm trên CPU, và False trong các trường hợp khác. Lựa chọn này dựa trên các quan sát thực nghiệm, như được mô tả chi tiết tại đây: https://github.com/huggingface/transformers/pull/38157 - image_seq_length (
int, kwargs, optional) — Số lượng token hình ảnh sẽ được sử dụng cho mỗi hình ảnh trong đầu vào. Được thêm vào để đảm bảo tương thích ngược, nhưng trong các mô hình tương lai, giá trị này nên được đặt như một thuộc tính của bộ xử lý. - do_reduce_labels (
bool, kwargs, tuỳ chọn, mặc định làself.do_reduce_labels) — Có giảm tất cả các giá trị nhãn của các bản đồ phân đoạn xuống 1 hay không. Thường được sử dụng cho các bộ dữ liệu mà 0 được dùng cho nền, và bản thân nền không được bao gồm trong tất cả các lớp của bộ dữ liệu (ví dụ ADE20k). Nhãn nền sẽ được thay thế bằng 255. - keypoint_heatmap_downscale_factor (
int, kwargs, tuỳ chọn, mặc định là 4) — Hệ số thu nhỏ kích thước heatmap đích so với kích thước đầu vào của mô hình. - keypoint_heatmap_sigma (
float, kwargs, optional, mặc định là 6.0) — Độ lệch chuẩn (sigma) của các phân phối Gaussian 2D được sử dụng để tạo ra các heatmap.
Tạo một bộ xử lý ảnh Sapiens2ImageProcessor.
preprocess
< source >( images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']]segmentation_maps: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = Noneboxes: list[list[list[float]]] | None = Nonekeypoints: list[list[list[list[float]]]] | None = None**kwargs: *<class 'transformers.models.sapiens2.image_processing_sapiens2.Sapiens2ImageProcessorKwargs'> ) → ~image_processing_base.BatchFeature
Tham số
- images (
Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]) — Ảnh cần tiền xử lý. Kỳ vọng một ảnh đơn hoặc một lô ảnh với giá trị pixel từ 0 đến 255. Nếu truyền vào các ảnh có giá trị pixel từ 0 đến 1, hãy đặtdo_rescale=False. - segmentation_maps (
ImageInput, tùy chọn) — Các bản đồ phân đoạn cần tiền xử lý. - boxes (
list[list[list[float]]]hoặcnp.ndarray, tuỳ chọn) — Danh sách hoặc mảng chứa các bounding box cho mỗi ảnh. Mỗi box phải là một danh sách gồm 4 số float đại diện cho tọa độ bounding box theo định dạng COCO (top_left_x, top_left_y, width, height). Khi được cung cấp, mỗi crop của người sẽ được affine-warped về kích thước đầu vào của mô hình thay vì resize toàn bộ ảnh. - keypoints (
list[list[list[list[float]]]], optional) — Danh sách các điểm then chốt (keypoints) cho mỗi người trong mỗi ảnh. Định dạng mong đợi là[x, y, visibility]theo phong cách COCO. Các giá trịxvàyđược mong đợi là tọa độ pixel tuyệt đối của ảnh. Định dạng là[images -> persons -> keypoints -> [x, y, visibility]]. Được sử dụng để tạo bản đồ nhiệt (heatmap) và trọng số khả kiến (visibility weights) làm dữ liệu chuẩn (ground-truth) cho việc tinh chỉnh (fine-tuning) ước lượng tư thế (pose estimation). - do_convert_rgb (
bool, kwargs, optional) — Có nên chuyển đổi ảnh sang RGB hay không. - do_resize (
bool, kwargs, optional) — Có nên thay đổi kích thước ảnh hay không. - size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Mô tả các kích thước đầu vào tối đa của mô hình. - default_to_square (
bool, kwargs, tuỳ chọn) — Có mặc định thành ảnh vuông khi thay đổi kích thước hay không, nếu size là một số nguyên. - crop_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Kích thước của ảnh đầu ra sau khi áp dụngcenter_crop. - resample (
Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Bộ lọc lấy mẫu lại (resampling filter) được sử dụng khi thay đổi kích thước ảnh. Giá trị này có thể là một trong các hằng số liệt kê (enum) củaPILImageResampling. Chỉ có hiệu lực khido_resizeđược đặt thànhTrue. - do_rescale (
bool, kwargs, optional) — Có nên điều chỉnh lại tỷ lệ ảnh hay không. - rescale_factor (
float, kwargs, optional) — Hệ số rescale để rescale ảnh nếudo_rescaleđược đặt thànhTrue. - do_normalize (
bool, kwargs, optional) — Có nên chuẩn hóa ảnh hay không. - image_mean (
Union[float, list[float], tuple[float, ...]], kwargs, optional) — Giá trị trung bình của ảnh để sử dụng cho việc chuẩn hóa. Chỉ có hiệu lực nếudo_normalizeđược đặt thànhTrue. - image_std (
Union[float, list[float], tuple[float, ...]], kwargs, optional) — Độ lệch chuẩn của ảnh để sử dụng cho việc chuẩn hóa. Chỉ có hiệu lực nếudo_normalizeđược đặt thànhTrue. - do_pad (
bool, kwargs, optional) — Có nên chèn padding cho ảnh hay không. Padding được thực hiện đến kích thước lớn nhất trong batch hoặc đến một kích thước vuông cố định cho mỗi ảnh. Chiến lược padding cụ thể phụ thuộc vào model. - pad_size (
Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Kích thước ở dạng{"height": int, "width" int}để đệm cho các hình ảnh. Phải lớn hơn kích thước bất kỳ hình ảnh nào được cung cấp để tiền xử lý. Nếu không cung cấppad_size, các hình ảnh sẽ được đệm đến chiều cao và chiều rộng lớn nhất trong lô. Chỉ được áp dụng khido_pad=True. - do_center_crop (
bool, kwargs, optional) — Có nên cắt ảnh ở vị trí trung tâm hay không. - data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Chỉ hỗ trợChannelDimension.FIRST. Được thêm vào để tương thích với các bộ xử lý chậm. - input_data_format (
Union[str, ~image_utils.ChannelDimension], kwargs, tùy chọn) — Định dạng chiều kênh cho ảnh đầu vào. Nếu không được đặt, định dạng chiều kênh sẽ được suy ra từ ảnh đầu vào. Có thể là một trong các giá trị:"channels_first"hoặcChannelDimension.FIRST: ảnh ở định dạng (num_channels, height, width)."channels_last"hoặcChannelDimension.LAST: ảnh ở định dạng (height, width, num_channels)."none"hoặcChannelDimension.NONE: ảnh ở định dạng (chiều cao, chiều rộng).
- device (
Annotated[Union[str, torch.device, NoneType], None], kwargs) — Thiết bị để xử lý các video. Nếu không được đặt, thiết bị sẽ được suy ra từ các video đầu vào. - return_tensors (
Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Trả về các tensor được xếp chồng nếu được đặt thành'pt', ngược lại trả về một danh sách các tensor. - disable_grouping (
bool, kwargs, tuỳ chọn) — Có nên vô hiệu hóa việc nhóm các hình ảnh theo kích thước để xử lý chúng riêng lẻ thay vì theo lô hay không. Nếu là None, giá trị sẽ được đặt thành True nếu các hình ảnh nằm trên CPU, và False trong các trường hợp khác. Lựa chọn này dựa trên các quan sát thực nghiệm, như được mô tả chi tiết tại đây: https://github.com/huggingface/transformers/pull/38157 - image_seq_length (
int, kwargs, optional) — Số lượng token hình ảnh sẽ được sử dụng cho mỗi hình ảnh trong đầu vào. Được thêm vào để đảm bảo tương thích ngược, nhưng trong các mô hình tương lai, giá trị này nên được đặt như một thuộc tính của bộ xử lý. - do_reduce_labels (
bool, kwargs, tuỳ chọn, mặc định làself.do_reduce_labels) — Có giảm tất cả các giá trị nhãn của các bản đồ phân đoạn xuống 1 hay không. Thường được sử dụng cho các bộ dữ liệu mà 0 được dùng cho nền, và bản thân nền không được bao gồm trong tất cả các lớp của bộ dữ liệu (ví dụ ADE20k). Nhãn nền sẽ được thay thế bằng 255. - keypoint_heatmap_downscale_factor (
int, kwargs, tuỳ chọn, mặc định là 4) — Hệ số thu nhỏ kích thước heatmap đích so với kích thước đầu vào của mô hình. - keypoint_heatmap_sigma (
float, kwargs, optional, mặc định là 6.0) — Độ lệch chuẩn (sigma) của các phân phối Gaussian 2D được sử dụng để tạo ra các heatmap.
Trả về
~image_processing_base.BatchFeature
- data (
dict) — Từ điển chứa các danh sách/mảng/tensor được trả về bởi phương thức call (‘pixel_values’, v.v.). - tensor_type (
Union[None, str, TensorType], tùy chọn) — Bạn có thể cung cấp một tensor_type tại đây để chuyển đổi các danh sách số nguyên trong Tensor PyTorch/Numpy khi khởi tạo.
post_process_image_matting
< source >( outputstarget_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = Nonebackgrounds: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None ) → list[dict] of length batch_size. Each dict has
Tham số
- outputs (
Sapiens2ImageMattingOutput) — Đầu ra thô của mô hình. - target_sizes (
torch.Tensorhoặclist[tuple[int, int]]có độ dàibatch_size, tùy chọn) —(height, width)cuối cùng được yêu cầu cho mỗi dự đoán. Được resize bằng nội suy hai tuyến tính. Nếu không được đặt, các dự đoán sẽ được trả về ở độ phân giải đầu ra của mô hình. - backgrounds (
ImageInput, tùy chọn) — Ảnh nền để tổng hợp đè lên. Có thể là một ảnh duy nhất (áp dụng cho mọi phần tử trong batch) hoặc một danh sách ảnh, mỗi ảnh cho một phần tử batch. Chấp nhận ảnh PIL, mảng numpy, hoặc tensor torch với bất kỳ dtype nào; các kiểu số nguyên (ví dụ uint8) sẽ được quy đổi về[0, 1]một cách tự động. Khi được cung cấp, mỗi dict kết quả sẽ có thêm khóa"composite"chứa ảnh đã tổng hợp dưới dạng tensor uint8 trong khoảng[0, 255].
Trả về
list[dict] có độ dài batch_size. Mỗi dict có
"alpha"(torch.Tensorcó hình dạng(1, height, width)): các giá trị alpha trong[0, 1]."foreground"(torch.Tensorcó hình dạng(3, height, width)): RGB đã nhân trước trong khoảng[0, 1]."composite"(torch.Tensorcó hình dạng(3, height, width)hoặcNone): phần nền trước được tổng hợp trênbackgroundsdưới dạng tensor uint8 trong khoảng[0, 255];Nonekhibackgroundskhông được cung cấp.
Chuyển đổi đầu ra của Sapiens2ForImageMatting thành các tấm lưới alpha và bản đồ tiền cảnh.
post_process_normal_estimation
< source >( outputssource_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = Nonetarget_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = Nonedo_remove_padding: bool | None = None )
Tham số
- outputs (
Sapiens2NormalEstimatorOutput) — Đầu ra thô của mô hình. - source_sizes (
torch.Tensorhoặclist[tuple[int, int]]có độ dàibatch_size, tùy chọn) —(height, width)gốc của mỗi ảnh trước khi tiền xử lý. Khi được cung cấp, đệm được thêm vào trong quá trình tiền xử lý sẽ bị loại bỏ và các dự đoán được điều chỉnh kích thước trở lại kích thước ảnh gốc (trừ khitarget_sizesghi đè kích thước cuối cùng). - target_sizes (
torch.Tensorhoặclist[tuple[int, int]]có độ dàibatch_size, tùy chọn) —(height, width)cuối cùng được yêu cầu cho mỗi dự đoán. Khi được cung cấp, giá trị này được dùng làm mục tiêu thay đổi kích thước thay vìsource_sizes. Kích thước được thay đổi bằng nội suy hai tuyến tính sau khi chuẩn hóa L2. - do_remove_padding (
bool, tùy chọn) — Có nên cắt bỏ phần đệm bằng không được thêm vào trong quá trình tiền xử lý trước khi thay đổi kích thước hay không. Mặc định làTruekhisource_sizesđược cung cấp,Falsetrong các trường hợp khác.
Chuyển đổi đầu ra của Sapiens2ForNormalEstimation thành các bản đồ pháp tuyến bề mặt được chuẩn hóa L2.
post_process_pointmap_estimation
< source >( outputssource_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = Nonetarget_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = Nonedo_remove_padding: bool | None = None )
Tham số
- outputs (
Sapiens2PointmapEstimatorOutput) — Đầu ra thô của mô hình. - source_sizes (
torch.Tensorhoặclist[tuple[int, int]]có độ dàibatch_size, tùy chọn) —(height, width)gốc của mỗi ảnh trước khi tiền xử lý. Khi được cung cấp, đệm được thêm vào trong quá trình tiền xử lý sẽ bị loại bỏ và các dự đoán được điều chỉnh kích thước trở lại kích thước ảnh gốc (trừ khitarget_sizesghi đè kích thước cuối cùng). - target_sizes (
torch.Tensorhoặclist[tuple[int, int]]có độ dàibatch_size, tùy chọn) —(height, width)cuối cùng được yêu cầu cho mỗi dự đoán. Ghi đèsource_sizesnhư mục tiêu để thay đổi kích thước. - do_remove_padding (
bool, tùy chọn) — Có nên cắt bỏ phần đệm bằng không được thêm vào trong quá trình tiền xử lý trước khi thay đổi kích thước hay không. Mặc định làTruekhisource_sizesđược cung cấp,Falsetrong các trường hợp khác.
Chuyển đổi đầu ra của Sapiens2ForPointmapEstimation thành các tensor pointmap trong không gian ảnh.
post_process_pose_estimation
< source >( outputsboxes: listoutputs_flipped = Nonekernel_size: int = 11threshold: float | None = Nonesource_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = Nonetarget_sizes: transformers.utils.generic.TensorType | list[tuple[int, int]] | None = None ) → list[list[dict]]
Tham số
- outputs (
Sapiens2PoseEstimatorOutput) — Đầu ra thô của mô hình.outputs.heatmapsphải có hình dạng(N_total, num_keypoints, heatmap_height, heatmap_width)trong đóN_total = sum(len(b) for b in boxes). - boxes (
list[list[list[float]]]hoặcnp.ndarray) — Danh sách hoặc mảng các bounding box cho từng ảnh theo tọa độ pixel tuyệt đối. Mỗi box phải là một danh sách gồm 4 số float đại diện cho tọa độ bounding box theo định dạng COCO (top_left_x, top_left_y, width, height). Phải khớp với đối sốboxesđược truyền vàopreprocess. - outputs_flipped (
Sapiens2PoseEstimatorOutput, tuỳ chọn) — Kết quả từ việc chạy mô hình trên các đầu vào được lật ngang. Khi được cung cấp, các heatmap sẽ được trung bình vớioutputstrước khi trích xuất điểm then chốt để cải thiện độ chính xác:avg_heatmaps = (outputs.heatmaps + outputs_flipped.heatmaps) / 2. - kernel_size (
int, tùy chọn, mặc định là 11) — Kích thước kernel cho phép làm mờ Gaussian được sử dụng trong việc tinh chỉnh UDP Dark Pose. - threshold (
float, tùy chọn) — Ngưỡng điểm. Các điểm chính có điểm nhỏ hơn hoặc bằng giá trị này sẽ bị lọc khỏi các từ điển kết quả. - source_sizes (
torch.Tensorhoặclist[tuple[int, int]]có độ dàibatch_size, tùy chọn) —(height, width)gốc của mỗi ảnh tính bằng pixel. Bắt buộc khitarget_sizesđược cung cấp, vì đây là không gian tọa độ nguồn để thu phóng các điểm chính và hộp bao. - target_sizes (
torch.Tensorhoặclist[tuple[int, int]]có độ dàibatch_size, tùy chọn) — Không gian tọa độ đầu ra(height, width)mong muốn cho từng hình ảnh. Khi được cung cấp cùng vớisource_sizes, tọa độ điểm chính và hộp bao sẽ được phóng to/thu nhỏ từ không gian nguồn sang không gian đích.
Trả về
list[list[dict]]
Danh sách bên ngoài lặp qua các hình ảnh, danh sách bên trong lặp qua các người. Mỗi dict chứa:
keypoints(torch.Tensorcó hình dạng(num_keypoints, 2)): tọa độ x/y tuyệt đối trong không gian ảnh nguồn, hoặc trong không gian đích nếutarget_sizesđược cung cấp.scores(torch.Tensorcó hình dạng(num_keypoints,)): độ tin cậy cho từng điểm then chốt.labels(torch.LongTensorcó hình dạng(num_keypoints,)): các chỉ số điểm then chốt.bbox(torch.Tensorcó hình dạng(4,)): hộp bao quanh theo định dạng tuyệt đối (x_min, y_min, x_max, y_max), trong cùng không gian tọa độ vớikeypoints.
Chuyển đổi đầu ra của Sapiens2ForPoseEstimation thành các dự đoán điểm then chốt trong không gian ảnh.
post_process_semantic_segmentation
< source >( outputstarget_sizes: list[tuple] | None = Nonereturn_segmentation_scores: bool = False ) → list[torch.Tensor] or list[SemanticSegmentationPostProcessorOutput]
Tham số
- outputs (Sapiens2ForSemanticSegmentation) — Đầu ra thô của mô hình.
- target_sizes (
list[Tuple]có độ dàibatch_size, tùy chọn) — Danh sách các bộ ba tương ứng với kích thước cuối cùng (chiều cao, chiều rộng) được yêu cầu cho mỗi dự đoán. Nếu không được đặt, các dự đoán sẽ không được thay đổi kích thước. - return_segmentation_scores (
bool, tùy chọn, mặc định làFalse) — Có nên trả về điểm phân đoạn cùng với bản đồ phân đoạn hay không. KhiTrue, mỗi phần tử của danh sách được trả về là mộtSemanticSegmentationPostProcessorOutputvới các trườngsegmentation(các ID lớp, hình dạng(height, width)) vàsegmentation_scores(hình dạng(num_classes, height, width)).
Trả về
list[torch.Tensor] hoặc list[SemanticSegmentationPostProcessorOutput]
Khi
return_segmentation_scores=False (mặc định), kết quả là một danh sách có độ dài batch_size, trong đó mỗi phần tử là một
bản đồ phân đoạn có hình dạng (height, width) chứa các ID lớp. Khi return_segmentation_scores=True,
kết quả là một danh sách các SemanticSegmentationPostProcessorOutput với các trường segmentation (ID lớp, hình dạng
(height, width)) và segmentation_scores (hình dạng (num_classes, height, width)). Trong cả hai trường hợp,
(height, width) tương ứng với kích thước đích (nếu target_sizes được chỉ định).
Chuyển đổi đầu ra của Sapiens2ForSemanticSegmentation thành các bản đồ phân đoạn ngữ nghĩa.
Sapiens2Model
lớp transformers.Sapiens2Model
< source >( config: Sapiens2Config )
Tham số
- config (Sapiens2Config) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
Mô hình Sapiens2 cơ bản, xuất ra các hidden-state thô mà không có head cụ thể nào ở phía trên.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( pixel_values: Tensorbool_masked_pos: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → BaseModelOutputWithPooling or tuple(torch.Tensor)
Tham số
- pixel_values (
torch.Tensorcó hình dạng(batch_size, num_channels, image_size, image_size)) — Các tensor tương ứng với các hình ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng Sapiens2ImageProcessor. Xem Sapiens2ImageProcessor.call() để biết chi tiết (processor_classsử dụng Sapiens2ImageProcessor để xử lý hình ảnh). - bool_masked_pos (
torch.BoolTensorcó shape(batch_size, sequence_length), tuỳ chọn) — Các vị trí bị mask dạng Boolean. Chỉ ra các patch nào bị mask (1) và các patch nào không bị mask (0). Chỉ liên quan đến pre-training.
Trả về
BaseModelOutputWithPooling hoặc tuple(torch.Tensor)
Một BaseModelOutputWithPooling hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (Sapiens2Config) và đầu vào.
Phương thức forward của Sapiens2Model ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
last_hidden_state (
torch.Tensorcó hình dạng(batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.pooler_output (
torch.Tensorcó hình dạng(batch_size, hidden_size)) — Trạng thái ẩn của lớp cuối cùng của token đầu tiên trong chuỗi (token phân loại) sau khi được xử lý thêm qua các lớp được sử dụng cho tác vụ tiền huấn luyện bổ trợ. Ví dụ, đối với các mô hình thuộc họ BERT, giá trị này trả về token phân loại sau khi được xử lý qua một lớp tuyến tính và một hàm kích hoạt tanh. Trọng số của lớp tuyến tính được huấn luyện từ mục tiêu dự đoán câu tiếp theo (phân loại) trong quá trình tiền huấn luyện.hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Bộ tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, sequence_length, hidden_size).Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
Ví dụ:
>>> from transformers import AutoImageProcessor, AutoModel
>>> from transformers.image_utils import load_image
>>> import torch
>>> image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pretrain-0.4b")
>>> model = AutoModel.from_pretrained("facebook/sapiens2-pretrain-0.4b")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.inference_mode():
... outputs = model(**inputs)
>>> cls_token = outputs.pooler_output
>>> cls_token.shape
torch.Size([1, 1024])Sapiens2Backbone
lớp transformers.Sapiens2Backbone
< source >( config: Sapiens2Config )
Tham số
- config (Sapiens2Config) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
Khung xương Sapiens2.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( pixel_values: Tensor**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Sapiens2BackboneOutput or tuple(torch.Tensor)
Tham số
- pixel_values (
torch.Tensorcó hình dạng(batch_size, num_channels, image_size, image_size)) — Các tensor tương ứng với các hình ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng Sapiens2ImageProcessor. Xem Sapiens2ImageProcessor.call() để biết chi tiết (processor_classsử dụng Sapiens2ImageProcessor để xử lý hình ảnh).
Trả về
Sapiens2BackboneOutput hoặc tuple(torch.Tensor)
Một Sapiens2BackboneOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (Sapiens2Config) và đầu vào.
Phương thức forward của Sapiens2Backbone ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
feature_maps (
tuple(torch.Tensor)có hình dạng(batch_size, num_channels, height, width)) — Bản đồ đặc trưng của các giai đoạn.hidden_states (
tuple(torch.Tensor), tùy chọn, được trả về khi truyềnoutput_hidden_states=Truehoặc khiconfig.output_hidden_states=True) — Bộ tuple cáctorch.Tensor(một cho đầu ra của embeddings + một cho đầu ra của mỗi lớp) có shape(batch_size, sequence_length, hidden_size)hoặc(batch_size, num_channels, height, width), tùy thuộc vào backbone.Trạng thái ẩn của mô hình tại đầu ra của mỗi giai đoạn cùng với đầu ra của embedding ban đầu.
attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khi truyềnoutput_attentions=Truehoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length). Chỉ áp dụng nếu backbone sử dụng attention.Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
cls_tokens (
tuple(torch.Tensor), tùy chọn) — Token CLS từ mỗi giai đoạn đặc trưng được chọn, mỗi token có hình dạng(batch_size, hidden_size). Chỉ có mặt khiconfig.return_class_token=True.
Ví dụ:
>>> from transformers import AutoBackbone, AutoImageProcessor
>>> from transformers.image_utils import load_image
>>> import torch
>>> image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pretrain-0.4b")
>>> model = AutoBackbone.from_pretrained("facebook/sapiens2-pretrain-0.4b")
>>> inputs = image_processor(images=image, return_tensors="pt")
>>> with torch.inference_mode():
... outputs = model(**inputs, return_class_token=True)
>>> outputs.feature_maps[0].shape
torch.Size([1, 1024, 64, 48])
>>> outputs.cls_tokens[0].shape
torch.Size([1, 1024])Sapiens2ForImageMatting
lớp transformers.Sapiens2ForImageMatting
< source >( config: Sapiens2Config )
Tham số
- config (Sapiens2Config) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
Mô hình Sapiens2 với một đầu matting phía trên (một bộ giải mã dựa trên PixelShuffle dự đoán phần nền RGB đã nhân trước và một lớp alpha matte).
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( pixel_values: Tensorlabels: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Sapiens2ImageMattingOutput or tuple(torch.Tensor)
Tham số
- pixel_values (
torch.Tensorcó hình dạng(batch_size, num_channels, image_size, image_size)) — Các tensor tương ứng với các hình ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng Sapiens2ImageProcessor. Xem Sapiens2ImageProcessor.call() để biết chi tiết (processor_classsử dụng Sapiens2ImageProcessor để xử lý hình ảnh). - labels (
torch.Tensorcó hình dạng(batch_size, 4, height, width), tùy chọn) — Mục tiêu matting đúng (ground-truth) để tính toán loss.
Trả về
Sapiens2ImageMattingOutput hoặc tuple(torch.Tensor)
Một Sapiens2ImageMattingOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (Sapiens2Config) và đầu vào.
Phương thức forward của Sapiens2ForImageMatting ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
loss (
torch.Tensorcó hình dạng(1,), tùy chọn, được trả về khilabelsđược cung cấp) — Mất mát.alphas (
torch.Tensorcó hình dạng(batch_size, 1, height, width)) — Các giá trị alpha ước tính.hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi giai đoạn) có hình dạng(batch_size, sequence_length, hidden_size). Hidden-states (còn được gọi là feature maps) của mô hình tại đầu ra của mỗi giai đoạn.attentions (
tuple[torch.Tensor], tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
foregrounds (
torch.Tensorcó hình dạng(batch_size, 3, height, width)) — Dự đoán foreground RGB đã nhân trước trong khoảng[0, 1](đã kích hoạt sigmoid).
Ví dụ:
>>> from transformers import AutoImageProcessor, AutoModel
>>> from transformers.image_utils import load_image
>>> import torch
>>> image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-matting-1b")
>>> model = AutoModel.from_pretrained("facebook/sapiens2-matting-1b")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.inference_mode():
... outputs = model(**inputs)
>>> outputs.alphas.shape
torch.Size([1, 1, 1024, 768])
>>> outputs.foregrounds.shape
torch.Size([1, 3, 1024, 768])Sapiens2ForNormalEstimation
lớp transformers.Sapiens2ForNormalEstimation
< source >( config: Sapiens2Config )
Tham số
- config (Sapiens2Config) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
Mô hình Sapiens2 với một đầu ước lượng pháp tuyến phía trên (một bộ giải mã dựa trên PixelShuffle dự đoán các bản đồ pháp tuyến bề mặt).
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( pixel_values: Tensorlabels: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Sapiens2NormalEstimatorOutput or tuple(torch.Tensor)
Tham số
- pixel_values (
torch.Tensorcó hình dạng(batch_size, num_channels, image_size, image_size)) — Các tensor tương ứng với các hình ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng Sapiens2ImageProcessor. Xem Sapiens2ImageProcessor.call() để biết chi tiết (processor_classsử dụng Sapiens2ImageProcessor để xử lý hình ảnh). - labels (
torch.Tensorcó hình dạng(batch_size, num_labels, height, width), tùy chọn) — Bản đồ pháp tuyến bề mặt đúng (ground-truth) để tính toán loss.
Trả về
Sapiens2NormalEstimatorOutput hoặc tuple(torch.Tensor)
Một Sapiens2NormalEstimatorOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (Sapiens2Config) và đầu vào.
Phương thức forward của Sapiens2ForNormalEstimation ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
- loss (
torch.Tensorcó hình dạng(1,), tùy chọn, được trả về khilabelsđược cung cấp) — Lỗi ước lượng bình thường. - normals (
torch.Tensorcó hình dạng(batch_size, num_labels, height, width)) — Dự đoán bản đồ pháp tuyến thô do mô hình tạo ra (chưa được chuẩn hóa). - hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Tuple củatorch.Tensor(một cho đầu ra của embeddings + một cho đầu ra của mỗi giai đoạn) có hình dạng(batch_size, sequence_length, hidden_size). Hidden-states của mô hình tại đầu ra của mỗi lớp cùng với đầu ra embedding ban đầu. - attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khi truyềnoutput_attentions=Truehoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length). Trọng số chú ý sau softmax chú ý.
Ví dụ:
>>> from transformers import AutoImageProcessor, AutoModel
>>> from transformers.image_utils import load_image
>>> import torch
>>> image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-normal-0.4b")
>>> model = AutoModel.from_pretrained("facebook/sapiens2-normal-0.4b")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.inference_mode():
... outputs = model(**inputs)
>>> outputs.normals.shape
torch.Size([1, 3, 1024, 768])Sapiens2ForPointmapEstimation
lớp transformers.Sapiens2ForPointmapEstimation
< source >( config: Sapiens2Config )
Tham số
- config (Sapiens2Config) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
Mô hình Sapiens2 với đầu pointmap phía trên (một bộ giải mã dựa trên PixelShuffle dự đoán tọa độ 3D XYZ cho từng pixel, cùng một nhánh tỷ lệ tùy chọn để chuẩn hóa tiêu cự).
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( pixel_values: Tensorlabels: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Sapiens2PointmapEstimatorOutput or tuple(torch.Tensor)
Tham số
- pixel_values (
torch.Tensorcó hình dạng(batch_size, num_channels, image_size, image_size)) — Các tensor tương ứng với các hình ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng Sapiens2ImageProcessor. Xem Sapiens2ImageProcessor.call() để biết chi tiết (processor_classsử dụng Sapiens2ImageProcessor để xử lý hình ảnh). - labels (
torch.Tensorcó hình dạng(batch_size, 3, height, width), tùy chọn) — Pointmap đúng (ground-truth) để tính toán loss.
Trả về
Sapiens2PointmapEstimatorOutput hoặc tuple(torch.Tensor)
Một Sapiens2PointmapEstimatorOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (Sapiens2Config) và đầu vào.
Phương thức forward của Sapiens2ForPointmapEstimation ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
- loss (
torch.Tensorcó hình dạng(1,), tùy chọn, được trả về khilabelsđược cung cấp) — Tổn thất ước lượng Pointmap. - pointmaps (
torch.Tensorcó hình dạng(batch_size, 3, height, width)) — Dự đoán tọa độ XYZ 3D cho từng pixel trong không gian camera chuẩn. - scales (
torch.Tensorcó hình dạng(batch_size, 1), tùy chọn) — Tỷ lệ tiêu cự chuẩn / tiêu cự thực tế.Nonekhi không có nhánh scale nào được cấu hình. - hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Tuple củatorch.Tensor(một cho đầu ra của embeddings + một cho đầu ra của mỗi giai đoạn) có hình dạng(batch_size, sequence_length, hidden_size). Hidden-states của mô hình tại đầu ra của mỗi lớp cùng với đầu ra embedding ban đầu. - attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khi truyềnoutput_attentions=Truehoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length). Trọng số chú ý sau softmax chú ý.
Ví dụ:
>>> from transformers import AutoImageProcessor, AutoModel
>>> from transformers.image_utils import load_image
>>> import torch
>>> image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pointmap-0.4b")
>>> model = AutoModel.from_pretrained("facebook/sapiens2-pointmap-0.4b")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.inference_mode():
... outputs = model(**inputs)
>>> outputs.pointmaps.shape
torch.Size([1, 3, 1024, 768])Sapiens2ForPoseEstimation
lớp transformers.Sapiens2ForPoseEstimation
< source >( config: Sapiens2Config )
Tham số
- config (Sapiens2Config) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
Mô hình Sapiens2 với một đầu ước lượng tư thế phía trên (một bộ dự đoán bản đồ nhiệt phía trên đầu ra của các trạng thái ẩn).
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( pixel_values: Tensorflip_pairs: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.Tensor] = Nonelabel_weights: typing.Optional[torch.Tensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → Sapiens2PoseEstimatorOutput or tuple(torch.Tensor)
Tham số
- pixel_values (
torch.Tensorcó hình dạng(batch_size, num_channels, image_size, image_size)) — Các tensor tương ứng với các hình ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng Sapiens2ImageProcessor. Xem Sapiens2ImageProcessor.call() để biết chi tiết (processor_classsử dụng Sapiens2ImageProcessor để xử lý hình ảnh). - flip_pairs (
torch.Tensorcó hình dạng(num_pairs, 2), tùy chọn) — Các cặp điểm chính được phản chiếu (ví dụ: tai trái — tai phải), được sử dụng cho tăng cường lật tại thời điểm kiểm tra. Khi được cung cấp, mô hình giả định rằngpixel_valueschứa các hình ảnh đã được lật ngang và gọiflip_backtrên các bản đồ nhiệt đầu ra để khôi phục hướng gốc. - labels (
torch.Tensorcó hình dạng(batch_size, num_keypoints, height, width), tùy chọn) — Ground truth của heatmap để tính toán loss. - label_weights (
torch.Tensorcó hình dạng(batch_size, num_labels, 1, 1)hoặc(batch_size, num_labels, height, width), tùy chọn) — Trọng số hiển thị cho mỗi điểm then chốt. Phải có thể broadcast được sang hình dạng củalabels.
Trả về
Sapiens2PoseEstimatorOutput hoặc tuple(torch.Tensor)
Một Sapiens2PoseEstimatorOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (Sapiens2Config) và đầu vào.
Phương thức forward của Sapiens2ForPoseEstimation ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
loss (
torch.Tensorcó hình dạng(1,), tùy chọn, được trả về khilabelsđược cung cấp) — Lỗi ước lượng tư thế.heatmaps (
torch.Tensorcó hình dạng(batch_size, num_keypoints, height, width)) — Heatmaps do mô hình dự đoán.hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi giai đoạn) có hình dạng(batch_size, sequence_length, hidden_size). Hidden-states (còn được gọi là feature maps) của mô hình tại đầu ra của mỗi giai đoạn.attentions (
tuple[torch.Tensor, ...], tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, sequence_length, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
Ví dụ:
>>> from transformers import AutoImageProcessor, AutoModel
>>> from transformers.image_utils import load_image
>>> import torch
>>> image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-pose-0.4b")
>>> model = AutoModel.from_pretrained("facebook/sapiens2-pose-0.4b")
>>> boxes = [[[270.8, 0.6, 294.1, 379.5]]]
>>> inputs = image_processor(image, boxes=boxes, return_tensors="pt")
>>> with torch.inference_mode():
... outputs = model(**inputs)
>>> outputs.heatmaps.shape
torch.Size([1, 308, 256, 192])Sapiens2ForSemanticSegmentation
lớp transformers.Sapiens2ForSemanticSegmentation
< source >( config: Sapiens2Config )
Tham số
- config (Sapiens2Config) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.
Mô hình Sapiens2 với đầu phân đoạn ngữ nghĩa phía trên, ví dụ cho ADE20K, CityScapes.
Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)
Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.
forward
< source >( pixel_values: Tensorlabels: typing.Optional[torch.LongTensor] = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → SemanticSegmenterOutput or tuple(torch.Tensor)
Tham số
- pixel_values (
torch.Tensorcó hình dạng(batch_size, num_channels, image_size, image_size)) — Các tensor tương ứng với các hình ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng Sapiens2ImageProcessor. Xem Sapiens2ImageProcessor.call() để biết chi tiết (processor_classsử dụng Sapiens2ImageProcessor để xử lý hình ảnh). - labels (
torch.LongTensorcó shape(batch_size, height, width), tùy chọn) — Bản đồ phân đoạn ngữ nghĩa đúng (ground truth) để tính toán loss. Các chỉ số nên nằm trong[0, ..., config.num_labels - 1]. Nếuconfig.num_labels > 1, một loss phân loại sẽ được tính toán (Cross-Entropy).
Trả về
SemanticSegmenterOutput hoặc tuple(torch.Tensor)
Một SemanticSegmenterOutput hoặc một tuple của
torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các
thành phần khác nhau tùy thuộc vào cấu hình (Sapiens2Config) và đầu vào.
Phương thức forward của Sapiens2ForSemanticSegmentation ghi đè lên phương thức đặc biệt __call__.
Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của
Modulesau đó thay vì gọi hàm này, vì instanceModulesẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.
loss (
torch.Tensorcó shape(1,), optional, được trả về khilabelsđược cung cấp) — Loss phân loại (hoặc hồi quy nếu config.num_labels==1).logits (
torch.Tensorcó hình dạng(batch_size, config.num_labels, logits_height, logits_width)) — Điểm phân loại cho từng pixel.Các logits được trả về không nhất thiết có cùng kích thước với
pixel_valuesđược truyền vào. Điều này nhằm tránh thực hiện hai lần nội suy và mất một phần chất lượng khi người dùng cần điều chỉnh kích thước logits về kích thước ảnh gốc như một bước xử lý hậu kỳ. Bạn luôn nên kiểm tra hình dạng của logits và điều chỉnh kích thước khi cần.hidden_states (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_hidden_states=Trueđược truyền vào hoặc khiconfig.output_hidden_states=True) — Tuple củatorch.Tensor(một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng(batch_size, patch_size, hidden_size).Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
attentions (
tuple(torch.Tensor), tuỳ chọn, được trả về khioutput_attentions=Trueđược truyền vào hoặc khiconfig.output_attentions=True) — Tuple củatorch.Tensor(một cho mỗi lớp) có hình dạng(batch_size, num_heads, patch_size, sequence_length).Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
Ví dụ:
>>> from transformers import AutoImageProcessor, AutoModel
>>> from transformers.image_utils import load_image
>>> import torch
>>> image = load_image("http://images.cocodataset.org/val2017/000000004016.jpg")
>>> image_processor = AutoImageProcessor.from_pretrained("facebook/sapiens2-seg-0.4b")
>>> model = AutoModel.from_pretrained("facebook/sapiens2-seg-0.4b")
>>> inputs = image_processor(image, return_tensors="pt")
>>> with torch.inference_mode():
... outputs = model(**inputs)
>>> outputs.logits.shape
torch.Size([1, 29, 1024, 768])