Tham số

• images (Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]], tuỳ chọn) — Hình ảnh cần tiền xử lý. Kỳ vọng một hình ảnh đơn lẻ hoặc một lô hình ảnh có giá trị pixel từ 0 đến 255. Nếu truyền vào các hình ảnh có giá trị pixel từ 0 đến 1, hãy đặt do_rescale=False.
• segmentation_maps (ImageInput, kwargs, tuỳ chọn) — Bản đồ phân đoạn (segmentation map) chuẩn để xử lý cùng với các hình ảnh đầu vào. Các bản đồ này được sử dụng cho mục đích huấn luyện hoặc đánh giá và sẽ được thay đổi kích thước cũng như chuẩn hóa để khớp với kích thước của hình ảnh đã được xử lý.
• input_points (NestedList, kwargs, optional) — Các điểm đầu vào cho phân đoạn dựa trên prompt. Phải là một danh sách lồng nhau có cấu trúc [image_level, object_level, point_level, [x, y]] trong đó mỗi điểm được chỉ định bằng tọa độ [x, y] trong không gian ảnh gốc. Các điểm sẽ được chuẩn hóa về kích thước ảnh đích trước khi được truyền vào mô hình.
• input_labels (NestedList, kwargs, tuỳ chọn) — Nhãn cho các điểm đầu vào, chỉ ra xem mỗi điểm là điểm tiền cảnh (1) hay hậu cảnh (0). Phải là một danh sách lồng nhau có cấu trúc [image_level, object_level, point_level]. Phải có cùng cấu trúc với input_points (không bao gồm chiều tọa độ).
• input_boxes (NestedList, kwargs, optional) — Các bounding box cho phân đoạn dựa trên prompt. Phải là một danh sách lồng nhau có cấu trúc [image_level, box_level, [x1, y1, x2, y2]] trong đó mỗi box được chỉ định bằng tọa độ [x1, y1, x2, y2] trong không gian ảnh gốc. Các box sẽ được chuẩn hóa về kích thước ảnh đích trước khi được truyền vào mô hình.
• point_pad_value (int, kwargs, optional, mặc định là None) — Giá trị được sử dụng để đệm các điểm đầu vào khi xử lý các chuỗi có độ dài khác nhau theo lô. Giá trị này đánh dấu các vị trí đã được đệm và được giữ nguyên trong quá trình chuẩn hóa tọa độ để phân biệt giữa các điểm thực và phần đệm. Nếu là None, giá trị đệm mặc định từ cấu hình bộ xử lý sẽ được sử dụng.
• mask_size (dict[str, *kwargs*, int], tuỳ chọn) — Từ điển chỉ định kích thước mask đích với các khóa "height" và "width". Tham số này xác định độ phân giải của các mask phân đoạn đầu ra do mô hình tạo ra.
• mask_pad_size (dict[str, *kwargs*, int], tuỳ chọn) — Từ điển chỉ định kích thước đệm cho các mask với các khóa "height" và "width". Tham số này được sử dụng khi gom các mask có kích thước khác nhau thành một batch để đảm bảo các chiều nhất quán.
• return_tensors (str hoặc TensorType, tùy chọn) — Nếu được đặt, sẽ trả về tensor của một framework cụ thể. Các giá trị chấp nhận được là:
  • 'pt': Trả về các đối tượng torch.Tensor của PyTorch.
  • 'np': Trả về các đối tượng np.ndarray của NumPy.
• **kwargs (ProcessingKwargs, optional) — Các tùy chọn xử lý bổ sung cho từng modality (text, images, videos, audio). Các tham số cụ thể của model được liệt kê ở trên; xem lớp TypedDict để biết danh sách đầy đủ các đối số được hỗ trợ.

Tham số

• pixel_values (torch.Tensor có hình dạng (batch_size, num_channels, image_size, image_size), tùy chọn) — Các tensor tương ứng với các hình ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng SamImageProcessor. Xem SamImageProcessor.call() để biết chi tiết (SamHQProcessor sử dụng SamImageProcessor để xử lý hình ảnh).

Tham số

• pixel_values (torch.Tensor có hình dạng (batch_size, num_channels, image_size, image_size), tùy chọn) — Các tensor tương ứng với các hình ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng SamImageProcessor. Xem SamImageProcessor.call() để biết chi tiết (SamHQProcessor sử dụng SamImageProcessor để xử lý hình ảnh).
• input_points (torch.Tensor có hình dạng (batch_size, num_points, 2)) — Các điểm không gian 2D đầu vào, được bộ mã hóa prompt sử dụng để mã hóa prompt. Thông thường cho kết quả tốt hơn đáng kể. Các điểm này có thể được lấy bằng cách truyền một danh sách các danh sách con vào bộ xử lý, bộ xử lý sẽ tạo ra các tensor torch tương ứng có chiều 4. Chiều đầu tiên là kích thước lô ảnh, chiều thứ hai là kích thước lô điểm (tức là số lượng mặt nạ phân đoạn mà chúng ta muốn mô hình dự đoán cho mỗi điểm đầu vào), chiều thứ ba là số điểm cho mỗi mặt nạ phân đoạn (có thể truyền nhiều điểm cho một mặt nạ duy nhất), và chiều cuối cùng là tọa độ x (dọc) và y (ngang) của điểm. Nếu số lượng điểm được truyền khác nhau cho mỗi ảnh, hoặc cho mỗi mặt nạ, bộ xử lý sẽ tạo ra các điểm “PAD” tương ứng với tọa độ (0, 0), và việc tính toán nhúng sẽ bị bỏ qua cho các điểm này bằng cách sử dụng nhãn.
• input_labels (torch.LongTensor có hình dạng (batch_size, point_batch_size, num_points)) — Nhãn đầu vào cho các điểm, được sử dụng bởi prompt encoder để mã hóa prompt. Theo triển khai chính thức, có 3 loại nhãn
  • 1: điểm đó là một điểm chứa đối tượng cần quan tâm
  • 0: điểm đó là một điểm không chứa đối tượng cần quan tâm
  • -1: điểm tương ứng với nền

  Chúng tôi đã thêm nhãn:

  • -10: điểm này là điểm đệm, do đó nên được bộ mã hóa prompt bỏ qua

  Các nhãn đệm nên được xử lý tự động bởi bộ xử lý.

• input_boxes (torch.Tensor có shape (batch_size, num_boxes, 4)) — Các hộp đầu vào cho các điểm, được prompt encoder sử dụng để mã hóa prompt. Thường cho ra các mask được tạo ra tốt hơn nhiều. Các hộp có thể được lấy bằng cách truyền một danh sách các danh sách con vào processor, từ đó tạo ra một torch tensor, trong đó mỗi chiều lần lượt tương ứng với kích thước batch ảnh, số lượng hộp trên mỗi ảnh và tọa độ của điểm góc trên bên trái và góc dưới bên phải của hộp. Theo thứ tự (x1, y1, x2, y2):
  • x1: tọa độ x của điểm góc trên bên trái của hộp đầu vào
  • y1: tọa độ y của điểm góc trên bên trái của hộp đầu vào
  • x2: tọa độ x của điểm góc dưới bên phải của hộp đầu vào
  • y2: tọa độ y của điểm góc dưới bên phải của hộp đầu vào
• input_masks (torch.Tensor có shape (batch_size, image_size, image_size)) — Mô hình SAM_HQ cũng chấp nhận các segmentation mask làm đầu vào. Mask sẽ được nhúng bởi prompt encoder để tạo ra một embedding tương ứng, sau đó được đưa vào mask decoder. Người dùng cần tự động cung cấp các mask này, và chúng phải có shape (batch_size, image_size, image_size).
• image_embeddings (torch.Tensor có shape (batch_size, output_channels, window_size, window_size)) — Các embedding của ảnh, được mask decoder sử dụng để tạo ra các mask và điểm iou. Để tính toán hiệu quả bộ nhớ hơn, người dùng có thể lấy trước các embedding của ảnh bằng phương thức get_image_embeddings, sau đó truyền chúng vào phương thức forward thay vì truyền pixel_values.
• multimask_output (bool, tùy chọn) — Trong bản triển khai và bài báo gốc, mô hình luôn xuất ra 3 mask cho mỗi ảnh (hoặc cho mỗi điểm / mỗi bounding box nếu liên quan). Tuy nhiên, có thể chỉ xuất ra một mask duy nhất, tương ứng với mask “tốt nhất”, bằng cách chỉ định multimask_output=False.
• hq_token_only (bool, tuỳ chọn, mặc định là False) — Liệu có chỉ sử dụng đường dẫn token HQ cho việc tạo mask hay không. Khi là False, sẽ kết hợp cả hai đường dẫn chuẩn và HQ. Điều này đặc thù cho kiến trúc của SAM-HQ.
• attention_similarity (torch.Tensor, tùy chọn) — Tensor tương đồng attention, được cung cấp cho mask decoder để thực hiện attention có hướng dẫn theo mục tiêu trong trường hợp mô hình được sử dụng cho cá nhân hóa như đã giới thiệu trong PerSAM.
• target_embedding (torch.Tensor, tùy chọn) — Embedding của khái niệm đích, được cung cấp cho bộ giải mã mặt nạ để thực hiện gợi ý ngữ nghĩa đích trong trường hợp mô hình được sử dụng cho cá nhân hóa như đã giới thiệu trong PerSAM.
• intermediate_embeddings (List[torch.Tensor], tùy chọn) — Các embedding trung gian từ các khối không có cửa sổ của bộ mã hóa thị giác, được SAM-HQ sử dụng để nâng cao chất lượng mask. Bắt buộc khi cung cấp image_embeddings đã tính toán sẵn thay vì pixel_values.