Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup
Paper • 2101.06983 • Published • 2
How to use phandat128/visbert-2epochs with sentence-transformers:
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("phandat128/visbert-2epochs")
sentences = [
"Nội_dung sát_hạch về kỹ_năng dừng tàu với thí_sinh_sát_hạch thực_hành lái tàu cấp giấy_phép lái tàu trên đường_sắt quốc_gia gồm những gì ?",
"Nội_dung , thời_gian sát_hạch \n 1 . Nội_dung sát_hạch thực_hiện theo quy_định tại khoản 1 Điều 44 của Thông_tư này . \n 2 . Thời_gian sát_hạch : Hội_đồng sát_hạch xem_xét , quyết_định căn_cứ vào từng loại tàu , tuyến đường_sắt khai_thác và đề_xuất của doanh_nghiệp .",
"Nội_dung sát_hạch \n 1 . Công_tác chuẩn_bị : Thí_sinh phải kiểm_tra sự đầy_đủ của các dụng_cụ quy_định , các ấn chỉ chạy_tàu cần_thiết . \n 2 . Chế_độ báo_cáo , hô đáp : Thí_sinh phải thực_hiện đầy_đủ chế_độ báo_cáo , hô đáp theo quy_định . \n 3 . Kỹ_năng dừng tàu : Thí_sinh phải dừng tàu 02 lần theo biểu_đồ chạy_tàu . Vị_trí dừng tàu được xác_định bằng cách đối_chiếu tim ghế_ngồi của lái tàu , theo phương vuông_góc với tim đường_sắt , với mốc chuẩn đã được quy_định trong đề sát_hạch . Vị_trí dừng tàu được xê_dịch trong khoảng cho phép như sau : \n a ) Đối_với phương_tiện động_lực chuyên_dùng đường_sắt : Trước không quá 03 mét hoặc vượt không quá 01 mét so với mốc chuẩn ; \n b ) Đối_với tàu khách : Trước không quá 06 mét hoặc vượt không quá 02 mét so với mốc chuẩn ; \n c ) Đối_với tàu hàng : Trước không quá 08 mét hoặc vượt không quá 04 mét so với mốc chuẩn . \n 4 . Kỹ_năng lái tàu : Thí_sinh phải thực_hiện đầy_đủ các yêu_cầu kỹ_thuật theo quy_định , lái tàu chạy đúng thời_gian quy_định trong biểu_đồ chạy_tàu , đúng công_lệnh tốc_độ và cảnh_báo hiện_hành . \n 5 . Kỹ_năng hãm tàu : Thí_sinh phải thực_hiện đầy_đủ các yêu_cầu kỹ_thuật theo quy_định .",
"NỘI_DUNG CỤ_THỂ CỦA TỪNG THỦ_TỤC HÀNH_CHÍNH THUỘC PHẠM_VI CHỨC_NĂNG QUẢN_LÝ CỦA BỘ GIAO_THÔNG VẬN_TẢI \n 1 . Cấp giấy_phép lái tàu cho lái tàu trên các tuyến đường_sắt đang khai_thác \n 1.1 . Trình_tự thực_hiện : \n a ) Nộp hồ_sơ TTHC : \n - Doanh_nghiệp , cá_nhân có nhu_cầu sát_hạch cấp giấy_phép lái tàu nộp hồ_sơ đến Cục Đường_sắt Việt_Nam . \n b ) Giải_quyết TTHC : \n - Cục Đường_sắt Việt_Nam tiếp_nhận và kiểm_tra hồ_sơ . Trường_hợp hồ_sơ không đầy_đủ theo quy_định thì Cục Đường_sắt Việt_Nam có trách_nhiệm hướng_dẫn tổ_chức , cá_nhân hoàn_thiện lại ngay trong ngày làm_việc ( đối_với trường_hợp nộp hồ_sơ trực_tiếp ) hoặc hướng_dẫn tổ_chức , cá_nhân hoàn_thiện hồ_sơ sau 02 ngày làm_việc , kể từ ngày nhận hồ_sơ ( đối_với trường_hợp nhận hồ_sơ qua đường bưu_chính hoặc bằng hình_thức phù_hợp khác ) . \n - Trong thời_hạn 02 ngày làm_việc kể từ ngày nhận được hồ_sơ đầy_đủ theo quy_định , Cục Đường_sắt Việt_Nam quyết_định thành_lập Hội_đồng sát_hạch cấp giấy_phép lái tàu , Tổ sát_hạch theo quy_định tại Điều 29 , Điều 30 Thông_tư này và thông_báo bằng văn_bản cho doanh_nghiệp , cá_nhân thời_gian , địa_điểm sát_hạch . Trong 03 ngày làm_việc , kể từ ngày có kết_quả sát_hạch , Cục Đường_sắt Việt_Nam thực_hiện cấp giấy_phép lái tàu . Trường_hợp không đủ điều_kiện cấp giấy_phép lái tàu phải có văn_bản trả_lời và nêu rõ lý_do . \n 1.2 . Cách_thức thực_hiện : \n - Nộp sơ trực_tiếp hoặc qua hệ_thống bưu_chính hoặc các hình_thức phù_hợp khác . \n ...",
"Hội_đồng sát_hạch cấp giấy_phép lái tàu \n 1 . Hội_đồng sát_hạch cấp giấy_phép lái tàu ( sau đây gọi là Hội_đồng sát_hạch ) do Cục_trưởng Cục Đường_sắt Việt_Nam thành_lập . \n 2 . Thành_phần của Hội_đồng sát_hạch có từ 05 đến 07 thành_viên , gồm : \n a ) Chủ_tịch Hội_đồng là lãnh_đạo Cục Đường_sắt Việt_Nam hoặc người được Cục_trưởng Cục Đường_sắt Việt_Nam_ủy quyền ; \n b ) Phó_Chủ_tịch Hội_đồng là lãnh_đạo doanh_nghiệp có thí_sinh tham_dự kỳ sát_hạch ; \n c ) Các thành_viên khác của Hội_đồng do Cục_trưởng Cục Đường_sắt Việt_Nam quyết_định . \n d ) Thành_phần Hội_đồng sát_hạch cấp giấy_phép lái tàu cho những lái tàu đầu_tiên trên các tuyến đường_sắt đô_thị mới đưa vào khai_thác , vận_hành có công_nghệ lần đầu sử_dụng tại Việt_Nam : ngoài thành_phần quy_định tại điểm a , điểm b và điểm c khoản này phải có thêm thành_phần Chủ đầu_tư dự_án ( hoặc tổ_chức được Chủ đầu_tư dự_án giao quản_lý dự_án đường_sắt đô_thị ) . \n ...",
"Điều 68 . Cơ_quan cấp giấy_phép lái tàu \n 1 . Tổ_chức sát_hạch , cấp , cấp lại , thu_hồi giấy_phép lái tàu theo thẩm_quyền , thủ_tục theo đúng quy_định tại Thông_tư này . \n 2 . Tổ_chức theo_dõi , quản_lý việc sử_dụng phôi giấy_phép lái tàu theo thẩm_quyền quy_định tại Thông_tư này . \n 3 . Thu và sử_dụng lệ_phí cấp , cấp lại giấy_phép lái tàu theo quy_định của pháp_luật . \n 4 . Thực_hiện chế_độ báo_cáo theo quy_định tại Thông_tư này . \n 5 . Thực_hiện cập_nhật dữ_liệu theo thẩm_quyền vào cơ_sở dữ_liệu quản_lý nhân_viên đường_sắt trực_tiếp phục_vụ chạy_tàu của Cục Đường_sắt Việt_Nam theo quy_định . \n 6 . Đối_với Cục Đường_sắt Việt_Nam , ngoài các trách_nhiệm nêu trên còn có trách_nhiệm tổ_chức bồi_dưỡng , cập_nhật kiến_thức , cấp thẻ sát_hạch viên theo quy_định tại Thông_tư này ; tổ_chức kiểm_tra , hướng_dẫn cơ_quan cấp giấy_phép lái tàu của địa_phương thực_hiện quy_định của Thông_tư này . \n 7 . Hồ_sơ , tài_liệu sát_hạch , cấp , cấp lại giấy_phép lái tàu được lưu_trữ tại cơ_quan cấp giấy_phép lái tàu trong thời_hạn tối_thiểu 20 năm . Việc tiêu_hủy tài_liệu hết thời_hạn lưu_trữ theo quy_định hiện_hành .",
"Thông_tư này quy_định về tiêu_chuẩn , nhiệm_vụ , quyền_hạn đối_với các chức_danh_nhân_viên đường_sắt trực_tiếp phục_vụ chạy_tàu ; nội_dung , chương_trình đào_tạo chức_danh_nhân_viên đường_sắt trực_tiếp phục_vụ chạy_tàu ; điều_kiện , nội_dung , quy_trình sát_hạch và cấp , cấp lại , thu_hồi giấy_phép lái tàu trên đường_sắt .",
"1 . Tiêu_chuẩn : \n a ) Có bằng tốt_nghiệp trình_độ cao_đẳng trở lên về điều_hành chạy_tàu_hỏa hoặc vận_tải đường_sắt đối_với nhân_viên điều_độ chạy_tàu ga trên đường_sắt quốc_gia và đường_sắt chuyên_dùng có nối ray với đường_sắt quốc_gia ; có bằng tốt_nghiệp trình_độ trung_cấp trở lên về điều_hành chạy_tàu_hỏa hoặc vận_tải đường_sắt đối_với nhân_viên điều_độ chạy_tàu ga trên đường_sắt chuyên_dùng không nối ray với đường_sắt quốc_gia ; \n b ) Có đủ điều_kiện sức_khỏe theo quy_định của Bộ_trưởng Bộ Y_tế ; \n c ) Có ít_nhất 01 năm đảm_nhận trực_tiếp công_việc của chức_danh trực_ban chạy_tàu ga ; \n d ) Đạt yêu_cầu sát_hạch về nghiệp_vụ điều_độ chạy_tàu ga do doanh_nghiệp sử_dụng chức_danh điều_độ chạy_tàu ga tổ_chức . \n 2 . Nhiệm_vụ : Trực_tiếp lập và tổ_chức thực_hiện kế_hoạch về lập tàu , xếp , dỡ hàng_hóa , đón tiễn hành_khách , tổ_chức công_tác dồn , đón tiễn tàu và các việc liên_quan khác tại nhà_ga theo biểu_đồ chạy_tàu , theo các mệnh_lệnh của nhân_viên điều_độ chạy_tàu tuyến , theo quy_chuẩn kỹ_thuật quốc_gia về khai_thác đường_sắt , tín_hiệu đường_sắt , quy_trình chạy_tàu và công_tác dồn đường_sắt . \n 3 . Quyền_hạn : \n a ) Tạm đình_chỉ chạy_tàu trong khu_vực ga nếu xét thấy có nguy_cơ mất an_toàn chạy_tàu và phải báo ngay cho nhân_viên điều_độ chạy_tàu tuyến biết ; \n b ) Đình_chỉ nhiệm_vụ đối_với các chức_danh trực_ban chạy_tàu ga , trưởng dồn , nhân_viên gác ghi , ghép_nối đầu_máy toa_xe khi lên ban có hành_vi vi_phạm_quy_chuẩn kỹ_thuật quốc_gia về khai_thác đường_sắt , tín_hiệu đường_sắt , quy_trình chạy_tàu và công_tác dồn đường_sắt , quy_trình tác_nghiệp uy_hiếp đến an_toàn chạy_tàu và báo ngay cho trưởng ga để bố_trí người thay_thế ; \n c ) Báo_cáo và đề_nghị doanh_nghiệp sử_dụng các chức_danh trưởng tàu , phó_trưởng tàu khách phụ_trách an_toàn , lái tàu , phụ lái tàu đình_chỉ nhiệm_vụ khi lên ban có hành_vi vi_phạm_quy_chuẩn kỹ_thuật quốc_gia về khai_thác đường_sắt , tín_hiệu đường_sắt , quy_trình chạy_tàu và công_tác dồn đường_sắt , quy_trình tác_nghiệp uy_hiếp an_toàn chạy_tàu .",
"Thực_hiện sát_hạch đối_với lái tàu đầu_tiên trên các tuyến đường_sắt đô_thị mới đưa vào khai_thác có công_nghệ lần đầu sử_dụng tại Việt_Nam \n ... \n 4 . Trách_nhiệm , quyền_hạn của Hội_đồng sát_hạch \n a ) Kiểm_tra tính đầy_đủ , hợp_lệ về các nội_dung của hồ_sơ đề_nghị cấp giấy_phép lái tàu và đánh_giá về điều_kiện cấp giấy_phép lái tàu của nhân_sự theo quy_định của Thông_tư này ; \n b ) Lập Biên_bản làm_việc của Hội_đồng sát_hạch theo mẫu quy_định tại Phụ_lục XIII ban_hành kèm theo Thông_tư này ; \n c ) Tổng_hợp , báo_cáo kết_quả kiểm_tra , đánh_giá hồ_sơ theo quy_định và đề_xuất , kiến_nghị cơ_quan cấp giấy_phép lái tàu cấp hoặc không cấp giấy_phép lái tàu cho thí_sinh , theo mẫu quy_định tại Phụ_lục XIV ban_hành kèm theo Thông_tư này . \n 5 . Thí_sinh được công_nhận đạt yêu_cầu khi được Hội_đồng sát_hạch đánh_giá hồ_sơ đầy_đủ , hợp_lệ theo quy_định ."
]
embeddings = model.encode(sentences)
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [9, 9]This is a sentence-transformers model finetuned from keepitreal/vietnamese-sbert on the train_bkai_2024 dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
SentenceTransformer(
(0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
First install the Sentence Transformers library:
pip install -U sentence-transformers
Then you can load this model and run inference.
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("sentence_transformers_model_id")
# Run inference
sentences = [
'Tiêu_chí để được công_nhận là cơ_sở công_nghiệp quốc_phòng là gì ?',
'Cơ_sở công_nghiệp quốc_phòng \n 1 . Tiêu_chí để được công_nhận là cơ_sở công_nghiệp quốc_phòng \n a ) Được cơ_quan nhà_nước có thẩm_quyền quyết_định thành_lập theo quy_định của pháp_luật ; \n b ) Đủ điều_kiện , thủ_tục tham_gia hoạt_động công_nghiệp quốc_phòng theo quyết_định của Thủ_tướng Chính_phủ ; \n c ) Được Nhà_nước đặt_hàng hoặc giao kế_hoạch để sản_xuất , cung_ứng một hoặc một_số sản_phẩm , chi_tiết sản_phẩm , dịch_vụ phục_vụ quốc_phòng , an_ninh . \n 2 . Bộ Quốc_phòng chủ_trì , phối_hợp với Bộ Công_Thương và Bộ , ngành liên_quan lập danh_sách các cơ_sở công_nghiệp quốc_phòng trình Thủ_tướng Chính_phủ_phê_duyệt trên cơ_sở tiêu_chí được quy_định tại khoản 1 Điều này . \n 3 . Hàng năm , Bộ Quốc_phòng chủ_trì , phối_hợp với các Bộ , ngành , cơ_quan liên_quan xác_định trình Thủ_tướng Chính_phủ quyết_định việc sửa_đổi , bổ_sung Danh_sách cơ_sở công_nghiệp quốc_phòng .',
'Điều_kiện tổ_chức đánh_giá , nghiệm_thu cấp Bộ Quốc_phòng \n 1 . Dự_án đầu_tư được Hội_đồng Khoa_học và Công_nghệ cấp Cơ_sở đánh_giá ở mức “ Đạt ” và có đủ hồ_sơ quy_định tại Điều 10 của Thông_tư này . \n 2 . Tờ_trình của cơ_quan , đơn_vị trực_thuộc Bộ Quốc_phòng đề_nghị đánh_giá , nghiệm_thu cấp Bộ Quốc_phòng ( theo Mẫu_số 10 . PL1 tại Phụ_lục I ban_hành kèm theo Thông_tư này ) .',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
anchor, positive, negative0, negative1, negative2, negative3, negative4, negative5, and negative6| anchor | positive | negative0 | negative1 | negative2 | negative3 | negative4 | negative5 | negative6 | |
|---|---|---|---|---|---|---|---|---|---|
| type | string | string | string | string | string | string | string | string | string |
| details |
|
|
|
|
|
|
|
|
|
| anchor | positive | negative0 | negative1 | negative2 | negative3 | negative4 | negative5 | negative6 |
|---|---|---|---|---|---|---|---|---|
Người học ngành quản_lý khai_thác công_trình thủy_lợi trình_độ cao_đẳng phải có khả_năng học_tập và nâng cao_trình_độ như thế_nào ? |
Khả_năng học_tập , nâng cao_trình_độ |
Giới_thiệu chung về ngành , nghề |
Giới_thiệu chung về ngành , nghề |
1 . Đào_tạo trình_độ trung_cấp yêu_cầu người học sau khi tốt_nghiệp phải có năng_lực thực_hiện được một_số công_việc có tính phức_tạp của ngành hoặc nghề ; có khả_năng ứng_dụng kỹ_thuật , công_nghệ vào công_việc , có khả_năng làm_việc độc_lập hoặc làm_việc theo nhóm , cụ_thể : |
Giới_thiệu chung về ngành , nghề |
Giới_thiệu chung về ngành , nghề |
Tiêu_chuẩn về trình_độ |
Kỹ_năng |
Nội_dung lồng_ghép vấn_đề bình_đẳng giới trong xây_dựng văn_bản quy_phạm_pháp_luật được quy_định thế_nào ? |
Nội_dung lồng_ghép vấn_đề bình_đẳng giới trong xây_dựng văn_bản quy_phạm_pháp_luật |
Điều 3 . |
1 . Cơ_quan , tổ_chức , cá_nhân đề_xuất xây_dựng văn_bản có trách_nhiệm làm rõ sự cần_thiết phải lồng_ghép vấn_đề bình_đẳng giới trong xây_dựng văn_bản quy_phạm_pháp_luật thông_qua : |
Thông_tư này quy_định về nguyên_tắc lồng_ghép vấn_đề bình_đẳng giới trong xây_dựng văn_bản quy_phạm_pháp_luật ; quy_trình lồng_ghép vấn_đề bình_đẳng giới trong xây_dựng văn_bản quy_phạm_pháp_luật và trách_nhiệm của cơ_quan chủ_trì soạn_thảo , cơ_quan thẩm_định , cơ_quan thẩm_tra trong việc thực_hiện lồng_ghép vấn_đề bình_đẳng giới trong quy_trình xây_dựng văn_bản quy_phạm_pháp_luật . |
Khoản 2 . Xây_dựng , soạn_thảo văn_bản quy_phạm_pháp_luật |
Nội_dung thẩm_định về bình_đẳng giới đối_với dự_thảo văn_bản được thực_hiện theo quy_định tại Điều 5 , Điều 6 , Điều 7 , Điều 8 và Điều 9 của Thông_tư này và bảo_đảm các nội_dung sau đây : |
Khoản 3 . Xây_dựng , soạn_thảo văn_bản quy_phạm_pháp_luật |
Nội_dung thẩm_tra_vấn_đề bình_đẳng giới trong dự_thảo văn_bản gồm các nội_dung sau đây : |
Sản_phẩm phần_mềm có được hưởng ưu_đãi về thời_gian miễn thuế , giảm thuế hay không ? Nếu được thì trong vòng bao_nhiêu năm ? |
" Điều 20 . Ưu_đãi về thời_gian miễn thuế , giảm thuế |
Mục IV. ƯU_ĐÃI THUẾ XUẤT_KHẨU , THUẾ_NHẬP_KHẨU |
Điều 1 . Phạm_vi điều_chỉnh và đối_tượng áp_dụng |
Điều 19 . Thuế_suất ưu_đãi |
g5 ) Các ví_dụ cụ_thể : Ví_dụ 1 : Năm 2010 , doanh_nghiệp thực_hiện dự_án đầu_tư mở_rộng tại địa_bàn không thuộc danh_mục địa_bàn ưu_đãi thuế . Trong kỳ tính thuế năm 2011 , dự_án phát_sinh doanh_thu và thu_nhập chịu thuế . Tính đến hết kỳ tính thuế năm 2016 , thu_nhập từ dự_án chưa được hưởng ưu_đãi thuế thu_nhập doanh_nghiệp . Trong kỳ tính thuế năm 2017 , dự_án được cấp Giấy xác_nhận ưu_đãi sản_xuất sản_phẩm công_nghiệp hỗ_trợ . Theo đó , dự_án được hưởng ưu_đãi về thuế thu_nhập doanh_nghiệp theo điều_kiện dự_án đầu_tư mở_rộng sản_xuất sản_phẩm công_nghiệp hỗ_trợ theo quy_định tại Luật số 71 / 2014 / QH13 và các văn_bản hướng_dẫn thi_hành kể từ kỳ tính thuế năm 2017 . Thời_gian ưu_đãi được hưởng được xác_định như sau : miễn thuế thu_nhập doanh_nghiệp 04 năm tính từ kỳ tính thuế năm 2017 đến năm 2020 , giảm 50 % số thuế thu_nhập doanh_nghiệp phải nộp trong 09 năm tiếp_theo tính từ kỳ tính thuế năm 2021 . Ví_dụ 2 : Năm 2010 , doanh_nghiệp thực_hiện dự_án đầu_tư mới tại địa_bàn Khu côn... |
Danh_mục nguyên_liệu , vật_tư , bán thành_phẩm phục_vụ cho việc đóng tàu mà trong nước đã sản_xuất được để làm căn_cứ thực_hiện việc miễn thuế nêu tại điểm này thực_hiện theo quy_định của Bộ Kế_hoạch và Đầu_tư . |
Khoản 1 . Nguyên_liệu , vật_tư , linh_kiện được miễn thuế_nhập_khẩu cho hoạt_động_sản_xuất sản_phẩm công_nghệ thông_tin , nội_dung số , phần_mềm đáp_ứng các tiêu_chí sau đây : |
Thời_gian ưu_đãi còn lại được xác_định như sau : thuế_suất thuế thu_nhập doanh_nghiệp 10 % trong thời_hạn 15 năm kể từ kỳ tính thuế năm 2018 ; miễn thuế thu_nhập doanh_nghiệp 02 năm kể từ kỳ tính thuế năm 2018 , giảm 50 % số thuế thu_nhập doanh_nghiệp phải nộp trong 05 năm tiếp_theo . Ví_dụ 3 : Năm 2014 , doanh_nghiệp thực_hiện dự_án đầu_tư mới tại địa_bàn có điều_kiện kinh_tế - xã_hội khó_khăn . Trong kỳ tính thuế năm 2014 , dự_án phát_sinh doanh_thu . Trong kỳ tính thuế năm 2015 , dự_án phát_sinh thu_nhập chịu thuế . Dự_án được hưởng ưu_đãi theo điều_kiện địa_bàn có điều_kiện kinh_tế - xã_hội khó_khăn , cụ_thể : thuế_suất 20 % trong thời_gian 10 năm tính từ kỳ tính thuế năm 2014 ( kể từ kỳ tính thuế 2016 áp_dụng thuế_suất 17 % ) ; miễn thuế thu_nhập doanh_nghiệp 02 năm tính từ kỳ tính thuế 2015 , giảm 50 % số thuế phải nộp trong 04 năm tiếp_theo . Tính đến hết kỳ tính thuế năm 2017 , dự_án đã hưởng ưu_đãi : số năm thuế_suất ưu_đãi 04 năm , số năm miễn thuế thu_nhập doanh_nghiệp 02 nă... |
CachedMultipleNegativesRankingLoss with these parameters:{
"scale": 20.0,
"similarity_fct": "cos_sim"
}
per_device_train_batch_size: 32gradient_accumulation_steps: 4learning_rate: 2e-05weight_decay: 0.1warmup_ratio: 0.1save_only_model: Truefp16: Truebatch_sampler: no_duplicatesoverwrite_output_dir: Falsedo_predict: Falseeval_strategy: noprediction_loss_only: Trueper_device_train_batch_size: 32per_device_eval_batch_size: 8per_gpu_train_batch_size: Noneper_gpu_eval_batch_size: Nonegradient_accumulation_steps: 4eval_accumulation_steps: Nonetorch_empty_cache_steps: Nonelearning_rate: 2e-05weight_decay: 0.1adam_beta1: 0.9adam_beta2: 0.999adam_epsilon: 1e-08max_grad_norm: 1.0num_train_epochs: 3max_steps: -1lr_scheduler_type: linearlr_scheduler_kwargs: {}warmup_ratio: 0.1warmup_steps: 0log_level: passivelog_level_replica: warninglog_on_each_node: Truelogging_nan_inf_filter: Truesave_safetensors: Truesave_on_each_node: Falsesave_only_model: Truerestore_callback_states_from_checkpoint: Falseno_cuda: Falseuse_cpu: Falseuse_mps_device: Falseseed: 42data_seed: Nonejit_mode_eval: Falseuse_ipex: Falsebf16: Falsefp16: Truefp16_opt_level: O1half_precision_backend: autobf16_full_eval: Falsefp16_full_eval: Falsetf32: Nonelocal_rank: 0ddp_backend: Nonetpu_num_cores: Nonetpu_metrics_debug: Falsedebug: []dataloader_drop_last: Truedataloader_num_workers: 0dataloader_prefetch_factor: Nonepast_index: -1disable_tqdm: Falseremove_unused_columns: Truelabel_names: Noneload_best_model_at_end: Falseignore_data_skip: Falsefsdp: []fsdp_min_num_params: 0fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}fsdp_transformer_layer_cls_to_wrap: Noneaccelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}deepspeed: Nonelabel_smoothing_factor: 0.0optim: adamw_torchoptim_args: Noneadafactor: Falsegroup_by_length: Falselength_column_name: lengthddp_find_unused_parameters: Noneddp_bucket_cap_mb: Noneddp_broadcast_buffers: Falsedataloader_pin_memory: Truedataloader_persistent_workers: Falseskip_memory_metrics: Trueuse_legacy_prediction_loop: Falsepush_to_hub: Falseresume_from_checkpoint: Nonehub_model_id: Nonehub_strategy: every_savehub_private_repo: Falsehub_always_push: Falsegradient_checkpointing: Falsegradient_checkpointing_kwargs: Noneinclude_inputs_for_metrics: Falseinclude_for_metrics: []eval_do_concat_batches: Truefp16_backend: autopush_to_hub_model_id: Nonepush_to_hub_organization: Nonemp_parameters: auto_find_batch_size: Falsefull_determinism: Falsetorchdynamo: Noneray_scope: lastddp_timeout: 1800torch_compile: Falsetorch_compile_backend: Nonetorch_compile_mode: Nonedispatch_batches: Nonesplit_batches: Noneinclude_tokens_per_second: Falseinclude_num_input_tokens_seen: Falseneftune_noise_alpha: Noneoptim_target_modules: Nonebatch_eval_metrics: Falseeval_on_start: Falseuse_liger_kernel: Falseeval_use_gather_object: Falseaverage_tokens_across_devices: Falseprompts: Nonebatch_sampler: no_duplicatesmulti_dataset_batch_sampler: proportional| Epoch | Step | Training Loss |
|---|---|---|
| 1.9185 | 1000 | 0.8391 |
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
@misc{gao2021scaling,
title={Scaling Deep Contrastive Learning Batch Size under Memory Limited Setup},
author={Luyu Gao and Yunyi Zhang and Jiawei Han and Jamie Callan},
year={2021},
eprint={2101.06983},
archivePrefix={arXiv},
primaryClass={cs.LG}
}
Base model
keepitreal/vietnamese-sbert