GbrlOl/fine-tune_utilizando_la_MNRL

SentenceTransformer based on sentence-transformers/all-MiniLM-L6-v2

This is a sentence-transformers model finetuned from sentence-transformers/all-MiniLM-L6-v2. It maps sentences & paragraphs to a 384-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: sentence-transformers/all-MiniLM-L6-v2
• Maximum Sequence Length: 256 tokens
• Output Dimensionality: 384 dimensions
• Similarity Function: Cosine Similarity

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 384, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
  (2): Normalize()
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("GbrlOl/fine-tune_utilizando_la_MNRL")
# Run inference
sentences = [
    '¿Cuáles son las etapas para evaluar los riesgos de las instalaciones mineras analizadas?',
    'Las instalaciones que fueron analizadas comprenden Seis (6) Minas Subterráneas: Concordia, Doña \nRosa, Estatuas, Antolín-Zúñiga, San Antonio y Mallín Mónica; Cinco (5) Depósitos de Relaves: Doña \nRosa, La Leñera, El Toqui, Auxiliar y Confluencia. \nPara evaluar los riesgos de las instalaciones, se realizaron las siguientes etapas: \n● Identificación de los riesgos. \n● Análisis de la probabilidad de ocurrencia del hecho. \n● Análisis de la severidad de las consecuencias para las personas y para el medio ambiente. \n● Evaluación de riesgos, donde se determina si este es significativo o no. \nLa evaluación de riesgos (riesgo puro) asociados a las principales instalaciones de la Faena, sirve \npara identificar las instalaciones que presentan un riesgo significativo, previo a la adopción de las \nmedidas de cierre propuestas, y que por lo tanto requieren de medidas de control para el cierre \ntemporal. \nComo resultado de la evaluación de riesgos, se obtuvie ron las medidas de cierre para cada una de \nlas instalaciones que se presentan en la siguiente tabla.',
    '23 \n \n \n85/11382/13328     Proyecto de Cierre Tranque de Relave N°4 Planta Cabildo, Región de Valparaíso  \nPlan de Cierre \nprevio al inicio del periodo de lluvias, la cual consiste en desmalezados, raleos y limpieza de los \nelementos que pueden haber caído al interior del canal. \nPor otra parte, para interceptar toda la escorrentía generada por las aguas lluvias provenientes del \nexterior y evitar la entrada de aguas lluvias al tranque, se proyecta una extensión del canal perimetral, \ndesarrollándose desde el sur-poniente del depósito, hasta el canal actual, el cual debe transportar un \ncaudal de 0,17 m3/s, poseerá una pendiente de un 1% su sección será prefabricada de hormigón con la \ngeometría especificada en el apartado de Diseños Hidráulicos del presente informe. \n7.2.5 Cierre de Accesos. \nSe prohíbe  o restringe el acceso de personas al tranque, para evitar potenciales accidentes mediante \ncierres perimetrales. No obstante, se tendrá un ingreso restringido a personal dedicado a las actividades \ndel control y mantención, mientras MLC continúe con sus actividades. El cerco utilizado actualmente, \ncorresponde a postes de madera y alambre púa, éste será el mismo que se utilizará en el sector cerro \nque actualmente no cuenta con cerco, tal como se indica en el Plano N° 8511382_H002.  Por otro lado, \nse cercará el sector de la cubeta donde se encuentra el canal perimetral, equivalente a 1379 m. Para el \ncerco se utilizarán Polines Sulfatados de 3 a 4 pulgadas, la distancia entre estos será de 3 m. y contará \ncon 3 corridas de alambre púa, más una malla galvanizada.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 384]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Training Details

Training Dataset

Unnamed Dataset

• Size: 527 training samples
• Columns: anchor and positive
• Approximate statistics based on the first 527 samples:

  	anchor	positive
  type	string	string
  details	min: 5 tokens mean: 32.24 tokens max: 69 tokens	min: 44 tokens mean: 236.35 tokens max: 256 tokens

• Samples:

  anchor	positive
  ¿Cuántas minas componen las minas a rajo abierto en la Mina Guanaco?	B ORRA DOR iii La Mina Guanaco, está ubicada en la Comuna de Taltal, Provincia de Antofagasta, a 220 km al sureste de la ciudad de la ciudad homónima, a una altitud cercana a los 2.700 msnm. Cuenta con seis minas donde el tipo de explotación es a rajo abierto y subterránea. Las minas que componen las minas a rajo abierto son cuatro y corresponden a: “Defensa, Dumbo, Perseverancia y Quillota”. Las minas subterráneas son dos y corresponden a “Cachinalito y Salvadora”. El distrito minero El Guanaco es conocido desde fine s del siglo pasado, cuando habitantes del poblado de la Aguada de Ca chinal, que surtían agua a las minas de Cachinal de la Sierra, descubrieron evidencias de mineralización aurífera en vetas de baritina. El mineral producido a partir de 1886 fue tratado por amalgamación en Taltal. Hasta el año 1890, se habrían producido más de 6.000 kg de oro, transportando la producción en ferrocarril que unía El Guanaco con Taltal. La mayor parte de la acti...
  ¿Altura máxima del depósito de relaves filtrado?	Plan de Cierre – Faena Salares Norte Anexo 18 Análisis de Estabilidad Botadero Sur y Depósito de Relaves Filtrados Febrero, 2020
  ¿Cuál es el objetivo del análisis de estabilidad realizado para el diseño del rajo en Salares Norte?	Plan de Cierre - Faena Minera Salares Norte

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Dataset

Unnamed Dataset

• Size: 132 evaluation samples
• Columns: anchor and positive
• Approximate statistics based on the first 132 samples:

  	anchor	positive
  type	string	string
  details	min: 14 tokens mean: 32.58 tokens max: 69 tokens	min: 54 tokens mean: 226.33 tokens max: 256 tokens

• Samples:

  anchor	positive
  ¿Cuáles son las características que deben ser evaluadas en un rango de 1 a 5 según la Guía mencionada en el texto?	La Guía establece una serie de características, las cuales deben ser evaluadas en un rango de 1 a 5, y además establece las condiciones que se deben dar para establecer el rango. En la Tabla 7-1 se presentan las características de las personas y los rangos para la evaluación. Por otro lado, al igual que en la det erminación de la probabilidad de ocurrencia, también se ha considerado como parte del análisis de la severidad de las consecuencias, la efectividad de las medidas de cierre comprometidas en la evaluación ambiental. Así, la severidad de las consecuencias a las personas estará determinada por la sumatoria de los rangos de las características de las personas combinada con la efectividad de las medidas de cierre propuestas, si existieran. De la misma forma, la Severidad de las Consecuencias al Medio Ambiente se determina a partir de las características del entorno (selección de un rango) y de la efectividad de las medidas de cierre comprometidas en la evaluación ambient...
  ¿Cuál es el ángulo de banco o de terraza del depósito de relaves filtrado?	A continuación, se presenta un resumen de los análisis d esarrollados para el botadero Sur. Al igual que en el análisis del botadero Norte, las secciones para analizar en el botadero Sur fueron definidas en base la estimación de perfiles más críticos, escogiendo aquellos con mayor altura y/o mayor ángulo global. Se utilizó la configuración de suelo de fundación más desfavorable (11,5 m de material aluvial sobre 5 m de material piroclástico) en todas las secciones. Este escenario no es necesariamente real a lo largo de la sección, pero es un criterio más conservador. Dado que el botadero Sur servirá de plataforma para el depósito de relaves filtrados, se analizaron dos secciones para la configuración final del botadero Sur en conjunto con el depósito de relaves filtrados en su condición final, denominadas Sección 1 y Sección 2. Una vista general del botadero Sur y el depósito de relaves filtrados, junto a las dos secciones nombradas anteriormente, se presentan en la Figura 8-...
  ¿Qué medidas se están tomando para mejorar el drenaje y minimizar la erosión en las piscinas del sector Pilas Estáticas y del sector SX?	(RNP) Manejo de residuos peligrosos (RP) Piscinas ILS-PLS (sector Pilas Estáticas) Cubrimiento de piscinas con suelo de valor edafológico Reperfilamiento del área para mejorar drenaje y minimizar erosión Piscina refino (sector SX) Cubrimiento de piscinas con suelo de valor edafológico Reperfilamiento del área para mejorar drenaje y minimizar erosión

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• num_train_epochs: 100
• warmup_ratio: 0.1
• fp16: True
• batch_sampler: no_duplicates

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: no
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• torch_empty_cache_steps: None
• learning_rate: 2e-05
• weight_decay: 0.0
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 100
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• tp_size: 0
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: None
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• include_for_metrics: []
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• use_liger_kernel: False
• eval_use_gather_object: False
• average_tokens_across_devices: False
• prompts: None
• batch_sampler: no_duplicates
• multi_dataset_batch_sampler: proportional

Training Logs

Epoch	Step	Training Loss
5.8824	100	1.1853
11.7647	200	0.2591
17.6471	300	0.1023
23.5294	400	0.0656
29.4118	500	0.0575
35.2941	600	0.0478
41.1765	700	0.0386
47.0588	800	0.0347
52.9412	900	0.0397
58.8235	1000	0.0334
64.7059	1100	0.0317
70.5882	1200	0.0353
76.4706	1300	0.0336
82.3529	1400	0.032
88.2353	1500	0.0313
94.1176	1600	0.0345
100.0	1700	0.0279

Framework Versions

• Python: 3.10.16
• Sentence Transformers: 4.1.0
• Transformers: 4.51.3
• PyTorch: 2.6.0+cu124
• Accelerate: 1.6.0
• Datasets: 3.5.0
• Tokenizers: 0.21.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}