Instructions to use Finisha-F-scratch/Nelya with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use Finisha-F-scratch/Nelya with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="Finisha-F-scratch/Nelya")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("Finisha-F-scratch/Nelya")
model = AutoModelForCausalLM.from_pretrained("Finisha-F-scratch/Nelya")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use Finisha-F-scratch/Nelya with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "Finisha-F-scratch/Nelya"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Finisha-F-scratch/Nelya",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/Finisha-F-scratch/Nelya

SGLang

How to use Finisha-F-scratch/Nelya with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "Finisha-F-scratch/Nelya" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Finisha-F-scratch/Nelya",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "Finisha-F-scratch/Nelya" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "Finisha-F-scratch/Nelya",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use Finisha-F-scratch/Nelya with Docker Model Runner:
```
docker model run hf.co/Finisha-F-scratch/Nelya
```
Browse Quantizations to use this model in llama.cpp, Ollama, LM Studio, or any compatible app.

🌸 Nelya - mini-Assistante Nekolienne

Nelya est un SLM (small language model), Crée from scratch (de zéro) à partir de notre modèle de fondation : Lam-4-zero-F.

Nelya excelle a générer des phrases en nekolien. Le nekolien est une langue artificielle, que nous avons imaginée et conçu nous même. Nous l'avons créées originairement pour nos chansons et notre créativité, Mais nous nous sommes dit qu'une IA qui parle notre langue n'était pas une mauvaise idée.

✨ Cas d'usage 🌸

- Créativité
- exploration de la langue

Vous pouvez générer du texte avec Nelya, Pour explorer la créativité de notre propre langue. Nelya prouve que les modèles de languages ne sont pas seulement des assistants généralistes qui parlent qu'anglais ou français, Ils peuvent parler le langage que vous souhaitez.

♥️ License de Nelya 🩷

Attention, l'utilisation de Nelya est régi par la licence Nelya-restrictive, qui n'est pas open source. Notre licence interdit tout affinage ou utilisation commerciale de Nelya.

✨ Amusée vous bien a utiliser Nelya ✨

Variante du nekolien de ce modèle : Nekolien original/centre.

Nelya respecte les règles de l'académie nekolienne : https://neko-lexicon-archives.lovable.app/