Meta: Llama 3.1 8B Instruct

Erzeugt Text. Multimodale Varianten können zusätzliche Eingabeformate auswerten.

meta-llama/llama-3.1-8b-instruct · Entwickler Meta / Llama · 4 gelistete Routen

#Profil und Fähigkeiten

Hauptbereich: Text / Chat
Variante: Standard
Eingabe: Text
Ausgabe: Text
Kontextfenster: 131.072 Token
Maximale Ausgabe laut Katalog: 117.964 Token
Werkzeuge: Ja
Strukturiertes JSON: Ja
Im Katalog seit: 23.07.2024
Kanonische Modell-ID: meta-llama/llama-3.1-8b-instruct
Eingabe-/Ausgabe-Parameter: frequency_penalty, logit_bias, logprobs, max_tokens, min_p, presence_penalty, repetition_penalty, response_format, seed, stop, structured_outputs, temperature, tool_choice, tools, top_k, top_logprobs, top_p
API-Pfade: /api/v1/chat/completions /api/v1/completions /api/v1/messages /api/v1/responses
Modellkarte: meta-llama/Llama-3.1-8B-Instruct
Lizenzfeld der Modellkarte: llama3.1
Sprachcodes der Modellkarte: en, de, fr, it, pt, hi, es, th
Modellkarte · Kategorie: text-generation
Modellkarte · Bibliothek: transformers
Gewichtedateien: Zugang auf Hugging Face eingeschränkt

Die Modellkarte beschreibt die dort veröffentlichte Variante. Die technischen Limits und Preise von OpenRouter stehen in den Abschnitten zu Routen und Tarifen.

Modellart im Leitfaden einordnen

#Hosting-Anbieter und Messwerte

P50 ist der Median der jeweils veröffentlichten Messreihe. Preise in US-Dollar je Million Token. Medientarife stehen im nächsten Abschnitt. — steht für eine fehlende oder hier nicht anwendbare Angabe.

Routen, Preise und veröffentlichte Messwerte
Anbieter und Routing-Tag	Tier / Präzision	USD/Mio. Eingabe	USD/Mio. Ausgabe	Kontext	P50-Latenz (s)	P50 Token/s	Uptime 1 Tag
DeepInfra `deepinfra/fp8`	fp8	0,02	0,04	131.072	0,990	35,0	100,0 %
Groq `groq`	unknown	0,05	0,08	131.072	0,075	655,0	99,72 %
Cloudflare `cloudflare/fp8`	fp8	0,152	0,287	32.000	0,326	19,0	100,0 %
CoreWeave `coreweave/bf16`	bf16	0,22	0,22	131.072	0,302	123,0	100,0 %

Routing-Details, Limits, ZDR und Messfenster

ZDR-Status aus der öffentlichen OpenRouter-Liste. Der API-Statuscode wird als Rohwert angezeigt.

Technische und betriebliche Routenmerkmale
Anbieter und Routing-Tag	Region	Datenschutzangaben	Max. Eingabe	Max. Ausgabe	Messart und Stichprobe	Funktionen	Quellen
DeepInfra `deepinfra/fp8`	us	Gelistet · Aufbewahrung Nein · Training Nein	—	16.384	latency · 30 min · 66.182 Anfragen Durchsatz: 41.734 Anfragen · 30 min	—	Endpunkt-API · Messwerte
Groq `groq`	—	Gelistet · Aufbewahrung Nein · Training Nein	—	117.964	latency · 30 min · 12.907 Anfragen Durchsatz: 11.161 Anfragen · 30 min	Impliziter Cache · Werkzeuge	Endpunkt-API · Messwerte
Cloudflare `cloudflare/fp8`	—	Gelistet · Aufbewahrung Nein · Training Nein	—	28.800	latency · 30 min · 3.178 Anfragen Durchsatz: 379 Anfragen · 30 min	—	Endpunkt-API · Messwerte
CoreWeave `coreweave/bf16`	—	Gelistet · Aufbewahrung Nein · Training Nein	—	117.964	latency · 30 min · 2.812 Anfragen Durchsatz: 502 Anfragen · 30 min	Impliziter Cache · Werkzeuge · Strukturiertes JSON	Endpunkt-API · Messwerte

#Preise und Tarife

Preise im allgemeinen Modellkatalog
Preisposition	USD	Abrechnungseinheit
Eingabe	0,05	pro 1 Mio. Token
Ausgabe	0,08	pro 1 Mio. Token
Cache-Lesen	0,025	pro 1 Mio. Token

Eine Tarifposition kann in mehreren Quellen auftauchen. Abrechnungseinheit, Bedingung und Routing-Tag bestimmen, welcher Tarif gilt.

Spezialpreise, Zusatzleistungen und Kontextstaffeln
Geltungsbereich	Preisposition	Stufe / Bedingung	USD	Einheit	Quelle
Katalogweit	Cache-Lesen	—	0,025	pro 1 Mio. Token	Modellkatalog (Zusatztarife)
Groq `groq`	Cache-Lesen	—	0,025	pro 1 Mio. Token	Endpunkt-API (Zusatztarife)
CoreWeave `coreweave/bf16`	Cache-Lesen	—	0,22	pro 1 Mio. Token	Endpunkt-API (Zusatztarife)

#Benchmarks

Veröffentlichte Benchmark-Indizes
Artificial Analysis	Index
Coding Index	5,4

Methodik von Artificial Analysis

#Quellen und weitere Informationen

Zu dieser Zeile im vollständigen Katalog