Tenthe ai directory logo
Een Nieuw Perspectief op de VS-China AI Race: 2025 Ollama Implementatievergelijking en Inzichten in Wereldwijde AI Model Trends

Een Nieuw Perspectief op de VS-China AI Race: 2025 Ollama Implementatievergelijking en Inzichten in Wereldwijde AI Model Trends

Ryan@ryan
0 Weergaven0 Reacties

Ollama is een populair open-source hulpmiddel ontworpen om het lokaal draaien, creëren en delen van grote taalmodellen (LLM's) te vereenvoudigen. Het bundelt modelgewichten, configuratie en data in een pakket gedefinieerd door een Modelfile, en biedt een API voor interactie met deze modellen. Dit stelt ontwikkelaars en onderzoekers in staat om eenvoudig diverse geavanceerde AI-modellen te implementeren en te experimenteren op persoonlijke computers of servers.

1. Introductie

Ollama is een populair open-source hulpmiddel ontworpen om het lokaal draaien, creëren en delen van grote taalmodellen (LLM's) te vereenvoudigen. Het bundelt modelgewichten, configuratie en data in een pakket gedefinieerd door een Modelfile, en biedt een API voor interactie met deze modellen. Dit stelt ontwikkelaars en onderzoekers in staat om eenvoudig diverse geavanceerde AI-modellen te implementeren en te experimenteren op persoonlijke computers of servers.

Dit rapport heeft als doel implementatietrends, modelvoorkeuren, geografische distributie en netwerkkenmerken te onthullen door data te analyseren van 174.590 wereldwijd geïmplementeerde Ollama-instanties.

Opmerking: Datastatistieken in Hoofdstuk 5 en Hoofdstuk 7 zijn afkomstig van alle 174.590 instanties. Data in Hoofdstuk 6 is afkomstig van toegankelijke instanties. Om veiligheidsredenen hebben we geen statistieken over Ollama-versies vermeld.

  • Data per: 24 april 2025.

  • Bron Rapport: Tenthe AI https://tenthe.com

  • Auteur: Ryan

2. Samenvatting

Dit rapport is gebaseerd op de analyse van scangegevens en API-onderzoek van wereldwijd openbaar beschikbare Ollama-instanties. De belangrijkste bevindingen zijn:

  • Wereldwijd, van ongeveer 174.590 records initieel geïdentificeerd via Fofa (99.412 unieke IP's), werden 41.021 Ollama-instanties met toegankelijke API's succesvol onderzocht, verspreid over 24.038 unieke IP-adressen (een toegankelijkheidssnelheid van ongeveer 24,18%).

  • Geografisch gezien zijn de Verenigde Staten en China de landen met het hoogste aantal Ollama-implementaties. Cloudserviceproviders, met name AWS, Alibaba Cloud en Tencent Cloud, zijn de primaire hosts voor Ollama-instanties.

  • Modelimplementaties tonen diversiteit, met llama3, deepseek-r1, mistral, en modellen uit de qwen-serie die wijdverspreid populair zijn. Onder hen zijn llama3:latest en deepseek-r1:latest de twee meest geïmplementeerde modeltags.

  • Modellen met 7B-8B parameters zijn de topkeuze voor gebruikers, terwijl 4-bit gekwantiseerde modellen zoals Q4_K_M en Q4_0 wijdverbreid worden toegepast vanwege hun goede balans tussen prestaties en resourceverbruik.

  • De standaardpoort 11434 is het meest gebruikt, en de meeste instanties stellen diensten beschikbaar via het HTTP-protocol.

3. Databronnen en Methodologie

De data voor dit rapport is primair afkomstig uit twee fasen:

  1. Initiële Scan: Gebruikmakend van netwerkruimte zoekmachines zoals Fofa, met de voorwaarde app="Ollama" && is_domain=false, om initieel potentiële wereldwijd geïmplementeerde Ollama-instanties te identificeren. Deze fase vond 174.590 records, met 99.412 unieke IP's na deduplicatie.

  2. API Verificatie en Dataverrijking: Onderzoek van het ip:port/api/tags API-eindpunt voor de initieel gescande IP-adressen om de toegankelijkheid van Ollama-diensten te bevestigen en informatie te verkrijgen over de specifieke geïmplementeerde AI-modellen. Deze fase bevestigde 41.021 succesvol reagerende Ollama-instanties (van 24.038 unieke IP's, met data opgeslagen in de ollama tabel).

  3. De uiteindelijke data is opgeslagen in de ollama tabel.

De analyse in dit rapport is primair gebaseerd op data uit de ollama tabel, die records bevat van succesvol onderzochte API's en hun gedetailleerde informatie, inclusief IP, poort, geografische locatie en de JSON-respons (met de modellijst), enz.

4. Algemene Implementatiestatistieken

  • Aantal initiële records van Fofa scan: 174.590

  • Aantal unieke IP's van initiële Fofa scan: 99.412

  • Aantal Ollama-instanties met succesvolle toegang tot /api/tags: 41.021 (van records waarbij status = 'success' in de ollama tabel)

  • Aantal corresponderende unieke IP-adressen: 24.038 (van records waarbij status = 'success' in de ollama tabel)

  • Verhouding toegankelijke IP's tot initieel geïdentificeerde IP's: (24038 / 99412) * 100% ≈ 24,18%

Dit geeft aan dat van alle Ollama-instanties geïdentificeerd via Fofa, ongeveer een kwart hun /api/tags interface openbaar toegankelijk heeft, waardoor we informatie over hun geïmplementeerde modellen kunnen ophalen.

5. Geografische Distributie Analyse

5.1 Top 20 Implementatielanden/Regio's

De onderstaande tabel toont de top 20 landen/regio's gerangschikt naar het aantal unieke IP's met Ollama-instanties.

Rang

Land/Regio

Aantal Unieke IP's

1

United States

29195

2

China

16464

3

Japan

5849

4

Germany

5438

5

United Kingdom

4014

6

India

3939

7

Singapore

3914

8

South Korea

3773

9

Ireland

3636

10

France

3599

11

Australia

3558

12

Brazil

2909

13

Canada

2763

14

South Africa

2742

15

Sweden

2113

16

Hong Kong SAR, China

1277

17

Israel

675

18

Taiwan, China

513

19

Russia

475

20

Finland

308

Ollama Top 20 Deployment Countries/Regions

5.2 Top 20 Wereldwijde Stadsimplementaties

De onderstaande tabel toont de top 20 steden wereldwijd gerangschikt naar het aantal unieke IP's met Ollama-instanties.

Rang

Stad

Land/Regio

Aantal Unieke IP's

1

Ashburn

United States

5808

2

Portland

United States

5130

3

Singapore

Singapore

3914

4

Frankfurt am Main

Germany

3908

5

Beijing

China

3906

6

London

United Kingdom

3685

7

Columbus

United States

3672

8

Mumbai

India

3637

9

Dublin

Ireland

3631

10

Tokyo

Japan

3620

11

Sydney

Australia

3487

12

Paris

France

3175

13

San Jose

United States

2815

14

Sao Paulo

Brazil

2753

15

Cape Town

South Africa

2692

16

Montreal

Canada

2535

17

Seattle

United States

2534

18

Hangzhou

China

2447

19

Seoul

South Korea

2327

20

Osaka

Japan

2184

5.3 Top 10 Distributie in Amerikaanse Steden

Rang

Stad

Aantal Unieke IP's

1

Ashburn

5808

2

Portland

5130

3

Columbus

3672

4

San Jose

2815

5

Seattle

2534

6

Westlake Village

1714

7

Boardman

855

8

Florence

776

9

San Francisco

753

10

Boulder

642

Ollama Top 10 US City Distribution

5.4 Top 10 Distributie in Steden op het vasteland van China

Implementaties in Hong Kong en Taiwan worden niet weergegeven in de tabel van de top 10 steden, aangezien ze al zijn opgenomen in de statistieken per land/regio.

Rang

Stad

Land country_name)

Aantal Unieke IP's

1

Beijing

China

3906

2

Hangzhou

China

2447

3

Shanghai

China

1335

4

Guangzhou

China

1296

5

Shenzhen

China

768

6

Chengdu

China

469

7

Nanjing

China

329

8

Chongqing

China

259

9

Suzhou

China

257

10

Wuhan

China

249

Ollama Top 20 Global City Deployments

5.5 Vergelijking Implementatie in Top 10 Steden VS-China

Om de Ollama-implementaties op stadsniveau in de VS en China intuïtiever te vergelijken, zet de onderstaande tabel het aantal unieke IP-implementaties voor de top 10 steden in beide landen naast elkaar:

Rang

VS Stad (Top 10)

Aantal Unieke IP's VS

China Stad (Top 10)

Aantal Unieke IP's China

1

Ashburn

5808

Beijing

3906

2

Portland

5130

Hangzhou

2447

3

Columbus

3672

Shanghai

1335

4

San Jose

2815

Guangzhou

1296

5

Seattle

2534

Shenzhen

768

6

Westlake Village

1714

Chengdu

469

7

Boardman

855

Nanjing

329

8

Florence

776

Chongqing

259

9

San Francisco

753

Suzhou

257

10

Boulder

642

Wuhan

249

Ollama US-China Top 10 City Deployment Comparison

Korte Toelichting:

  • Toonaangevend Stadsvolume: De top 3 Amerikaanse steden (Ashburn, Portland, Columbus) hebben elk meer dan 3.000 unieke IP's met Ollama-implementaties. China's topstad (Beijing) heeft meer dan 3.000 implementaties, en de tweede stad (Hangzhou) heeft meer dan 2.000.

  • Technologie- en Economische Centra: Veel van de vermelde steden in beide landen zijn bekende centra voor technologische innovatie of belangrijke economische regio's.

  • Datacentrumbestemmingen: De opname van Amerikaanse steden zoals Ashburn weerspiegelt ook dat Ollama-instanties mogelijk grotendeels zijn geïmplementeerd binnen cloudservers en datacenters.

  • Distributieverschillen: Over het algemeen is het totale aantal IP's in de Amerikaanse Top 10 steden significant hoger dan in de Chinese Top 10 steden. Echter, beide landen tonen een patroon waarbij enkele kernsteden verantwoordelijk zijn voor het overgrote deel van de Ollama-implementaties.

Deze vergelijking op stadsniveau onthult verder dat de promotie en toepassing van Ollama, als ontwikkelaarstool, nauw verbonden zijn met regionale technologische ecosystemen en industriële ontwikkeling.

6. Model Analyse

6.1 Kort Overzicht van AI Modellen, Parameters en Kwantisatie

Ollama ondersteunt een verscheidenheid aan open-source grote taalmodellen. Deze modellen onderscheiden zich doorgaans door de volgende kenmerken:

6.1.1 Gangbare Modelfamilies

De huidige open-source gemeenschap heeft een opkomst gezien van uitstekende LLM-families, elk met zijn eigen kenmerken:

  • Llama Serie (Meta AI): Zoals Llama 2, Llama 3, Code Llama. Bekend om zijn krachtige algemene capaciteiten en uitgebreide gemeenschapsondersteuning, wat leidt tot talrijke gefinetunede versies. Modellen zoals llama3.1, hermes3 die in onze data worden gezien, zijn vaak gebaseerd op de Llama-architectuur.

  • Mistral Serie (Mistral AI): Zoals Mistral 7B, Mixtral 8x7B. Krijgt aandacht vanwege efficiëntie en hoge prestaties, met name de MoE (Mixture of Experts) modellen.

  • Gemma Serie (Google): Zoals Gemma 2B, Gemma 7B. Open-gewicht modellen uitgebracht door Google, met technologie afgeleid van hun krachtigere Gemini-modellen.

  • Phi Serie (Microsoft): Zoals Phi-2, Phi-3. Richt zich op kleine maar capabele modellen, met nadruk op "SLM's (Small Language Models)".

  • DeepSeek Serie (DeepSeek AI): Zoals DeepSeek Coder, DeepSeek LLM. Chinese AI-modellen die uitblinken in coderen en algemene taken.

  • Qwen Serie (Alibaba Tongyi Qianwen): Zoals Qwen1.5. Een serie modellen gelanceerd door Alibaba DAMO Academy, die meerdere talen en taken ondersteunt.

  • Er zijn vele andere uitstekende modellen, zoals Yi (01.AI), Command R (Cohere), enz.

Ollama stelt gebruikers via zijn Modelfile mechanisme in staat om deze basismodellen of hun gefinetunede versies eenvoudig te gebruiken. Modelnamen volgen vaak het formaat familie:grootte-variant-kwantisatie, bijvoorbeeld llama3:8b-instruct-q4_K_M.

6.1.2 Model Parameters (Parameter Grootte)

Het aantal modelparameters (meestal in B - miljard; of M - miljoen) is een belangrijke indicator van de schaal en potentiële capaciteit van een model. Gangbare parametergroottes zijn onder meer:

  • Kleine Modellen: < 7B (bijv. 1.5B, 2B, 3B). Draaien meestal snel met weinig resourceverbruik, geschikt voor specifieke taken of omgevingen met resourcebeperkingen.

  • Middelgrote Modellen: 7B, 8B, 13B. Bereiken een goede balans tussen capaciteit en resourceverbruik, momenteel een van de populairste groottes in de gemeenschap.

  • Grote Modellen: 30B, 33B, 40B, 70B+. Over het algemeen capabeler, maar vereisen ook meer computationele middelen (RAM, VRAM) en langere inferentietijden.

Het veld parameter_size in onze data (bijv. "8.0B", "7B", "134.52M") geeft dit aan.

6.1.3 Kwantisatie Versies (Kwantisatie Niveau)

Kwantisatie is een techniek om modelgrootte te reduceren en inferentie te versnellen door de numerieke precisie van modelgewichten te verlagen (bijv. van 16-bit floating-point FP16 naar 4-bit integer INT4).

  • Gangbare Kwantisatie Niveaus: Ollama en GGUF-formaat (gebruikt door Llama.cpp) ondersteunen diverse kwantisatiestrategieën, zoals Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_0, Q4_K_M, Q5_K_M, Q6_K, Q8_0, enz.

    • Het getal (bijv. 2, 3, 4, 5, 6, 8) geeft ongeveer het aantal bits aan.

    • K serie kwantisatie (bijv. Q4_K_M) zijn verbeterde kwantisatiemethoden geïntroduceerd in llama.cpp, die over het algemeen betere prestaties leveren bij hetzelfde aantal bits.

    • _S, _M, _L duiden meestal op verschillende varianten van K-quants, die verschillende delen van het model beïnvloeden.

    • F16 (FP16) vertegenwoordigt 16-bit floating-point, vaak beschouwd als ongekwantiseerd of een basiskwantisatieversie. F32 (FP32) is volledige precisie.

  • Afweging: Hogere kwantisatie (lager aantal bits) resulteert in kleinere, snellere modellen, maar gaat meestal gepaard met enig prestatieverlies (model presteert slechter). Gebruikers moeten kiezen op basis van hun hardware en modelkwaliteitsvereisten.

Het veld quantization_level in onze data (bijv. "Q4_K_M", "F16") geeft dit aan.

6.2 Top Populaire Modelnamen

De onderstaande tabel toont de Top 10 modeltags gerangschikt naar het aantal unieke IP-implementaties, inclusief hun familie, parametergrootte en kwantisatieniveau-informatie.

Rang

Modelnaam (model_name)

Unieke IP Implementaties

Totaal Aantal Implementatie-instanties

1

llama3:latest

12659

24628

2

deepseek-r1:latest

12572

24578

3

mistral:latest

11163

22638

4

qwen:latest

9868

21007

5

llama3:8b-text-q4_K_S

9845

20980

6

smollm2:135m

4058

5016

7

llama2:latest

3124

3928

8

hermes3:8b

2856

3372

9

llama3.1:8b

2714

3321

10

qwen2.5:1.5b

2668

3391

Ollama Top Popular Model Names

(Opmerking: Unieke IP Implementaties verwijst naar het aantal unieke IP-adressen dat ten minste één instantie van deze modeltag heeft geïmplementeerd. Totaal Aantal Implementatie-instanties verwijst naar het totale aantal keren dat deze modeltag voorkomt in de models lijst over alle IP's. Een IP kan via verschillende middelen of records meerdere keren naar dezelfde modeltag verwijzen, of een IP kan meerdere instanties van verschillende tags die tot hetzelfde basismodel behoren, draaien.)

Initiële Observaties (Populaire Modelnamen):

  • Modellen met de tag :latest zijn zeer gangbaar, zoals llama3:latest, deepseek-r1:latest, mistral:latest, qwen:latest. Dit geeft aan dat veel gebruikers er de voorkeur aan geven om direct de nieuwste versie van modellen te downloaden.

  • Modellen uit de Llama-serie (bijv. llama3:latest, llama3:8b-text-q4_K_S, llama2:latest, llama3.1:8b) bezetten meerdere plaatsen, wat hun sterke populariteit aantoont.

  • Chinese AI-modellen zoals deepseek-r1:latest (DeepSeek serie) en qwen:latest (Tongyi Qianwen serie) presteren ook indrukwekkend en staan hoog genoteerd.

  • Specifieke gekwantiseerde versies zoals llama3:8b-text-q4_K_S haalden ook de top tien, wat duidt op gebruikersvoorkeur voor specifieke prestatie/resourceverbruik-balansen.

  • Kleine modellen zoals smollm2:135m en qwen2.5:1.5b hebben ook een aanzienlijk aantal implementaties, wat voldoet aan de vraag naar lichtgewicht modellen.

6.3 Top Modelfamilies

Modelfamilie details.family veld) vertegenwoordigt de basisarchitectuur of primaire technologische afstamming van het model. Hieronder staan de modelfamilies met een hoger aantal implementaties op basis van onze data-analyse:

Rang

Modelfamilie (family)

Unieke IP Implementaties (Geschat)

Totaal Aantal Implementatie-instanties (Geschat)

1

llama

~20250

~103480

2

qwen2

~17881

~61452

3

nomic-bert

~1479

~1714

4

gemma3

~1363

~2493

5

bert

~1228

~2217

6

mllama

~943

~1455

7

gemma

~596

~750

8

deepseek2

~484

~761

9

phi3

~368

~732

10

gemma2

~244

~680

Ollama Top Model Families

(Opmerking: De specifieke waarden hier zijn geschat en samengevat op basis van de eerder opgevraagde Top 50 modellijst en kunnen enigszins afwijken van precieze wereldwijde statistieken, maar de trend is representatief.)

Initiële Observaties (Populaire Modelfamilies):

  • De llama familie heeft een absolute dominante positie, consistent met Llama serie modellen als de basis voor veel moderne open-source LLM's en hun eigen wijdverbreide toepassing. Zijn uitgebreide ecosysteem en talrijke gefinetunede versies maken het de populairste keuze.

  • qwen2 (Tongyi Qianwen Qwen2 serie), als de op één na grootste familie, toont zijn sterke concurrentiekracht in China en zelfs wereldwijd.

  • De verschijning van nomic-bert en bert is opmerkelijk. Hoewel ze doorgaans niet als "grote taalmodellen" (conversatie) worden beschouwd, maar eerder als tekst-embedding of andere basismodellen voor natuurlijke taalverwerking, suggereert hun hoge implementatievolume dat Ollama ook wijdverbreid wordt gebruikt voor dergelijke taken. Ollama downloadt automatisch een standaard embedding model (bijv. nomic-embed-text) bij het uitvoeren van bepaalde bewerkingen (zoals het genereren van embedding vectoren), wat waarschijnlijk de belangrijkste reden is dat deze families hoog scoren.

  • Google's gemma serie (inclusief gemma3, gemma, gemma2) toont ook redelijke acceptatiepercentages.

  • Andere bekende modelfamilies zoals deepseek2 en phi3 haalden ook de top tien.

  • mllama kan een verzameling van diverse op Llama gebaseerde hybride, aangepaste of door de gemeenschap benoemde modellen vertegenwoordigen.

6.4 Statistieken Top Originele Parameter Grootte

De parametergrootte van een model details.parameter_size veld) is een belangrijke indicator van de modelschaal. Vanwege de gevarieerde weergave van parametergroottes in de ruwe data (bijv. "8.0B", "7B", "134.52M"), tellen we deze originele strings direct. Hieronder staan de parametergrootte-weergaven met een hoger aantal implementaties:

Rang

Parameter Grootte (Originele String)

Unieke IP Implementaties (Geschat)

Totaal Aantal Implementatie-instanties (Geschat)

1

8.0B

~14480

~52577

2

7.6B

~14358

~28105

3

7.2B

~11233

~22907

4

4B

~9895

~21058

5

7B

~4943

~11738

6

134.52M

~4062

~5266

7

1.5B

~2759

~3596

8

13B

~2477

~3311

9

1.8B

~2034

~2476

10

3.2B

~1553

~2244

11

137M

~1477

~1708

12

12.2B

~1421

~2000

13

32.8B

~1254

~2840

14

14.8B

~1123

~2091

15

4.3B

~943

~1194

Ollama Top Original Parameter Size Statistics

(Opmerking: Waarden zijn geschat op basis van een samenvatting van parameterinformatie uit de eerder opgevraagde Top 50 modellijst.)

Initiële Observaties (Populaire Parameter Groottes):

  • Modellen op de schaal van 7B tot 8B zijn de absolute mainstream: "8.0B", "7.6B", "7.2B", "7B" bezetten het overgrote deel van de implementaties. Dit komt doorgaans overeen met zeer populaire modellen in de gemeenschap, zoals de Llama 2/3 7B/8B series, Mistral 7B, en hun diverse gefinetunede versies. Ze bieden een goede balans tussen prestaties en resourceverbruik.

  • Modellen op de 4B schaal hebben ook een belangrijke positie: De hoge implementatie van "4B" is opmerkelijk.

  • Lichtgewicht modellen op miljoen-parameterniveau (M) zijn wijdverbreid: De hoge ranking van "134.52M" en "137M" is waarschijnlijk gerelateerd aan de populariteit van embedding modellen (zoals nomic-embed-text) of zeer kleine gespecialiseerde modellen (zoals de smollm serie). Deze modellen zijn klein, snel en geschikt voor resource-beperkte of latentie-gevoelige scenario's.

  • Stabiele vraag naar kleine modellen in het bereik van 1B-4B: Modellen met parametergroottes zoals "1.5B", "1.8B", "3.2B", "4.3B" worden ook door een deel van de gebruikers geprefereerd.

  • Grote modellen boven 10B: Zoals "13B", "12.2B", "32.8B", "14.8B", hoewel ze niet zoveel unieke IP-implementaties hebben als het 7-8B niveau, hebben ze toch een aanzienlijk implementatievolume, wat duidt op een gemeenschapsvraag naar capabelere modellen, ondanks hun hogere hardwarevereisten.

6.5 Statistieken Top Kwantisatie Niveau

Het kwantisatieniveau van een model details.quantization_level veld) weerspiegelt de gewichtsprecisie die door het model wordt gebruikt om de grootte te reduceren en inferentie te versnellen. Hieronder staan de kwantisatieniveaus met een hoger aantal implementaties:

Rang

Kwantisatie Niveau (Originele String)

Unieke IP Implementaties (Geschat)

Totaal Aantal Implementatie-instanties (Geschat)

1

Q4_K_M

~20966

~53688

2

Q4_0

~18385

~88653

3

Q4_K_S

~9860

~21028

4

F16

~5793

~9837

5

Q8_0

~596

~1574

6

unknown

~266

~1318

7

Q5_K_M

~97

~283

8

F32

~85

~100

9

Q6_K

~60

~178

10

Q2_K

~54

~140

Ollama Top Quantization Level Statistics

(Opmerking: Waarden zijn geschat op basis van een samenvatting van kwantisatie-informatie uit de eerder opgevraagde Top 50 modellijst.)

Initiële Observaties (Populaire Kwantisatie Niveaus):

  • 4-bit kwantisatie is de dominante oplossing: Q4_K_M, Q4_0, en Q4_K_S, deze drie 4-bit kwantisatieniveaus, voeren de lijsten absoluut aan. Dit geeft duidelijk aan dat de gemeenschap 4-bit kwantisatie wijdverbreid toepast als de geprefereerde oplossing om de beste balans te bereiken tussen modelprestaties, inferentiesnelheid en resourcegebruik (vooral VRAM).

  • F16 (16-bit floating-point) behoudt nog steeds een belangrijke plaats: Als een ongekwantiseerde (of slechts basis gekwantiseerde) versie toont de hoge implementatie van F16 aan dat een aanzienlijk aantal gebruikers hiervoor kiest om de hoogste modelgetrouwheid na te streven of omdat ze over voldoende hardwaremiddelen beschikken.

  • Q8_0 (8-bit kwantisatie) als aanvulling: Biedt een optie tussen 4-bit en F16.

  • Verschijning van unknown waarden: Geeft aan dat kwantisatieniveau-informatie ontbreekt of niet-standaard is in sommige modelmetadata.

6.6 Distributie van AI Rekenkraft (per Model Parameter Grootte): China vs. VS

Om een dieper inzicht te krijgen in hoe modellen van verschillende schalen worden geïmplementeerd in belangrijke landen, hebben we de parametergroottes van modellen geïmplementeerd op Ollama-instanties in de Verenigde Staten en China gecategoriseerd en geteld. Parametergrootte wordt vaak beschouwd als een belangrijke indicator van modelcomplexiteit en potentiële vraag naar AI-rekenkracht.

Classificatiestandaard voor Parameterschaal:

  • Klein: < 1 miljard parameters (< 1B)

  • Middel: 1 miljard tot < 10 miljard parameters (1B tot < 10B)

  • Groot: 10 miljard tot < 50 miljard parameters (10B tot < 50B)

  • Extra Groot: >= 50 miljard parameters (>= 50B)

De onderstaande tabel toont het aantal unieke IP's dat modellen van verschillende parameterschalen implementeert in de VS en China:

Land

Parameterschaal Categorie

Aantal Unieke IP's

China

Klein (<1B)

3313

China

Middel (1B tot <10B)

4481

China

Groot (10B tot <50B)

1548

China

Extra Groot (>=50B)

280

United States

Klein (<1B)

1368

United States

Middel (1B tot <10B)

6495

United States

Groot (10B tot <50B)

1301

United States

Extra Groot (>=50B)

58

The table below shows the number of unique IPs deploying models of different parameter scales in the US and China

Data Inzichten en Analyse:

  1. Middelgrote modellen zijn mainstream, maar met verschillende focuspunten:

    • Verenigde Staten: Implementaties van middelgrote modellen (1B-10B) zijn absoluut dominant in de VS (6495 unieke IP's).

    • China: Middelgrote modellen (4481 unieke IP's) zijn ook het meest geïmplementeerde type in China, maar de implementatie van kleine modellen (<1B) in China (3313 unieke IP's) is zeer aanzienlijk.

  2. Significant verschil in kleine modellen: China's grootschalige implementatie van kleine modellen kan een voorkeur weerspiegelen voor edge computing, mobiele AI-toepassingen en vergelijkbare scenario's.

  3. Implementatie van grote en extra-grote modellen: China toont hogere activiteit in het verkennen van grote en extra-grote modellen (zij het vanuit een kleinere basis).

  4. Conclusie over algehele investering in rekenkracht: De basis van de VS in middelgrote modellen toont de prevalentie van praktische AI-toepassingen. China heeft een voordeel in kleine modellen en verkent actief grote modellen.

  5. Implicaties voor wereldwijde trends: Middelgrote modellen zijn waarschijnlijk wereldwijd populair. Verschillende regio's kunnen variërende modeladoptiestrategieën hebben op basis van hun ecosystemen en resourceomstandigheden.

Door de modelschaal van parameters in China en de VS te segmenteren, kunnen we de verschillende focuspunten en ontwikkelingspotentialen van Ollama-toepassingen in de twee landen zien.

7. Netwerk Inzichten

7.1 Poortgebruik

  • 11434 (standaardpoort): De overgrote meerderheid (30.722 unieke IP's) van Ollama-instanties draait op de standaardpoort 11434.

  • Andere gangbare poorten: Poorten zoals 80 (1.619 unieke IP's), 8080 (1.571 unieke IP's), 443 (1.339 unieke IP's), enz., worden ook gebruikt, wat kan duiden op implementatie achter een reverse proxy of dat gebruikers de poort hebben aangepast.

7.2 Protocolgebruik

  • HTTP: Ongeveer 65.506 unieke IP's hebben instanties die via het HTTP-protocol dienen.

  • HTTPS: Ongeveer 43.765 unieke IP's hebben instanties die via het HTTPS-protocol dienen.

De meeste instanties worden nog steeds beschikbaar gesteld via ongeëncrypteerde HTTP, wat bepaalde veiligheidsrisico's kan opleveren. (Let op: Een IP kan zowel HTTP als HTTPS ondersteunen, dus de som van de IP-tellingen hier kan het totale aantal unieke IP's overschrijden)

7.3 Belangrijkste Hostingproviders (AS Organisatie)

Het hosten van Ollama-instanties is sterk geconcentreerd bij cloudserviceproviders.

Rang

AS Organisatie

Aantal Unieke IP's

Belangrijkste Geassocieerde Provider

1

AMAZON-02

53658

AWS

2

AMAZON-AES

5539

AWS

3

Chinanet

4964

China Telecom

4

Hangzhou Alibaba Advertising Co.,Ltd.

2647

Alibaba Cloud

5

HENGTONG-IDC-LLC

2391

Hosting Provider

6

Shenzhen Tencent Computer Systems Company Limited

1682

Tencent Cloud

7

CHINA UNICOM China169 Backbone

1606

China Unicom

8

Hetzner Online GmbH

972

Hetzner

9

China Unicom Beijing Province Network

746

China Unicom (Beijing)

10

LEASEWEB-USA-LAX

735

Leaseweb

Ollama instance hosting is highly concentrated among cloud service providers

AWS (AMAZON-02, AMAZON-AES) heeft het grootste aandeel, gevolgd door grote Chinese telecomoperators en cloudserviceproviders (zoals Alibaba Cloud, Tencent Cloud). Andere hostingproviders zoals Hetzner en Leaseweb hebben ook aanzienlijke aandelen.

8. Beveiliging en Andere Observaties

  • Versie Informatie: Om veiligheidsredenen hebben we geen statistieken over Ollama-versies vermeld.

  • HTTP Blootstellingsrisico: Zoals eerder vermeld, worden een groot aantal Ollama-instanties beschikbaar gesteld via HTTP zonder TLS-encryptie, wat communicatie-inhoud (bijv. interacties met modellen) kwetsbaar kan maken voor afluisteren of manipulatie. Gebruikers wordt geadviseerd een reverse proxy te configureren en HTTPS in te schakelen.

  • API Toegankelijkheid: De data in dit rapport is gebaseerd op Ollama-instanties waarvan de /api/tags interface openbaar toegankelijk is. Het werkelijke aantal implementaties kan hoger zijn, maar sommige instanties zijn mogelijk geïmplementeerd in private netwerken of hebben externe toegang beperkt door firewalls.

9. Conclusie en Korte Terugblik

Dit rapport trekt, door data te analyseren van 99.412 wereldwijd openbaar toegankelijke Ollama-instanties (via hun /api/tags interface), de volgende hoofdconclusies en observaties:

1. Wereldwijd Implementatieoverzicht en Geografische Distributie:

  • Ollama, als een handig hulpmiddel voor het lokaal draaien van grote modellen, is wereldwijd wijdverbreid geïmplementeerd. Deze analyse identificeerde 99.412 openbaar toegankelijke unieke IP's.

  • Hoge Geografische Concentratie: De Verenigde Staten en China zijn de twee landen/regio's met de meest geconcentreerde Ollama-implementaties, samen verantwoordelijk voor een significant deel van het totale aantal toegankelijke instanties (VS 29.195, China 16.464). Landen als Japan, Duitsland, het VK, India en Singapore hebben ook aanzienlijke implementatieaantallen.

  • Stedelijke Hotspots: In de VS leiden steden zoals Ashburn, Portland en Columbus in implementaties; in China zijn technologisch geavanceerde steden zoals Beijing, Hangzhou, Shanghai en Guangzhou de belangrijkste implementatielocaties. Dit is vaak gerelateerd aan de concentratie van technologiebedrijven, datacenters en ontwikkelaarsgemeenschappen.

2. Trends in AI Model Implementatie:

  • Populaire Modeltags: Algemene nieuwste tags zoals llama3:latest, deepseek-r1:latest, mistral:latest, qwen:latest zijn het populairst. Specifiek geoptimaliseerde versies zoals llama3:8b-text-q4_K_S worden ook geprefereerd vanwege hun goede balans.

  • Dominante Modelfamilies: De llama familie leidt met een absolute marge, gevolgd door qwen2. De hoge ranking van embedding modelfamilies zoals nomic-bert en bert is opmerkelijk, mogelijk gerelateerd aan het standaardgedrag van Ollama.

  • Voorkeuren voor Parametergrootte: Modellen met 7B-8B parameters zijn momenteel de mainstream. Lichtgewicht modellen op miljoen-parameterniveau en grote modellen boven 10B hebben ook hun respectievelijke markten. Een vergelijking tussen de VS en China toont aan dat de VS meer middelgrote modellen implementeert, terwijl China actiever is in het verkennen van kleine en extra-grote modellen.

  • Keuzes voor Kwantisatie Niveau: 4-bit kwantisatie (vooral Q4_K_M en Q4_0) is de overweldigende keuze. F16, als een optie met hogere getrouwheid, heeft ook een belangrijke positie.

  • Complexiteit van Metadata: Analyse van modelmetadata (bijv. interpretatie van het modelfamilie-veld) onthult soms complexiteiten tussen de records en modelnamen of algemeen begrip, wat de diversiteit van metadata-beheer in het open-source ecosysteem benadrukt.

3. Technische Infrastructuur:

  • Hostingomgevingen: Een groot aantal Ollama-instanties wordt gehost op belangrijke cloudserviceproviders zoals AWS, Alibaba Cloud, Tencent Cloud, evenals in de netwerken van grote nationale telecomoperators.

  • Servicepoorten: Ollama's standaardpoort 11434 is het meest gebruikt, maar een aanzienlijk aantal instanties wordt ook beschikbaar gesteld via standaard webpoorten.

4. Objectieve Beoordeling:

  • Populariteit van Ollama: De data toont duidelijk de hoge adoptiesnelheid van Ollama onder ontwikkelaars en AI-enthousiastelingen wereldwijd.

  • Levendigheid van het Open-Source Ecosysteem: De diversiteit van populaire modellen en het wijdverbreide gebruik van verschillende parameter- en kwantisatieversies weerspiegelen de bloeiende ontwikkeling van het open-source AI-modelecosysteem.

  • Balans in Gebruikersvoorkeuren: Bij het kiezen van modellen streven gebruikers naar een balans tussen modelcapaciteit, operationele efficiëntie en hardwarekosten.

  • Beveiliging en Openheid: Een groot aantal instanties staat publieke toegang tot hun modellijsten toe, wat, hoewel handig voor de gemeenschap, ook veiligheidsrisico's kan opleveren.

5. Toekomstperspectief:

  • Met de opkomst van efficiëntere, kleinere modellen en verdere vooruitgang in kwantisatietechnologie, wordt verwacht dat de implementatiebarrière voor Ollama zal blijven afnemen.

  • De standaardisatie van modelmetadata en door de gemeenschap gedeelde modellen is cruciaal voor het verbeteren van de transparantie en bruikbaarheid van het ecosysteem.

Kortom, Ollama wordt een belangrijke brug die geavanceerde grote taalmodellen verbindt met een breed scala aan ontwikkelaars, onderzoekers en zelfs algemene gebruikers. Deze data-analyse biedt waardevolle inzichten voor het begrijpen van de huidige wereldwijde implementatiestatus en gebruikersvoorkeuren.

Reacties

comments.comments (0)

Please login first

Sign in