Tenthe ai directory logo
Nový pohled na závod v AI mezi USA a Čínou: Porovnání nasazení Ollama v roce 2025 a vhledy do globálních trendů AI modelů

Nový pohled na závod v AI mezi USA a Čínou: Porovnání nasazení Ollama v roce 2025 a vhledy do globálních trendů AI modelů

Ryan@ryan
0 Zobrazení0 Komentáře

Ollama je populární open-source nástroj navržený ke zjednodušení procesu spouštění, vytváření a sdílení velkých jazykových modelů (LLM) lokálně. Sdružuje váhy modelů, konfiguraci a data do balíčku definovaného souborem Modelfile a poskytuje API pro interakci s těmito modely. To umožňuje vývojářům a výzkumníkům snadno nasazovat a experimentovat s různými pokročilými AI modely na osobních počítačích nebo serverech.

1. Úvod

Ollama je populární open-source nástroj navržený ke zjednodušení procesu spouštění, vytváření a sdílení velkých jazykových modelů (LLM) lokálně. Sdružuje váhy modelů, konfiguraci a data do balíčku definovaného souborem Modelfile a poskytuje API pro interakci s těmito modely. To umožňuje vývojářům a výzkumníkům snadno nasazovat a experimentovat s různými pokročilými AI modely na osobních počítačích nebo serverech.

Tato zpráva si klade za cíl odhalit trendy v nasazení, preference modelů, geografické rozložení a síťové charakteristiky analýzou dat ze 174 590 instancí Ollama nasazených globálně.

Poznámka: Statistiky dat v kapitole 5 a kapitole 7 pocházejí ze všech 174 590 instancí. Data v kapitole 6 pocházejí z přístupných instancí. Z bezpečnostních důvodů jsme neuvedli statistiky o verzích Ollama.

  • Data k: 24. dubna 2025.

  • Zdroj zprávy: Tenthe AI https://tenthe.com

  • Autor: Ryan

2. Shrnutí

Tato zpráva je založena na analýze skenovaných dat a API sondování veřejně dostupných instancí Ollama po celém světě. Klíčová zjištění zahrnují:

  • Globálně, z přibližně 174 590 záznamů původně identifikovaných pomocí Fofa (99 412 unikátních IP), bylo úspěšně sondováno 41 021 instancí Ollama s přístupnými API, distribuovaných na 24 038 unikátních IP adresách (míra dostupnosti přibližně 24,18 %).

  • Geograficky jsou Spojené státy a Čína zeměmi s nejvyšším počtem nasazení Ollama. Poskytovatelé cloudových služeb, zejména AWS, Alibaba Cloud a Tencent Cloud, jsou primárními hostiteli instancí Ollama.

  • Nasazení modelů vykazuje rozmanitost, přičemž modely řady llama3, deepseek-r1, mistral a qwen jsou široce populární. Mezi nimi jsou llama3:latest a deepseek-r1:latest dva nejrozšířeněji nasazované tagy modelů.

  • Modely s parametry 7B-8B jsou nejlepší volbou pro uživatele, zatímco 4bitové kvantizované modely jako Q4_K_M a Q4_0 jsou široce přijímány pro svou dobrou rovnováhu mezi výkonem a spotřebou zdrojů.

  • Výchozí port 11434 je nejčastěji používaný a většina instancí vystavuje služby prostřednictvím protokolu HTTP.

3. Zdroje dat a metodologie

Data pro tuto zprávu primárně pocházejí ze dvou fází:

  1. Počáteční skenování: Použití vyhledávačů síťového prostoru jako Fofa, s podmínkou app="Ollama" && is_domain=false, k počáteční identifikaci potenciálních instancí Ollama nasazených globálně. Tato fáze nalezla 174 590 záznamů, zahrnujících 99 412 unikátních IP po deduplikaci.

  2. Ověření API a obohacení dat: Sondování koncového bodu API ip:port/api/tags pro původně naskenované IP adresy k potvrzení dostupnosti služeb Ollama a získání informací o konkrétních nasazených AI modelech. Tato fáze potvrdila 41 021 úspěšně reagujících instancí Ollama (z 24 038 unikátních IP, s daty uloženými v tabulce ollama).

  3. Finální data jsou uložena v tabulce ollama.

Analýza v této zprávě je primárně založena na datech z tabulky ollama, která obsahuje záznamy úspěšně sondovaných API a jejich detailní informace, včetně IP, portu, geografické polohy a JSON odpovědi (obsahující seznam modelů) atd.

4. Celkové statistiky nasazení

  • Počet počátečních záznamů ze skenování Fofa: 174 590

  • Počet unikátních IP z počátečního skenování Fofa: 99 412

  • Počet instancí Ollama úspěšně přistupujících k /api/tags: 41 021 (ze záznamů, kde status = 'success' v tabulce ollama)

  • Počet odpovídajících unikátních IP adres: 24 038 (ze záznamů, kde status = 'success' v tabulce ollama)

  • Poměr přístupných IP k původně identifikovaným IP: (24038 / 99412) * 100 % ≈ 24,18 %

To naznačuje, že přibližně čtvrtina všech instancí Ollama identifikovaných pomocí Fofa má své rozhraní /api/tags veřejně přístupné, což nám umožňuje získat informace o jejich nasazených modelech.

5. Analýza geografického rozložení

5.1 Top 20 zemí/regionů podle nasazení

Níže uvedená tabulka zobrazuje top 20 zemí/regionů seřazených podle počtu unikátních IP adres s instancemi Ollama.

Pořadí

Země/Region

Počet unikátních IP

1

Spojené státy

29195

2

Čína

16464

3

Japonsko

5849

4

Německo

5438

5

Spojené království

4014

6

Indie

3939

7

Singapur

3914

8

Jižní Korea

3773

9

Irsko

3636

10

Francie

3599

11

Austrálie

3558

12

Brazílie

2909

13

Kanada

2763

14

Jihoafrická republika

2742

15

Švédsko

2113

16

Hongkong, ZAO Číny

1277

17

Izrael

675

18

Tchaj-wan, Čína

513

19

Rusko

475

20

Finsko

308

Ollama Top 20 zemí/regionů podle nasazení

5.2 Top 20 globálních městských nasazení

Níže uvedená tabulka zobrazuje top 20 měst po celém světě seřazených podle počtu unikátních IP adres s instancemi Ollama.

Pořadí

Město

Země/Region

Počet unikátních IP

1

Ashburn

Spojené státy

5808

2

Portland

Spojené státy

5130

3

Singapur

Singapur

3914

4

Frankfurt nad Mohanem

Německo

3908

5

Peking

Čína

3906

6

Londýn

Spojené království

3685

7

Columbus

Spojené státy

3672

8

Bombaj

Indie

3637

9

Dublin

Irsko

3631

10

Tokio

Japonsko

3620

11

Sydney

Austrálie

3487

12

Paříž

Francie

3175

13

San Jose

Spojené státy

2815

14

Sao Paulo

Brazílie

2753

15

Kapské Město

Jihoafrická republika

2692

16

Montreal

Kanada

2535

17

Seattle

Spojené státy

2534

18

Chang-čou

Čína

2447

19

Soul

Jižní Korea

2327

20

Ósaka

Japonsko

2184

5.3 Top 10 rozložení měst v USA

Pořadí

Město

Počet unikátních IP

1

Ashburn

5808

2

Portland

5130

3

Columbus

3672

4

San Jose

2815

5

Seattle

2534

6

Westlake Village

1714

7

Boardman

855

8

Florence

776

9

San Francisco

753

10

Boulder

642

Ollama Top 10 rozložení měst v USA

5.4 Top 10 rozložení měst v pevninské Číně

Nasazení v Hongkongu a na Tchaj-wanu se neodrážejí v tabulce Top 10 měst, protože jsou již zahrnuta ve statistikách zemí/regionů.

Pořadí

Město

Země (country_name)

Počet unikátních IP

1

Peking

Čína

3906

2

Chang-čou

Čína

2447

3

Šanghaj

Čína

1335

4

Kanton

Čína

1296

5

Šen-čen

Čína

768

6

Čcheng-tu

Čína

469

7

Nan-ťing

Čína

329

8

Čchung-čching

Čína

259

9

Su-čou

Čína

257

10

Wu-chan

Čína

249

Ollama Top 20 globálních městských nasazení

5.5 Porovnání nasazení v Top 10 městech USA a Číny

Pro intuitivnější porovnání nasazení Ollama na úrovni měst v USA a Číně níže uvedená tabulka srovnává počty nasazení unikátních IP pro top 10 měst v obou zemích:

Pořadí

Město v USA (Top 10)

Počet unikátních IP v USA

Město v Číně (Top 10)

Počet unikátních IP v Číně

1

Ashburn

5808

Peking

3906

2

Portland

5130

Chang-čou

2447

3

Columbus

3672

Šanghaj

1335

4

San Jose

2815

Kanton

1296

5

Seattle

2534

Šen-čen

768

6

Westlake Village

1714

Čcheng-tu

469

7

Boardman

855

Nan-ťing

329

8

Florence

776

Čchung-čching

259

9

San Francisco

753

Su-čou

257

10

Boulder

642

Wu-chan

249

Ollama Porovnání nasazení v Top 10 městech USA a Číny

Stručný komentář:

  • Objem vedoucích měst: Top 3 města v USA (Ashburn, Portland, Columbus) mají každé přes 3 000 unikátních IP s nasazením Ollama. Nejlepší čínské město (Peking) má přes 3 000 nasazení a druhé město (Chang-čou) přes 2 000.

  • Technologická a ekonomická centra: Mnoho uvedených měst v obou zemích jsou známá centra technologických inovací nebo důležité ekonomické regiony.

  • Regiony datových center: Zahrnutí amerických měst jako Ashburn také odráží, že instance Ollama mohou být z velké části nasazeny v cloudových serverech a datových centrech.

  • Rozdíly v distribuci: Celkově je celkový počet IP v Top 10 městech USA výrazně vyšší než v Top 10 městech Číny. Obě země však vykazují vzorec, kdy několik klíčových měst představuje drtivou většinu nasazení Ollama.

Toto srovnání na úrovni měst dále odhaluje, že propagace a aplikace Ollama, jako vývojářského nástroje, jsou úzce spjaty s regionálními technologickými ekosystémy a průmyslovým rozvojem.

6. Analýza modelů

6.1 Stručný přehled AI modelů, parametrů a kvantizace

Ollama podporuje různé open-source velké jazykové modely. Tyto modely se obvykle vyznačují následujícími rysy:

6.1.1 Běžné rodiny modelů

Současná open-source komunita zaznamenala nárůst vynikajících rodin LLM, z nichž každá má své vlastní charakteristiky:

  • Řada Llama (Meta AI): Například Llama 2, Llama 3, Code Llama. Známá svými silnými obecnými schopnostmi a rozsáhlou komunitní podporou, což vede k mnoha doladěným verzím. Modely jako llama3.1, hermes3 viděné v našich datech jsou často založeny na architektuře Llama.

  • Řada Mistral (Mistral AI): Například Mistral 7B, Mixtral 8x7B. Získává pozornost pro efektivitu a vysoký výkon, zejména její modely MoE (Mixture of Experts).

  • Řada Gemma (Google): Například Gemma 2B, Gemma 7B. Modely s otevřenými váhami vydané společností Google, s technologií odvozenou od jejich výkonnějších modelů Gemini.

  • Řada Phi (Microsoft): Například Phi-2, Phi-3. Zaměřuje se na malé, ale schopné modely, zdůrazňující "SLM (Small Language Models)".

  • Řada DeepSeek (DeepSeek AI): Například DeepSeek Coder, DeepSeek LLM. Čínské AI modely, které vynikají v kódování a obecných úlohách.

  • Řada Qwen (Alibaba Tongyi Qianwen): Například Qwen1.5. Řada modelů spuštěná Alibaba DAMO Academy, podporující více jazyků a úkolů.

  • Existuje mnoho dalších vynikajících modelů, jako jsou Yi (01.AI), Command R (Cohere) atd.

Ollama prostřednictvím svého mechanismu Modelfile umožňuje uživatelům snadno používat tyto základní modely nebo jejich doladěné verze. Názvy modelů často následují formát rodina:velikost-varianta-kvantizace, například llama3:8b-instruct-q4_K_M.

6.1.2 Parametry modelu (Velikost parametrů)

Počet parametrů modelu (obvykle v B - miliardy; nebo M - miliony) je důležitým ukazatelem rozsahu a potenciální schopnosti modelu. Běžné velikosti parametrů zahrnují:

  • Malé modely: < 7B (např. 1.5B, 2B, 3B). Obvykle běží rychle s nízkou spotřebou zdrojů, vhodné pro specifické úkoly nebo prostředí s omezenými zdroji.

  • Střední modely: 7B, 8B, 13B. Dosahují dobré rovnováhy mezi schopnostmi a spotřebou zdrojů, v současnosti jedna z nejpopulárnějších velikostí v komunitě.

  • Velké modely: 30B, 33B, 40B, 70B+. Obecně schopnější, ale také vyžadují více výpočetních zdrojů (RAM, VRAM) a delší dobu inference.

Pole parameter_size v našich datech (např. "8.0B", "7B", "134.52M") to naznačuje.

6.1.3 Verze kvantizace (Úroveň kvantizace)

Kvantizace je technika ke snížení velikosti modelu a zrychlení inference snížením numerické přesnosti vah modelu (např. z 16bitové plovoucí desetinné čárky FP16 na 4bitové celé číslo INT4).

  • Běžné úrovně kvantizace: Ollama a formát GGUF (používaný Llama.cpp) podporují různé strategie kvantizace, jako jsou Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_0, Q4_K_M, Q5_K_M, Q6_K, Q8_0 atd.

    • Číslo (např. 2, 3, 4, 5, 6, 8) zhruba udává počet bitů.

    • Kvantizace řady K (např. Q4_K_M) jsou vylepšené metody kvantizace zavedené v llama.cpp, obecně dosahující lepšího výkonu při stejném počtu bitů.

    • _S, _M, _L obvykle označují různé varianty K-kvantizací, ovlivňující různé části modelu.

    • F16 (FP16) představuje 16bitovou plovoucí desetinnou čárku, často považovanou za nekvantizovanou nebo základní verzi kvantizace. F32 (FP32) je plná přesnost.

  • Kompromis: Vyšší kvantizace (nižší počet bitů) vede k menším, rychlejším modelům, ale obvykle přináší určitou ztrátu výkonu (model funguje hůře). Uživatelé si musí vybrat na základě svého hardwaru a požadavků na kvalitu modelu.

Pole quantization_level v našich datech (např. "Q4_K_M", "F16") to naznačuje.

6.2 Top populární názvy modelů

Níže uvedená tabulka zobrazuje Top 10 tagů modelů seřazených podle počtu nasazení unikátních IP, včetně informací o jejich rodině, velikosti parametrů a úrovni kvantizace.

Pořadí

Název modelu (model_name)

Nasazení unikátních IP

Celkový počet instancí nasazení

1

llama3:latest

12659

24628

2

deepseek-r1:latest

12572

24578

3

mistral:latest

11163

22638

4

qwen:latest

9868

21007

5

llama3:8b-text-q4_K_S

9845

20980

6

smollm2:135m

4058

5016

7

llama2:latest

3124

3928

8

hermes3:8b

2856

3372

9

llama3.1:8b

2714

3321

10

qwen2.5:1.5b

2668

3391

Ollama Top populární názvy modelů

(Poznámka: Nasazení unikátních IP se vztahuje k počtu unikátních IP adres, které nasadily alespoň jednu instanci tohoto tagu modelu. Celkový počet instancí nasazení se vztahuje k celkovému počtu výskytů tohoto tagu modelu v seznamu models napříč všemi IP. IP adresa může odkazovat na stejný tag modelu vícekrát různými způsoby nebo záznamy, nebo IP adresa může spouštět více instancí různých tagů patřících ke stejnému základnímu modelu.)

Počáteční postřehy (Populární názvy modelů):

  • Modely s tagem :latest jsou velmi běžné, jako například llama3:latest, deepseek-r1:latest, mistral:latest, qwen:latest. To naznačuje, že mnoho uživatelů dává přednost přímému stahování nejnovější verze modelů.

  • Modely řady Llama (např. llama3:latest, llama3:8b-text-q4_K_S, llama2:latest, llama3.1:8b) obsazují více míst, což ukazuje jejich silnou popularitu.

  • Čínské AI modely jako deepseek-r1:latest (řada DeepSeek) a qwen:latest (řada Tongyi Qianwen) si také vedou působivě a umisťují se vysoko.

  • Specifické kvantizované verze jako llama3:8b-text-q4_K_S se také dostaly do první desítky, což naznačuje preferenci uživatelů pro specifickou rovnováhu výkonu/spotřeby zdrojů.

  • Malé modely jako smollm2:135m a qwen2.5:1.5b mají také značný počet nasazení, což odpovídá poptávce po lehkých modelech.

6.3 Top rodiny modelů

Rodina modelů (pole details.family) představuje základní architekturu nebo primární technologickou linii modelu. Níže jsou uvedeny rodiny modelů s vyšším počtem nasazení na základě naší analýzy dat:

Pořadí

Rodina modelu (family)

Nasazení unikátních IP (Odhad)

Celkový počet instancí nasazení (Odhad)

1

llama

~20250

~103480

2

qwen2

~17881

~61452

3

nomic-bert

~1479

~1714

4

gemma3

~1363

~2493

5

bert

~1228

~2217

6

mllama

~943

~1455

7

gemma

~596

~750

8

deepseek2

~484

~761

9

phi3

~368

~732

10

gemma2

~244

~680

Ollama Top rodiny modelů

(Poznámka: Konkrétní hodnoty zde jsou odhadované a shrnuté na základě dříve dotazovaného seznamu Top 50 detailů modelů a mohou se mírně lišit od přesných globálních statistik, ale trend je reprezentativní.)

Počáteční postřehy (Populární rodiny modelů):

  • Rodina llama zaujímá absolutně dominantní postavení, což je v souladu s tím, že modely řady Llama jsou základem pro mnoho moderních open-source LLM a jejich vlastní široké uplatnění. Její rozsáhlý ekosystém a četné doladěné verze z ní činí nejpopulárnější volbu.

  • qwen2 (řada Tongyi Qianwen Qwen2), jako druhá největší rodina, ukazuje svou silnou konkurenceschopnost v Číně i globálně.

  • Výskyt nomic-bert a bert je pozoruhodný. Ačkoli nejsou typicky považovány za "velké jazykové modely" (konverzační), ale spíše za modely pro vkládání textu (embedding) nebo jiné základní modely pro zpracování přirozeného jazyka, jejich vysoký objem nasazení naznačuje, že Ollama je také široce používána pro takové úkoly. Ollama automaticky stahuje výchozí model pro vkládání (např. nomic-embed-text) při provádění určitých operací (jako je generování vektorů vkládání), což je pravděpodobně hlavní důvod, proč se tyto rodiny umisťují vysoko.

  • Řada gemma od Googlu (včetně gemma3, gemma, gemma2) také vykazuje slušnou míru přijetí.

  • Další známé rodiny modelů jako deepseek2 a phi3 se také dostaly do první desítky.

  • mllama může představovat sbírku různých hybridních, modifikovaných nebo komunitně pojmenovaných modelů založených na Llama.

6.4 Statistiky top původních velikostí parametrů

Velikost parametrů modelu (pole details.parameter_size) je důležitým ukazatelem rozsahu modelu. Vzhledem k různorodému zobrazení velikostí parametrů v surových datech (např. "8.0B", "7B", "134.52M") přímo počítáme tyto původní řetězce. Níže jsou uvedeny reprezentace velikostí parametrů s vyšším počtem nasazení:

Pořadí

Velikost parametru (Původní řetězec)

Nasazení unikátních IP (Odhad)

Celkový počet instancí nasazení (Odhad)

1

8.0B

~14480

~52577

2

7.6B

~14358

~28105

3

7.2B

~11233

~22907

4

4B

~9895

~21058

5

7B

~4943

~11738

6

134.52M

~4062

~5266

7

1.5B

~2759

~3596

8

13B

~2477

~3311

9

1.8B

~2034

~2476

10

3.2B

~1553

~2244

11

137M

~1477

~1708

12

12.2B

~1421

~2000

13

32.8B

~1254

~2840

14

14.8B

~1123

~2091

15

4.3B

~943

~1194

Ollama Statistiky top původních velikostí parametrů

(Poznámka: Hodnoty jsou odhadované na základě souhrnu informací o parametrech z dříve dotazovaného seznamu Top 50 detailů modelů.)

Počáteční postřehy (Populární velikosti parametrů):

  • Modely v rozsahu 7B až 8B jsou absolutním mainstreamem: "8.0B", "7.6B", "7.2B", "7B" zaujímají drtivou většinu nasazení. To obvykle odpovídá velmi populárním modelům v komunitě, jako jsou řady Llama 2/3 7B/8B, Mistral 7B a jejich různé doladěné verze. Dosahují dobré rovnováhy mezi výkonem a spotřebou zdrojů.

  • Modely o velikosti 4B také zaujímají důležité postavení: Vysoké nasazení "4B" je pozoruhodné.

  • Lehké modely na úrovni milionů parametrů (M) jsou rozšířené: Vysoké umístění "134.52M" a "137M" pravděpodobně souvisí s popularitou modelů pro vkládání (jako nomic-embed-text) nebo velmi malých specializovaných modelů (jako řada smollm). Tyto modely jsou malé, rychlé a vhodné pro scénáře s omezenými zdroji nebo citlivé na latenci.

  • Stabilní poptávka po malých modelech v rozsahu 1B-4B: Modely s velikostmi parametrů jako "1.5B", "1.8B", "3.2B", "4.3B" jsou také oblíbené u části uživatelů.

  • Velké modely nad 10B: Jako "13B", "12.2B", "32.8B", "14.8B", i když nemají tolik nasazení unikátních IP jako úroveň 7-8B, stále mají značný objem nasazení, což naznačuje poptávku komunity po schopnějších modelech, navzdory jejich vyšším hardwarovým požadavkům.

6.5 Statistiky top úrovní kvantizace

Úroveň kvantizace modelu (pole details.quantization_level) odráží přesnost vah přijatou modelem ke snížení velikosti a zrychlení inference. Níže jsou uvedeny úrovně kvantizace s vyšším počtem nasazení:

Pořadí

Úroveň kvantizace (Původní řetězec)

Nasazení unikátních IP (Odhad)

Celkový počet instancí nasazení (Odhad)

1

Q4_K_M

~20966

~53688

2

Q4_0

~18385

~88653

3

Q4_K_S

~9860

~21028

4

F16

~5793

~9837

5

Q8_0

~596

~1574

6

unknown

~266

~1318

7

Q5_K_M

~97

~283

8

F32

~85

~100

9

Q6_K

~60

~178

10

Q2_K

~54

~140

Ollama Statistiky top úrovní kvantizace

(Poznámka: Hodnoty jsou odhadované na základě souhrnu informací o kvantizaci z dříve dotazovaného seznamu Top 50 detailů modelů.)

Počáteční postřehy (Populární úrovně kvantizace):

  • 4bitová kvantizace je dominantním řešením: Q4_K_M, Q4_0 a Q4_K_S, tyto tři 4bitové úrovně kvantizace, absolutně vedou v žebříčcích. To jasně naznačuje, že komunita široce přijímá 4bitovou kvantizaci jako preferované řešení pro dosažení nejlepší rovnováhy mezi výkonem modelu, rychlostí inference a obsazením zdrojů (zejména VRAM).

  • F16 (16bitová plovoucí desetinná čárka) stále zaujímá významné místo: Jako nekvantizovaná (nebo jen základně kvantizovaná) verze, vysoké nasazení F16 ukazuje, že značný počet uživatelů si ji vybírá pro dosažení nejvyšší věrnosti modelu nebo proto, že mají dostatečné hardwarové zdroje.

  • Q8_0 (8bitová kvantizace) jako doplněk: Poskytuje možnost mezi 4bitovou a F16.

  • Výskyt hodnot unknown: Naznačuje, že informace o úrovni kvantizace chybí nebo jsou nestandardní v některých metadatech modelu.

6.6 Distribuce výpočetního výkonu AI (podle velikosti parametrů modelu): Čína vs. USA

Abychom hlouběji porozuměli tomu, jak jsou modely různých měřítek nasazovány ve velkých zemích, kategorizovali jsme a spočítali velikosti parametrů modelů nasazených na instancích Ollama ve Spojených státech a Číně. Velikost parametrů je často považována za důležitý ukazatel složitosti modelu a potenciální poptávky po výpočetním výkonu AI.

Standard klasifikace velikosti parametrů:

  • Malé: < 1 miliarda parametrů (< 1B)

  • Střední: 1 miliarda až < 10 miliard parametrů (1B až < 10B)

  • Velké: 10 miliard až < 50 miliard parametrů (10B až < 50B)

  • Extra velké: >= 50 miliard parametrů (>= 50B)

Níže uvedená tabulka zobrazuje počet unikátních IP nasazujících modely různých velikostí parametrů v USA a Číně:

Země

Kategorie velikosti parametrů

Počet unikátních IP

Čína

Malé (<1B)

3313

Čína

Střední (1B až <10B)

4481

Čína

Velké (10B až <50B)

1548

Čína

Extra velké (>=50B)

280

Spojené státy

Malé (<1B)

1368

Spojené státy

Střední (1B až <10B)

6495

Spojené státy

Velké (10B až <50B)

1301

Spojené státy

Extra velké (>=50B)

58

Níže uvedená tabulka zobrazuje počet unikátních IP nasazujících modely různých velikostí parametrů v USA a Číně

Vhledy do dat a analýza:

  1. Středně velké modely jsou mainstreamem, ale s různým zaměřením:

    • Spojené státy: Nasazení středně velkých modelů (1B-10B) jsou v USA absolutně dominantní (6495 unikátních IP).

    • Čína: Středně velké modely (4481 unikátních IP) jsou také nejčastěji nasazovaným typem v Číně, ale nasazení malých modelů (<1B) v Číně (3313 unikátních IP) je velmi značné.

  2. Významný rozdíl u malých modelů: Rozsáhlé nasazení malých modelů v Číně může odrážet preferenci pro edge computing, mobilní AI aplikace a podobné scénáře.

  3. Nasazení velkých a extra velkých modelů: Čína vykazuje vyšší aktivitu při zkoumání velkých a extra velkých modelů (i když z menší základny).

  4. Odvození celkových investic do výpočetního výkonu: Základna USA ve středně velkých modelech ukazuje prevalenci praktických AI aplikací. Čína má výhodu v malých modelech a aktivně zkoumá velké modely.

  5. Důsledky pro globální trendy: Středně velké modely jsou pravděpodobně populární globálně. Různé regiony mohou mít různé strategie přijímání modelů na základě svých ekosystémů a zdrojových podmínek.

Segmentací velikostí parametrů modelů v Číně a USA můžeme vidět různá zaměření a vývojové potenciály aplikací Ollama v obou zemích.

7. Síťové poznatky

7.1 Využití portů

  • 11434 (výchozí port): Drtivá většina (30 722 unikátních IP) instancí Ollama běží na výchozím portu 11434.

  • Další běžné porty: Používají se také porty jako 80 (1 619 unikátních IP), 8080 (1 571 unikátních IP), 443 (1 339 unikátních IP) atd., což může naznačovat, že některé instance jsou nasazeny za reverzní proxy nebo uživatelé si port přizpůsobili.

7.2 Využití protokolů

  • HTTP: Přibližně 65 506 unikátních IP má instance poskytující služby prostřednictvím protokolu HTTP.

  • HTTPS: Přibližně 43 765 unikátních IP má instance poskytující služby prostřednictvím protokolu HTTPS.

Většina instancí je stále vystavena prostřednictvím nešifrovaného HTTP, což by mohlo představovat určitá bezpečnostní rizika. (Upozornění: IP adresa může podporovat jak HTTP, tak HTTPS, takže součet počtů IP zde může přesáhnout celkový počet unikátních IP)

7.3 Hlavní poskytovatelé hostingu (AS organizace)

Hosting instancí Ollama je vysoce koncentrován mezi poskytovateli cloudových služeb.

Pořadí

AS Organizace

Počet unikátních IP

Hlavní přidružený poskytovatel

1

AMAZON-02

53658

AWS

2

AMAZON-AES

5539

AWS

3

Chinanet

4964

China Telecom

4

Hangzhou Alibaba Advertising Co.,Ltd.

2647

Alibaba Cloud

5

HENGTONG-IDC-LLC

2391

Poskytovatel hostingu

6

Shenzhen Tencent Computer Systems Company Limited

1682

Tencent Cloud

7

CHINA UNICOM China169 Backbone

1606

China Unicom

8

Hetzner Online GmbH

972

Hetzner

9

China Unicom Beijing Province Network

746

China Unicom (Peking)

10

LEASEWEB-USA-LAX

735

Leaseweb

Hosting instancí Ollama je vysoce koncentrován mezi poskytovateli cloudových služeb

AWS (AMAZON-02, AMAZON-AES) drží největší podíl, následován hlavními čínskými telekomunikačními operátory a poskytovateli cloudových služeb (jako Alibaba Cloud, Tencent Cloud). Další poskytovatelé hostingu jako Hetzner a Leaseweb mají také významné podíly.

8. Bezpečnost a další postřehy

  • Informace o verzi: Z bezpečnostních důvodů jsme neuvedli statistiky o verzích Ollama.

  • Riziko vystavení HTTP: Jak již bylo zmíněno, velké množství instancí Ollama je vystaveno prostřednictvím HTTP bez šifrování TLS, což může učinit obsah komunikace (např. interakce s modely) zranitelným vůči odposlechu nebo manipulaci. Uživatelům se doporučuje nakonfigurovat reverzní proxy a povolit HTTPS.

  • Dostupnost API: Data v této zprávě jsou založena na instancích Ollama, jejichž rozhraní /api/tags je veřejně přístupné. Skutečný počet nasazení může být vyšší, ale některé instance mohou být nasazeny v soukromých sítích nebo mít externí přístup omezený firewally.

9. Závěr a stručný přehled

Tato zpráva, analyzující data z 99 412 globálně veřejně přístupných instancí Ollama (prostřednictvím jejich rozhraní /api/tags), vyvozuje následující hlavní závěry a postřehy:

1. Globální přehled nasazení a geografické rozložení:

  • Ollama, jakožto pohodlný nástroj pro lokální spouštění velkých modelů, byla široce nasazena globálně. Tato analýza identifikovala 99 412 veřejně přístupných unikátních IP.

  • Vysoká geografická koncentrace: Spojené státy a Čína jsou dvě země/regiony s nejkoncentrovanějším nasazením Ollama, společně tvořící významnou část celkových přístupných instancí (USA 29 195, Čína 16 464). Země jako Japonsko, Německo, Spojené království, Indie a Singapur mají také pozoruhodný počet nasazení.

  • Městské hotspoty: V USA vedou v nasazeních města jako Ashburn, Portland a Columbus; v Číně jsou hlavními místy nasazení technologicky vyspělá města jako Peking, Chang-čou, Šanghaj a Kanton. To často souvisí s koncentrací technologických společností, datových center a vývojářských komunit.

2. Trendy v nasazení AI modelů:

  • Populární tagy modelů: Obecné nejnovější tagy jako llama3:latest, deepseek-r1:latest, mistral:latest, qwen:latest jsou nejpopulárnější. Specificky optimalizované verze jako llama3:8b-text-q4_K_S jsou také oblíbené pro svou dobrou rovnováhu.

  • Dominantní rodiny modelů: Rodina llama vede s absolutním náskokem, následovaná qwen2. Pozoruhodné je vysoké umístění rodin modelů pro vkládání jako nomic-bert a bert, pravděpodobně související s výchozím chováním Ollama.

  • Preference velikosti parametrů: Modely s parametry 7B-8B jsou v současnosti mainstreamem. Lehké modely na úrovni milionů parametrů a velké modely nad 10B mají také své příslušné trhy. Srovnání USA a Číny ukazuje, že USA nasazují více středně velkých modelů, zatímco Čína je aktivnější při zkoumání malých a extra velkých modelů.

  • Volby úrovně kvantizace: 4bitová kvantizace (zejména Q4_K_M a Q4_0) je drtivou volbou. F16, jako možnost s vyšší věrností, také zaujímá důležité postavení.

  • Složitost metadat: Analýza metadat modelů (např. interpretace pole rodiny modelů) někdy odhaluje složitosti mezi jejími záznamy a názvy modelů nebo běžným chápáním, což zdůrazňuje rozmanitost správy metadat v open-source ekosystému.

3. Technická infrastruktura:

  • Hostující prostředí: Velké množství instancí Ollama je hostováno u hlavních poskytovatelů cloudových služeb jako AWS, Alibaba Cloud, Tencent Cloud, stejně jako v sítích hlavních národních telekomunikačních operátorů.

  • Servisní porty: Výchozí port Ollama 11434 je nejčastěji používaný, ale značný počet instancí je také vystaven prostřednictvím standardních webových portů.

4. Objektivní hodnocení:

  • Popularita Ollama: Data jasně ukazují vysokou míru přijetí Ollama mezi vývojáři a AI nadšenci po celém světě.

  • Vitalita open-source ekosystému: Rozmanitost populárních modelů a široké využití různých verzí parametrů a kvantizace odrážejí prudký rozvoj ekosystému open-source AI modelů.

  • Rovnováha v preferencích uživatelů: Při výběru modelů mají uživatelé tendenci hledat rovnováhu mezi schopnostmi modelu, provozní efektivitou a hardwarovými náklady.

  • Bezpečnost a otevřenost: Velké množství instancí umožňuje veřejný přístup k jejich seznamům modelů, což, i když je pro komunitu pohodlné, může také představovat bezpečnostní rizika.

5. Budoucí výhled:

  • S nástupem efektivnějších, menších modelů a dalším pokrokem v technologii kvantizace se očekává, že bariéra pro nasazení Ollama bude nadále klesat.

  • Standardizace metadat modelů a komunitně sdílených modelů je klíčová pro zvýšení transparentnosti a použitelnosti ekosystému.

Stručně řečeno, Ollama se stává důležitým mostem spojujícím špičkové velké jazykové modely se širokou škálou vývojářů, výzkumníků a dokonce i běžných uživatelů. Tato analýza dat poskytuje cenné poznatky pro pochopení jejího současného globálního stavu nasazení a preferencí uživatelů.

Komentáře

comments.comments (0)

Please login first

Sign in