Tenthe ai directory logo
Новый взгляд на гонку ИИ между США и Китаем: Сравнение развертывания Ollama в 2025 году и аналитика мировых тенденций моделей ИИ

Новый взгляд на гонку ИИ между США и Китаем: Сравнение развертывания Ollama в 2025 году и аналитика мировых тенденций моделей ИИ

Ryan@ryan
0 Просмотры0 Комментарии

Ollama — популярный инструмент с открытым исходным кодом, разработанный для упрощения процесса локального запуска, создания и совместного использования больших языковых моделей (LLM). Он объединяет веса моделей, конфигурацию и данные в пакет, определяемый файлом Modelfile, и предоставляет API для взаимодействия с этими моделями. Это позволяет разработчикам и исследователям легко развертывать и экспериментировать с различными передовыми моделями ИИ на персональных компьютерах или серверах.

1. Введение

Ollama — популярный инструмент с открытым исходным кодом, разработанный для упрощения процесса локального запуска, создания и совместного использования больших языковых моделей (LLM). Он объединяет веса моделей, конфигурацию и данные в пакет, определяемый файлом Modelfile, и предоставляет API для взаимодействия с этими моделями. Это позволяет разработчикам и исследователям легко развертывать и экспериментировать с различными передовыми моделями ИИ на персональных компьютерах или серверах.

Данный отчет направлен на выявление тенденций развертывания, предпочтений моделей, географического распределения и сетевых характеристик путем анализа данных 174 590 экземпляров Ollama, развернутых по всему миру.

Примечание: Статистические данные в Главе 5 и Главе 7 получены из всех 174 590 экземпляров. Данные в Главе 6 получены из доступных экземпляров. Из соображений безопасности мы не приводили статистику по версиям Ollama.

  • Данные по состоянию на: 24 апреля 2025 г.

  • Источник отчета: Tenthe AI https://tenthe.com

  • Автор: Райан

2. Краткое резюме

Данный отчет основан на анализе данных сканирования и API-зондирования общедоступных экземпляров Ollama по всему миру. Ключевые выводы включают:

  • По всему миру среди примерно 174 590 записей, изначально идентифицированных через Fofa (99 412 уникальных IP-адресов), было успешно прозондировано 41 021 экземпляр Ollama с доступными API, распределенных по 24 038 уникальным IP-адресам (доступность примерно 24,18%).

  • Географически Соединенные Штаты и Китай являются странами с наибольшим количеством развертываний Ollama. Поставщики облачных услуг, в частности AWS, Alibaba Cloud и Tencent Cloud, являются основными хостинг-провайдерами для экземпляров Ollama.

  • Развертывания моделей демонстрируют разнообразие, при этом модели серий llama3, deepseek-r1, mistral и qwen очень популярны. Среди них llama3:latest и deepseek-r1:latest являются двумя наиболее широко развернутыми тегами моделей.

  • Модели с параметрами 7B-8B являются лучшим выбором для пользователей, а 4-битные квантованные модели, такие как Q4_K_M и Q4_0, широко используются благодаря хорошему балансу между производительностью и потреблением ресурсов.

  • Порт по умолчанию 11434 используется наиболее часто, и большинство экземпляров предоставляют доступ к сервисам через протокол HTTP.

3. Источники данных и методология

Данные для этого отчета в основном получены в результате двух этапов:

  1. Первоначальное сканирование: Использование поисковых систем сетевого пространства, таких как Fofa, с условием app="Ollama" && is_domain=false, для первоначальной идентификации потенциальных экземпляров Ollama, развернутых по всему миру. На этом этапе было найдено 174 590 записей, включающих 99 412 уникальных IP-адресов после дедупликации.

  2. Проверка API и обогащение данных: Зондирование конечной точки API ip:port/api/tags для первоначально отсканированных IP-адресов для подтверждения доступности сервисов Ollama и получения информации о развернутых моделях ИИ. На этом этапе был подтвержден 41 021 успешно ответивший экземпляр Ollama (с 24 038 уникальных IP-адресов, данные хранятся в таблице ollama).

  3. Окончательные данные хранятся в таблице ollama.

Анализ в этом отчете в основном основан на данных из таблицы ollama, которая содержит записи об успешно прозондированных API и их подробную информацию, включая IP, порт, географическое местоположение и JSON-ответ (содержащий список моделей) и т. д.

4. Общая статистика развертывания

  • Количество первоначальных записей из сканирования Fofa: 174 590

  • Количество уникальных IP-адресов из первоначального сканирования Fofa: 99 412

  • Количество экземпляров Ollama, успешно обратившихся к /api/tags: 41 021 (из записей, где status = 'success' в таблице ollama)

  • Количество соответствующих уникальных IP-адресов: 24 038 (из записей, где status = 'success' в таблице ollama)

  • Отношение доступных IP-адресов к первоначально идентифицированным IP-адресам: (24038 / 99412) * 100% ≈ 24,18%

Это указывает на то, что среди всех экземпляров Ollama, идентифицированных через Fofa, примерно четверть имеет публично доступный интерфейс /api/tags, что позволяет нам получать информацию о развернутых на них моделях.

5. Анализ географического распределения

5.1 Топ-20 стран/регионов по развертыванию

В таблице ниже представлены топ-20 стран/регионов по количеству уникальных IP-адресов с экземплярами Ollama.

Ранг

Страна/Регион

Количество уникальных IP

1

United States

29195

2

China

16464

3

Japan

5849

4

Germany

5438

5

United Kingdom

4014

6

India

3939

7

Singapore

3914

8

South Korea

3773

9

Ireland

3636

10

France

3599

11

Australia

3558

12

Brazil

2909

13

Canada

2763

14

South Africa

2742

15

Sweden

2113

16

Hong Kong SAR, China

1277

17

Israel

675

18

Taiwan, China

513

19

Russia

475

20

Finland

308

Ollama Top 20 Deployment Countries/Regions

5.2 Топ-20 городов по развертыванию

В таблице ниже представлены топ-20 городов по всему миру по количеству уникальных IP-адресов с экземплярами Ollama.

Ранг

Город

Страна/Регион

Количество уникальных IP

1

Ashburn

United States

5808

2

Portland

United States

5130

3

Singapore

Singapore

3914

4

Frankfurt am Main

Germany

3908

5

Beijing

China

3906

6

London

United Kingdom

3685

7

Columbus

United States

3672

8

Mumbai

India

3637

9

Dublin

Ireland

3631

10

Tokyo

Japan

3620

11

Sydney

Australia

3487

12

Paris

France

3175

13

San Jose

United States

2815

14

Sao Paulo

Brazil

2753

15

Cape Town

South Africa

2692

16

Montreal

Canada

2535

17

Seattle

United States

2534

18

Hangzhou

China

2447

19

Seoul

South Korea

2327

20

Osaka

Japan

2184

5.3 Распределение по топ-10 городам США

Ранг

Город

Количество уникальных IP

1

Ashburn

5808

2

Portland

5130

3

Columbus

3672

4

San Jose

2815

5

Seattle

2534

6

Westlake Village

1714

7

Boardman

855

8

Florence

776

9

San Francisco

753

10

Boulder

642

Ollama Top 10 US City Distribution

5.4 Распределение по топ-10 городам континентального Китая

Развертывания в Гонконге и на Тайване не отражены в таблице топ-10 городов, поскольку они уже включены в статистику по странам/регионам.

Ранг

Город

Страна (country_name)

Количество уникальных IP

1

Beijing

China

3906

2

Hangzhou

China

2447

3

Shanghai

China

1335

4

Guangzhou

China

1296

5

Shenzhen

China

768

6

Chengdu

China

469

7

Nanjing

China

329

8

Chongqing

China

259

9

Suzhou

China

257

10

Wuhan

China

249

Ollama Top 20 Global City Deployments

5.5 Сравнение развертываний в топ-10 городах США и Китая

Для более наглядного сравнения развертываний Ollama на уровне городов в США и Китае, таблица ниже сопоставляет количество уникальных IP-развертываний для топ-10 городов в обеих странах:

Ранг

Город США (Топ-10)

Количество уникальных IP в США

Город Китая (Топ-10)

Количество уникальных IP в Китае

1

Ashburn

5808

Beijing

3906

2

Portland

5130

Hangzhou

2447

3

Columbus

3672

Shanghai

1335

4

San Jose

2815

Guangzhou

1296

5

Seattle

2534

Shenzhen

768

6

Westlake Village

1714

Chengdu

469

7

Boardman

855

Nanjing

329

8

Florence

776

Chongqing

259

9

San Francisco

753

Suzhou

257

10

Boulder

642

Wuhan

249

Ollama US-China Top 10 City Deployment Comparison

Краткий комментарий:

  • Лидирующие города по объему: В трех ведущих городах США (Эшберн, Портленд, Колумбус) развернуто более 3000 уникальных IP-адресов с Ollama. В ведущем городе Китая (Пекин) развернуто более 3000 экземпляров, а во втором по величине городе (Ханчжоу) – более 2000.

  • Центры технологий и экономики: Многие из перечисленных городов в обеих странах являются известными центрами технологических инноваций или важными экономическими регионами.

  • Регионы центров обработки данных: Включение таких городов США, как Эшберн, также отражает тот факт, что экземпляры Ollama могут быть в значительной степени развернуты на облачных серверах и в центрах обработки данных.

  • Различия в распределении: В целом, общее количество IP-адресов в топ-10 городов США значительно выше, чем в топ-10 городов Китая. Однако в обеих странах наблюдается тенденция, когда несколько ключевых городов составляют подавляющее большинство развертываний Ollama.

Это сравнение на уровне городов дополнительно показывает, что продвижение и применение Ollama, как инструмента для разработчиков, тесно связано с региональными технологическими экосистемами и промышленным развитием.

6. Анализ моделей

6.1 Краткий обзор моделей ИИ, параметров и квантования

Ollama поддерживает различные большие языковые модели с открытым исходным кодом. Эти модели обычно различаются по следующим характеристикам:

6.1.1 Общие семейства моделей

В сообществе открытого исходного кода появилось множество отличных семейств LLM, каждое со своими особенностями:

  • Серия Llama (Meta AI): Например, Llama 2, Llama 3, Code Llama. Известна своими мощными общими возможностями и обширной поддержкой сообщества, что привело к появлению множества тонко настроенных версий. Модели, такие как llama3.1, hermes3, замеченные в наших данных, часто основаны на архитектуре Llama.

  • Серия Mistral (Mistral AI): Например, Mistral 7B, Mixtral 8x7B. Привлекает внимание своей эффективностью и высокой производительностью, особенно модели MoE (Mixture of Experts).

  • Серия Gemma (Google): Например, Gemma 2B, Gemma 7B. Модели с открытыми весами, выпущенные Google, с технологией, полученной из их более мощных моделей Gemini.

  • Серия Phi (Microsoft): Например, Phi-2, Phi-3. Сосредоточена на небольших, но способных моделях, с акцентом на "SLM (Small Language Models)".

  • Серия DeepSeek (DeepSeek AI): Например, DeepSeek Coder, DeepSeek LLM. Китайские модели ИИ, превосходно справляющиеся с задачами кодирования и общими задачами.

  • Серия Qwen (Alibaba Tongyi Qianwen): Например, Qwen1.5. Серия моделей, запущенная Alibaba DAMO Academy, поддерживающая несколько языков и задач.

  • Существует много других отличных моделей, таких как Yi (01.AI), Command R (Cohere) и т. д.

Ollama, через свой механизм Modelfile, позволяет пользователям легко использовать эти базовые модели или их тонко настроенные версии. Названия моделей часто следуют формату семейство:размер-вариант-квантование, например, llama3:8b-instruct-q4_K_M.

6.1.2 Параметры модели (Parameter Size)

Количество параметров модели (обычно в B - миллиардах; или M - миллионах) является важным показателем масштаба и потенциальных возможностей модели. Распространенные размеры параметров включают:

  • Малые модели: < 7B (например, 1.5B, 2B, 3B). Обычно работают быстро с низким потреблением ресурсов, подходят для конкретных задач или сред с ограниченными ресурсами.

  • Средние модели: 7B, 8B, 13B. Достигают хорошего баланса между возможностями и потреблением ресурсов, в настоящее время являются одними из самых популярных размеров в сообществе.

  • Большие модели: 30B, 33B, 40B, 70B+. Обычно более способны, но также требуют больше вычислительных ресурсов (RAM, VRAM) и более длительного времени инференса.

Поле parameter_size в наших данных (например, "8.0B", "7B", "134.52M") указывает на это.

6.1.3 Версии квантования (Quantization Level)

Квантование — это метод уменьшения размера модели и ускорения инференса путем снижения числовой точности весов модели (например, с 16-битной с плавающей запятой FP16 до 4-битного целого INT4).

  • Распространенные уровни квантования: Ollama и формат GGUF (используемый Llama.cpp) поддерживают различные стратегии квантования, такие как Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_0, Q4_K_M, Q5_K_M, Q6_K, Q8_0 и т. д.

    • Число (например, 2, 3, 4, 5, 6, 8) примерно указывает количество бит.

    • Квантование серии K (например, Q4_K_M) — это улучшенные методы квантования, представленные в llama.cpp, которые обычно обеспечивают лучшую производительность при том же количестве бит.

    • _S, _M, _L обычно обозначают различные варианты K-квантования, влияющие на разные части модели.

    • F16 (FP16) представляет 16-битную точность с плавающей запятой, часто считается неквантованной или базовой версией квантования. F32 (FP32) — полная точность.

  • Компромисс: Более высокое квантование (меньшее количество бит) приводит к меньшим и более быстрым моделям, но обычно сопряжено с некоторой потерей производительности (модель работает хуже). Пользователи должны выбирать на основе своего оборудования и требований к качеству модели.

Поле quantization_level в наших данных (например, "Q4_K_M", "F16") указывает на это.

6.2 Топ популярных названий моделей

В таблице ниже представлены топ-10 тегов моделей по количеству уникальных IP-развертываний, включая информацию о их семействе, размере параметров и уровне квантования.

Ранг

Название модели (model_name)

Уникальные IP-развертывания

Всего экземпляров развертывания

1

llama3:latest

12659

24628

2

deepseek-r1:latest

12572

24578

3

mistral:latest

11163

22638

4

qwen:latest

9868

21007

5

llama3:8b-text-q4_K_S

9845

20980

6

smollm2:135m

4058

5016

7

llama2:latest

3124

3928

8

hermes3:8b

2856

3372

9

llama3.1:8b

2714

3321

10

qwen2.5:1.5b

2668

3391

Ollama Top Popular Model Names

(Примечание: Уникальные IP-развертывания относятся к количеству уникальных IP-адресов, на которых развернут хотя бы один экземпляр этого тега модели. Всего экземпляров развертывания относится к общему количеству раз, когда этот тег модели появляется в списке models на всех IP-адресах. Один IP-адрес может указывать на один и тот же тег модели несколько раз различными способами или записями, или один IP-адрес может запускать несколько экземпляров разных тегов, принадлежащих одной базовой модели.)

Первоначальные наблюдения (популярные названия моделей):

  • Модели с тегом :latest очень распространены, например, llama3:latest, deepseek-r1:latest, mistral:latest, qwen:latest. Это указывает на то, что многие пользователи предпочитают напрямую скачивать последние версии моделей.

  • Модели серии Llama (например, llama3:latest, llama3:8b-text-q4_K_S, llama2:latest, llama3.1:8b) занимают несколько позиций, демонстрируя их высокую популярность.

  • Китайские модели ИИ, такие как deepseek-r1:latest (серия DeepSeek) и qwen:latest (серия Tongyi Qianwen), также демонстрируют впечатляющие результаты, занимая высокие места.

  • Определенные квантованные версии, такие как llama3:8b-text-q4_K_S, также вошли в топ-10, что указывает на предпочтение пользователей определенного баланса производительности/потребления ресурсов.

  • Малые модели, такие как smollm2:135m и qwen2.5:1.5b, также имеют значительное количество развертываний, удовлетворяя спрос на легковесные модели.

6.3 Топ семейств моделей

Семейство моделей (details.family) представляет базовую архитектуру или основную технологическую родословную модели. Ниже приведены семейства моделей с большим количеством развертываний на основе нашего анализа данных:

Ранг

Семейство моделей (family)

Уникальные IP-развертывания (оценка)

Всего экземпляров развертывания (оценка)

1

llama

~20250

~103480

2

qwen2

~17881

~61452

3

nomic-bert

~1479

~1714

4

gemma3

~1363

~2493

5

bert

~1228

~2217

6

mllama

~943

~1455

7

gemma

~596

~750

8

deepseek2

~484

~761

9

phi3

~368

~732

10

gemma2

~244

~680

Ollama Top Model Families

(Примечание: Конкретные значения здесь являются оценочными и обобщены на основе ранее запрошенного списка топ-50 деталей моделей и могут незначительно отличаться от точной глобальной статистики, но тенденция является репрезентативной.)

Первоначальные наблюдения (популярные семейства моделей):

  • Семейство llama занимает абсолютно доминирующее положение, что соответствует тому, что модели серии Llama являются основой для многих современных LLM с открытым исходным кодом и широко используются сами по себе. Их обширная экосистема и многочисленные тонко настроенные версии делают их самым популярным выбором.

  • qwen2 (серия Tongyi Qianwen Qwen2), как второе по величине семейство, демонстрирует свою сильную конкурентоспособность в Китае и даже по всему миру.

  • Заметно появление nomic-bert и bert. Хотя они обычно не считаются "большими языковыми моделями" (разговорными), а скорее базовыми моделями для встраивания текста или других задач обработки естественного языка, их высокий объем развертывания предполагает, что Ollama также широко используется для таких задач. Ollama автоматически загружает модель встраивания по умолчанию (например, nomic-embed-text) при выполнении определенных операций (например, генерации векторов встраивания), что, вероятно, является основной причиной высокого ранга этих семейств.

  • Серия gemma от Google (включая gemma3, gemma, gemma2) также демонстрирует достойные показатели внедрения.

  • Другие известные семейства моделей, такие как deepseek2 и phi3, также вошли в топ-10.

  • mllama может представлять собой набор различных гибридных, модифицированных или названных сообществом моделей на основе Llama.

6.4 Статистика по топ-размерам исходных параметров

Размер параметров модели (details.parameter_size) является важным показателем масштаба модели. Из-за разнообразного представления размеров параметров в исходных данных (например, "8.0B", "7B", "134.52M"), мы непосредственно считаем эти исходные строки. Ниже представлены представления размеров параметров с большим количеством развертываний:

Ранг

Размер параметров (исходная строка)

Уникальные IP-развертывания (оценка)

Всего экземпляров развертывания (оценка)

1

8.0B

~14480

~52577

2

7.6B

~14358

~28105

3

7.2B

~11233

~22907

4

4B

~9895

~21058

5

7B

~4943

~11738

6

134.52M

~4062

~5266

7

1.5B

~2759

~3596

8

13B

~2477

~3311

9

1.8B

~2034

~2476

10

3.2B

~1553

~2244

11

137M

~1477

~1708

12

12.2B

~1421

~2000

13

32.8B

~1254

~2840

14

14.8B

~1123

~2091

15

4.3B

~943

~1194

Ollama Top Original Parameter Size Statistics

(Примечание: Значения являются оценочными на основе сводки информации о параметрах из ранее запрошенного списка топ-50 деталей моделей.)

Первоначальные наблюдения (популярные размеры параметров):

  • Модели масштаба 7B-8B являются абсолютным мейнстримом: "8.0B", "7.6B", "7.2B", "7B" занимают подавляющее большинство развертываний. Это обычно соответствует очень популярным моделям в сообществе, таким как серии Llama 2/3 7B/8B, Mistral 7B и их различным тонко настроенным версиям. Они обеспечивают хороший баланс между производительностью и потреблением ресурсов.

  • Модели масштаба 4B также занимают важное место: Высокий уровень развертывания "4B" заслуживает внимания.

  • Легковесные модели уровня миллионов параметров (M) широко распространены: Высокий рейтинг "134.52M" и "137M", вероятно, связан с популярностью моделей встраивания (таких как nomic-embed-text) или очень маленьких специализированных моделей (таких как серия smollm). Эти модели маленькие, быстрые и подходят для сред с ограниченными ресурсами или сценариев с низкой задержкой.

  • Стабильный спрос на малые модели в диапазоне 1B-4B: Модели с размером параметров, такими как "1.5B", "1.8B", "3.2B", "4.3B", также пользуются популярностью у части пользователей.

  • Крупные модели более 10B: Такие как "13B", "12.2B", "32.8B", "14.8B", хотя и не имеют столько уникальных IP-развертываний, как уровень 7-8B, все же имеют значительный объем развертывания, что указывает на спрос сообщества на более способные модели, несмотря на их более высокие требования к оборудованию.

6.5 Статистика по топ-уровням квантования

Уровень квантования модели (details.quantization_level) отражает точность весов, принятую моделью для уменьшения размера и ускорения инференса. Ниже приведены уровни квантования с большим количеством развертываний:

Ранг

Уровень квантования (исходная строка)

Уникальные IP-развертывания (оценка)

Всего экземпляров развертывания (оценка)

1

Q4_K_M

~20966

~53688

2

Q4_0

~18385

~88653

3

Q4_K_S

~9860

~21028

4

F16

~5793

~9837

5

Q8_0

~596

~1574

6

unknown

~266

~1318

7

Q5_K_M

~97

~283

8

F32

~85

~100

9

Q6_K

~60

~178

10

Q2_K

~54

~140

Ollama Top Quantization Level Statistics

(Примечание: Значения являются оценочными на основе сводки информации о квантовании из ранее запрошенного списка топ-50 деталей моделей.)

Первоначальные наблюдения (популярные уровни квантования):

  • 4-битное квантование является доминирующим решением: Q4_K_M, Q4_0 и Q4_K_S, эти три 4-битных уровня квантования, абсолютно лидируют в чартах. Это четко указывает на то, что сообщество широко применяет 4-битное квантование как предпочтительное решение для достижения наилучшего баланса между производительностью модели, скоростью инференса и использованием ресурсов (особенно VRAM).

  • F16 (16-битная точность с плавающей запятой) по-прежнему занимает важное место: Как неквантованная (или только базово квантованная) версия, высокий уровень развертывания F16 показывает, что значительное число пользователей выбирают ее для достижения наивысшей точности модели или потому, что у них достаточно аппаратных ресурсов.

  • Q8_0 (8-битное квантование) как дополнение: Предоставляет опцию между 4-битным и F16.

  • Появление значений unknown: Указывает на отсутствие или нестандартность информации об уровне квантования в метаданных некоторых моделей.

6.6 Распределение вычислительной мощности ИИ (по размеру параметров модели): Китай против США

Чтобы получить более глубокое понимание того, как модели разного масштаба развернуты в основных странах, мы классифицировали и подсчитали размеры параметров моделей, развернутых на экземплярах Ollama в США и Китае. Размер параметров часто считается важным показателем сложности модели и потенциальной потребности в вычислительной мощности ИИ.

Стандарт классификации масштаба параметров:

  • Малые: < 1 миллиарда параметров (< 1B)

  • Средние: от 1 миллиарда до < 10 миллиардов параметров (от 1B до < 10B)

  • Большие: от 10 миллиардов до < 50 миллиардов параметров (от 10B до < 50B)

  • Очень большие: >= 50 миллиардов параметров (>= 50B)

В таблице ниже показано количество уникальных IP-адресов, развернувших модели разного масштаба параметров в США и Китае:

Страна

Категория масштаба параметров

Количество уникальных IP

China

Small (<1B)

3313

China

Medium (1B to <10B)

4481

China

Large (10B to <50B)

1548

China

Extra Large (>=50B)

280

United States

Small (<1B)

1368

United States

Medium (1B to <10B)

6495

United States

Large (10B to <50B)

1301

United States

Extra Large (>=50B)

58

The table below shows the number of unique IPs deploying models of different parameter scales in the US and China

Анализ и выводы из данных:

  1. Модели среднего размера являются мейнстримом, но с разными акцентами:

    • Соединенные Штаты: Развертывание моделей среднего размера (от 1B до 10B) абсолютно доминирует в США (6495 уникальных IP-адресов).

    • Китай: Модели среднего размера (4481 уникальный IP-адрес) также являются наиболее развернутым типом в Китае, но развертывание малых моделей (<1B) в Китае (3313 уникальных IP-адресов) очень значительно.

  2. Существенная разница в малых моделях: Широкомасштабное развертывание малых моделей в Китае может отражать предпочтение периферийных вычислений, мобильных приложений ИИ и аналогичных сценариев.

  3. Развертывание больших и очень больших моделей: Китай проявляет более высокую активность в исследовании больших и очень больших моделей (хотя и с меньшей базы).

  4. Выводы об общих инвестициях в вычислительную мощность: База США в моделях среднего размера показывает распространенность практических приложений ИИ. Китай имеет преимущество в малых моделях и активно исследует большие модели.

  5. Последствия для мировых тенденций: Модели среднего размера, вероятно, популярны по всему миру. Различные регионы могут иметь разные стратегии внедрения моделей в зависимости от их экосистем и условий ресурсов.

Сегментируя масштабы параметров моделей в Китае и США, мы можем увидеть различные акценты и потенциалы развития приложений Ollama в двух странах.

7. Сетевая аналитика

7.1 Использование портов

  • 11434 (порт по умолчанию): Подавляющее большинство (30 722 уникальных IP-адреса) экземпляров Ollama работают на порту по умолчанию 11434.

  • Другие распространенные порты: Также используются порты, такие как 80 (1 619 уникальных IP-адресов), 8080 (1 571 уникальный IP-адрес), 443 (1 339 уникальных IP-адресов) и т. д., что может указывать на то, что некоторые экземпляры развернуты за обратным прокси или пользователи настроили порт.

7.2 Использование протоколов

  • HTTP: Приблизительно 65 506 уникальных IP-адресов имеют экземпляры, предоставляющие сервисы по протоколу HTTP.

  • HTTPS: Приблизительно 43 765 уникальных IP-адресов имеют экземпляры, предоставляющие сервисы по протоколу HTTPS.

Большинство экземпляров по-прежнему доступны по незашифрованному HTTP, что может создавать определенные риски безопасности. (Обратите внимание: один IP-адрес может поддерживать как HTTP, так и HTTPS, поэтому сумма IP-адресов здесь может превышать общее количество уникальных IP-адресов)

7.3 Основные хостинг-провайдеры (организация AS)

Хостинг экземпляров Ollama сильно сконцентрирован среди поставщиков облачных услуг.

Ранг

Организация AS

Количество уникальных IP

Основной связанный провайдер

1

AMAZON-02

53658

AWS

2

AMAZON-AES

5539

AWS

3

Chinanet

4964

China Telecom

4

Hangzhou Alibaba Advertising Co.,Ltd.

2647

Alibaba Cloud

5

HENGTONG-IDC-LLC

2391

Хостинг-провайдер

6

Shenzhen Tencent Computer Systems Company Limited

1682

Tencent Cloud

7

CHINA UNICOM China169 Backbone

1606

China Unicom

8

Hetzner Online GmbH

972

Hetzner

9

China Unicom Beijing Province Network

746

China Unicom (Пекин)

10

LEASEWEB-USA-LAX

735

Leaseweb

Ollama instance hosting is highly concentrated among cloud service providers

AWS (AMAZON-02, AMAZON-AES) занимает наибольшую долю, за ними следуют основные китайские операторы связи и поставщики облачных услуг (такие как Alibaba Cloud, Tencent Cloud). Другие хостинг-провайдеры, такие как Hetzner и Leaseweb, также имеют значительные доли.

8. Безопасность и другие замечания

  • Информация о версиях: Из соображений безопасности мы не приводили статистику по версиям Ollama.

  • Риск публичного доступа по HTTP: Как упоминалось ранее, большое количество экземпляров Ollama доступны по HTTP без шифрования TLS, что может сделать содержимое коммуникаций (например, взаимодействие с моделями) уязвимым для перехвата или подмены. Пользователям рекомендуется настроить обратный прокси и включить HTTPS.

  • Доступность API: Данные в этом отчете основаны на экземплярах Ollama, чей интерфейс /api/tags является общедоступным. Фактическое количество развертываний может быть выше, но некоторые экземпляры могут быть развернуты в частных сетях или иметь ограниченный внешний доступ из-за брандмауэров.

9. Заключение и краткий обзор

Данный отчет, анализируя данные 99 412 общедоступных по всему миру экземпляров Ollama (через их интерфейс /api/tags), делает следующие основные выводы и наблюдения:

1. Обзор глобального развертывания и географическое распределение:

  • Ollama, как удобный инструмент для локального запуска больших моделей, широко развернута по всему миру. Этот анализ выявил 99 412 общедоступных уникальных IP-адресов.

  • Высокая географическая концентрация: Соединенные Штаты и Китай являются двумя странами/регионами с наибольшей концентрацией развертываний Ollama, совместно составляя значительную часть общего числа доступных экземпляров (США 29 195, Китай 16 464). Такие страны, как Япония, Германия, Великобритания, Индия и Сингапур, также имеют заметное количество развертываний.

  • Города-центры: В США лидерами по развертыванию являются такие города, как Эшберн, Портленд и Колумбус; в Китае основными местами развертывания являются технологически развитые города, такие как Пекин, Ханчжоу, Шанхай и Гуанчжоу. Это часто связано с концентрацией технологических компаний, центров обработки данных и сообществ разработчиков.

2. Тенденции развертывания моделей ИИ:

  • Популярные теги моделей: Наиболее популярны общие теги последних версий, такие как llama3:latest, deepseek-r1:latest, mistral:latest, qwen:latest. Специально оптимизированные версии, такие как llama3:8b-text-q4_K_S, также пользуются популярностью благодаря хорошему балансу.

  • Доминирующие семейства моделей: Семейство llama лидирует с абсолютным отрывом, за ним следует qwen2. Высокий рейтинг семейств моделей встраивания, таких как nomic-bert и bert, заслуживает внимания, возможно, это связано с поведением Ollama по умолчанию.

  • Предпочтения по размеру параметров: Модели с параметрами 7B-8B в настоящее время являются мейнстримом. Легковесные модели на уровне миллионов параметров и большие модели более 10B также имеют свои рынки. Сравнение США и Китая показывает, что в США развернуто больше моделей среднего размера, в то время как Китай более активно исследует малые и очень большие модели.

  • Выбор уровня квантования: 4-битное квантование (особенно Q4_K_M и Q4_0) является подавляющим выбором. F16, как вариант с более высокой точностью, также занимает важное место.

  • Сложность метаданных: Анализ метаданных моделей (например, интерпретация поля семейства моделей) иногда выявляет сложности между их записями и названиями моделей или общепринятым пониманием, подчеркивая разнообразие управления метаданными в экосистеме открытого исходного кода.

3. Техническая инфраструктура:

  • Среды хостинга: Большое количество экземпляров Ollama размещено у крупных поставщиков облачных услуг, таких как AWS, Alibaba Cloud, Tencent Cloud, а также в сетях основных национальных операторов связи.

  • Сервисные порты: Порт по умолчанию Ollama 11434 используется наиболее часто, но значительное количество экземпляров также доступно через стандартные веб-порты.

4. Объективная оценка:

  • Популярность Ollama: Данные ясно показывают высокий уровень внедрения Ollama среди разработчиков и энтузиастов ИИ по всему миру.

  • Живость экосистемы открытого исходного кода: Разнообразие популярных моделей и широкое использование различных версий параметров и квантования отражают бурный рост экосистемы моделей ИИ с открытым исходным кодом.

  • Баланс в предпочтениях пользователей: При выборе моделей пользователи стремятся к балансу между возможностями модели, эффективностью работы и затратами на оборудование.

  • Безопасность и открытость: Большое количество экземпляров позволяют публичный доступ к своим спискам моделей, что, хотя и удобно для сообщества, может также создавать риски безопасности.

5. Будущие перспективы:

  • С появлением более эффективных, меньших моделей и дальнейшим развитием технологии квантования, барьер для развертывания Ollama, как ожидается, продолжит снижаться.

  • Стандартизация метаданных моделей и совместное использование моделей в сообществе имеют решающее значение для повышения прозрачности и удобства использования экосистемы.

В заключение, Ollama становится важным мостом, соединяющим передовые большие языковые модели с широким кругом разработчиков, исследователей и даже обычных пользователей. Этот анализ данных предоставляет ценную информацию для понимания текущего статуса глобального развертывания и пользовательских предпочтений.

Комментарии

comments.comments (0)

Please login first

Sign in