Tenthe ai directory logo
Perspektif Baru tentang Perlombaan AI AS-Tiongkok: Perbandingan Penerapan Ollama 2025 dan Wawasan Tren Model AI Global

Perspektif Baru tentang Perlombaan AI AS-Tiongkok: Perbandingan Penerapan Ollama 2025 dan Wawasan Tren Model AI Global

Ryan@ryan
132 Dilihat0 Komentar

Ollama adalah alat sumber terbuka populer yang dirancang untuk menyederhanakan proses menjalankan, membuat, dan berbagi model bahasa besar (LLM) secara lokal. Ollama menggabungkan bobot model, konfigurasi, dan data ke dalam satu paket yang didefinisikan oleh Modelfile, dan menyediakan API untuk berinteraksi dengan model-model ini. Hal ini memungkinkan pengembang dan peneliti untuk dengan mudah menerapkan dan bereksperimen dengan berbagai model AI canggih di komputer pribadi atau server.

1. Pendahuluan

Ollama adalah alat sumber terbuka populer yang dirancang untuk menyederhanakan proses menjalankan, membuat, dan berbagi model bahasa besar (LLM) secara lokal. Ollama menggabungkan bobot model, konfigurasi, dan data ke dalam satu paket yang didefinisikan oleh Modelfile, dan menyediakan API untuk berinteraksi dengan model-model ini. Hal ini memungkinkan pengembang dan peneliti untuk dengan mudah menerapkan dan bereksperimen dengan berbagai model AI canggih di komputer pribadi atau server.

Laporan ini bertujuan untuk mengungkap tren penerapan, preferensi model, distribusi geografis, dan karakteristik jaringan dengan menganalisis data dari 174.590 instans Ollama yang diterapkan secara global.

Catatan: Statistik data dalam Bab 5 dan Bab 7 bersumber dari semua 174.590 instans. Data dalam Bab 6 bersumber dari instans yang dapat diakses. Untuk alasan keamanan, kami belum mencantumkan statistik versi Ollama.

  • Data per tanggal: 24 April 2025.

  • Sumber Laporan: Tenthe AI https://tenthe.com

  • Penulis: Ryan

2. Ringkasan Eksekutif

Laporan ini didasarkan pada analisis data pemindaian dan penyelidikan API dari instans Ollama yang tersedia untuk umum di seluruh dunia. Temuan utama meliputi:

  • Secara global, dari sekitar 174.590 catatan yang awalnya diidentifikasi melalui Fofa (99.412 IP unik), 41.021 instans Ollama dengan API yang dapat diakses berhasil diselidiki, tersebar di 24.038 alamat IP unik (tingkat aksesibilitas sekitar 24,18%).

  • Secara geografis, Amerika Serikat dan Tiongkok adalah negara dengan jumlah penerapan Ollama tertinggi. Penyedia layanan cloud, terutama AWS, Alibaba Cloud, dan Tencent Cloud, adalah host utama untuk instans Ollama.

  • Penerapan model menunjukkan keragaman, dengan model seri llama3, deepseek-r1, mistral, dan qwen sangat populer. Di antaranya, llama3:latest dan deepseek-r1:latest adalah dua tag model yang paling banyak diterapkan.

  • Model dengan parameter 7B-8B adalah pilihan utama pengguna, sementara model terkuantisasi 4-bit seperti Q4_K_M dan Q4_0 banyak diadopsi karena keseimbangan yang baik antara kinerja dan konsumsi sumber daya.

  • Port default 11434 adalah yang paling umum digunakan, dan sebagian besar instans mengekspos layanan melalui protokol HTTP.

3. Sumber Data dan Metodologi

Data untuk laporan ini terutama berasal dari dua tahap:

  1. Pemindaian Awal: Menggunakan mesin pencari ruang jaringan seperti Fofa, dengan kondisi app="Ollama" && is_domain=false, untuk mengidentifikasi secara awal potensi instans Ollama yang diterapkan secara global. Tahap ini menemukan 174.590 catatan, yang melibatkan 99.412 IP unik setelah deduplikasi.

  2. Verifikasi API dan Pengayaan Data: Menyelidiki titik akhir API ip:port/api/tags untuk alamat IP yang dipindai awal guna mengonfirmasi aksesibilitas layanan Ollama dan mendapatkan informasi tentang model AI spesifik yang diterapkan. Tahap ini mengonfirmasi 41.021 instans Ollama yang berhasil merespons (dari 24.038 IP unik, dengan data disimpan dalam tabel ollama).

  3. Data akhir disimpan dalam tabel ollama.

Analisis dalam laporan ini terutama didasarkan pada data dari tabel ollama, yang berisi catatan API yang berhasil diselidiki dan informasi detailnya, termasuk IP, port, lokasi geografis, dan respons JSON (berisi daftar model), dll.

4. Statistik Penerapan Keseluruhan

  • Jumlah catatan awal dari pemindaian Fofa: 174.590

  • Jumlah IP unik dari pemindaian awal Fofa: 99.412

  • Jumlah instans Ollama yang berhasil mengakses /api/tags: 41.021 (dari catatan di mana status = 'success' dalam tabel ollama)

  • Jumlah alamat IP unik yang sesuai: 24.038 (dari catatan di mana status = 'success' dalam tabel ollama)

  • Rasio IP yang dapat diakses terhadap IP yang diidentifikasi awal: (24038 / 99412) * 100% ≈ 24,18%

Ini menunjukkan bahwa di antara semua instans Ollama yang diidentifikasi melalui Fofa, sekitar seperempatnya memiliki antarmuka /api/tags yang dapat diakses publik, memungkinkan kami untuk mengambil informasi tentang model yang diterapkannya.

5. Analisis Distribusi Geografis

5.1 Peringkat 20 Besar Negara/Wilayah Penerapan

Tabel di bawah ini menunjukkan 20 negara/wilayah teratas yang diurutkan berdasarkan jumlah IP unik dengan instans Ollama.

Peringkat

Negara/Wilayah

Jumlah IP Unik

1

Amerika Serikat

29195

2

Tiongkok

16464

3

Jepang

5849

4

Jerman

5438

5

Britania Raya

4014

6

India

3939

7

Singapura

3914

8

Korea Selatan

3773

9

Irlandia

3636

10

Prancis

3599

11

Australia

3558

12

Brasil

2909

13

Kanada

2763

14

Afrika Selatan

2742

15

Swedia

2113

16

Hong Kong SAR, Tiongkok

1277

17

Israel

675

18

Taiwan, Tiongkok

513

19

Rusia

475

20

Finlandia

308

Peringkat 20 Besar Negara/Wilayah Penerapan Ollama

5.2 Peringkat 20 Besar Penerapan Kota Global

Tabel di bawah ini menunjukkan 20 kota teratas di seluruh dunia yang diurutkan berdasarkan jumlah IP unik dengan instans Ollama.

Peringkat

Kota

Negara/Wilayah

Jumlah IP Unik

1

Ashburn

Amerika Serikat

5808

2

Portland

Amerika Serikat

5130

3

Singapura

Singapura

3914

4

Frankfurt am Main

Jerman

3908

5

Beijing

Tiongkok

3906

6

London

Britania Raya

3685

7

Columbus

Amerika Serikat

3672

8

Mumbai

India

3637

9

Dublin

Irlandia

3631

10

Tokyo

Jepang

3620

11

Sydney

Australia

3487

12

Paris

Prancis

3175

13

San Jose

Amerika Serikat

2815

14

Sao Paulo

Brasil

2753

15

Cape Town

Afrika Selatan

2692

16

Montreal

Kanada

2535

17

Seattle

Amerika Serikat

2534

18

Hangzhou

Tiongkok

2447

19

Seoul

Korea Selatan

2327

20

Osaka

Jepang

2184

5.3 Peringkat 10 Besar Distribusi Kota di AS

Peringkat

Kota

Jumlah IP Unik

1

Ashburn

5808

2

Portland

5130

3

Columbus

3672

4

San Jose

2815

5

Seattle

2534

6

Westlake Village

1714

7

Boardman

855

8

Florence

776

9

San Francisco

753

10

Boulder

642

Peringkat 10 Besar Distribusi Kota di AS untuk Ollama

5.4 Peringkat 10 Besar Distribusi Kota di Tiongkok Daratan

Penerapan di Hong Kong dan Taiwan tidak tercermin dalam tabel Peringkat 10 Besar Kota karena sudah termasuk dalam statistik negara/wilayah.

Peringkat

Kota

Negara (country_name)

Jumlah IP Unik

1

Beijing

Tiongkok

3906

2

Hangzhou

Tiongkok

2447

3

Shanghai

Tiongkok

1335

4

Guangzhou

Tiongkok

1296

5

Shenzhen

Tiongkok

768

6

Chengdu

Tiongkok

469

7

Nanjing

Tiongkok

329

8

Chongqing

Tiongkok

259

9

Suzhou

Tiongkok

257

10

Wuhan

Tiongkok

249

Peringkat 20 Besar Penerapan Kota Global Ollama

5.5 Perbandingan Penerapan 10 Kota Teratas AS-Tiongkok

Untuk membandingkan penerapan Ollama di tingkat kota di AS dan Tiongkok secara lebih intuitif, tabel di bawah ini menyandingkan jumlah penerapan IP unik untuk 10 kota teratas di kedua negara:

Peringkat

Kota AS (10 Teratas)

Jumlah IP Unik AS

Kota Tiongkok (10 Teratas)

Jumlah IP Unik Tiongkok

1

Ashburn

5808

Beijing

3906

2

Portland

5130

Hangzhou

2447

3

Columbus

3672

Shanghai

1335

4

San Jose

2815

Guangzhou

1296

5

Seattle

2534

Shenzhen

768

6

Westlake Village

1714

Chengdu

469

7

Boardman

855

Nanjing

329

8

Florence

776

Chongqing

259

9

San Francisco

753

Suzhou

257

10

Boulder

642

Wuhan

249

Perbandingan Penerapan 10 Kota Teratas AS-Tiongkok untuk Ollama

Komentar Singkat:

  • Volume Kota Terdepan: 3 kota teratas AS (Ashburn, Portland, Columbus) masing-masing memiliki lebih dari 3.000 IP unik dengan penerapan Ollama. Kota teratas Tiongkok (Beijing) memiliki lebih dari 3.000 penerapan, dan kota keduanya (Hangzhou) memiliki lebih dari 2.000.

  • Pusat Teknologi dan Ekonomi: Banyak kota yang terdaftar di kedua negara merupakan pusat inovasi teknologi terkenal atau wilayah ekonomi penting.

  • Wilayah Pusat Data: Dimasukkannya kota-kota AS seperti Ashburn juga mencerminkan bahwa instans Ollama sebagian besar mungkin diterapkan di dalam server cloud dan pusat data.

  • Perbedaan Distribusi: Secara keseluruhan, jumlah total IP di 10 kota teratas AS secara signifikan lebih tinggi daripada di 10 kota teratas Tiongkok. Namun, kedua negara menunjukkan pola di mana beberapa kota inti menyumbang sebagian besar penerapan Ollama.

Perbandingan tingkat kota ini lebih lanjut mengungkapkan bahwa promosi dan aplikasi Ollama, sebagai alat pengembang, terkait erat dengan ekosistem teknologi regional dan pengembangan industri.

6. Analisis Model

6.1 Tinjauan Singkat Model AI, Parameter, dan Kuantisasi

Ollama mendukung berbagai model bahasa besar sumber terbuka. Model-model ini biasanya dibedakan berdasarkan fitur-fitur berikut:

6.1.1 Keluarga Model Umum

Komunitas sumber terbuka saat ini telah menyaksikan lonjakan keluarga LLM yang sangat baik, masing-masing dengan karakteristiknya sendiri:

  • Seri Llama (Meta AI): Seperti Llama 2, Llama 3, Code Llama. Dikenal karena kemampuan umumnya yang kuat dan dukungan komunitas yang luas, menghasilkan banyak versi yang disesuaikan (fine-tuned). Model seperti llama3.1, hermes3 yang terlihat dalam data kami seringkali didasarkan pada arsitektur Llama.

  • Seri Mistral (Mistral AI): Seperti Mistral 7B, Mixtral 8x7B. Mendapatkan perhatian karena efisiensi dan kinerja tinggi, terutama model MoE (Mixture of Experts) miliknya.

  • Seri Gemma (Google): Seperti Gemma 2B, Gemma 7B. Model dengan bobot terbuka yang dirilis oleh Google, dengan teknologi yang berasal dari model Gemini mereka yang lebih kuat.

  • Seri Phi (Microsoft): Seperti Phi-2, Phi-3. Berfokus pada model berukuran kecil namun mumpuni, menekankan "SLM (Small Language Models)".

  • Seri DeepSeek (DeepSeek AI): Seperti DeepSeek Coder, DeepSeek LLM. Model AI Tiongkok yang unggul dalam pengkodean dan tugas umum.

  • Seri Qwen (Alibaba Tongyi Qianwen): Seperti Qwen1.5. Serangkaian model yang diluncurkan oleh Alibaba DAMO Academy, mendukung berbagai bahasa dan tugas.

  • Ada banyak model unggulan lainnya, seperti Yi (01.AI), Command R (Cohere), dll.

Ollama, melalui mekanisme Modelfile-nya, memungkinkan pengguna untuk dengan mudah menggunakan model dasar ini atau versi yang disesuaikan. Nama model sering mengikuti format keluarga:ukuran-varian-kuantisasi, misalnya, llama3:8b-instruct-q4_K_M.

6.1.2 Parameter Model (Ukuran Parameter)

Jumlah parameter model (biasanya dalam B - Miliar; atau M - Juta) merupakan indikator penting dari skala dan potensi kemampuan model. Ukuran parameter umum meliputi:

  • Model Kecil: < 7B (misalnya, 1.5B, 2B, 3B). Biasanya berjalan cepat dengan konsumsi sumber daya rendah, cocok untuk tugas tertentu atau lingkungan dengan sumber daya terbatas.

  • Model Sedang: 7B, 8B, 13B. Mencapai keseimbangan yang baik antara kemampuan dan konsumsi sumber daya, saat ini merupakan salah satu ukuran paling populer di komunitas.

  • Model Besar: 30B, 33B, 40B, 70B+. Umumnya lebih mumpuni tetapi juga membutuhkan lebih banyak sumber daya komputasi (RAM, VRAM) dan waktu inferensi yang lebih lama.

Bidang parameter_size dalam data kami (misalnya, "8.0B", "7B", "134.52M") menunjukkan hal ini.

6.1.3 Versi Kuantisasi (Tingkat Kuantisasi)

Kuantisasi adalah teknik untuk mengurangi ukuran model dan mempercepat inferensi dengan menurunkan presisi numerik bobot model (misalnya, dari floating-point 16-bit FP16 menjadi integer 4-bit INT4).

  • Tingkat Kuantisasi Umum: Ollama dan format GGUF (digunakan oleh Llama.cpp) mendukung berbagai strategi kuantisasi, seperti Q2_K, Q3_K_S, Q3_K_M, Q3_K_L, Q4_0, Q4_K_M, Q5_K_M, Q6_K, Q8_0, dll.

    • Angka (misalnya, 2, 3, 4, 5, 6, 8) secara kasar menunjukkan jumlah bit.

    • Kuantisasi seri K (misalnya, Q4_K_M) adalah metode kuantisasi yang ditingkatkan yang diperkenalkan di llama.cpp, umumnya mencapai kinerja yang lebih baik pada jumlah bit yang sama.

    • _S, _M, _L biasanya menunjukkan varian berbeda dari K-quants, yang memengaruhi bagian model yang berbeda.

    • F16 (FP16) merepresentasikan floating-point 16-bit, sering dianggap sebagai versi yang tidak terkuantisasi atau versi kuantisasi dasar. F32 (FP32) adalah presisi penuh.

  • Timbal Balik: Kuantisasi yang lebih tinggi (jumlah bit lebih rendah) menghasilkan model yang lebih kecil dan lebih cepat, tetapi biasanya disertai dengan beberapa kehilangan kinerja (model berkinerja lebih buruk). Pengguna perlu memilih berdasarkan perangkat keras dan persyaratan kualitas model mereka.

Bidang quantization_level dalam data kami (misalnya, "Q4_K_M", "F16") menunjukkan hal ini.

6.2 Nama Model Terpopuler Teratas

Tabel di bawah ini menunjukkan 10 tag model Teratas yang diurutkan berdasarkan jumlah penerapan IP unik, termasuk informasi keluarga, ukuran parameter, dan tingkat kuantisasinya.

Peringkat

Nama Model (model_name)

Penerapan IP Unik

Total Instans Penerapan

1

llama3:latest

12659

24628

2

deepseek-r1:latest

12572

24578

3

mistral:latest

11163

22638

4

qwen:latest

9868

21007

5

llama3:8b-text-q4_K_S

9845

20980

6

smollm2:135m

4058

5016

7

llama2:latest

3124

3928

8

hermes3:8b

2856

3372

9

llama3.1:8b

2714

3321

10

qwen2.5:1.5b

2668

3391

Nama Model Terpopuler Teratas Ollama

(Catatan: Penerapan IP Unik mengacu pada jumlah alamat IP unik yang telah menerapkan setidaknya satu instans dari tag model ini. Total Instans Penerapan mengacu pada jumlah total kemunculan tag model ini dalam daftar models di semua IP. Sebuah IP mungkin menunjuk ke tag model yang sama beberapa kali melalui cara atau catatan yang berbeda, atau sebuah IP mungkin menjalankan beberapa instans dari tag yang berbeda milik model dasar yang sama.)

Observasi Awal (Nama Model Populer):

  • Model dengan tag :latest sangat umum, seperti llama3:latest, deepseek-r1:latest, mistral:latest, qwen:latest. Ini menunjukkan banyak pengguna lebih suka mengambil versi terbaru model secara langsung.

  • Model seri Llama (misalnya, llama3:latest, llama3:8b-text-q4_K_S, llama2:latest, llama3.1:8b) menempati beberapa tempat, menunjukkan popularitasnya yang kuat.

  • Model AI Tiongkok seperti deepseek-r1:latest (seri DeepSeek) dan qwen:latest (seri Tongyi Qianwen) juga berkinerja mengesankan, menempati peringkat tinggi.

  • Versi terkuantisasi spesifik seperti llama3:8b-text-q4_K_S juga masuk sepuluh besar, menunjukkan preferensi pengguna untuk keseimbangan kinerja/konsumsi sumber daya tertentu.

  • Model kecil seperti smollm2:135m dan qwen2.5:1.5b juga memiliki jumlah penerapan yang cukup besar, memenuhi permintaan akan model ringan.

6.3 Keluarga Model Teratas

Keluarga model (bidang details.family) mewakili arsitektur dasar atau garis keturunan teknologi utama model. Di bawah ini adalah keluarga model dengan jumlah penerapan yang lebih tinggi berdasarkan analisis data kami:

Peringkat

Keluarga Model (family)

Penerapan IP Unik (Perkiraan)

Total Instans Penerapan (Perkiraan)

1

llama

~20250

~103480

2

qwen2

~17881

~61452

3

nomic-bert

~1479

~1714

4

gemma3

~1363

~2493

5

bert

~1228

~2217

6

mllama

~943

~1455

7

gemma

~596

~750

8

deepseek2

~484

~761

9

phi3

~368

~732

10

gemma2

~244

~680

Keluarga Model Teratas Ollama

(Catatan: Nilai spesifik di sini diperkirakan dan diringkas berdasarkan daftar detail 50 model teratas yang sebelumnya dikueri dan mungkin sedikit berbeda dari statistik global yang tepat, tetapi trennya representatif.)

Observasi Awal (Keluarga Model Populer):

  • Keluarga llama memegang posisi dominan absolut, konsisten dengan model seri Llama yang menjadi dasar bagi banyak LLM sumber terbuka modern dan aplikasi luas mereka sendiri. Ekosistemnya yang luas dan banyak versi yang disesuaikan menjadikannya pilihan paling populer.

  • qwen2 (seri Tongyi Qianwen Qwen2), sebagai keluarga terbesar kedua, menunjukkan daya saingnya yang kuat di Tiongkok dan bahkan secara global.

  • Kemunculan nomic-bert dan bert patut diperhatikan. Meskipun mereka biasanya tidak dianggap sebagai "model bahasa besar" (percakapan), melainkan model embedding teks atau model dasar pemrosesan bahasa alami lainnya, volume penerapan mereka yang tinggi menunjukkan bahwa Ollama juga banyak digunakan untuk tugas-tugas semacam itu. Ollama secara otomatis mengunduh model embedding default (misalnya, nomic-embed-text) ketika melakukan operasi tertentu (seperti menghasilkan vektor embedding), yang kemungkinan merupakan alasan utama keluarga ini berperingkat tinggi.

  • Seri gemma Google (termasuk gemma3, gemma, gemma2) juga menunjukkan tingkat adopsi yang layak.

  • Keluarga model terkenal lainnya seperti deepseek2 dan phi3 juga masuk sepuluh besar.

  • mllama mungkin mewakili kumpulan berbagai model berbasis Llama hibrida, dimodifikasi, atau bernama komunitas.

6.4 Statistik Ukuran Parameter Asli Teratas

Ukuran parameter model (bidang details.parameter_size) merupakan indikator penting dari skala model. Karena representasi ukuran parameter yang bervariasi dalam data mentah (misalnya, "8.0B", "7B", "134.52M"), kami langsung menghitung string asli ini. Di bawah ini adalah representasi ukuran parameter dengan jumlah penerapan yang lebih tinggi:

Peringkat

Ukuran Parameter (String Asli)

Penerapan IP Unik (Perkiraan)

Total Instans Penerapan (Perkiraan)

1

8.0B

~14480

~52577

2

7.6B

~14358

~28105

3

7.2B

~11233

~22907

4

4B

~9895

~21058

5

7B

~4943

~11738

6

134.52M

~4062

~5266

7

1.5B

~2759

~3596

8

13B

~2477

~3311

9

1.8B

~2034

~2476

10

3.2B

~1553

~2244

11

137M

~1477

~1708

12

12.2B

~1421

~2000

13

32.8B

~1254

~2840

14

14.8B

~1123

~2091

15

4.3B

~943

~1194

Statistik Ukuran Parameter Asli Teratas Ollama

(Catatan: Nilai diperkirakan berdasarkan ringkasan informasi parameter dari daftar detail 50 model teratas yang sebelumnya dikueri.)

Observasi Awal (Ukuran Parameter Populer):

  • Model dalam skala 7B hingga 8B adalah arus utama absolut: "8.0B", "7.6B", "7.2B", "7B" menempati sebagian besar penerapan. Ini biasanya sesuai dengan model yang sangat populer di komunitas, seperti seri Llama 2/3 7B/8B, Mistral 7B, dan berbagai versi yang disesuaikan. Mereka mencapai keseimbangan yang baik antara kinerja dan konsumsi sumber daya.

  • Model skala 4B juga memegang posisi penting: Penerapan tinggi "4B" patut diperhatikan.

  • Model ringan tingkat juta parameter (M) tersebar luas: Peringkat tinggi "134.52M" dan "137M" kemungkinan terkait dengan popularitas model embedding (seperti nomic-embed-text) atau model khusus yang sangat kecil (seperti seri smollm). Model-model ini kecil, cepat, dan cocok untuk skenario dengan sumber daya terbatas atau sensitif terhadap latensi.

  • Permintaan stabil untuk model kecil dalam rentang 1B-4B: Model dengan ukuran parameter seperti "1.5B", "1.8B", "3.2B", "4.3B" juga disukai oleh segmen pengguna.

  • Model besar di atas 10B: Seperti "13B", "12.2B", "32.8B", "14.8B", meskipun tidak memiliki penerapan IP unik sebanyak tingkat 7-8B, masih memiliki volume penerapan yang cukup besar, menunjukkan permintaan komunitas untuk model yang lebih mumpuni, meskipun persyaratan perangkat kerasnya lebih tinggi.

6.5 Statistik Tingkat Kuantisasi Teratas

Tingkat kuantisasi model (bidang details.quantization_level) mencerminkan presisi bobot yang diadopsi oleh model untuk mengurangi ukuran dan mempercepat inferensi. Di bawah ini adalah tingkat kuantisasi dengan jumlah penerapan yang lebih tinggi:

Peringkat

Tingkat Kuantisasi (String Asli)

Penerapan IP Unik (Perkiraan)

Total Instans Penerapan (Perkiraan)

1

Q4_K_M

~20966

~53688

2

Q4_0

~18385

~88653

3

Q4_K_S

~9860

~21028

4

F16

~5793

~9837

5

Q8_0

~596

~1574

6

unknown

~266

~1318

7

Q5_K_M

~97

~283

8

F32

~85

~100

9

Q6_K

~60

~178

10

Q2_K

~54

~140

Statistik Tingkat Kuantisasi Teratas Ollama

(Catatan: Nilai diperkirakan berdasarkan ringkasan informasi kuantisasi dari daftar detail 50 model teratas yang sebelumnya dikueri.)

Observasi Awal (Tingkat Kuantisasi Populer):

  • Kuantisasi 4-bit adalah solusi dominan: Q4_K_M, Q4_0, dan Q4_K_S, ketiga tingkat kuantisasi 4-bit ini, benar-benar menduduki puncak tangga lagu. Ini dengan jelas menunjukkan bahwa komunitas secara luas mengadopsi kuantisasi 4-bit sebagai solusi pilihan untuk mencapai keseimbangan terbaik antara kinerja model, kecepatan inferensi, dan pendudukan sumber daya (terutama VRAM).

  • F16 (floating-point 16-bit) masih memegang tempat penting: Sebagai versi yang tidak terkuantisasi (atau hanya terkuantisasi dasar), penerapan tinggi F16 menunjukkan bahwa sejumlah besar pengguna memilihnya untuk mengejar fidelitas model tertinggi atau karena mereka memiliki sumber daya perangkat keras yang cukup.

  • Q8_0 (kuantisasi 8-bit) sebagai suplemen: Memberikan opsi antara 4-bit dan F16.

  • Kemunculan nilai unknown: Menunjukkan bahwa informasi tingkat kuantisasi hilang atau tidak standar dalam beberapa metadata model.

6.6 Distribusi Daya Komputasi AI (berdasarkan Ukuran Parameter Model): Tiongkok vs. AS

Untuk mendapatkan pemahaman yang lebih mendalam tentang bagaimana model dengan skala berbeda diterapkan di negara-negara besar, kami mengkategorikan dan menghitung ukuran parameter model yang diterapkan pada instans Ollama di Amerika Serikat dan Tiongkok. Ukuran parameter sering dianggap sebagai indikator penting dari kompleksitas model dan potensi permintaan daya komputasi AI.

Standar Klasifikasi Skala Parameter:

  • Kecil: < 1 Miliar parameter (< 1B)

  • Sedang: 1 Miliar hingga < 10 Miliar parameter (1B hingga < 10B)

  • Besar: 10 Miliar hingga < 50 Miliar parameter (10B hingga < 50B)

  • Sangat Besar: >= 50 Miliar parameter (>= 50B)

Tabel di bawah ini menunjukkan jumlah IP unik yang menerapkan model dengan skala parameter berbeda di AS dan Tiongkok:

Negara

Kategori Skala Parameter

Jumlah IP Unik

Tiongkok

Kecil (<1B)

3313

Tiongkok

Sedang (1B hingga <10B)

4481

Tiongkok

Besar (10B hingga <50B)

1548

Tiongkok

Sangat Besar (>=50B)

280

Amerika Serikat

Kecil (<1B)

1368

Amerika Serikat

Sedang (1B hingga <10B)

6495

Amerika Serikat

Besar (10B hingga <50B)

1301

Amerika Serikat

Sangat Besar (>=50B)

58

Tabel di bawah ini menunjukkan jumlah IP unik yang menerapkan model dengan skala parameter berbeda di AS dan Tiongkok

Wawasan dan Analisis Data:

  1. Model berukuran sedang adalah arus utama, tetapi dengan fokus yang berbeda:

    • Amerika Serikat: Penerapan model berukuran sedang (1B-10B) benar-benar dominan di AS (6495 IP unik).

    • Tiongkok: Model berukuran sedang (4481 IP unik) juga merupakan jenis yang paling banyak diterapkan di Tiongkok, tetapi penerapan model kecil (<1B) di Tiongkok (3313 IP unik) sangat signifikan.

  2. Perbedaan signifikan dalam model kecil: Penerapan model kecil berskala besar di Tiongkok mungkin mencerminkan preferensi untuk komputasi tepi, aplikasi AI seluler, dan skenario serupa.

  3. Penerapan model besar dan sangat besar: Tiongkok menunjukkan aktivitas yang lebih tinggi dalam mengeksplorasi model besar dan sangat besar (meskipun dari basis yang lebih kecil).

  4. Inferensi tentang investasi daya komputasi secara keseluruhan: Basis AS dalam model berukuran sedang menunjukkan prevalensi aplikasi AI praktis. Tiongkok memiliki keunggulan dalam model kecil dan secara aktif mengeksplorasi model besar.

  5. Implikasi untuk tren global: Model berukuran sedang kemungkinan populer secara global. Wilayah yang berbeda mungkin memiliki strategi adopsi model yang bervariasi berdasarkan ekosistem dan kondisi sumber daya mereka.

Dengan mensegmentasi skala parameter model di Tiongkok dan AS, kita dapat melihat fokus dan potensi pengembangan aplikasi Ollama yang berbeda di kedua negara.

7. Wawasan Jaringan

7.1 Penggunaan Port

  • 11434 (port default): Sebagian besar (30.722 IP unik) instans Ollama berjalan pada port default 11434.

  • Port umum lainnya: Port seperti 80 (1.619 IP unik), 8080 (1.571 IP unik), 443 (1.339 IP unik), dll., juga digunakan, yang mungkin menunjukkan bahwa beberapa instans diterapkan di belakang proksi terbalik atau pengguna telah menyesuaikan port.

7.2 Penggunaan Protokol

  • HTTP: Sekitar 65.506 IP unik memiliki instans yang melayani melalui protokol HTTP.

  • HTTPS: Sekitar 43.765 IP unik memiliki instans yang melayani melalui protokol HTTPS.

Sebagian besar instans masih diekspos melalui HTTP yang tidak terenkripsi, yang dapat menimbulkan risiko keamanan tertentu. (Harap dicatat: Sebuah IP mungkin mendukung HTTP dan HTTPS, jadi jumlah total IP di sini mungkin melebihi jumlah total IP unik)

7.3 Penyedia Hosting Utama (Organisasi AS)

Hosting instans Ollama sangat terkonsentrasi di antara penyedia layanan cloud.

Peringkat

Organisasi AS

Jumlah IP Unik

Penyedia Terkait Utama

1

AMAZON-02

53658

AWS

2

AMAZON-AES

5539

AWS

3

Chinanet

4964

China Telecom

4

Hangzhou Alibaba Advertising Co.,Ltd.

2647

Alibaba Cloud

5

HENGTONG-IDC-LLC

2391

Penyedia Hosting

6

Shenzhen Tencent Computer Systems Company Limited

1682

Tencent Cloud

7

CHINA UNICOM China169 Backbone

1606

China Unicom

8

Hetzner Online GmbH

972

Hetzner

9

China Unicom Beijing Province Network

746

China Unicom (Beijing)

10

LEASEWEB-USA-LAX

735

Leaseweb

Hosting instans Ollama sangat terkonsentrasi di antara penyedia layanan cloud

AWS (AMAZON-02, AMAZON-AES) memegang pangsa terbesar, diikuti oleh operator telekomunikasi utama Tiongkok dan penyedia layanan cloud (seperti Alibaba Cloud, Tencent Cloud). Penyedia hosting lain seperti Hetzner dan Leaseweb juga memiliki pangsa yang signifikan.

8. Keamanan dan Observasi Lainnya

  • Informasi Versi: Untuk alasan keamanan, kami belum mencantumkan statistik versi Ollama.

  • Risiko Paparan HTTP: Seperti yang disebutkan sebelumnya, sejumlah besar instans Ollama diekspos melalui HTTP tanpa enkripsi TLS, yang dapat membuat konten komunikasi (misalnya, interaksi dengan model) rentan terhadap penyadapan atau perusakan. Pengguna disarankan untuk mengonfigurasi proksi terbalik dan mengaktifkan HTTPS.

  • Aksesibilitas API: Data dalam laporan ini didasarkan pada instans Ollama yang antarmuka /api/tags-nya dapat diakses publik. Jumlah penerapan sebenarnya mungkin lebih tinggi, tetapi beberapa instans mungkin diterapkan di jaringan pribadi atau akses eksternalnya dibatasi oleh firewall.

9. Kesimpulan dan Tinjauan Singkat

Laporan ini, dengan menganalisis data dari 99.412 instans Ollama yang dapat diakses publik secara global (melalui antarmuka /api/tags mereka), menarik kesimpulan dan observasi utama berikut:

1. Tinjauan Penerapan Global dan Distribusi Geografis:

  • Ollama, sebagai alat yang nyaman untuk menjalankan model besar secara lokal, telah banyak diterapkan secara global. Analisis ini mengidentifikasi 99.412 IP unik yang dapat diakses publik.

  • Konsentrasi Geografis Tinggi: Amerika Serikat dan Tiongkok adalah dua negara/wilayah dengan penerapan Ollama paling terkonsentrasi, secara kolektif menyumbang sebagian besar instans yang dapat diakses (AS 29.195, Tiongkok 16.464). Negara-negara seperti Jepang, Jerman, Inggris, India, dan Singapura juga memiliki jumlah penerapan yang signifikan.

  • Hotspot Kota: Di AS, kota-kota seperti Ashburn, Portland, dan Columbus memimpin dalam penerapan; di Tiongkok, kota-kota maju secara teknologi seperti Beijing, Hangzhou, Shanghai, dan Guangzhou adalah lokasi penerapan utama. Hal ini sering terkait dengan konsentrasi perusahaan teknologi, pusat data, dan komunitas pengembang.

2. Tren Penerapan Model AI:

  • Tag Model Populer: Tag terbaru umum seperti llama3:latest, deepseek-r1:latest, mistral:latest, qwen:latest paling populer. Versi yang dioptimalkan secara spesifik seperti llama3:8b-text-q4_K_S juga disukai karena keseimbangannya yang baik.

  • Keluarga Model Dominan: Keluarga llama memimpin dengan margin absolut, diikuti oleh qwen2. Peringkat tinggi keluarga model embedding seperti nomic-bert dan bert patut diperhatikan, mungkin terkait dengan perilaku default Ollama.

  • Preferensi Ukuran Parameter: Model dengan parameter 7B-8B saat ini menjadi arus utama. Model ringan pada tingkat juta parameter dan model besar di atas 10B juga memiliki pasar masing-masing. Perbandingan AS-Tiongkok menunjukkan AS menerapkan lebih banyak model berukuran sedang, sementara Tiongkok lebih aktif dalam mengeksplorasi model kecil dan sangat besar.

  • Pilihan Tingkat Kuantisasi: Kuantisasi 4-bit (terutama Q4_K_M dan Q4_0) adalah pilihan yang luar biasa. F16, sebagai opsi fidelitas yang lebih tinggi, juga memegang posisi penting.

  • Kompleksitas Metadata: Analisis metadata model (misalnya, menafsirkan bidang keluarga model) terkadang mengungkapkan kompleksitas antara catatannya dan nama model atau pemahaman umum, menyoroti keragaman manajemen metadata dalam ekosistem sumber terbuka.

3. Infrastruktur Teknis:

  • Lingkungan Hosting: Sejumlah besar instans Ollama di-host pada penyedia layanan cloud utama seperti AWS, Alibaba Cloud, Tencent Cloud, serta dalam jaringan operator telekomunikasi nasional utama.

  • Port Layanan: Port default Ollama 11434 adalah yang paling umum digunakan, tetapi sejumlah besar instans juga diekspos melalui port web standar.

4. Penilaian Objektif:

  • Popularitas Ollama: Data dengan jelas menunjukkan tingkat adopsi Ollama yang tinggi di antara pengembang dan penggemar AI di seluruh dunia.

  • Semangat Ekosistem Sumber Terbuka: Keragaman model populer dan penggunaan luas berbagai versi parameter dan kuantisasi mencerminkan perkembangan pesat ekosistem model AI sumber terbuka.

  • Keseimbangan dalam Preferensi Pengguna: Saat memilih model, pengguna cenderung mencari keseimbangan antara kemampuan model, efisiensi operasional, dan biaya perangkat keras.

  • Keamanan dan Keterbukaan: Sejumlah besar instans memungkinkan akses publik ke daftar model mereka, yang meskipun nyaman bagi komunitas, mungkin juga menimbulkan risiko keamanan.

5. Prospek Masa Depan:

  • Dengan munculnya model yang lebih efisien dan lebih kecil serta kemajuan lebih lanjut dalam teknologi kuantisasi, hambatan penerapan untuk Ollama diperkirakan akan terus menurun.

  • Standardisasi metadata model dan model yang dibagikan komunitas sangat penting untuk meningkatkan transparansi dan kegunaan ekosistem.

Singkatnya, Ollama menjadi jembatan penting yang menghubungkan model bahasa besar mutakhir dengan berbagai pengembang, peneliti, dan bahkan pengguna umum. Analisis data ini memberikan wawasan berharga untuk memahami status penerapan globalnya saat ini dan preferensi pengguna.

Komentar

comments.comments (0)

Please login first

Sign in