Skip to content

Commit 391d7e5

Browse files
Milvus-doc-botMilvus-doc-bot
authored andcommitted
Generate en docs
1 parent 059167c commit 391d7e5

File tree

316 files changed

+18883
-931
lines changed

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

316 files changed

+18883
-931
lines changed

localization/v2.5.x/site/ar/menuStructure/ar.json

Lines changed: 12 additions & 6 deletions
Original file line numberDiff line numberDiff line change
@@ -607,6 +607,12 @@
607607
"children": []
608608
}
609609
]
610+
},
611+
{
612+
"label": "محللون متعددو اللغات",
613+
"id": "multi-language-analyzers.md",
614+
"order": 4,
615+
"children": []
610616
}
611617
]
612618
},
@@ -941,12 +947,6 @@
941947
"id": "embed-with-gemini.md",
942948
"order": 14,
943949
"children": []
944-
},
945-
{
946-
"label": "تضمينأي شيء",
947-
"id": "build_RAG_with_milvus_and_embedAnything.md",
948-
"order": 15,
949-
"children": []
950950
}
951951
]
952952
},
@@ -2020,6 +2020,12 @@
20202020
"id": "integrate_with_bentoml.md",
20212021
"order": 5,
20222022
"children": []
2023+
},
2024+
{
2025+
"label": "تضمينأي شيء",
2026+
"id": "build_RAG_with_milvus_and_embedAnything.md",
2027+
"order": 15,
2028+
"children": []
20232029
}
20242030
]
20252031
},

localization/v2.5.x/site/ar/tutorials/use_ColPali_with_milvus.md

Lines changed: 3 additions & 3 deletions
Original file line numberDiff line numberDiff line change
@@ -1,7 +1,7 @@
11
---
22
id: use_ColPali_with_milvus.md
33
summary: >-
4-
في هذا الدفتر، نشير إلى هذا النوع من التمثيل متعدد النواقل باسم "تضمينات
4+
في هذا الدفتر، نشير إلى هذا النوع من التمثيل متعدد المتجهات باسم "تضمينات
55
ColBERT" من أجل التعميم. ومع ذلك، فإن النموذج الفعلي المستخدم هو نموذج
66
ColPali. سنوضح كيفية استخدام ميلفوس لاسترجاع متعدد المتجهات. بناءً على ذلك،
77
سنقدم كيفية استخدام ColPali لاسترجاع الصفحات بناءً على استعلام معين.
@@ -31,12 +31,12 @@ title: استخدام كولبالي للاسترجاع متعدد الوسائ
3131
</button></h1><p>تستخدم نماذج الاسترجاع الحديثة عادةً تضمينًا واحدًا لتمثيل النص أو الصور. ومع ذلك، فإن ColBERT هو نموذج عصبي يستخدم قائمة من التضمينات لكل مثيل بيانات ويستخدم عملية "MaxSim" لحساب التشابه بين نصين. بالإضافة إلى البيانات النصية، تحتوي الأشكال والجداول والرسوم البيانية أيضًا على معلومات غنية، والتي غالبًا ما يتم تجاهلها في استرجاع المعلومات المستندة إلى النصوص.</p>
3232
<p>
3333
<span class="img-wrapper">
34-
<img translate="no" src="/docs/v2.5.x/images/colpali_formula.png" alt="" class="doc-image" id="" />
34+
<img translate="no" src="/docs/v2.5.x/assets/colpali_formula.png" alt="" class="doc-image" id="" />
3535
<span></span>
3636
</span>
3737
</p>
3838
<p>تقارن دالة MaxSim استعلامًا مع مستند (ما تبحث فيه) من خلال النظر في تضمينات الرموز المميزة الخاصة بهما. لكل كلمة في الاستعلام، تقوم باختيار الكلمة الأكثر تشابهًا من المستند (باستخدام تشابه جيب التمام أو مسافة L2 المربعة) وتجمع أوجه التشابه القصوى هذه عبر جميع الكلمات في الاستعلام</p>
39-
<p>ColPali هي طريقة تجمع بين تمثيل ColBERT متعدد المتجهات مع PaliGemma (نموذج لغوي كبير متعدد الوسائط) للاستفادة من قدرات الفهم القوية. يتيح هذا النهج تمثيل صفحة تحتوي على كل من النص والصور باستخدام تضمين موحد متعدد المتجهات. يمكن للتضمينات داخل هذا التمثيل متعدد النواقل أن تلتقط معلومات مفصلة، مما يحسّن أداء التوليد المعزز للاسترجاع (RAG) للبيانات متعددة الوسائط.</p>
39+
<p>ColPali هي طريقة تجمع بين تمثيل ColBERT متعدد المتجهات مع PaliGemma (نموذج لغوي كبير متعدد الوسائط) للاستفادة من قدرات الفهم القوية. يتيح هذا النهج تمثيل صفحة تحتوي على نص وصور باستخدام تضمين موحد متعدد المتجهات. يمكن للتضمينات داخل هذا التمثيل متعدد المتجهات أن تلتقط معلومات مفصلة، مما يحسن أداء التوليد المعزز للاسترجاع (RAG) للبيانات متعددة الوسائط.</p>
4040
<p>في هذا الدفتر، نشير في هذا الدفتر إلى هذا النوع من التمثيل متعدد النواقل باسم "تضمينات كولبيرت" من أجل العمومية. ومع ذلك، فإن النموذج الفعلي المستخدم هو <strong>نموذج ColPali</strong>. سنوضح كيفية استخدام ميلفوس لاسترجاع متعدد المتجهات. بناءً على ذلك، سنقدم كيفية استخدام ColPali لاسترجاع الصفحات بناءً على استعلام معين.</p>
4141
<h2 id="Preparation" class="common-anchor-header">التحضير<button data-href="#Preparation" class="anchor-icon" translate="no">
4242
<svg translate="no"

localization/v2.5.x/site/ar/userGuide/schema/analyzer/analyzer-overview.json

Lines changed: 1 addition & 1 deletion
Large diffs are not rendered by default.

localization/v2.5.x/site/ar/userGuide/schema/analyzer/analyzer-overview.md

Lines changed: 95 additions & 5 deletions
Original file line numberDiff line numberDiff line change
@@ -2,8 +2,8 @@
22
id: analyzer-overview.md
33
title: نظرة عامة على المحلل
44
summary: >-
5-
في معالجة النصوص، يعتبر المحلل مكونًا أساسيًا يحول النص الخام إلى تنسيق منظم
6-
وقابل للبحث. يتكون كل محلل عادةً من عنصرين أساسيين: مُحلل الرموز والمرشح.
5+
في معالجة النصوص، يعتبر المحلل عنصرًا أساسيًا في تحويل النص الخام إلى تنسيق
6+
منظم وقابل للبحث. يتكون كل محلل عادةً من عنصرين أساسيين: مُحلل الرموز والمرشح.
77
يقومان معًا بتحويل النص المدخل إلى رموز، وتنقيح هذه الرموز، وإعدادها للفهرسة
88
والاسترجاع بكفاءة.
99
---
@@ -119,11 +119,45 @@ result = client.run_analyzer(
119119
analyzer_params
120120
)
121121
<button class="copy-code-btn"></button></code></pre>
122-
<pre><code translate="no" class="language-java"><span class="hljs-comment">// java</span>
122+
<pre><code translate="no" class="language-java"><span class="hljs-keyword">import</span> io.milvus.v2.service.vector.request.RunAnalyzerReq;
123+
<span class="hljs-keyword">import</span> io.milvus.v2.service.vector.response.RunAnalyzerResp;
124+
125+
List&lt;String&gt; texts = <span class="hljs-keyword">new</span> <span class="hljs-title class_">ArrayList</span>&lt;&gt;();
126+
texts.add(<span class="hljs-string">&quot;An efficient system relies on a robust analyzer to correctly process text for various applications.&quot;</span>);
127+
128+
<span class="hljs-type">RunAnalyzerResp</span> <span class="hljs-variable">resp</span> <span class="hljs-operator">=</span> client.runAnalyzer(RunAnalyzerReq.builder()
129+
.texts(texts)
130+
.analyzerParams(analyzerParams)
131+
.build());
132+
List&lt;RunAnalyzerResp.AnalyzerResult&gt; results = resp.getResults();
123133
<button class="copy-code-btn"></button></code></pre>
124-
<pre><code translate="no" class="language-javascript"><span class="hljs-comment">// javascript</span>
134+
<pre><code translate="no" class="language-javascript"><span class="hljs-comment">// javascrip# Sample text to analyze</span>
135+
<span class="hljs-keyword">const</span> text = <span class="hljs-string">&quot;An efficient system relies on a robust analyzer to correctly process text for various applications.&quot;</span>
136+
137+
<span class="hljs-comment">// Run analyzer</span>
138+
<span class="hljs-keyword">const</span> result = <span class="hljs-keyword">await</span> client.<span class="hljs-title function_">run_analyzer</span>({
139+
text,
140+
analyzer_params
141+
});
125142
<button class="copy-code-btn"></button></code></pre>
126-
<pre><code translate="no" class="language-go"><span class="hljs-comment">// go</span>
143+
<pre><code translate="no" class="language-go"><span class="hljs-keyword">import</span> (
144+
<span class="hljs-string">&quot;context&quot;</span>
145+
<span class="hljs-string">&quot;encoding/json&quot;</span>
146+
<span class="hljs-string">&quot;fmt&quot;</span>
147+
148+
<span class="hljs-string">&quot;github.com/milvus-io/milvus/client/v2/milvusclient&quot;</span>
149+
)
150+
151+
bs, _ := json.Marshal(analyzerParams)
152+
texts := []<span class="hljs-type">string</span>{<span class="hljs-string">&quot;An efficient system relies on a robust analyzer to correctly process text for various applications.&quot;</span>}
153+
option := milvusclient.NewRunAnalyzerOption(texts).
154+
WithAnalyzerParams(<span class="hljs-type">string</span>(bs))
155+
156+
result, err := client.RunAnalyzer(ctx, option)
157+
<span class="hljs-keyword">if</span> err != <span class="hljs-literal">nil</span> {
158+
fmt.Println(err.Error())
159+
<span class="hljs-comment">// handle error</span>
160+
}
127161
<button class="copy-code-btn"></button></code></pre>
128162
<pre><code translate="no" class="language-bash"><span class="hljs-comment"># restful</span>
129163
<button class="copy-code-btn"></button></code></pre>
@@ -414,13 +448,44 @@ result = client.run_analyzer(sample_text, analyzer_params_built_in)
414448
<button class="copy-code-btn"></button></code></pre>
415449
<pre><code translate="no" class="language-java">Map&lt;String, Object&gt; analyzerParamsBuiltin = <span class="hljs-keyword">new</span> <span class="hljs-title class_">HashMap</span>&lt;&gt;();
416450
analyzerParamsBuiltin.put(<span class="hljs-string">&quot;type&quot;</span>, <span class="hljs-string">&quot;english&quot;</span>);
451+
452+
List&lt;String&gt; texts = <span class="hljs-keyword">new</span> <span class="hljs-title class_">ArrayList</span>&lt;&gt;();
453+
texts.add(<span class="hljs-string">&quot;Milvus simplifies text ana
454+
455+
lysis for search.&quot;</span>);
456+
457+
<span class="hljs-type">RunAnalyzerResp</span> <span class="hljs-variable">resp</span> <span class="hljs-operator">=</span> client.runAnalyzer(RunAnalyzerReq.builder()
458+
.texts(texts)
459+
.analyzerParams(analyzerParams)
460+
.build());
461+
List&lt;RunAnalyzerResp.AnalyzerResult&gt; results = resp.getResults();
462+
417463
<button class="copy-code-btn"></button></code></pre>
418464
<pre><code translate="no" class="language-javascript"><span class="hljs-comment">// Use a built-in analyzer for VARCHAR field `title_en`</span>
419465
<span class="hljs-keyword">const</span> analyzerParamsBuiltIn = {
420466
<span class="hljs-attr">type</span>: <span class="hljs-string">&quot;english&quot;</span>,
421467
};
468+
469+
<span class="hljs-keyword">const</span> sample_text = <span class="hljs-string">&quot;Milvus simplifies text analysis for search.&quot;</span>;
470+
<span class="hljs-keyword">const</span> result = <span class="hljs-keyword">await</span> client.<span class="hljs-title function_">run_analyzer</span>({
471+
<span class="hljs-attr">text</span>: sample_text,
472+
<span class="hljs-attr">analyzer_params</span>: analyzer_params_built_in
473+
});
474+
422475
<button class="copy-code-btn"></button></code></pre>
423476
<pre><code translate="no" class="language-go">analyzerParams := <span class="hljs-keyword">map</span>[<span class="hljs-type">string</span>]any{<span class="hljs-string">&quot;type&quot;</span>: <span class="hljs-string">&quot;english&quot;</span>}
477+
478+
bs, _ := json.Marshal(analyzerParams)
479+
texts := []<span class="hljs-type">string</span>{<span class="hljs-string">&quot;Milvus simplifies text analysis for search.&quot;</span>}
480+
option := milvusclient.NewRunAnalyzerOption(texts).
481+
WithAnalyzerParams(<span class="hljs-type">string</span>(bs))
482+
483+
result, err := client.RunAnalyzer(ctx, option)
484+
<span class="hljs-keyword">if</span> err != <span class="hljs-literal">nil</span> {
485+
fmt.Println(err.Error())
486+
<span class="hljs-comment">// handle error</span>
487+
}
488+
424489
<button class="copy-code-btn"></button></code></pre>
425490
<pre><code translate="no" class="language-bash"><span class="hljs-comment"># restful</span>
426491
<button class="copy-code-btn"></button></code></pre></li>
@@ -471,6 +536,15 @@ analyzerParams.put(<span class="hljs-string">&quot;filter&quot;</span>,
471536
}}
472537
)
473538
);
539+
540+
List&lt;String&gt; texts = <span class="hljs-keyword">new</span> <span class="hljs-title class_">ArrayList</span>&lt;&gt;();
541+
texts.add(<span class="hljs-string">&quot;Milvus provides flexible, customizable analyzers for robust text processing.&quot;</span>);
542+
543+
<span class="hljs-type">RunAnalyzerResp</span> <span class="hljs-variable">resp</span> <span class="hljs-operator">=</span> client.runAnalyzer(RunAnalyzerReq.builder()
544+
.texts(texts)
545+
.analyzerParams(analyzerParams)
546+
.build());
547+
List&lt;RunAnalyzerResp.AnalyzerResult&gt; results = resp.getResults();
474548
<button class="copy-code-btn"></button></code></pre>
475549
<pre><code translate="no" class="language-javascript"><span class="hljs-comment">// Configure a custom analyzer for VARCHAR field `title`</span>
476550
<span class="hljs-keyword">const</span> analyzerParamsCustom = {
@@ -487,6 +561,11 @@ analyzerParams.put(<span class="hljs-string">&quot;filter&quot;</span>,
487561
},
488562
],
489563
};
564+
<span class="hljs-keyword">const</span> sample_text = <span class="hljs-string">&quot;Milvus provides flexible, customizable analyzers for robust text processing.&quot;</span>;
565+
<span class="hljs-keyword">const</span> result = <span class="hljs-keyword">await</span> client.<span class="hljs-title function_">run_analyzer</span>({
566+
<span class="hljs-attr">text</span>: sample_text,
567+
<span class="hljs-attr">analyzer_params</span>: analyzer_params_built_in
568+
});
490569
<button class="copy-code-btn"></button></code></pre>
491570
<pre><code translate="no" class="language-go">analyzerParams = <span class="hljs-keyword">map</span>[<span class="hljs-type">string</span>]any{<span class="hljs-string">&quot;tokenizer&quot;</span>: <span class="hljs-string">&quot;standard&quot;</span>,
492571
<span class="hljs-string">&quot;filter&quot;</span>: []any{<span class="hljs-string">&quot;lowercase&quot;</span>,
@@ -497,6 +576,17 @@ analyzerParams.put(<span class="hljs-string">&quot;filter&quot;</span>,
497576
<span class="hljs-string">&quot;type&quot;</span>: <span class="hljs-string">&quot;stop&quot;</span>,
498577
<span class="hljs-string">&quot;stop_words&quot;</span>: []<span class="hljs-type">string</span>{<span class="hljs-string">&quot;of&quot;</span>, <span class="hljs-string">&quot;to&quot;</span>},
499578
}}}
579+
580+
bs, _ := json.Marshal(analyzerParams)
581+
texts := []<span class="hljs-type">string</span>{<span class="hljs-string">&quot;Milvus provides flexible, customizable analyzers for robust text processing.&quot;</span>}
582+
option := milvusclient.NewRunAnalyzerOption(texts).
583+
WithAnalyzerParams(<span class="hljs-type">string</span>(bs))
584+
585+
result, err := client.RunAnalyzer(ctx, option)
586+
<span class="hljs-keyword">if</span> err != <span class="hljs-literal">nil</span> {
587+
fmt.Println(err.Error())
588+
<span class="hljs-comment">// handle error</span>
589+
}
500590
<button class="copy-code-btn"></button></code></pre>
501591
<pre><code translate="no" class="language-bash"><span class="hljs-comment"># curl</span>
502592
<button class="copy-code-btn"></button></code></pre></li>
Lines changed: 1 addition & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -1 +1 @@
1-
{"codeList":["analyzer_params = {\n \"tokenizer\": \"jieba\",\n \"filter\": [\"cnalphanumonly\"]\n}\n","Map<String, Object> analyzerParams = new HashMap<>();\nanalyzerParams.put(\"tokenizer\", \"jieba\");\nanalyzerParams.put(\"filter\", Collections.singletonList(\"cnalphanumonly\"));\n","const analyzer_params = {\n \"tokenizer\": \"jieba\",\n \"filter\": [\"cnalphanumonly\"]\n};\n","analyzerParams = map[string]any{\"tokenizer\": \"jieba\", \"filter\": []any{\"cnalphanumonly\"}}\n","# restful\nanalyzerParams='{\n \"tokenizer\": \"jieba\",\n \"filter\": [\n \"cnalphanumonly\"\n ]\n}'\n\n","analyzer_params = {\n \"type\": \"chinese\",\n}\n","Map<String, Object> analyzerParams = new HashMap<>();\nanalyzerParams.put(\"type\", \"chinese\");\n","const analyzer_params = {\n \"type\": \"chinese\",\n}\n","analyzerParams = map[string]any{\"type\": \"chinese\"}\n","# restful\nanalyzerParams='{\n \"type\": \"chinese\"\n}'\n","analyzer_params = {\n \"type\": \"chinese\",\n}\n","Map<String, Object> analyzerParams = new HashMap<>();\nanalyzerParams.put(\"type\", \"chinese\");\n","// javascript\n","analyzerParams = map[string]any{\"type\": \"chinese\"}\n","# restful\n","# Sample text to analyze\nsample_text = \"Milvus 是一个高性能、可扩展的向量数据库!\"\n\n# Run the standard analyzer with the defined configuration\nresult = MilvusClient.run_analyzer(sample_text, analyzer_params)\nprint(\"Chinese analyzer output:\", result)\n","// java\n","// javascript\n","// go\n","# restful\n","Chinese analyzer output: ['Milvus', '是', '一个', '高性', '性能', '高性能', '可', '扩展', '的', '向量', '数据', '据库', '数据库']\n"],"headingContent":"Chinese","anchorList":[{"label":"الصينية","href":"Chinese","type":1,"isActive":false},{"label":"أمثلة","href":"Examples","type":2,"isActive":false}]}
1+
{"codeList":["analyzer_params = {\n \"tokenizer\": \"jieba\",\n \"filter\": [\"cnalphanumonly\"]\n}\n","Map<String, Object> analyzerParams = new HashMap<>();\nanalyzerParams.put(\"tokenizer\", \"jieba\");\nanalyzerParams.put(\"filter\", Collections.singletonList(\"cnalphanumonly\"));\n","const analyzer_params = {\n \"tokenizer\": \"jieba\",\n \"filter\": [\"cnalphanumonly\"]\n};\n","analyzerParams = map[string]any{\"tokenizer\": \"jieba\", \"filter\": []any{\"cnalphanumonly\"}}\n","# restful\nanalyzerParams='{\n \"tokenizer\": \"jieba\",\n \"filter\": [\n \"cnalphanumonly\"\n ]\n}'\n\n","analyzer_params = {\n \"type\": \"chinese\",\n}\n","Map<String, Object> analyzerParams = new HashMap<>();\nanalyzerParams.put(\"type\", \"chinese\");\n","const analyzer_params = {\n \"type\": \"chinese\",\n}\n","analyzerParams = map[string]any{\"type\": \"chinese\"}\n","# restful\nanalyzerParams='{\n \"type\": \"chinese\"\n}'\n","analyzer_params = {\n \"type\": \"chinese\",\n}\n","Map<String, Object> analyzerParams = new HashMap<>();\nanalyzerParams.put(\"type\", \"chinese\");\n","// javascript\n","analyzerParams = map[string]any{\"type\": \"chinese\"}\n","# restful\n","from pymilvus import (\n MilvusClient,\n)\n\nclient = MilvusClient(uri=\"http://localhost:19530\")\n\n# Sample text to analyze\nsample_text = \"Milvus 是一个高性能、可扩展的向量数据库!\"\n\n# Run the standard analyzer with the defined configuration\nresult = client.run_analyzer(sample_text, analyzer_params)\nprint(\"English analyzer output:\", result)\n","import io.milvus.v2.client.ConnectConfig;\nimport io.milvus.v2.client.MilvusClientV2;\nimport io.milvus.v2.service.vector.request.RunAnalyzerReq;\nimport io.milvus.v2.service.vector.response.RunAnalyzerResp;\n\nConnectConfig config = ConnectConfig.builder()\n .uri(\"http://localhost:19530\")\n .build();\nMilvusClientV2 client = new MilvusClientV2(config);\n\nList<String> texts = new ArrayList<>();\ntexts.add(\"Milvus 是一个高性能、可扩展的向量数据库!\");\n\nRunAnalyzerResp resp = client.runAnalyzer(RunAnalyzerReq.builder()\n .texts(texts)\n .analyzerParams(analyzerParams)\n .build());\nList<RunAnalyzerResp.AnalyzerResult> results = resp.getResults();\n","// javascript\n","// go\n","# restful\n","Chinese analyzer output: ['Milvus', '是', '一个', '高性', '性能', '高性能', '可', '扩展', '的', '向量', '数据', '据库', '数据库']\n"],"headingContent":"Chinese","anchorList":[{"label":"الصينية","href":"Chinese","type":1,"isActive":false},{"label":"أمثلة","href":"Examples","type":2,"isActive":false}]}

0 commit comments

Comments
 (0)