ಫೌಂಡ್ರಿ ಲೋಕಲ್ ಮತ್ತು ಕ್ವೆನ್ ಬಳಸಿ ಸ್ಥಳೀಯ AI ಏಜೆಂಟುಗಳನ್ನು ರಚಿಸುವುದು

ಪಾಠ 17 – ಸ್ಥಳೀಯ AI ಏಜೆಂಟುಗಳು ಸೃಜನೆ ಗೆ ಸಹಾಯಕರ ಕೌಶಲ್ಯ. ಇದು শেখುವವರಿಗೆ ತಂತ್ರಾಂಶವನ್ನು ತಂಡಿಸಿ, ಉಪಕರಣಗಳನ್ನು ಕರೆದು, ಮತ್ತು ಸಂಪೂರ್ಣವಾಗಿ ತಮ್ಮದೇ ಯಂತ್ರದಲ್ಲಿ ದತ್ತಾಂಶವನ್ನು ಹುಡುಕಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ — ಯಾವುದೇ ಮೆಘ ನಿರ್ಣಯವಿಲ್ಲ. ಪ್ರತಿ ಶಿಫಾರಸ್ಸು ಪಾಠ ವಸ್ತು ಮತ್ತು ಚಾಲನೆಯಲ್ಲಿರುವ ನೋಟ್ಬುಕ್ ಆಧಾರಿತವಾಗಿರಲಿ.

ಈ ಕೌಶಲ್ಯವನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಿ, ಜನರೊಬ್ಬರು ಇಚ್ಛಿಸುವಾಗ:

• ಗೌಪ್ಯತೆ, ವೆಚ್ಚ ಅಥವಾ ಆಫ್‌ಲೈನ್ ಕಾರಣಗಳಿಗಾಗಿ ಏಜೆಂಟನ್ನು ಪೂರ್ಣವಾಗಿ ಸಾಧನದಲ್ಲಿ ನಡೆಸಲು.
• ಫೌಂಡ್ರಿ ಲೋಕಲ್ ಮೂಲಕ ಸ್ಥಳೀಯವಾಗಿ ಮಾದರಿಯನ್ನು ಸೇವೆ ಮಾಡಲು ಮತ್ತು OpenAI-ಪರಿಹಾರವಾದ ಅಂತಿಮ ಬಿಂದು ಮೂಲಕ ಸಂಪರ್ಕಿಸಲು.
• ನಂಬಿಕೆಯೋಗ್ಯ ಸ್ಥಳೀಯ ಉಪಕರಣ ಕಾಲ್‌ಗೆ ಚಾಲನೆ ನೀಡಲು ಕ್ವೆನ್ ಕಾರ್ಯ-ಕೋಲಿಂಗ್ ಮಾದರಿಯನ್ನು ಬಳಸಲು.
• ಸ್ಥಳೀಯ RAG (ಕ್ರೊಮಾ) ಅಥವಾ ಸ್ಥಳೀಯ MCP ಸರ್ವರ್ ಸೇರಿಸಲು.
• ಹೈಬ್ರಿಡ್ ಸ್ಥಳೀಯ/ಮೇಖಲಾ ಮಾರ್ಗನಾಯಕತೆಯ ತಂತ್ರವನ್ನು ವಿನ್ಯಸಿಸಲು.

ಕೇಂದ್ರ ಮಾನಸಿಕ ಮಾದರಿ

SLM ಗೌಪ್ಯತೆ, ವೆಚ್ಚ ಮತ್ತು ಆಫ್‌ಲೈನ್ ಕಾರ್ಯಾಚರಣೆಗೆ ವ್ಯಾಪ್ತಿಯನ್ನು ಮೌಲ್ಯಹೀನಗೊಳಿಸುತ್ತದೆ. ಜಯದ ತಂತ್ರ: SLM ನಿರ್ವಹಣೆ ಮಾಡು ಮತ್ತು ಉಪಕರಣಗಳು ಕಠಿಣ ಕೆಲಸ ಮಾಡಲಿ. ಮಾದರಿಯು ಕೋಡ್‌ಬೇಸ್ ಅನ್ನು ಗೊತ್ತಿರಬೇಕಾಗಿಲ್ಲ - ತನಗೆ ಯಾವಾಗ ಕರೆಮಾಡಬೇಕೆಂದು ತಿಳಿಯುವುದೇ ಮುಖ್ಯ.

read_file ಮತ್ತು search_docs. ಇದು SLM ಗಾಗಿ ಬಲವನ್ನು (ಸೀಮಿತ ನಿರ್ಧಾರಗಳು ಹೊಗೆ ಆಯ್ಕೆ) ಮತ್ತು ಅದರ ದುರ್ಬಲತೆಯಿಂದ ದೂರವನ್ನು (ವಿಸ್ತೃತ ಜ್ಞಾನ, ದೀರ್ಘ ಬಹು-ಹಾಪ್ ಯುಕ್ತಿವಿಚಾರಣೆ) ಪಡಿಸುತ್ತದೆ.

ಈ ವಿಶೇಷ ಭಾಗಗಳು ಏಕೆ

• Foundry Local ಒಂದು OpenAI-ಸಮಾವೇಶಿತ HTTP ಎಂಡ್‌ಪಾಯಿಂಟ್ ಅನ್ನು ಅನಾವರಣಮಾಡುತ್ತದೆ, ಆದ್ದರಿಂದ ಮೇಘ ಏಜೆಂಟ್ ಕೋಡ್ ಮಾರ್ಪಡಿಸುವುದು ಕೇವಲ base_url (ಮತ್ತು ಸ್ಥಳೀಯ ಪ್ಲೇಸ್‌ಹೋಲ್ಡರ್ API ಕೀ ಬಳಸಿ) ಮಾರ್ಪಡಿಸುವ ಮೂಲಕ ನಡೆಯುತ್ತದೆ. ಇದು ಯಂತ್ರಕ್ಕಾಗಿ ಅತ್ಯುತ್ತಮ ನಿರ್ಮಾಣವನ್ನು (CPU/GPU/NPU) ಸ್ವಯಂಚಾಲಿತವಾಗಿ ಆಯ್ಕೆಮಾಡುತ್ತದೆ.
• Qwen ಮಾದರಿಗಳನ್ನು ಕಾರ್ಯಾಚರಣೆ ಕರೆ ಮಾಡಲು ತರಬೇತಿಮಾಡಲಾಗಿದೆ ಮತ್ತು ಚೆನ್ನಾಗಿರುವ ಟೂಲ್ ಕರೆಗಳನ್ನು ಸತತವಾಗಿ ಹೊರಹೊಮ್ಮಿಸುತ್ತದೆ — ಇದು ಸ್ಥಳೀಯ ಚಾಟ್ ಮಾದರಿಯನ್ನು ಸ್ಥಳೀಯ ಏಜೆಂಟ್ ಆಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ.
• Chroma ಪ್ರಕ್ರಿಯೆಯಲ್ಲಿ ನಡುತ್ತದೆ ಮತ್ತು ವಿೆಕ್ಟರ್‌ಗಳನ್ನು ಡಿಸ್ಕ್‌ನಲ್ಲಿ ಸಂಗ್ರಹಿಸುತ್ತದೆ, ಹಾಗಾಗಿ ಸಂಪೂರ್ಣ RAG ಪೈಪ್‌ಲೈನ್ (ಎಂಬೆಡ್ → ಸಂಗ್ರಹ → ಪ್ರಾಪ್ತಿ → ಯುಕ್ತಿವಿಚಾರಣೆ) ಸ್ಥಳೀಯವಾಗಿರುತ್ತದೆ.
• MCP ಒಂದು ಸಾರಿಗೆ ಸಾಧನ, ಮೇಘ ಸೇವೆಯಲ್ಲ: MCP ಸರ್ವರ್ ಸ್ಥಳೀಯವಾಗಿ stdio ಮೇಲೆ ಚಲಿಸಬಹುದು.

ಸೆಟಪ್ ಅಗತ್ಯಗಳು

foundry model run qwen2.5-7b-instruct
foundry service status

from foundry_local import FoundryLocalManager
from openai import OpenAI

manager = FoundryLocalManager("qwen2.5-7b-instruct")
client = OpenAI(base_url=manager.endpoint, api_key=manager.api_key)  # local placeholder

~8 GB RAM ಒಂದು ಯಥಾರ್ಥ ಕನಿಷ್ಟ; GPU/NPU ಸಹಾಯ ಮಾಡುತ್ತದೆ ಆದರೆ ಅವಶ್ಯಾಯವಿಲ್ಲ.

ಪುನರಾವರ್ತಿಸುವ ಪ್ರಮುಖ ಮಾದರಿಗಳು

ಅಧ್ಯಯನಾರ್ಥಿಯನ್ನು ನೋಟ್‌ಬುಕ್‌ಗೆ ಸೂಚಿಸಿ 17-local-agent-foundry-local.ipynb:

• Sandboxed tools: ಪ್ರತಿ ಫೈಲ್ ಟೂಲ್ ಮಾರ್ಗಗಳನ್ನು ಪರಿಹರಿಸುತ್ತದೆ ಮತ್ತು ಒಂದು ಪ್ರಾಜೆಕ್ಟ್ ರೂಟ್ ಅತಿರಿದ್ದು ಏನೇನಾದರೂ ನಿರಾಕರಿಸುತ್ತದೆ — ಸ್ಥಳೀಯವಾಗಿಯೂ, ಟೂಲ್ ಬಳಕೆದಾರರ ಅನುಮತಿಗಳೊಂದಿಗೆ ನಡೆಯುತ್ತದೆ.
• ಟೂಲ್-ಕಾಲಿಂಗ್ ಲೂಪ್: OpenAI ಟೂಲ್ ಸ್ಕೀಮಾದೊಂದಿಗೆ ಟೂಲ್‌ಗಳನ್ನು ನೋಂದಣಿ ಮಾಡಿ, ಕೋರಿದ ಟೂಲ್‌ಗಳನ್ನು ಸ್ಥಳೀಯವಾಗಿ ನಡಿಸಿ, ಫಲಿತಾಂಶಗಳನ್ನು ಹಿಂಬಾಲಿಸಿ, ಅಂತಿಮ ಉತ್ತರವರೆಗೆ ಪುನರಾವರ್ತಿಸಿ.
• ಸ್ಥಳೀಯ RAG: ಡಾಕ್‌ಗಳನ್ನು Chroma ಸಂಗ್ರಹದಲ್ಲಿ ಅಳವಡಿಸಿ; search_docs ಪ್ರಮುಖ-k ಭಾಗಗಳನ್ನು ಹಿಂತಿರುಗಿಸುತ್ತದೆ.
• ಸ್ಥಳೀಯ MCP: ಸ್ಥಳೀಯ ಸರ್ವರ್‌ಗೆ stdio ಮೂಲಕ ಸಂಪರ್ಕಿಸಿ; ಅದನ್ನು ಪ್ರಾಜೆಕ್ಟ್ ಡೈರೆಕ್ಟರಿಗೂ ವ್ಯಾಪಿಸಿ ಮತ್ತು ಅದರ ಫಲಿತಾಂಶಗಳನ್ನು ಮಾನ್ಯ ಮಾಡಿ.

ಸಂಯುಕ್ತ ಮಾರ್ಗನಿರ್ದೇಶನ (ಮಾದರಿಗಳಲ್ಲಿ ಸ್ಥಳೀಯವು ಒಂದಾಗಿದೆ)

ಇದು ಪಾಠ 16ರಿಂದ ಮಾದರಿ-ಮಾರ್ಗನಿರ್ದೇಶನ ಯೋಚನೆಯನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತದೆ, ವರ್ಕ್‌ಸ್ಟೇಷನ್ ಒಂದಾದ ಮಾರ್ಗಗಳಲ್ಲಿ ಒಂದಾಗಿದೆ. ಏಜೆಂಟ್ ಗುಣಮಟ್ಟದ ಹಿನ್ನಡೆ ಬದಲಾಗಿ ಸಂಪೂರ್ಣ ವೈಫಲ್ಯವಿಲ್ಲದೆ ಸ್ಥಳೀಯಕ್ಕೆ ಹಸ್ತಾಂತರಿಸಲು ವಿನ್ಯಾಸಗಳನ್ನು ಮೆಚ್ಚಿಸಿ.

ಸಹಾಯಕರಿಗಾಗಿ ರಕ್ಷಾಕೋಟ್‌ಗಳು

• ಪ್ರತಿ ಫೈಲ್/ಟೂಲ್ ಕಾರ್ಯಾಚರಣೆಯನ್ನು ಸ್ಯಾಂಡ್‌ಬಾಕ್ಸ್ ಪ್ರಾಜೆಕ್ಟ್ ಡೈರೆಕ್ಟರಿಗೂ ಮಿತಿಮಾಡಿ.
• ಅಧ್ಯಯನಾರ್ಥಿಯ ಘೋಷಿತ ಗುರಿ ಗೌಪ್ಯತೆ/ಆಫ್‌ಲೈನ್ ಆಗಿದ್ದಾಗ ಕೋಡ್ ಅಥವಾ ಡೇಟಾವನ್ನು ಮೇಘಕ್ಕೆ ಕಳುಹಿಸಬೇಡಿ — ಸಂಪೂರ್ಣ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಸ್ಥಳೀಯವಾಗಿಡಿ.
• SLM ಗುಣಮಟ್ಟಕ್ಕೆ ಯಥಾರ್ಥ ನಿರೀಕ್ಷೆಗಳು ಹೊಂದಿಸಿ; ಮಾದರಿಯ ನಿಮ್ಮಾಸಿತ ಜ್ಞಾನಕ್ಕಿಂತ ಟೂಲ್‌ಗಳು ಮತ್ತು RAG ಮೇಲೆ ಅವಲಂಬಿಸಿ.
• ಪಾಠ 17ಯ ಬಳಿ ಯಾವುದೇ Foundry Responses ಎಂಡ್‌ಪಾಯಿಂಟ್ ಇಲ್ಲ, ಆದ್ದರಿಂದ ಮೇಘ ಧೂಮಪಾನ-ಪರೀಕ್ಷಾ ಕ್ರಮ ಅನ್ವಯಿಸುವುದಿಲ್ಲ — ನೋಟ್‌ಬುಕ್ ಅನ್ನು ಸ್ಥಳೀಯವಾಗಿ ನಡೆಸಿ ಪರಿಶೀಲಿಸಿ.

ಅಸ್ವೀಕಾರ: ಈ ದಸ್ತಾವೇಜು AI ಅನುವಾದ ಸೇವೆ Co-op Translator ಬಳಸಿ ಅನುವಾದಿಸಲಾಗಿದೆ. ನಾವು ನಿಖರತೆಯನ್ನು ಸಾಧಿಸಲು ಪ್ರಯತ್ನಿಸುತ್ತಿದ್ದರೂ, ದಯವಿಟ್ಟು ಗಮನಿಸಿ, ಸ್ವಯಂಚಾಲಿತ ಅನುವಾದಗಳಲ್ಲಿ ದೋಷಗಳು ಅಥವಾ ಅಸಡ್ಡೆಗಳು ಇರಬಹುದು. ಮೂಲ ಭಾಷೆಯಲ್ಲಿರುವ ಮೂಲ ದಸ್ತಾವೇಜು ಪ್ರಾಮಾಣಿಕ ಮೂಲವೆಂದು ಪರಿಗಣಿಸಬೇಕು. ಪ್ರಮುಖ ಮಾಹಿತಿಗಾಗಿ, ವೃತ್ತಿಪರ ಮಾನವ ಅನುವಾದವನ್ನು ಶಿಫಾರಸು ಮಾಡಲಾಗುತ್ತದೆ. ಈ ಅನುವಾದವನ್ನು ಬಳಸುವ ಮೂಲಕ ಉಂಟಾಗುವ ಯಾವುದೇ ತಪ್ಪು ಅರ್ಥಗಳ ಅಥವಾ ತಪ್ಪು ವ್ಯಾಖ್ಯಾನಗಳ ಬಗ್ಗೆ ನಾವು ಹೊಣೆಗಾರರಲ್ಲ.