Öyrənməkdən qazanca, süni intellektlə

Daxil ol Pulsuz başla

Süni intellekt xəbərləri və yeniliklərTədqiqat

جدایی از معیارهای سنتی؛ BenchMIRT چه چیزی را می‌سنجد؟

Aidanix Komandası3 dəq4 sentyabr 2026

جدایی از معیارهای سنتی؛ BenchMIRT چه چیزی را می‌سنجد؟

بررسی دقیق‌تر عملکرد مدل‌های زبانی بزرگ (LLM‌ها) نشان داده که بسیاری از معیارهای موجود در سنجش «توانایی‌های واقعی» آن‌ها نادرست هستند. این مشکلات اغلب از عوامل انحرافیِ مطرح‌کردن سؤالات و طراحی آزمون سرچشمه می‌گیرند که بر نتایج تأثیر می‌گذارند. برای شناسایی و کنترل این عوامل مزاحم با استفاده از اصول فنی اندازه‌گیری، یک تیم پژوهشی ابزاری جدید به نام BenchMIRT ارائه کرد. این رویکرد نوآورانه می‌تواند به توسعه‌دهندگان و کاربرانی که به تصمیم‌گیری‌های دقیق مبتنی بر داده وابسته‌اند، کمک کند تفاوت‌های واقعی میان مدل‌های مختلف را بهتر درک کنند.

بنچمارکهوش مصنوعیمدل‌های زبانی بزرگتحلیل دادهBenchMIRTسنجش عملکرد

نظرات

هنوز نظری ثبت نشده — اولین نفر باش.

Claude istifadəçiləri bioloji silahların məhdudiyyətlərini aşmaq üçün yollar tapdı **Translation (en → az)** AI Agentinin incə tənzimlənməsi üzrə əhatəli bələdçi: Dörd əsas məqam **Reasoning and Explanation** 1. **Understanding the Prompt** - The source is an English title: “A Comprehensive Guide to Fine-Tuning AI Agent: Four Key Points”. - It consists of a main title (“A Comprehensive Guide to Fine‑Tuning AI Agent”) and a subtitle (“Four Key Points”) separated by a colon. 2. **Word‑by‑Word Mapping** - **A Comprehensive Guide** → “əhatəli bələdçi” (əhatəli = comprehensive, bələdçi = guide). - **Fine‑Tuning** → “incə tənzimlənmə” (incə = fine, tənzimlənmə = tuning). - **AI Agent** → “AI Agenti” (the term is kept as a proper noun; in Azerbaijani the genitive form is “AI Agentinin”). - **Four Key Points** → “Dörd əsas məqam” (dörd = four, əsas = key, məqam = point). 3. **Syntactic Re‑ordering for Natural Azerbaijani** - Azerbaijani, like Persian, places descriptive phrases before the noun, but the genitive construction is required for “AI Agent”. - The phrase “incə tənzimlənməsi üzrə” (regarding fine‑tuning) follows the noun it modifies. - The colon is retained to separate the main title from the subtitle, matching English title conventions. 4. **Final Assembly** - Combine the translated components while preserving the colon separator: - Result: **“AI Agentinin incə tənzimlənməsi üzrə əhatəli bələdçi: Dörd əsas məqam”**.مسئولان OpenAI روش‌های فرار از محیط ایزوله (sandbox) را در یک ویکی عمومی فاش کردند.