زنجیره فکری گوگل می تواند بهترین الگوریتم های امروزی را تقویت کند

گوگل جزئیات یک فناوری پیشرفت را منتشر کرد که به طور قابل توجهی جدیدترین الگوریتم های پیشرفته گوگل را بهبود می بخشد.
گوگل یک تحقیق موفقیت آمیز در زمینه پردازش زبان طبیعی به نام Chain of Thought Prompting را اعلام کرد که وضعیت فن آوری های پیشرفته مانند PalM و LaMDA را به سطح قابل توجهی ارتقا می دهد.
این واقعیت که Chain of Thought Prompting می تواند PALM و LaMDA را با این نرخ های قابل توجه بهبود بخشد، موضوع بزرگی است.
این تحقیق آزمایش‌هایی را با استفاده از دو مدل زبان، مدل زبان برای کاربردهای گفتگو (LaMDA) و مدل زبان مسیرها (PaLM) انجام داد.
LaMDA یک مدل متمرکز بر مکالمه است، مانند یک ربات چت، اما همچنین می تواند برای بسیاری از برنامه های کاربردی دیگر که نیاز به صحبت کردن، گفتگو دارند، استفاده شود.
PaLM مدلی است که از آنچه گوگل معماری هوش مصنوعی Pathways می نامد پیروی می کند که در آن یک مدل زبان برای یادگیری نحوه حل مشکلات آموزش می بیند.
قبلاً مدل‌های یادگیری ماشینی برای حل یک نوع مشکل آموزش داده می‌شدند و اساساً برای انجام آن یک کار واقعاً خوب رها می‌شدند. اما برای انجام کار دیگری، گوگل باید مدل جدیدی را آموزش دهد.
معماری هوش مصنوعی Pathways راهی برای ایجاد مدلی است که می تواند مشکلاتی را حل کند که لزوماً قبلاً ندیده است.
همانطور که در توضیح Google PalM نقل شده است:
ما می‌خواهیم مدلی را آموزش دهیم که نه‌تنها می‌تواند بسیاری از وظایف مجزا را انجام دهد، بلکه مهارت‌های موجود خود را برای یادگیری سریع‌تر و موثرتر از مهارت‌های موجود استفاده کرده و ترکیب می‌کند.»
مقاله تحقیقاتی سه پیشرفت مهم را برای استدلال زنجیره‌ای فکری فهرست می‌کند:
این تحقیق نمونه‌ای از یک کار استدلال چند مرحله‌ای را ارائه می‌کند که مدل‌های زبانی روی آن آزمایش می‌شوند:
س: کافه تریا 23 سیب داشت. اگر از 20 عدد برای ناهار استفاده کردند و 6 عدد دیگر خریدند، چند عدد سیب دارند؟
ج: کافه تریا در ابتدا 23 سیب داشت. برای تهیه ناهار از 20 عدد استفاده کردند. بنابراین آنها 23 – 20 = 3 داشتند. آنها 6 سیب دیگر خریدند، بنابراین آنها 3 + 6 = 9 دارند. پاسخ 9 است.
PalM یک مدل زبان پیشرفته است که بخشی از معماری هوش مصنوعی Pathways است. آنقدر پیشرفته است که می تواند توضیح دهد که چرا یک جوک خنده دار است.
با این حال، همانطور که PALM پیشرفته است، محققان ادعا می کنند که Chain of Thought Prompting به طور قابل توجهی این مدل ها را بهبود می بخشد، و این چیزی است که باعث می شود این تحقیق جدید بسیار شایسته توجه باشد.
گوگل آن را اینگونه توضیح می دهد:
استدلال زنجیره ای فکری به مدل ها اجازه می دهد تا مسائل پیچیده را به مراحل میانی تجزیه کنند که به صورت جداگانه حل می شوند.
علاوه بر این، ماهیت زنجیره فکری مبتنی بر زبان، آن را برای هر کاری که شخص می تواند از طریق زبان حل کند، قابل استفاده است.
سپس مقاله تحقیقاتی به این نکته اشاره می‌کند که وقتی مقیاس مدل افزایش می‌یابد، اعلان استاندارد واقعاً بهبود نمی‌یابد.
اما با این رویکرد جدید، مقیاس تأثیر مثبت و قابل توجهی بر میزان عملکرد مدل دارد.
Chain of Thought Prompting بر روی LaMDA و PalM با استفاده از دو مجموعه داده ریاضی مشکل کلمه آزمایش شد.
این مجموعه داده ها توسط محققان به عنوان راهی برای مقایسه نتایج در مورد مسائل مشابه برای مدل های زبانی مختلف استفاده می شود.
در زیر تصاویر نمودارهایی وجود دارد که نتایج استفاده از Chain of Thought Prompting در LaMDA را نشان می دهد.
Chain of Thought Prompting و LaMDA
نتایج مقیاس‌گذاری LaMDA روی مجموعه داده MultiArith نشان می‌دهد که منجر به بهبود مختصری شده است. اما LaMDA هنگامی که با Chain of Thought Prompting مقیاس بندی می شود به طور قابل توجهی امتیاز بیشتری کسب می کند.
نتایج مربوط به مجموعه داده GSM8K یک بهبود متوسط را نشان می دهد.
این یک داستان متفاوت با مدل زبان PalM است.
زنجیره فکری و palm
همانطور که در نمودار بالا مشاهده می‌شود، سود حاصل از مقیاس‌گذاری PaLM با Chain of Thought Prompting بسیار زیاد است و برای هر دو مجموعه داده (MultiArith و GSM8K) بسیار زیاد است.
محققان نتایج را قابل توجه و یک وضعیت جدید از هنر می نامند:
در مجموعه داده‌های GSM8K از مسائل کلمات ریاضی، PaLM عملکرد قابل‌توجهی را هنگامی که به پارامترهای 540B مقیاس‌بندی می‌شود، نشان می‌دهد.
ترکیب زنجیره افکار با پارامتر 540B مدل PaLM منجر به عملکرد پیشرفته 58 درصدی می شود که از 55 درصد پیشرفت قبلی که با تنظیم دقیق GPT-3 175B در یک تمرین بزرگ به دست آمده بود، پیشی می گیرد. راه حل های بالقوه را از طریق یک تأیید کننده آموزش دیده تنظیم و رتبه بندی کنید.
علاوه بر این، کار پیگیری بر روی خودسازگاری نشان می‌دهد که عملکرد زنجیره افکار را می‌توان با اخذ اکثریت رای از مجموعه وسیعی از فرآیندهای استدلال تولید شده، که منجر به دقت 74% در GSM8K می‌شود، بهبود بخشید.
نتیجه‌گیری یک مقاله تحقیقاتی یکی از مهمترین بخش‌هایی است که می‌توان بررسی کرد که آیا تحقیق پیشرفت کرده است یا بن‌بست است یا به تحقیقات بیشتری نیاز دارد.
بخش نتیجه گیری مقاله تحقیقاتی گوگل یک نکته بسیار مثبت دارد.
اشاره می کند:
"ما زنجیره افکار را به عنوان روشی ساده و به طور گسترده برای تقویت استدلال در مدل های زبانی بررسی کرده ایم.
از طریق آزمایش‌هایی روی استدلال‌های حسابی، نمادین و عقل سلیم، متوجه می‌شویم که زنجیره پردازش فکر یک ویژگی نوظهور مقیاس مدل است که به مدل‌های زبانی به اندازه کافی بزرگ اجازه می‌دهد تا وظایف استدلالی را انجام دهند که در غیر این صورت دارای منحنی‌های مقیاس‌بندی مسطح هستند.
گسترش دامنه وظایف استدلالی که مدل های زبانی می توانند انجام دهند، امیدواریم الهام بخش کار بیشتر روی رویکردهای استدلال مبتنی بر زبان باشد.
معنی آن این است که Chain of Thought Prompting ممکن است این پتانسیل را داشته باشد که Google را به طور قابل توجهی مدل‌های مختلف زبان خود را بهبود بخشد، که به نوبه خود می‌تواند منجر به پیشرفت‌های قابل توجهی در انواع کارهایی شود که Google می‌تواند انجام دهد.
مدل های زبان استدلال را از طریق زنجیره فکر انجام می دهند
زنجیره فکری که باعث ایجاد استدلال در مدل‌های زبانی بزرگ می‌شود (PDF)
خبرنامه روزانه ما را از لورن بیکر بنیانگذار SEJ در مورد آخرین اخبار در صنعت دریافت کنید!
راجر مونتی یک بازاریاب جستجو با بیش از 20 سال تجربه است. ارائه ممیزی سایت، مشاوره تلفنی و محتوا و … [بیو کامل را بخوانید]
برای دریافت آخرین اخبار صنعت در خبرنامه روزانه ما مشترک شوید.
برای دریافت آخرین اخبار صنعت در خبرنامه روزانه ما مشترک شوید.

source
سئو سایت

About mohtavaclick

Check Also

به روز رسانی لینکدین شامل پیشرفت هایی در نتایج جستجو می شود

به‌روزرسانی‌های لینکدین شامل بهبودهایی در کشف محتوا، زیرنویس‌ها برای رویدادهای هم‌زمان و امکان اشتراک‌گذاری نظرات …

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد.

قالب وردپرس وردپرس متخصص وردپرس متخصص ووکامرس افزونه وردپرس کابین وردپرس