{"id":195,"date":"2024-08-04T19:09:38","date_gmt":"2024-08-04T19:09:38","guid":{"rendered":"https:\/\/europaskolos.lt\/index.php\/2024\/08\/04\/daugelis-ai-modeliu-saugos-vertinimu-turi-dideliu-apribojimu\/"},"modified":"2024-08-04T19:09:38","modified_gmt":"2024-08-04T19:09:38","slug":"daugelis-ai-modeliu-saugos-vertinimu-turi-dideliu-apribojimu","status":"publish","type":"post","link":"https:\/\/europaskolos.lt\/index.php\/2024\/08\/04\/daugelis-ai-modeliu-saugos-vertinimu-turi-dideliu-apribojimu\/","title":{"rendered":"Daugelis AI modeli\u0173 saugos vertinim\u0173 turi dideli\u0173 apribojim\u0173"},"content":{"rendered":"<p> <br \/>\n<\/p>\n<div>\n<p id=\"speakable-summary\" class=\"wp-block-paragraph\">Nepaisant did\u0117jan\u010dios AI saugos ir atskaitomyb\u0117s poreikio, \u0161iandieniniai testai ir etalonai gali nepasisekti, teigiama naujoje ataskaitoje.<\/p>\n<p class=\"wp-block-paragraph\">Generatyvieji AI modeliai \u2013 modeliai, galintys analizuoti ir i\u0161vesti tekst\u0105, vaizdus, \u200b\u200bmuzik\u0105, vaizdo \u012fra\u0161us ir t. t. \u2013 vis labiau tikrinami d\u0117l j\u0173 tendencijos klysti ir apskritai elgtis nenusp\u0117jamai.  Dabar organizacijos nuo vie\u0161ojo sektoriaus agent\u016br\u0173 iki dideli\u0173 technologij\u0173 firm\u0173 si\u016blo naujus etalonus \u0161i\u0173 modeli\u0173 saugai i\u0161bandyti.<\/p>\n<p class=\"wp-block-paragraph\">Pra\u0117jusi\u0173 met\u0173 pabaigoje startuolis Scale AI suformavo a <a rel=\"nofollow\" href=\"https:\/\/scale.com\/blog\/safety-evaluations-alignment-lab\">lab<\/a> skirta \u012fvertinti, kaip modeliai atitinka saugos gaires.  \u0160\u012f m\u0117nes\u012f, <a href=\"https:\/\/techcrunch.com\/2024\/07\/27\/nist-releases-a-tool-for-testing-ai-model-risk\/\">NIST<\/a> ir <a href=\"https:\/\/techcrunch.com\/2024\/05\/11\/u-k-agency-releases-tools-to-test-ai-model-safety\/\">JK AI saugos institutas<\/a> i\u0161leistos priemon\u0117s, skirtos modelio rizikai \u012fvertinti.<\/p>\n<p class=\"wp-block-paragraph\">Ta\u010diau \u0161ie modelio zondavimo testai ir metodai gali b\u016bti netinkami.<\/p>\n<p class=\"wp-block-paragraph\">Ada Lovelace Institute (ALI), JK \u012fsik\u016brusi pelno nesiekianti dirbtinio intelekto tyrim\u0173 organizacija, atliko a <a rel=\"nofollow\" href=\"https:\/\/www.adalovelaceinstitute.org\/report\/under-the-radar\/\">studijuoti<\/a> apklaus\u0117 ekspertus i\u0161 akademini\u0173 laboratorij\u0173, pilietin\u0117s visuomen\u0117s ir kurie kuria pardav\u0117j\u0173 modelius, taip pat auditavo naujausius AI saugos vertinim\u0173 tyrimus.  Bendraautoriai nustat\u0117, kad nors dabartiniai vertinimai gali b\u016bti naudingi, jie n\u0117ra i\u0161sam\u016bs, gali b\u016bti lengvai \u017eaid\u017eiami ir neb\u016btinai parodo, kaip modeliai elgsis realaus pasaulio scenarijuose.<\/p>\n<p class=\"wp-block-paragraph\">\u201eNesvarbu, ar tai i\u0161manusis telefonas, receptinis vaistas ar automobilis, tikim\u0117s, kad naudojami produktai bus saug\u016bs ir patikimi;  \u0161iuose sektoriuose produktai yra grie\u017etai i\u0161bandomi siekiant u\u017etikrinti, kad jie yra saug\u016bs prie\u0161 juos panaudojant\u201c, \u2013 \u201eTechCrunch\u201c sak\u0117 Elliotas Jonesas, ALI vyresnysis tyr\u0117jas ir ataskaitos bendraautoris.  \u201eM\u016bs\u0173 tyrimais buvo siekiama i\u0161tirti dabartini\u0173 AI saugos vertinimo metod\u0173 apribojimus, \u012fvertinti, kaip \u0161iuo metu naudojami vertinimai, ir i\u0161tirti, kaip jie naudojami kaip politikos formuotoj\u0173 ir reguliavimo institucij\u0173 priemon\u0117.<\/p>\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_82_2 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Turinys:<\/p>\n<span class=\"ez-toc-title-toggle\"><a href=\"#\" class=\"ez-toc-pull-right ez-toc-btn ez-toc-btn-xs ez-toc-btn-default ez-toc-toggle\" aria-label=\"Toggle Table of Content\"><span class=\"ez-toc-js-icon-con\"><span class=\"\"><span class=\"eztoc-hide\" style=\"display:none;\">Toggle<\/span><span class=\"ez-toc-icon-toggle-span\"><svg style=\"fill: #999;color:#999\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" class=\"list-377408\" width=\"20px\" height=\"20px\" viewBox=\"0 0 24 24\" fill=\"none\"><path d=\"M6 6H4v2h2V6zm14 0H8v2h12V6zM4 11h2v2H4v-2zm16 0H8v2h12v-2zM4 16h2v2H4v-2zm16 0H8v2h12v-2z\" fill=\"currentColor\"><\/path><\/svg><svg style=\"fill: #999;color:#999\" class=\"arrow-unsorted-368013\" xmlns=\"http:\/\/www.w3.org\/2000\/svg\" width=\"10px\" height=\"10px\" viewBox=\"0 0 24 24\" version=\"1.2\" baseProfile=\"tiny\"><path d=\"M18.2 9.3l-6.2-6.3-6.2 6.3c-.2.2-.3.4-.3.7s.1.5.3.7c.2.2.4.3.7.3h11c.3 0 .5-.1.7-.3.2-.2.3-.5.3-.7s-.1-.5-.3-.7zM5.8 14.7l6.2 6.3 6.2-6.3c.2-.2.3-.5.3-.7s-.1-.5-.3-.7c-.2-.2-.4-.3-.7-.3h-11c-.3 0-.5.1-.7.3-.2.2-.3.5-.3.7s.1.5.3.7z\"\/><\/svg><\/span><\/span><\/span><\/a><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/europaskolos.lt\/index.php\/2024\/08\/04\/daugelis-ai-modeliu-saugos-vertinimu-turi-dideliu-apribojimu\/#Etalonai_ir_raudonoji_komanda\" >Etalonai ir raudonoji komanda<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/europaskolos.lt\/index.php\/2024\/08\/04\/daugelis-ai-modeliu-saugos-vertinimu-turi-dideliu-apribojimu\/#Galimi_sprendimai\" >Galimi sprendimai<\/a><\/li><\/ul><\/nav><\/div>\n<h2 class=\"wp-block-heading\" id=\"h-benchmarks-and-red-teaming\"><span class=\"ez-toc-section\" id=\"Etalonai_ir_raudonoji_komanda\"><\/span>Etalonai ir raudonoji komanda<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p class=\"wp-block-paragraph\">Tyrimo bendraautoriai pirm\u0105 kart\u0105 i\u0161tyr\u0117 akademin\u0119 literat\u016br\u0105, siekdami sudaryti \u0161iandienos modeli\u0173 keliamos \u017ealos ir rizikos ap\u017evalg\u0105 bei esam\u0173 AI modeli\u0173 vertinim\u0173 b\u016bkl\u0119.  Tada jie apklaus\u0117 16 ekspert\u0173, \u012fskaitant keturis ne\u012fvardyt\u0173 technologij\u0173 \u012fmoni\u0173, kurian\u010di\u0173 generatyvias AI sistemas, darbuotojus.<\/p>\n<p class=\"wp-block-paragraph\">Tyrimas parod\u0117, kad dirbtinio intelekto pramon\u0117je kyla a\u0161tri\u0173 nesutarim\u0173 d\u0117l geriausi\u0173 metod\u0173 rinkinio ir taksonomijos modeliams \u012fvertinti.<\/p>\n<p class=\"wp-block-paragraph\">Kai kurie vertinimai tik tikrino, kaip modeliai suderinami su etalonais laboratorijoje, o ne kaip modeliai gali paveikti realaus pasaulio vartotojus.  Kiti r\u0117m\u0117si bandymais, sukurtais tyrim\u0173 tikslais, ne\u012fvertindami gamybos modeli\u0173, ta\u010diau pardav\u0117jai reikalavo juos naudoti gamyboje. <\/p>\n<p class=\"wp-block-paragraph\">Mes ra\u0161\u0117me apie <a href=\"https:\/\/techcrunch.com\/2024\/03\/07\/heres-why-most-ai-benchmarks-tell-us-so-little\/\">problemos, susijusios su AI etalonais<\/a> anks\u010diau, o tyrime pabr\u0117\u017eiamos visos \u0161ios problemos ir dar daugiau.<\/p>\n<p class=\"wp-block-paragraph\">Tyrime cituoti ekspertai pa\u017eym\u0117jo, kad modelio na\u0161um\u0105 sunku ekstrapoliuoti i\u0161 etalonini\u0173 tyrim\u0173 rezultat\u0173 ir neai\u0161ku, ar etaloniniai rodikliai netgi gali parodyti, kad modelis turi tam tikr\u0173 savybi\u0173.  Pavyzd\u017eiui, nors modelis gali gerai pasirodyti laikant valstybin\u012f advokat\u016bros egzamin\u0105, tai nerei\u0161kia, kad jis gal\u0117s i\u0161spr\u0119sti daugiau neterminuot\u0173 teisini\u0173 i\u0161\u0161\u016bki\u0173.<\/p>\n<p class=\"wp-block-paragraph\">Ekspertai taip pat atkreip\u0117 d\u0117mes\u012f \u012f duomen\u0173 u\u017eter\u0161imo problem\u0105, kai etaloniniai rezultatai gali pervertinti modelio na\u0161um\u0105, jei modelis buvo apmokytas remiantis tais pa\u010diais duomenimis, kuriais jis bandomas.  Pasak ekspert\u0173, gaires daugeliu atvej\u0173 organizacijos pasirenka ne tod\u0117l, kad tai yra geriausi vertinimo \u012frankiai, o d\u0117l patogumo ir naudojimo paprastumo.<\/p>\n<p class=\"wp-block-paragraph\">\u201eK\u016br\u0117jai gali manipuliuoti etalonais, kurie gali treniruoti modelius naudodami t\u0105 pat\u012f duomen\u0173 rinkin\u012f, kuris bus naudojamas modeliui \u012fvertinti, o tai prilygsta egzamino darbo per\u017ei\u016brai prie\u0161 egzamin\u0105 arba strategi\u0161kai pasirenkant, kokius vertinimus naudoti\u201c, \u2013 tyr\u0117jas Mahi Hardalupas. ALI ir tyrimo bendraautorius pasakojo \u201eTechCrunch\u201c.  \u201eTaip pat svarbu, kuri modelio versija yra vertinama.  Ma\u017ei pakeitimai gali sukelti nenusp\u0117jam\u0173 elgesio poky\u010di\u0173 ir gali nepaisyti integruot\u0173 saugos funkcij\u0173.<\/p>\n<p class=\"wp-block-paragraph\">ALI tyrime taip pat buvo aptikta problem\u0173, susijusi\u0173 su \u201eraudonuoju kolektyvu\u201c, ty praktika, kai asmenims ar grup\u0117ms tenka u\u017eduotis \u201eatakuoti\u201c model\u012f, siekiant nustatyti pa\u017eeid\u017eiamum\u0105 ir tr\u016bkumus.  Nema\u017eai \u012fmoni\u0173 modeliams vertinti naudoja \u201ered-teaming\u201c, \u012fskaitant AI startuolius \u201eOpenAI\u201c ir \u201eAnthropic\u201c, ta\u010diau yra keletas sutart\u0173 raudon\u0173j\u0173 komand\u0173 sudarymo standart\u0173, tod\u0117l sunku \u012fvertinti konkre\u010di\u0173 pastang\u0173 efektyvum\u0105.<\/p>\n<p class=\"wp-block-paragraph\">Ekspertai tyrimo bendraautoriams sak\u0117, kad gali b\u016bti sunku rasti \u017emoni\u0173, turin\u010di\u0173 reikiam\u0173 \u012fg\u016bd\u017ei\u0173 ir patirties, kad gal\u0117t\u0173 sudaryti raudon\u0105j\u0105 komand\u0105, o d\u0117l rankinio raudon\u0173j\u0173 komand\u0173 sudarymo tai yra brangu ir sud\u0117tinga, o ma\u017eesn\u0117ms organizacijoms, neturin\u010dioms reikiam\u0173 i\u0161tekli\u0173, kyla kli\u016b\u010di\u0173.<\/p>\n<h2 class=\"wp-block-heading\" id=\"h-possible-solutions\"><span class=\"ez-toc-section\" id=\"Galimi_sprendimai\"><\/span>Galimi sprendimai<span class=\"ez-toc-section-end\"><\/span><\/h2>\n<p class=\"wp-block-paragraph\">Spaudimas grei\u010diau i\u0161leisti modelius ir nenoras atlikti bandymus, d\u0117l kuri\u0173 gali kilti problem\u0173 prie\u0161 i\u0161leid\u017eiant, yra pagrindin\u0117s prie\u017eastys, kod\u0117l dirbtinio intelekto vertinimai nepager\u0117jo. <\/p>\n<p class=\"wp-block-paragraph\">\u201eAsmuo, su kuriuo kalb\u0117jom\u0117s, dirbantis \u012fmon\u0117je, kurian\u010dioje pamat\u0173 modelius, jaut\u0117, kad \u012fmon\u0117se jau\u010diamas didesnis spaudimas greitai i\u0161leisti modelius, tod\u0117l buvo sunkiau atstumti ir rimtai \u017ei\u016br\u0117ti \u012f vertinimus\u201c, \u2013 sak\u0117 Jonesas.  \u201eDidel\u0117s dirbtinio intelekto laboratorijos modelius i\u0161leid\u017eia grei\u010diu, vir\u0161ijan\u010diu j\u0173 ar visuomen\u0117s galimybes u\u017etikrinti, kad jie b\u016bt\u0173 saug\u016bs ir patikimi.<\/p>\n<p class=\"wp-block-paragraph\">Vienas ALI tyrimo pa\u0161nekovas saugos modeli\u0173 vertinim\u0105 pavadino \u201enei\u0161sprend\u017eiama\u201c problema.  Taigi, koki\u0105 vilt\u012f pramon\u0117 ir j\u0105 reguliuojantys asmenys turi sprendim\u0173? <\/p>\n<p class=\"wp-block-paragraph\">Mahi Hardalupas, ALI tyr\u0117jas, mano, kad kelias \u012f priek\u012f yra, ta\u010diau tam reik\u0117s daugiau vie\u0161ojo sektoriaus institucij\u0173 \u012fsitraukimo.<\/p>\n<p class=\"wp-block-paragraph\">\u201eReguliavimo institucijos ir politikos formuotojai turi ai\u0161kiai suformuluoti, ko jie nori i\u0161 vertinim\u0173\u201c, \u2013 sak\u0117 jis.  &#8222;Tuo pa\u010diu metu vertinimo bendruomen\u0117 turi b\u016bti skaidri apie dabartinius vertinimo apribojimus ir potencial\u0105.&#8221;<\/p>\n<p class=\"wp-block-paragraph\">Hardalupas si\u016blo vyriausyb\u0117ms \u012fpareigoti daugiau visuomen\u0117s dalyvauti kuriant vertinimus ir \u012fgyvendinti priemones, skirtas palaikyti tre\u010di\u0173j\u0173 \u0161ali\u0173 test\u0173 \u201eekosistem\u0105\u201c, \u012fskaitant programas, u\u017etikrinan\u010dias reguliari\u0105 prieig\u0105 prie bet koki\u0173 reikiam\u0173 modeli\u0173 ir duomen\u0173 rinkini\u0173. <\/p>\n<p class=\"wp-block-paragraph\">Jonesas mano, kad gali prireikti sukurti \u201ekontekstui skirtus\u201c vertinimus, kurie neapsiriboja vien tik modelio atsako \u012f raginim\u0105 testavimu, o ver\u010diau \u017ei\u016br\u0117ti \u012f vartotoj\u0173 tipus, kuriuos modelis gali paveikti (pvz., tam tikros kilm\u0117s, lyties ar etnin\u0117 priklausomyb\u0117) ir b\u016bdai, kuriais <a href=\"https:\/\/techcrunch.com\/2024\/01\/24\/prompt-security-wants-to-make-genai-safe-for-the-enterprise\/\">i\u0161puoli\u0173<\/a> modeliuose gali nugal\u0117ti apsaugos priemones.<\/p>\n<p class=\"wp-block-paragraph\">\u201eTam reik\u0117s investicij\u0173 \u012f pagrindin\u012f vertinim\u0173 moksl\u0105, kad b\u016bt\u0173 sukurti patikimesni ir pakartojamesni vertinimai, pagr\u012fsti supratimu, kaip veikia AI modelis\u201c, \u2013 prid\u016br\u0117 ji. <\/p>\n<p class=\"wp-block-paragraph\">Ta\u010diau niekada negali b\u016bti garantijos, kad modelis yra saugus. <\/p>\n<p class=\"wp-block-paragraph\">\u201eKaip kiti pasteb\u0117jo, \u201esaugumas\u201c n\u0117ra modeli\u0173 savyb\u0117\u201c, \u2013 sak\u0117 Hardalupas.  \u201eNorint nustatyti, ar modelis yra \u201esaugus\u201c, reikia suprasti kontekst\u0105, kuriame jis naudojamas, kam jis parduodamas arba prieinamas, ir ar taikomos apsaugos priemon\u0117s yra tinkamos ir patikimos \u0161iai rizikai suma\u017einti.  Pamatinio modelio \u012fvertinimai gali b\u016bti tiriamieji siekiant nustatyti galim\u0105 rizik\u0105, ta\u010diau jie negali garantuoti, kad modelis yra saugus, jau nekalbant apie \u201evisi\u0161kai saug\u0173\u201c.  Daugelis m\u016bs\u0173 pa\u0161nekov\u0173 sutiko, kad vertinimai negali \u012frodyti, kad modelis yra saugus ir gali tik parodyti, kad modelis yra nesaugus.<\/p>\n<\/div>\n<p><br \/>\n<br \/><a href=\"https:\/\/techcrunch.com\/2024\/08\/04\/many-safety-evaluations-for-ai-models-have-significant-limitations\/\">Source link <\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Nepaisant did\u0117jan\u010dios AI saugos ir atskaitomyb\u0117s poreikio, \u0161iandieniniai testai ir etalonai gali nepasisekti, teigiama naujoje ataskaitoje. Generatyvieji AI modeliai \u2013 modeliai, galintys analizuoti ir i\u0161vesti tekst\u0105, vaizdus, \u200b\u200bmuzik\u0105, vaizdo \u012fra\u0161us ir t. t. \u2013 vis labiau tikrinami d\u0117l j\u0173 tendencijos klysti ir apskritai elgtis nenusp\u0117jamai. Dabar organizacijos nuo vie\u0161ojo sektoriaus agent\u016br\u0173 iki dideli\u0173 technologij\u0173 firm\u0173 [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":196,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"om_disable_all_campaigns":false,"_monsterinsights_skip_tracking":false,"_monsterinsights_sitenote_active":false,"_monsterinsights_sitenote_note":"","_monsterinsights_sitenote_category":0,"footnotes":""},"categories":[5],"tags":[],"class_list":["post-195","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-technologijos-programine-iranga-prietaisai"],"aioseo_notices":[],"_links":{"self":[{"href":"https:\/\/europaskolos.lt\/index.php\/wp-json\/wp\/v2\/posts\/195","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/europaskolos.lt\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/europaskolos.lt\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/europaskolos.lt\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/europaskolos.lt\/index.php\/wp-json\/wp\/v2\/comments?post=195"}],"version-history":[{"count":0,"href":"https:\/\/europaskolos.lt\/index.php\/wp-json\/wp\/v2\/posts\/195\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/europaskolos.lt\/index.php\/wp-json\/wp\/v2\/media\/196"}],"wp:attachment":[{"href":"https:\/\/europaskolos.lt\/index.php\/wp-json\/wp\/v2\/media?parent=195"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/europaskolos.lt\/index.php\/wp-json\/wp\/v2\/categories?post=195"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/europaskolos.lt\/index.php\/wp-json\/wp\/v2\/tags?post=195"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}