Az E-Group munkatársa, a világ egyik legjelentősebb, kifejezetten a gépi tanulási rendszerek biztonságával foglalkozó konferenciáján mutatta be tudományos publikációját nemzetközi közönség előtt. Ez a pillanat mérföldkő a vállalat életében.
Fókuszban az MI legnehezebb problémái
Minden évben a tudományos élet és az ipar legkiválóbb kutatói gyűlnek össze az IEEE Symposium on Security and Trustworthy Machine Learning (röviden SaTML) konferencián, hogy korunk egyik legnagyobb technológiai kihívásával nézzenek szembe. Ahogy a gépi tanulási modellek egyre fejlettebbé és elterjedtebbé válnak, egyre égetőbb a kérdés: hogyan garantálhatjuk, hogy ezek a rendszerek biztonságosak, transzparensek és a támadásokkal szemben ellenállóak maradjanak? Idén a Müncheni Műszaki Egyetem adott otthont a rendezvénynek. A SaTML különlegessége, hogy a gépi tanulás biztonságának offenzív és defenzív oldalát is vizsgálja. A háromnapos, több mint 60 előadót felvonultató eseményre olyan vezető intézményekből érkeztek szakemberek, mint az MIT, vagy épp olyan tech óriásoktól, mint a Microsoft, így a világ élvonalbeli akadémiai és vállalati tudása egy helyen összpontosult. A konferenciára rendkívül szigorú, szakértői bírálaton alapuló kiválasztási folyamaton keresztül vezet az út, így már maga a részvétel is komoly tudományos elismerést jelent.
A kutatás: Amikor a hozzájárulási metrikákban sem bízhatunk
A SaTML-en bemutatott tanulmány a federált tanulás egy finom, de komoly következményekkel járó sebezhetőségét vizsgálja: a hozzájárulások értékelésének problémáját. A kutatás többek között Frank Marcell (E-Group) és Dr. Pejó Balázs (CrySyS Lab) együttműködésének eredménye. A federált tanulás egy egyre népszerűbb, mert lehetővé teszi, hogy több fél közös gépi modellt tanítson anélkül, hogy a nyers, szenzitív adataikat meg kellene osztaniuk egymással. A rendszer igazságosságának és a résztvevők motiválásának alapját a hozzájárulási metrikák adják az alapján, hogy egy-egy résztvevő mennyit javított a közös modellen. De mi történik, ha maguk a pontszámok is manipulálhatók?
„Kutatásunk egyértelműen bizonyítja, hogy mind az aggregációs módszer megválasztása, mind pedig a támadók jelenléte jelentősen torzíthatja a hozzájárulási pontszámokat. Ez rávilágít arra, hogy a jövőben sokkal robusztusabb értékelési sémákra lesz szükség.”
A tanulmány két fő támadási felületet azonosít. Az első az architekturális érzékenység: a kutatás bemutatja, hogy a különböző modell-aggregációs módszerek akaratlanul is jelentősen torzíthatják a hozzájárulási értékeket, még akkor is, ha nincs a háttérben rosszindulatú szándék. A második – és egyben riasztóbb – probléma a szándékos manipuláció: a mérgezéses támadások révén a rosszindulatú résztvevők stratégiailag úgy alakíthatják a modellfrissítéseiket, hogy mesterségesen felnagyítsák a saját pontszámaikat, vagy épp csökkentsék a többiekét.
Ezeket az eredményeket kiterjedt kísérletekkel, különböző adathalmazokon és modellarchitektúrákon validálták, bizonyítva, hogy a jelenség a valós körülmények széles skáláján releváns
A legfontosabb megállapítások röviden:
- A standard hozzájárulás-értékelés sebezhető mind a jóhiszemű architekturális eltérésekkel, mind a szándékos támadásokkal szemben.
- A robusztusság javítására tervezett fejlett aggregációs módszerek akaratlanul is ronthatják a rendszer igazságosságát.
- A rosszindulatú résztvevők saját előnyükre manipulálhatják a pontozási rendszert.
- A kutatás rávilágít, hogy új generációs, eleve támadástudatos értékelési sémákra van szükség.
Az előadást Dr. Pejó Balázs tartotta, aki egyszerre a CrySyS Lab adjunktusa és az E-Group kutatója. Ez a kettős szerep hidat képez az élvonalbeli akadémiai kutatás és a gyakorlati, ipari biztonsági alkalmazások között, lehetővé téve, hogy a tudományos eredményekből valós piaci képességek szülessenek.
Aktív hozzájárulás a puszta jelenlét helyett
Participation in SaTML reflects E-Group’s broader approach to AI: not only keeping pace with developments in the field, but contributing to them. As a co-author in a project spanning three institutions, the only paper from Eastern Europe at the conference shifts E-Group from a regional player relevance to the international stage. The research will be published in a special edition of an IEEE journal alongside other studies from the conference, adding a peer-reviewed publication to the company’s growing research portfolio. For clients and partners, it is a concrete indicator that E-Group’s engagement with machine learning security goes beyond awareness; it is grounded in active, published research.