Kako AI spreminja odkrivanje ranljivosti in ofenzivno kibernetsko varnost

Kako AI spreminja odkrivanje ranljivosti in ofenzivno kibernetsko varnost

Raziskovanje ranljivosti je bilo tradicionalno zelo ročno delo.

Varnostni raziskovalci berejo source code, analizirajo vedenje aplikacije, primerjajo predpostavke developerjev z dejansko implementacijo ter reproducirajo sumljive pogoje, preden lahko sploh ocenijo, ali je weakness dejansko izrabljiva.

AI ta workflow postopoma spreminja.

Sodobni frontier modeli lahko analizirajo velike codebase, razlagajo neznane funkcije, sledijo data flowom, generirajo vulnerability hypotheses in pomagajo raziskovati candidate attack paths bistveno hitreje kot klasično pattern matching.

To ne pomeni, da je vsaka sumljiva ugotovitev realna ranljivost.

Real security impact je še vedno odvisen od:

contexta,

reachability,

permissions,

runtime behavior,

attacker control,

business logic,

human validation.

Izvorna ShabuShabu analiza kot konkretna primera tega premika navaja DARPA AI Cyber Challenge in Anthropic Project Glasswing, kjer se AI uporablja za real vulnerability discovery in remediation, ne samo za laboratorijske benchmarke.

Zakaj vulnerability research postaja AI-assisted

Software je postal prevelik za celovit ročni pregled.

Sodobna aplikacija je sestavljena iz:

velikih codebases,

third-party libraries,

API-jev,

frameworkov,

cloud services,

spreminjajočih se dependencies.

Experienced researcher mora zato ves čas odločati, kam usmeriti omejeno pozornost.

Traditional security tools pomagajo.

Static analysis poišče suspicious patterns.

Dynamic scanner preverja znane pogoje.

Dependency scanner poveže versions z znanimi vulnerabilities.

To ostaja pomembno.

Frontier AI pa doda nekaj drugega:

reasoning o programski opremi v širšem kontekstu.

Model lahko analizira interakcijo več funkcij, poskuša razumeti intended behavior ter predlaga, kje se security assumption lahko zlomi.

Od pattern matchinga do security reasoninga

Traditional automation je najmočnejša, ko že pozna tip problema.

Known unsafe function.

Exposed configuration.

Vulnerable dependency.

Zero-day research je težji.

Vulnerability lahko nastane iz več na videz razumnih odločitev.

Authorization check obstaja, vendar na napačni plasti.

Parser je varen za običajne inpute, vendar se nevarno obnaša v kombinaciji z drugim componentom.

Ena code path domneva, da je bila vrednost prej validirana, druga pa to validation obide.

To niso preprosti signatures.

Potrebujejo contextual reasoning.

AI lahko researcherju pomaga skozi ta context bistveno hitreje.

AI-assisted code analysis

Ena najbolj praktičnih uporab je razumevanje source codea.

Researcher mora najprej odgovoriti na temeljna vprašanja.

Kje user-controlled data vstopi v sistem?

Kje se transformira?

Katere operacije zahtevajo authentication?

Kje se izvaja authorization?

Katera koda dela z datotekami, memoryjem, external requests ali privileged functions?

V velikem repositoryju je lahko že samo to večurno delo.

AI lahko pojasni module, poišče povezane functions in izpostavi code paths, ki si zaslužijo manual review.

Toda model interpretation ostaja izhodišče.

Ne končni security evidence.

Vulnerability hypothesis generation

Kakovosten security research temelji na vprašanjih.

Katero predpostavko ima ta funkcija?

Ali attacker nadzoruje relevantno vrednost?

Se validation izvede pred sensitive operation ali po njej?

Lahko drug code path doseže isto funkcijo pod drugačnimi permissions?

Kaj se zgodi, če dve funkcionalnosti kombiniramo?

AI lahko takšna vprašanja ustvarja v velikem obsegu.

To povečuje coverage.

Hkrati povečuje candidate volume.

Model lahko generira veliko napačnih hypotheses.

To ni problem, če jih workflow obravnava kot candidates, ne kot confirmed findings.

Attack-path exploration

Vulnerability nima pravega pomena brez arhitekture okoli sebe.

Code defect postane pomemben, če je reachable.

Authorization weakness postane resnejša, če razkrije data drugega usera.

Memory-safety problem je pomembnejši, če ga lahko sproži exposed interface.

AI lahko pomaga slediti povezavam.

Kje se suspicious function kliče?

Kateri inputs jo dosežejo?

Katere privileges so potrebne?

Katere druge components sodelujejo?

Human pentesterji že delajo na ta način.

AI predvsem poveča speed.

Prioritizacija velikih codebases

Security team ne more enako globoko pregledati vsake vrstice.

Zato mora prioritizirati security-sensitive areas.

Authentication.

Authorization.

Parsing.

Serialization.

Memory management.

Network handling.

File operations.

Privilege transitions.

Cryptographic logic.

External integrations.

AI lahko pomaga najti in mapirati takšne dele repositoryja.

Cilj ni avtomatsko označiti vsega kot vulnerable.

Cilj je učinkoviteje razporediti expert attention.

AI že sodeluje pri odkrivanju neznanih ranljivosti

Premik iz code assistance proti dejanskemu vulnerability discovery je že viden v javno opisanih raziskavah.

Izvorni članek omenja Anthropicovo delo s Claude pri raziskovanju real software, sodelovanje z Mozilla security researchers in nadaljnji Project Glasswing. Prav tako izpostavlja DARPA AI Cyber Challenge, kjer so AI-driven sistemi iskali in patchali vulnerabilities v open-source software.

To je pomembno, ker kaže, da AI ni več omejena na theoretical benchmark performance.

Vstopa v real vulnerability workflows.

AI ne potrebuje vedno znane signature

Known vulnerabilities imajo CVE, advisories in patches.

Najzahtevnejše je odkriti weakness, ki je nihče še ni dokumentiral.

Klasični scanner lahko vpraša:

»Ali tukaj obstaja pattern X?«

AI-assisted researcher lahko vpraša:

»Katere security assumptions ima ta component in kako bi jih lahko attacker prekršil?«

To je pomemben preskok.

Model ni vseveden.

Samo search process postaja bolj podoben human vulnerability researchu.

AI lahko pospeši repetitive research

Velik del offensive-security dela ni kreativna exploitation.

Je analiza.

Branje dokumentacije.

Primerjava code versions.

Iskanje call sites.

Razumevanje configuration.

Iskanje related functions.

Povzemanje logov.

Tracing data flowa.

Review patcha.

Priprava reproduction notes.

AI lahko te naloge močno skrajša.

Human researcher ima zato več časa za:

reachability,

attacker prerequisites,

business impact,

safe validation.

Vrednost je v boljši uporabi expert časa.

Patch analysis

Po odkritju vulnerability se delo ne konča.

Developer pripravi remediation.

Security mora preveriti, ali fix dejansko zapre attack path.

AI lahko primerja vulnerable in patched code, pojasni security change ter poišče related code paths, kjer podobna napaka morda ostaja.

Izvorni članek pri Project Glasswing omenja tudi uporabo modelov pri patch developmentu in pre-release security checks.

Vulnerability families

En confirmed bug lahko razkrije širšo architecture weakness.

Ali več endpointov uporablja isti broken authorization helper?

Ali isti parser pattern obstaja še drugje?

Ali več modulov implementira isto unsafe assumption?

AI lahko po eni potrjeni vulnerability išče related candidates.

To omogoča širšo analizo root cause.

Vendar candidates še vedno potrebujejo validation.

Zakaj human security researchers ostajajo ključni

AI lahko generira zelo convincing technical explanation in je vseeno napačna.

Lahko napačno razume execution.

Spregleda environment constraint.

Predpostavi attacker control, ki ga v praksi ni.

Opiše theoretically interesting path, ki v deploymentu ni reachable.

Zato vulnerability report potrebuje močnejši standard.

Researcher mora potrditi, da condition res obstaja.

Detection ni isto kot exploitability

Suspicious function ni avtomatsko vulnerability.

Vulnerability ni avtomatsko exploitable.

Exploitable vulnerability ni avtomatsko critical.

Če model predlaga authorization bypass, je treba preveriti, katere identities sploh dosežejo workflow.

Če zazna unsafe memory behavior, moramo vedeti, ali attacker-controlled data doseže condition.

Če model najde sensitive information v outputu, moramo dokazati, da jo unauthorized user dejansko pridobi.

AI pospeši investigation.

Ne odstrani potrebe po evidence.

False positives ostajajo velik problem

AI-assisted discovery lahko generira zelo veliko hypotheses.

Če organization vsako pretvori v security ticket, se existing alert fatigue še poslabša.

Uporaben funnel je:

Candidate finding.

Technical reproduction.

Reachability analysis.

Impact validation.

Severity assessment.

Šele potem confirmed vulnerability.

Cilj ni maximum findings.

Cilj je maximum signal.

AI potrebuje real execution context

Source code ni celotna resnica o productionu.

Pomembni so:

configuration,

infrastructure,

runtime state,

authentication,

feature flags,

dependencies,

network architecture,

business logic.

Model lahko v source codeu najde theoretically dangerous path, ki ga production config naredi unreachable.

Lahko pa se zgodi tudi nasprotno.

Code izgleda varen, deployment architecture pa ustvari unexpected trust relationship.

Practical penetration testing daje ta runtime context.

Business logic zahteva poznavanje produkta

Nekatere critical vulnerabilities niso coding errors.

So napačno implementirane business boundaries.

API request je tehnično validen, vendar omogoča useru action na objektu drugega usera.

Financial workflow kombinira dovoljene korake v nedovoljen rezultat.

AI agent izvede več posamezno dovoljenih actions, ki v kombinaciji postanejo nevarne.

Tak problem razumemo samo, če poznamo intended behavior produkta.

Discovery je šele začetek

Hitrejše odkrivanje vulnerabilities ustvari naslednji problem:

nekdo jih mora popraviti.

Če findings nastajajo hitreje, kot jih engineering lahko odpravi, sama discovery capacity ne poveča obrambne vrednosti.

Zato bo AI-assisted remediation verjetno postala enako pomembna kot discovery.

Prihodnji workflow je lahko:

AI najde weakness.

Researcher jo validira.

AI pomaga pri remediation analysis.

Engineering pripravi patch.

Security reviewa fix.

Attack path se retestira.

To je veliko bolj uporabno kot samo avtomatsko generiranje reports.

AI spreminja offensive-security reconnaissance

Offensive security se začne z razumevanjem targeta.

Kateri components obstajajo?

Kako so povezani?

Kje so trust boundaries?

Kateri interfaces so exposed?

Katere roles obstajajo?

Kateri technologies se uporabljajo?

AI lahko documentation, code, API descriptions, configuration in test responses združi v bolj jasno architecture map.

To researcherju omogoča manj časa za organizing information in več časa za deep investigation.

Vendar professional pentesting še vedno potrebuje explicit authorization in scope.

Attack-surface prioritization

Assessment nima neomejenega časa.

AI lahko pomaga povezati observations.

Endpoint A obdeluje high-value data.

Endpoint B uporablja isti authorization logic.

Related source code vsebuje unusual validation.

Skupaj lahko predstavljajo bolj zanimiv candidate kot deset nepovezanih low-risk surfaces.

Real attackers chain weaknesses.

Security testing mora razmišljati enako.

Vulnerability chaining

Minor disclosure lahko razkrije internal identifier.

Identifier lahko uporabimo ob drugi authorization weakness.

Novi access odpre additional functionality.

Na koncu nastane pomemben attack path.

Experienced pentesterji že dolgo razmišljajo v chains.

AI lahko ohranja več contexta in predlaga več kombinacij.

Researcher pa validira sequence.

AI spreminja tudi exploitation analysis

Discovery in exploitation sta povezana, vendar nista ista.

Discovery najde security-relevant condition.

Exploitation pokaže attacker-controlled result.

Frontier cyber models postajajo bolj sposobni na obeh področjih.

To je dual-use problem.

Razumevanje, ki defenderju pomaga dokazati exploitability, lahko zmanjša workload tudi attackerju.

Hitrejša exploit validation pomaga defenderjem

Organization ima lahko na tisoče vulnerabilities.

Ne predstavljajo vse enakega realnega risk-a.

AI lahko pomaga raziskati, katere imajo realistic attack paths.

Theoretical high-severity issue, ki je v real environmentu unreachable, ni isti problem kot reliably exploitable weakness na public production endpointu.

AI lahko zato dopolnjuje vulnerability scoring z environment-specific contextom.

Offensive AI ustvarja problem hitrosti

AI lahko skrajša čas, potreben za:

code analysis,

research,

exploitability assessment,

attack-path exploration.

Izvorna analiza izpostavlja tudi NIST-ovo opozorilo, da AI pospešuje tako vulnerability discovery kot exploitation, zaradi česar postajajo foundational cybersecurity practices še pomembnejše.

Za defenderje to pomeni krajše obdobje med discovery in possible exploitation.

Pre-release security postaja dragocenejši

Če lahko attacker po releaseu hitreje analizira software, mora defender poskušati najti weaknesses prej.

AI-assisted code review med developmentom.

Manual pentest nad deployed application.

Security Crash Test pred launchom.

Tak workflow omogoča odpravljanje architecture flaws, dokler je sprememba še relativno poceni.

Najboljša situacija je preprosta:

AI-assisted defender najde attack path pred AI-assisted attackerjem.

Rules of Engagement ostajajo obvezni

Powerful automation ne spreminja legal boundaries.

Targets morajo biti definirani.

Excluded systems ostanejo excluded.

Production safety ostaja pomembna.

Third-party infrastructure je izven scopea brez explicit authorization.

Technology, ki jo tester uporablja, ne širi dovoljenja, ki ga je dal client.

Defensive prednosti AI vulnerability discovery

Defenderji imajo pri odgovorni uporabi AI pomembne advantages.

Maintainers imajo source code.

Poznajo intended architecture.

Lahko testirajo candidate fixes.

Security lahko vključijo pred releaseom.

Model output lahko združijo z internal telemetry, ki attackerju ni na voljo.

AI tako lahko pomaga preusmeriti zmogljivo cyber analysis dovolj zgodaj na defensive stran.

Manjše ekipe lahko pregledajo več softwarea

Expert vulnerability research je drag.

Experienced ljudi ni dovolj, da bi ročno pregledali vsako dependency in vsak release.

AI lahko poveča količino softwarea, ki ga posamezen researcher smiselno analizira.

Majhen AppSec team lahko pregleda več code.

Open-source maintainer lahko analizira components, ki prej niso dobili poglobljenega manual reviewa.

High-risk release lahko dobi več pre-release analysis.

Model deluje kot force multiplier.

Human validation prepreči nastanek novega AI security noisea

Več discovery pomeni večjo potrebo po triageu.

Če AI generira 1.000 potential vulnerabilities in je realnih deset, potrebujemo proces za identifikacijo teh desetih.

Sicer dobimo samo 1.000 novih tickets.

Močan workflow ostaja:

Model predlaga.

Researcher reproducira.

Product context določi impact.

Engineering popravi.

Retesting potrdi resolution.

AI spremeni način, kako najdemo candidate.

Ne sme znižati standarda evidence.

Skills security researcherjev se bodo spremenile

Researchers bodo še vedno potrebovali technical depth.

Vendar bodo morali vedno bolje:

kritično preverjati AI-generated hypotheses,

prepoznati confidently wrong model output,

povezovati source analysis in runtime validation,

razumeti AI agents, RAG, MCP, APIs in traditional AppSec kot connected attack surface.

Skill se premika od ročnega izvajanja vsakega analytical step proti:

usmerjanju, preverjanju in povezovanju močnih analytical systems.

Researchers bodo morali postati boljši validatorji

Ko postane plausible technical analysis poceni, postane evidence dragocenejši.

Researcher mora razlikovati med:

plausible vulnerability,

reachable vulnerability,

exploitable vulnerability,

meaningful security impact.

To bo verjetno eden ključnih skills prihodnjega offensive security.

Prihodnost pentestinga je Human + AI

Popolnoma manual testing bo pri nekaterih analysis tasks vse manj učinkovit.

Popolnoma autonomous pentesting pa bo problematičen tam, kjer so potrebni:

authorization,

product context,

business judgment,

production safety.

Najbolj realistično je hybrid okolje.

AI mapira attack surface.

AI bere code.

AI generira hypotheses.

AI raziskuje related paths.

Researcher določi prioriteto.

Researcher kontrolira validation.

Researcher interpretira impact.

AI pomaga pri remediation.

Researcher retestira security boundary.

Vulnerability management se mora prilagoditi

Faster discovery povečuje pressure na celoten downstream process.

Potrebujemo:

hitrejši triage,

hitrejši ownership,

boljšo asset visibility,

boljši remediation,

močnejši pre-release testing,

zanesljiv retesting.

Hitro najti issue ni dovolj, če patch potrebuje mesece.

AI ne odpravi vulnerability managementa.

Poveča zahtevo, da dejansko deluje.

AI spreminja economics zero-day researcha

Zero-day discovery je zgodovinsko zahteval veliko expert časa.

Če AI skrajša razumevanje codebasea in pomaga odstraniti weak hypotheses, lahko researcher z enakimi resources razišče več targets.

To ne pomeni avtomatskega odkrivanja vseh zero-days.

Complex exploitation še vedno zahteva context, experimentation in validation.

Toda complexity sama po sebi postaja slabša obramba.

Velik codebase ni več tako zaščiten samo zato, ker ga je ljudem težko in drago razumeti.

Secure software development je pomembnejši, ne manj pomemben

Vedno boljši AI security tools ne pomenijo, da si lahko organization privošči slab development.

Prav nasprotno.

Faster discovery pomeni, da bo insecure engineering lažje zaznati.

Bolje je zmanjšati vulnerabilities že pri nastanku.

Secure design.

Strong authorization.

Memory-safe engineering, kjer je smiselna.

Dependency management.

Code review.

Pre-release security testing.

Rapid remediation.

AI te prakse krepi.

Ne nadomesti jih.

Vulnerability discovery postaja continuous process

Traditional pentest je snapshot.

Software pa se stalno spreminja.

New commits.

Dependencies.

API changes.

Agent tools.

Infrastructure.

AI omogoča, da se automated reasoning redno izvaja nad novimi spremembami.

AI-assisted analysis med developmentom.

Human review za high-risk release.

Full pentest nad deployed systemom.

Retesting po remediation.

Rezultat je manjša vrzel med secure development in adversarial testingom.

AI ne bo odstranila professional offensive security

Professional testing zahteva več kot tehnično iskanje anomalij.

Scope.

Stop conditions.

Production safety.

Business logic.

User roles.

Real impact.

Clear reporting.

Collaboration z engineeringom.

Retesting.

To zahteva judgment.

Model lahko postane izjemno dober pri technical exploration.

Še vedno pa ne pozna avtomatsko vseh business in engagement boundaries.

Zato bo offensive security bolj automated, vendar ne nujno popolnoma autonomous.

AI naredi security research močnejši — in bolj odgovoren

AI-assisted vulnerability discovery ni samo nova generacija scannerjev.

Models vse bolj sodelujejo pri:

code reasoning,

hypothesis generation,

attack-path investigation,

remediation analysis.

Izvorni članek DARPA AIxCC in Anthropicovo defensive research predstavlja kot jasna primera tega premika.

Naslednji izziv ni dokazati, da AI lahko sodeluje v cybersecurity.

To je že jasno.

Izziv je zagotoviti, da povečana capability ustvari:

boljšo obrambo,

in ne samo več security noisea ali hitrejše offensive activity.

Potrebujemo human validation, responsible disclosure, strong authorization, controlled testing in rapid remediation.

AI lahko dramatično poveča hitrost discoveryja.

Security expertise odloči, ali ta hitrost postane prednost defenderja.

Pogosta vprašanja o AI in odkrivanju ranljivosti

Ali AI lahko odkriva software vulnerabilities?

Da. AI se že uporablja pri analizi source codea, generiranju vulnerability candidates in raziskovanju neznanih weaknesses. Candidate pa mora biti validiran glede reachability, exploitability in impacta.

Ali AI lahko najde zero-day vulnerabilities?

Frontier modeli kažejo sposobnost sodelovanja pri odkrivanju previously unknown vulnerabilities. Toda real zero-day finding še vedno potrebuje technical confirmation in responsible disclosure.

Bo AI nadomestila penetration testerje?

Verjetneje bo spremenila njihov workflow. AI pospešuje code analysis in hypothesis generation, human researchers pa ostajajo pomembni za authorization, runtime validation, business logic, exploitability in impact.

Kako AI pomaga vulnerability researcherjem?

Pomaga razumeti unfamiliar code, slediti relationships med components, generirati hypotheses, prioritizirati attack surface in iskati related code paths.

Zakaj AI-discovered vulnerabilities potrebujejo human validation?

Model lahko napačno interpretira code, runtime context ali attacker control. Manual validation določi, ali je candidate realno reachable in exploitable.

Ali AI lahko pomaga pri patchanju vulnerabilities?

Da. AI lahko pomaga primerjati code, analizirati remediation in iskati related weakness variants. DARPA AI Cyber Challenge in Project Glasswing sta v izvorni analizi predstavljena kot primera discovery + remediation pristopa.

Ali AI olajša cyberattacks?

Lahko pospeši tako defensive kot offensive analysis. Zato postajajo pre-release testing, strong authorization in rapid remediation še pomembnejši.

Kdaj naj podjetja uporabljajo AI-assisted security testing?

Med secure developmentom, pre-release reviews, penetration testingom, vulnerability researchom, remediation in retestingom. High-risk sistemi naj AI analysis kombinirajo z controlled manual validation.