GitHub - princeton-nlp/SWE-agent: SWE-agent takes a GitHub issue and tries to automatically fix it, using GPT-4, or your LM of choice. It solves 12.29% of bugs in the SWE-bench evaluation set and takes just 1.5 minutes to run.
github.com
SWE-agent takes a GitHub issue and tries to automatically fix it, using GPT-4, or your LM of choice. It solves 12.29% of bugs in the SWE-bench evaluation set and takes just 1.5 minutes to run. - pr...

Detta möjliggör delvis automatiserad mjukvaruutveckling för välkända och mångordiga språk såsom JavaScript och Python. Denna agent visar även på relativt bra dagsaktuell prestanda.

  • frikretsASvenska
    2·
    8 months ago

    Hur står den sig sånt här? Code-generating AI can introduce security vulnerabilities, study finds

    En studie har visat att användning av AI-system som genererar kod, som Codex, kan leda till säkerhetsproblem för utvecklare, även erfarna sådana. Utvecklare som använder Codex var mer benägna att skriva osäkra kodlösningar jämfört med en kontrollgrupp och hade felaktiga uppfattningar om säkerheten i sin kod. Forskarna påpekar att resultaten inte helt fördömer Codex och liknande system eftersom deltagarna saknade säkerhetskunskaper. De föreslår att sådana system kan vara mer pålitliga för lågriskuppgifter som forskningskod och att leverantörer kan implementera mekanismer för att förbättra säkerheten. Det finns också oro för att AI-systemen kan generera kod som bryter mot upphovsrätten. Forskarna varnar för att använda dessa verktyg för att ersätta utbildning av utvecklare i starka kodningspraxis, särskilt för nybörjare. Studien belyser de potentiella riskerna med att förlita sig för mycket på AI-system för kodgenerering utan ordentlig tillsyn och säkerhetsöverväganden. Mer forskning behövs för att utforska problemen ytterligare och utveckla tekniker för att hantera säkerhets- och lagliga frågor med dessa AI-drivna kodgenereringsverktyg.

    SWE-agent är då helt självgående om jag förstår rätt. Påverkar det positivt eller negativt på utfallet? Utifrån ett säkerhetsperspektiv främst.

    • tankepolisOPMSvenska
      3·
      8 months ago

      Det gör den inte :) Och det är ett rätt vidlyftigt löfte med “automatiskt”… Men man skall varken överskatta eller underskatta dessas förmågor, det är fortfarande bara utkast som måste granskas av en kompetent utvecklare om de skall driftsättas eller inkorporeras i en fri kodbas. Man kan tänka sig att i ena änden av spektrat har vi en perfekt modell som är välvillig, den kommer alltid stärka din kodbas från säkerhetsproblem, i andra ändan har vi en subversiv modell som alltid genererar kod med dolda säkerhetsproblem. Eftersom vi inte vet var vi befinner oss på detta spektra måste vi alltid granska inskickningarna till kodbasen och återgå till ett tidigare stadie av denna om vi hittar knasigheter.