Elvestredet tar av fra Elvegata og går ned mot Grønland. Området har i Halden i alle år gått under navnet Høljen. Navnet skal komma av at elva her nede dannet et dypt "høl". Et utrykk som nok var vanlig brukt istedenfor kulp.
Frank Kiel Jacobsen skriver, i sin bok Gatenavn i Halden, om en kjent person som bodde et par måneder i Elvestredet. Visedikteren Bellman hadde i 1763 satt seg i så stor gjeld i Stockholm at han var i ferd med å havne i fengsel. Han rømte da over til Norge hvor han fikk bo hos instrumentmakeren Amund Hansen her i Elvestredet. Herfra skrev han et brev til kongen i Stockholm hvor han ba om fritt leide - noe han ble innvilget.