Musisz tę ramkę po prostu zrobić od nowa. Prawdopodobnie użyłeś opcji
Rysuj wzdłuż zaznaczenia i dlatego obrys jest taki postrzępiony. Następnym razem robiąc taką ramkę utwórz zaznaczenie, na nowej, przezroczystej warstwie wypełnij je wybranym kolorem, zmniejsz o 1-2px (tyle ile ma wynieść grubość ramki) i kliknij DELETE. Co do sposobu z rozmyciem, to nie jest zły, ale na takiej cienkiej, jedno czy dwupikselowej obwódce nie zadziała. Jeśli natomiast chcesz wygładzić krawędzie elipsy, która jest wewnątrz wypełniona i znajduje się na przezroczystym tle, to najlepiej ją zduplikować i rozmyć niższą warstwę (oryginał), a następnie używając krzywych (
Kolory -> Krzywe), zwiększyć kontrast na kanale alfa. Czasem trzeba powtórzyć rozmywanie i krzywe. Wtedy krawędzie staną się gładkie, ale nie będą już rozmyte.

Sposób ustawienia krzywej - w przybliżeniu