> 以下のソースでは括弧がきれいにできません。
> うまくいく方法がないか教えてください。
中括弧 { , } の大きさで難渋しているということでしょうか??
第1のソースは \vphantom を用いて揃える方法
第2のソースは \Big\{ \Big} \big( \big) を用いて(適当に)揃える方法
です。

本題ではないですが
例示されたソースでは、中括弧が入る必然性がわかりません。
また、どこかで+5 が消えたのか、入ったのかわかりませんが数式として成り立っていません。
結果(私が脳内変換して)横長の数式ができてしまいました。
昨年(一昨年??)流行したドラゴン桜に
「数学のできない(苦手な)生徒のノートの記述は横に伸びていく」
というくだりがあったので、その時は思わず私はニヤリ
「TeX の align 環境は良くできているな」と思いました。
余分な点を定義しない、体裁の変更のしやすさという意味で \HenKo コマンドも使用してみました。

%---
\documentclass{jarticle}
\usepackage{emathP}
\def\VPhantom{\vphantom{{\left(x-2\right)}^{2}}}%
\begin{document}
\[y=x^{2}-4x+5=\begin{sikipicture}{%
x^{2}-,%i
4x,%ii
+\protect\emPmaru{$2$}^{2},%iii
-2^{2}+5,%iv
=\left\{%
\protect%
\VPhantom%
\right.%
\!%
\left(x-\right.,%v
\protect\emPmaru{2},%vi
\left.\right)^{2}-2^{2}
\!
\left.\protect\VPhantom\right\}
+5
}%
%\Addvec\sikiBiii{(0,-5)}\P
%\Addvec\sikiBvi{(0,-5)}\Q
%\Drawline<yazirusi=a>{\sikiBiii\P\Q\sikiBvi}
\HenKo<yazirusi=a,henkotype=bracket,oval=4pt,henkoH=10\unitlength>\sikiBiii\sikiBvi{}%
\end{sikipicture}\]
\end{document}

%---
\documentclass{jarticle}
\usepackage{emathP}
\begin{document}
\[y=x^{2}-4x+5=\begin{sikipicture}{%
x^{2}-,%i
4x,%ii
+{\protect\emPmaru{$2$}}^{2},%iii
-2^{2}+5,%iv
=
\Big\{
\big(x-,%v
\protect\emPmaru{2},%vi
{\,\big)}^{2}-2^{2}
\Big\}
+5
}%
\HenKo<yazirusi=a,henkotype=bracket,oval=4pt,henkoH=10\unitlength>\sikiBiii\sikiBvi{}%
\end{sikipicture}\]
\end{document}

▼関連発言
│
└◆5820:sikipicture環境にて [genio] 03/13 00:03
　└◆5822:Re:sikipicture環境にて [田中徹] 03/13 01:59
　　└◆5823:Re[2]:sikipicture環境にて [genio] 03/13 03:17<-last