zahyou環境内でKaitou環境を使うのは違和感があります。
（私だけかもしれませんが．．．．．）

  \ifmaskAns\else
      .......（答え）
  \fi

として，\ifmaskAns が false のときのみ，解答を描画する
というのもあります。

% ---- re4198.tex ----------------------------
\documentclass[fleqn,a4j]{jarticle}
\usepackage{calc}%
\usepackage{ruby}%
\usepackage{emathPp}%
\usepackage{emathOld}%
\usepackage{amsmath,emath,emathP,emathE,emathW,epic,itembbox,hako}
\usepackage[maskAnstrue]{emathAe}
%\usepackage[maskAnsfalse]{emathAe}


\pagestyle{empty}
\setlength{\topmargin}{-2cm}
\setlength{\oddsidemargin}{-1cm}
\setlength{\textwidth}{160mm}
\setlength{\textheight}{300mm}

\begin{document}
~~{\large 下の図形の２倍の拡大図をかきなさい。\\ただし，解答用紙に書くこと。\vspace{4mm}\\}



\begin{zahyou*}[ul=5mm,xscale=1,yscale=1](1,3)(0,8)
%\Put\O{\kousi{17}{9}}% 格子描画は最後に回す。
\def\A{(1,5)}
\def\D{(5,4)}
\def\B{(2,2)}
\def\C{(4,1)}
\thicklines
\Drawline{\A\B\C\D\A}
%
%\begin{Kaitou}%        zahyou環境内では，Kaitou環境を使わず，
%
\ifmaskAns\else%        maskAns が false のときに答えを描画するように
\def\E{(6,8)}
\def\F{(8,2)}
\def\G{(12,0)}
\def\H{(14,6)}
\thicklines
\Drawline{\E\F\G\H\E}
\fi%                    
%                       zahyou環境内では空き行を出力してはいけない。
%\end{Kaitou}%          zahyou環境内では，Kaitou環境は使用しない。
\Put\O{\kousi{17}{9}}% 格子描画は Kaitou環境の後に
\end{zahyou*}
\end{document}

▼関連発言
│
└◆4196:zahyou環境内でのKaitou [kimu] 01/10 22:24
　├◆4197:--- [---] 01/10 22:48
　├◆4198:Re:zahyou環境内でのKaitou [tDB] 01/10 22:50
　│└◆4200:　　別法 [tDB] 01/11 10:57
　└◆4206:Re:zahyou環境内でのKaitou（解決） [kimu] 01/12 20:54<-last