青空文庫の※を漢字に変換するスクリプト

home 　ScriptMenu	新→旧漢字　 java script 版　旧→新漢字　説明

青空文庫の※を漢字に変換するパールスクリプト

まず、パールをインストールして、パスを通しておいてください。
下のテキストボックスを全選択、コピーして、メモ帳などで、ファイル名をそれぞれ aozora_kanji.pl と arraytable_s.dat として保存します。文字コードは utf-8 にしてください。
変換元となるテキストファイルが shift-jis の場合は、文字コード変数 $mojicode を書き換えてください。

plファイルとdatファイルは同じフォルダに置きます。その下にworksというフォルダを作って、そこに変換元となるファイルを置いてください。

［例］　C:\data\text\perl に aozora_kanji.pl と arraytable_s.dat を置いて、
　　　　その下層のフォルダ　C:\data\text\perl\works に aozora.txt を置く。

エクスプローラから aozora_kanji.pl を選んでエンターキーを押すと、works フォルダに kanji_aozora.txt という変換済みのファイルが生成されます。

aozora_kanji.pl


# 青空文庫の第３水準、第４水準、unicode 漢字の「※」を元の漢字に戻す
# 入力ファイルの文字コードと $mojicode の一致を確認すべし
# kanji から始まるファイルは対象から除外。対象ファイルの拡張子は txt または dat
# 出力ファイルの文字コードは utf-8 、ファイル名は kanji_$file 
# 元ファイルが aozora.txt ならば kanji_aozora.txt

	use utf8;
	use Encode qw/encode decode/;	

#	$mojicode = "SHIFT-JIS";
	$mojicode = "UTF-8";

# 文字コード配列を作る
#	$table = "./arraytable_l.dat";
	$table = "./arraytable_s.dat";
	$i = 0;
	 open (IN,"< ./$table") || &error ("array_table not found");
	 while(<IN>){
		$_ = decode("UTF-8",$_);
		@str = split(/\t/,$_);
		$bango[$i] = $str[0];
		$moji[$i] = $str[1];
		$i++;
	}
	close(IN);

# ディレクトリを開く
	$crdr = "./works/";
	opendir(DIR,"$crdr");
	chdir $crdr;

# ファイル名を配列に格納
	@files = readdir(DIR);


# テキストファイルを順次開く
	foreach $file (@files){

	$count = 0;
	$flag = 0;

	if ($file =~ /^kanji/ ){ next;}
	if ($file =~ /txt$/i || $file =~ /dat$/i){

		open (IN,"$file") || &error ("file not found");
		open(OUT, "> tmp.txt") ;
		while(<IN>){
			$_ = decode($mojicode,$_);
#			$_ =~ s/(＝＆＝％＝)\n/$1　\n/;		# 行末の＝＆＝％＝対策
			$_ =~ s/※/＝＆＝％＝\n※/g;
			$_ =~ s/(※［＃.*?)(U\+|unicode)([0-9A-Fa-f]{4,5})([^］]*?］)/&unico($3)/eg;
			$_ =~ s/(※［＃.*?)([1-2]\-\d{1,2}\-\d{1,2})([^］]*?］)/&search($1,$2,$3)/eg;
			$flag += $_ =~ tr/※/※/;			# 残った※を数える。
			$_ =~ s/＝＆＝％＝\n//g;
			$_ = encode("UTF-8",$_);
			print OUT $_;
		}
		print OUT "\n-------------------------\ntransformed ※ : $count ";
		print OUT "\nremained ※ : $flag \n-------------------------\n";
		close(OUT);
		close(IN);
		rename("tmp.txt", "kanji_" . $file);
			
		}
	}


# ============================== #
# 置換文字
# カウントするためにサブルーチンにした
sub unico{
	$count ++;
	return chr(hex($_[0]));
}

# ============================== #
# 置換文字を探す
sub search{

	$gomen = $_[0].$_[1].$_[2];
	$kuten = $_[1];
	$kuten =~ s/\-(\d)\-/\-0$1\-/;
	$kuten =~ s/\-(\d)$/\-0$1/;
	$kuten =~ s/\-//g;

	$high = @bango;
	$low=0;	
	$i = int(($high + $low)/2);
	
	for($j=0;$j<15;$j++){
		if($bango[$i] == $kuten){
			$count ++;
			return $moji[$i];
			}
		if($bango[$i] < $kuten){
				$low = $i;
			}else{
				$high = $i;
			}
		$i = int(($high - $low)/2) + $low;
	}
	
	return $gomen;
}

sub error{
	($sec, $min,$hour, $mday, $mon, $year, $wday) = localtime;
	$mon ++;
	$year += 1900;
		open(OUT, ">> error.log");
		print OUT "$year/$mon/$mday  $hour:$min \n";
		print OUT "$_[0]\n\n";
		close (OUT);
	
	exit(0);
}


1;

arraytable_s.dat