青空文庫の※を漢字に変換するスクリプト

home 　cgi 　ScriptMenu	新漢字→旧漢字　　旧漢字を新漢字に変換　　説明

青空文庫の※を漢字に変換するパールスクリプト

まず、パールをインストールして、パスを通しておいてください。
下のテキストボックスを全選択、コピーして、メモ帳などで、ファイル名をそれぞれ aozora_kanji.pl と arraytable_s.dat として保存します。文字コードは utf-8 にしてください。
変換元となるテキストファイルも utf-8 に変換しておいてください。

plファイルとdatファイルは同じフォルダに置きます。その下にworksというフォルダを作って、そこに変換元となるファイルを置いてください。

［例］　C:\data\text\perl に aozora_kanji.pl と arraytable_s.dat を置いて、
　　　　その下層のフォルダ　C:\data\text\perl\works に aozora.txt を置く。

エクスプローラから aozora_kanji.pl を選んでエンターキーを押すと、works フォルダに kanji_aozora.txt という変換済みのファイルが生成されます。

aozora_kanji.pl


# 青空文庫の第３水準、第４水準漢字の「※」を元の漢字に戻す
# 青空文庫のunicode の「※」を元の漢字に戻す
# 入力ファイルの文字コードがutf8であることを確認すべし
# 対象ファイルの拡張子は txt または dat
# kanji から始まるファイルは対象から除外
# 出力ファイルは kanji_$file
# 元ファイルが aozora.txt ならば kanji_aozora.txt

# 文字コード配列を作る

#	$table = "./arraytable_l.dat";
	$table = "./arraytable_s.dat";
	$i = 0;
	open (IN,"< ./$table") || &error ("array_table not found");
	while(<IN>){
		 @str = split(/\t/,$_);
		 $bango[$i] = $str[0];
		 $moji[$i] = $str[1];
		 $i++;
	}
	close(IN);

# ディレクトリを開く

	$crdr = "./works/";
	opendir(DIR,"$crdr");
	chdir $crdr;

# ファイル名を配列に格納

	@files = readdir(DIR);


# テキストファイルを順次開く

	foreach $file (@files){

	$count = 0;
	$flag = 0;

	if ($file =~ /^kanji/ ){ next;}
	if ($file =~ /txt$/i || $file =~ /dat$/i){
		
# unicodeで文字化け防止のための下拵え。変換対象の前後に改行を入れる

	open (IN,"$file") || &error ("file not found");
	open(OUT, "> tmp.txt") ;
	while(<IN>){
		$_ =~ s/(＝＆＝％＝|#=%=#=%=#)\n/$1　\n/;
		$_=~ s/※/＝＆＝％＝\n※/g;
		$_ =~ s/(※［＃.*?)(U\+|unicode)([0-9A-Fa-f]{4,5})([^］]*?］)/$1$2$3$4#=%=#=%=#\n/g;
		print OUT $_;
		}
		close(OUT);
		close(IN);

# 変換処理
		open (IN,"tmp.txt") || &error ("tmp file was busy");
		open(OUT, "> temp.txt");
		while(<IN>){
			$_ =~ s/(※［＃.*?)(U\+|unicode)([0-9A-Fa-f]{4,5})([^］]*?］)/&unico($3)/e;
			$_ =~ s/(※［＃.*?)([1-2]\-\d{1,2}\-\d{1,2})([^］]*?］)/&search($1,$2,$3)/e;

# 残った※の数を数える。
			if( $_ =~ /※/ ) {$flag ++;}
			
			$_ =~ s/#=%=#=%=#\n//g;
			$_ =~ s/＝＆＝％＝\n//g;
			print OUT $_;
		}
		print OUT "\n-------------------------\n変換した※： $count ";
		print OUT "\n出来なかった※： $flag \n-------------------------\n";
		close(OUT);
		close(IN);
#				rename($file,$file . ".org");
#				rename("temp.txt",$file);
		unlink("tmp.txt");
		rename("temp.txt", "kanji_" . $file);
		}
	}


# ============================== #
# 置換文字
# カウントするためにサブルーチンにした

sub unico{
	$count ++;
	return chr(hex($_[0]));
}

# ============================== #
# 置換文字を探す

sub search{

	$gomen = $_[0].$_[1].$_[2];
	$kuten = $_[1];
	$kuten =~ s/\-(\d)\-/\-0$1\-/;
	$kuten =~ s/\-(\d)$/\-0$1/;
	$kuten =~ s/\-//g;

	$high = @bango;
	$low=0;	
	$i = int(($high + $low)/2);
	
	for($j=0;$j<15;$j++){
		if($bango[$i] == $kuten){
			$count ++;
			return $moji[$i];
			}
		if($bango[$i] < $kuten){
				$low = $i;
			}else{
				$high = $i;
			}
		$i = int(($high - $low)/2) + $low;
	}
	
	return $gomen;
}

# ============================== #
# エラー処理

sub error{
	($sec, $min,$hour, $mday, $mon, $year, $wday) = localtime;
	$mon ++;
	$year += 1900;
		open(OUT, ">> error.log");
		print OUT "$year/$mon/$mday  $hour:$min \n";
		print OUT "$_[0]\n\n";
		close (OUT);
	
	exit(0);
}


1;

arraytable_s.dat