/**
* Tokenizes a string
*
* @param string $string
* @param bool $wc
* @return array
*/
function idx_tokenizer($string, $wc = false)
{
$Indexer = idx_get_indexer();
$tokens = $Indexer->tokenizer($string, $wc);
// ======================
// 修复：数字+中文 不拆分（14世纪、2025年、5世纪）
// ======================
$fixed = [];
$len = count($tokens);
for ($i = 0; $i < $len; $i++) {
$current = $tokens[$i];
$next = $i + 1 < $len ? $tokens[$i + 1] : '';
// 如果 当前是数字 + 下一个是中文 → 合并
if (
is_numeric($current) &&
preg_match('/^[\x{4e00}-\x{9fa5}]+$/u', $next)
) {
$fixed[] = $current . $next;
$i++; // 跳过 next
} else {
$fixed[] = $current;
}
}
return array_unique($fixed);
}
备注:阿秘特尊者 [佛像网]
