# -*- coding=utf-8 -*-
import re
import pyarabic.araby as araby
token_pat=re.compile(u"([\w%s]+)"%u"".join(araby.HARAKAT),re.UNICODE);

tab_noun_context=(
u"في",
u"بأن",
u"بين",
u"ففي",
u"وفي",
u"عن",
u"إلى",
u"على",
u"بعض",
u"تجاه",
u"تلقاء",
u"جميع",
u"حسب",
u"سبحان",
u"سوى",
u"شبه",
u"غير",
u"كل",
u"لعمر",
u"مثل",
u"مع",
u"معاذ",
u"نحو",
u"خلف",
u"أمام",
u"فوق",
u"تحت",
u"يمين",
u"شمال",
u"دون",
u"من",
u"بدون",
u"خلال",
u"أثناء",
)
tab_verb_context=(
u"قد",
u"فقد",
u"وقد",
u"لن",
u"لم",
)



NAMED_PRIOR=set([
u"بن",
u"عبد",
u"قال",
u"صرح",
u"أعلن",
u"أكّد",

])
ADDITIONAL_WORDS=set([

u"نهر",
u"وادي",
u"قارة",
u"مضيق",
u"مدينة",
u"شركة",
u"مؤسسة",
u"طريق",
u"دولة",
u"فريق",
u"نادي",
u"كتاب",
u'اللغة',
u'لغة',
u'منتخب',
u'محافظة',
u'ولاية',
u'جمهورية',
u'مملكة',
u'سلطنة',
u'جامعة',
u'عاصمة',
u'بلدة',
u'بلد',
u'بلاد',
u'جزيرة',
u'مقاطعة',
u'جيش',
u'الجيش',
u'بحر',
u'البحر',
u'المجيط',
u'بحيرة',
u'جبل',
# يفترض ان تتكرّر الكلمة في أشكال كثيرة مع احتمال ورودها في شكل مجرّد

# u"وعبد",
# u"ونهر",
# u"ومدينة",
# u"وشركة",
# u"وطريق",
# u"ودولة",
# u"وفريق",
# u"وكتاب",


# u"بعبد",
# u"بنهر",
# u"بمدينة",
# u"بشركة",
# u"بطريق",
# u"بدولة",
# u"بفريق",
# u"بكتاب",

# u"لعبد",
# u"لنهر",
# u"لمدينة",
# u"لشركة",
# u"لطريق",
# u"لدولة",
# u"لفريق",
# u"لكتاب",
]);

SPECIAL_DEFINED=set([
u'أن',
u'من',

u'هذا',
u'تلك',
u'كل',
u'جميع',
u'أجل',
u'آخر',
u'نفس',
u'الذي',
u'التي',
u'الذين',
u'الأول',
u'الثاني',
u'الثالث',
u'الرابع',
u'الخامس',
u'السادس',
u'السابع',
u'الثامن',
u'التاسع',
u'الأولى',
u'الثانية',
u'الثالثة',
u'الرابعة',
u'الخامسة',
u'السادسة',
u'السابعة',
u'الثامنة',
u'التاسعة',
u'اثنان',
u'ثلاثة',
u'اربعة',
u'خمسة',
u'ستة',
u'سبعة',
u'ثمانية',
u'تسعة',
u'عشرة',
u'الاثنان',
u'الثلاثة',
u'الاربعة',
u'الخمسة',
u'الستة',
u'السبعة',
u'الثمانية',
u'التسعة',
u'العشرة',
u'الاثنان',
u'الثلاث',
u'الاربع',
u'الخمس',
u'الست',
u'السبع',
u'الثماني',
u'التسع',
u'العشر',
u'اثنان',
u'ثلاث',
u'اربع',
u'خمس',
u'ست',
u'سبع',
u'ثماني',
u'تسع',
u'عشر',

]);


GENERAL_COLLOCATIONS={
u'taha zerrouki':{'v':u'طَهَ زَرْوقِي','c':'30'},
u'طه زروقي':{'v':u'طَهَ زَرُّوقِِي','c':'30'},
u'بسم الله الرحمن الرحيم':{'v':u'بِسْمِ اللهِ الرَّحْمَنِ الرَّحِيمِ','c':'30'},
u'الله أكبر':{'v':u'اللهُ أَكْبَرُِ','c':'30'},
u'السلام عليكم ورحمة الله تعالى وبركاته':{'v':u'السّلامُ عَلَيكُمْ وَرَحْمَةُ اللهِ تَعَالَى وَبَرَكَاتُهُ','c':'30'},
u'السلام عليكم ورحمة الله وبركاته':{'v':u'السّلامُ عَلَيكُمْ وَرَحْمَةُ اللهِ وَبَرَكَاتُهُ','c':'30'},
u'السلام عليكم ورحمة الله':{'v':u'السّلامُ عَلَيكُمْ وَرَحْمَةُ اللهِ','c':'30'},
u"صلى الله عليه وسلم":{'v':u"صَلَّى اللَّهُ عَلَيه وَسَلَّمَ", 'c':'30'},
u'الحمد لله رب العالمين':{'v':    u'الْحَمْدُ لِلَّهِ رَبِّ الْعَالَمِينَ', 'c':'30'},
u'سبحان الله':{'v':u'سُبْحَانَ اللَّهِ', 'c':'30'},
u'رحمه الله':{'v':u'رَحِمَهُ الْلَّهُ', 'c':'30'},
u'رضي الله عنه':{'v':u'رَضِيَّ الْلَّهُ عَنْهُ', 'c':'30'},
u'تغمده الله برحمته':{'v':u'تَغَمَّدَهُ اللَّهُ بِرحمتِهِ', 'c':'30'},
u'أشهد أن لا إله إلا الله وحده لا شريك له':{'v':u'أَشْهَدُ أَنْ لَا إلَهَ إلّا اللَّهُ وَحْدَهُ لَا شَرِيكَ لَهُ', 'c':'30'},
u'أشهد أن محمدا عبده ورسوله':{'v':u'أَشْهَدُ أَنَّ مُحَمَّدًا عَبْدُهُ وَرَسُولُهُ', 'c':'30'},
u'صلى الله عليه وآله وصحبه وسلم':{'v':u'صَلَّى اللَّهُ عَلَيه وَآلِهِ وَصَحْبِهِ وَسَلَّمَ', 'c':'30'},
u'أشهد أن لا إله إلا الله':{'v':u'أَشْهَدُ أَنْ لَا إلَهَ إلّا اللَّهُ', 'c':'30'},
u'أشهد أن محمدا رسول الله':{'v':u'أَشْهَدُ أَنَّ مُحَمَّدًا َرَسُولُُ الْلَّهِ', 'c':'30'},
u'صلى الله عليه وسلم':{'v':u'صَلَّى اللَّهُ عَلَيه وَسَلَّمَ', 'c':'30'},
u'الله تعالى':{'v':u'الله تَعَالَى', 'c':'30'},
}
# "196160","بِسْمِ اللهِ الرَّحْمَنِ الرَّحِيمِ","يسم الله الرحمن الرحيم","30","عبارة",
# "196161","اللهُ أَكْبَرُ","الله أكبر","30","عبارة",
# "196162","السَّلَامُ عَلَيكُمْ وَرَحْمَةُ اللهِ تَعَالَى وَبَرَكَاتُهُ","السلام عليكم ورحمة الله تعالى وبركاته","30","عبارة",
# "196163","السَّلَامُ عَلَيكُمْ وَرَحْمَةُ اللهِ وَبَرَكَاتُهُ","السلام عليكم ورحمة الله وبركاته","30","عبارة",
# "196164","السَّلَامُ عَلَيكُمْ وَرَحْمَةُ اللهِ","السلام عليكم ورحمة الله","30","عبارة",
# "196165","وعَلَيكُمْ السَّلَامُ وَرَحْمَةُ اللهِ تَعَالَى وَبَرَكَاتُهُ","وعليكم السلام ورحمة الله تعالى وبركاته","30","عبارة",
# "196166","وعَلَيكُمْ السَّلَامُ وَرَحْمَةُ اللهِ وَبَرَكَاتُهُ","وعليكم السلام ورحمة الله وبركاته","30","عبارة",
# "196167","وعَلَيكُمْ السَّلَامُ وَرَحْمَةُ اللهِ","وعليكم السلام ورحمة الله","30","عبارة",
# "196169"	"الْحَمْدُ لِلَّهِ رَبِّ الْعَالَمِينَ"	"الحمد لله رب العالمين"	"30"	"عبارة"	
# "196170"	"سُبْحَانَ اللَّهِ"	"سبحان الله"	"30"	"عبارة"	
# "196171"	"رَحِمُهُ الْلَّهُ"	"رحمه الله"	"30"	"عبارة"	
# "196172"	"رَضِيَّ الْلَّهُ عَنْهُ"	"رضي الله عنه"	"30"	"عبارة"	
# "196173"	"تَغَمَّدَهُ اللَّهُ بِرحمتِهِ"	"تغمده الله برحمته"	"30"	"عبارة"	
# "196174"	"أَشْهَدُ أَنْ لَا إلَهَ إلّا اللَّهُ وَحْدَهُ لَا شَرِيكَ لَهُ"	"أشهد أن لا إله إلا الله وحده لا شريك له"	"30"	"عبارة"	
# "196175"	"أَشْهَدُ أَنَّ مُحَمَّدًا عَبْدُهُ وَرَسُولُهُ"	"أشهد أن محمدا عبده ورسوله"	"30"	"عبارة"	
# "196176"	"صَلَّى اللَّهُ عَلَيه وَآلِهِ وَصَحْبِهِ وَسَلَّمَ"	"صلى الله عليه وآله وصحبه وسلم"	"30"	"عبارة"	
# "196177"	"أَشْهَدُ أَنْ لَا إلَهَ إلّا اللَّهُ"	"أشهد أن لا إله إلا الله"	"30"	"عبارة"	
# "196178"	"أَشْهَدُ أَنَّ مُحَمَّدًا َرَسُولُُ الْلَّهِ"	"أشهد أن محمدا رسول الله"	"30"	"عبارة"	
# "196179"	"صَلَّى اللَّهُ عَلَيه وَسَلَّمَ"	"صلى الله عليه وسلم"	"30"	"عبارة"	
# "196180"	"بِسْمِ اللَّهِ الرَّحْمَنِ الرَّحِيمِ"	"بسم الله الرحمن الرحيم"	"30"	"عبارة"