ㅇㅇ

독립

세상과의 독립이 필요해졌다. 사람들이 무엇이라 생각하는지 연연하지 않아야 한다. 사람들이, 동기, 선배, 후배, 교수, 가족, 친구 모두 포함된다. 내 자신만의 삶을 정하고 이루어 나가도록 해야할 것이다. 특히, 누군가에게 잘보여서 잘풀리려는 마음은 절대 들어오지 않도록 해야한다. 아무도 도움을 주지 못할 뿐더러, 도움이 되려는 것은 대부분은 자기 이득을 위해 나를 이용하는 것이다. 나 스스로가 잘되어서 나를 필요로하는 곳이 많아져야 한다. 붙잡지 마라, 붙잡게 만들어라. 특히 주의를 해야할 점은 교수조차도 믿지 않아야 한다는 점을 반드시 알아야 한다. 나 스스로가 원하는 삶을 살며, 누군가가 나에게 도움이 되면 좋은 것이고 안되면 말아라. 조금이라도 내키지 않는 것은 확답을 받아라.

실천

2016년 7,8,9월 모두 생각의 달이었다. 어떻게 살아야할지 고민하며 실천을 하지 않고 살아왔다. 어릴 때는 며칠의 생각이 몇달, 몇년의 삶을 지속하게 하였는데, 지금은 3달이란 시간을 보냈는데도 정확한 답을 얻지 못했다. 인생이란게 쉽게 생각했는데 어려워진 느낌이다. 도무지 어떻게 진행될 지 모르는 인생이다. 그 속에서 내 나름 믿고 살아가야하는 방향이 있다. 실천이다. 나는 사실 성실하고 하기 싫은 것도 잘 참는다. 아직도 믿고 확실하다. 하지만 요 근래 3달을 생각해오며 실천 능력이 확실히 떨어졌다. 다시 습관으로 만들어야 한다. 특히 수학을 실천하는 버릇을 가져야 한다. 모든 문제를 해결하려는 문제해결 습관을 가짐으로써 배운 수학을 써먹으려고 해야할 것이다. 그리고 새로운 수학을 배우는 일은 언제나 힘이 든다. 개념의 모티브를 이해하고 적용 사례들을 배우는 것도 중요하지만, 일단 힘들게 개념들을 숙지해야 한다. 그리고 다시 모티브와 적용 사례들을 보는 길이 사실 빠른 길일 수 있다.

매일 아주 지칠 때까지 공부하며, 남은 10분~30분 조차도 이용하여야 한다. 그러면 수학을 즐기는 순간이 더 빨리 올 것이다.

공부, 연구에 대한 생각

공부가 수단이면 공부를 오래하지 못한다. 사실 공부로 돈을 많이 벌긴 힘들다. 심지어 가정을 이루지 못할 수도 있다. 이런 상황에서도 공부를 계속하려면, 공부를 하는 그 자체가 순수한 동기여야 공부하면서 겪는 많은 난관을 해결해나가는 필살기이다.

운동에 대한 생각

운동능력에 대한 내 생각은 바뀌었다. 근육을 키우면 그것을 평생을 유지(물론 조금은 빠지겠지만)하는 것으로 생각했었다. 지금은 달라졌다. 운동 능력은 현재형이다. 예전에 얼마나 했든은 중요하지 않다. 지금 얼마나 하냐가 중요하며 그 능력을 현재에 계속 지켜나가는 것이 능력이다.

술을 먹지 않아야 한다. 함께든, 혼자든. 그래서 저녁8시 이후에 오는 연락을 모두 무시하자. 큰 연락은 없으며 8시되면 휴대폰을 무음하고 내 공부에 집중하는 시간을 가져야 한다.

필기에 대한 생각

노트필기의 단점, 적는 데에만 몰입을 하는 경우, 그 적는 내용을 기억하고 행동에 실천하려는 의지를 잃어버린다. 적음으로써 알고 있다고 생각하기 때문이다.

[질문] 또 봤다 제임스조이스 작성일 : 12-08-30 22:52 조회 : 804

서브컬처에 익숙한 사람이라면 모두 알겠지만, 네 토라레라는 장르가 있다. 한마디로자기가사랑하는 사람이자기보다우월한사람과성관계를맺으면서자신이 제공할수없었던극한의쾌락을느끼는것을지켜보는장 르이다. 네토라레망가를또봤다. 볼때마다너무괴롭다. 자존감이망가져가는게느껴진다. 여자를성적으로만족시 킬수없는나는하잘것없는존재라는생각이머릿속에계 속맴돈다. 머릿속을헤집어내모든약점을노출시킨다.

"난 이렇게 나약하다. 난열등하다. 사람들은날비웃는 다. 나약한나를비웃는다. 친절한말로나를기만한다. 너 무나도괴롭다. 그렇지만또봤다. 이제마음이괴롭다. 네 토라레물이내자존감을부순걸까?아니면내부서진자존 감이자극을견디지못하는걸까? 내작은물건으로는여자 를만족시킬수없다. 여자들은나같은사람을좋아하지않 을것이다. 여자들은동양인보다백인을좋아하고, 돈많은 남자를좋아하고, 잘생긴남자를좋아하고, 어쨌든누구를 좋아하건난아니다. 나는절대로행복할수없다."

나는 어쩌다가 세상을 이렇게 이해하게 된 걸까? 이세상을어떻게이해해야하는가? 현실은과연무엇인가 ? 회복할수있을까? 누구에게사랑받을수있을까?

'이 세상은 매력이 강한 사람이 지배한다.'를 기본 적인 전제로 설정하자. 그리고 그 이유는 모두매력 있는사람을원하기때문이다. 그리고그매력중가장강력 한매력은성적매력이다. 그리고성적으로상대를만족시 킬수없는상대는, 100%의 존중을결코받을수없다. 이걸 깨닫는데까지십수년이걸렸다. 진정한마음은통한다느니 , 상호간의신뢰따위의말로기만당하며살았다. 성적으로 끌리지않는상대의진심은가치없는것이다.

성적 매력이 강한 사람은 위험한 존재로 여겨진다. 그강력한매력은곧힘이고, 타인을자신에게종속시킬수 있는힘이기때문에, 자주성을원하는인간에게는위협적일 수밖에없다. 그리고위협성자체가성적매력이다. 뭣도 없는사람이부리는허세말고, 진짜힘을가진사람이가지 는위협성말이다. 그리고이성적카리스마로가득찬사람 은이곳저곳을돌아다니며사람들을위협한다. 나의매력 에굴복할것인지, 아니면반항하며나와상관없는사람이 되어서, 나와어울릴수있는기회를놓칠것인지끊임없이 타인에게묻는다. 항진명제이지만, 존재자체가그질문을 수반하고, 그렇게질문할수있기때문에강한것이고, 강하 기때문에존재자체가그질문을할수있는것이다. 그러니 성적매력은강함과깊은연관성을가졌고, 뒤집어서강함 이곧성적매력이라고할수있다.

그리고 대부분의 사람들은 그 매력에 굴복한다. 여 자의적은여자라고들많이하고, 여자들은예쁜여자, 남자 에게인기있는여자를싫어한다고한다.많은남자들은그 얘기를들으면, 마치매력있는여자들은시기와질투때문 에견딜수없이괴로운삶을사는것이라고착각하곤한다. 하지만여자들사이에들어가보면상당히다른양상을띠고 있다는것을알수있다. 여자들의모임에서가장대접받는 것은인기있는여자애들이다. 물론뒷담화의대상이되는 경우도많다. 시기의대상이된다. 하지만그매력적인사람 앞에서면, 굴복할수밖에없다. 자기보다우월한존재를 인식하고, 그사람의화가자기에게미치지않기를바라기 때문이다. 당연히남자들도다르지않다. 돈많은남자, 잘 생긴남자, 인기있는남자들은두려움의대상이되지, 무시 의대상이되지않는다.

매력적인 사람의 삶은 결코 괴롭지 않다. 최소한 매력 때문에 괴롭지는 않다. 만약그렇게이야기하는 사람이있다면조금더귀기울여봐라. 이성이라면그사람 은당신의동정을사고싶어하는것이고, 동성이라면당신 을위로하거나은연중에당신을무시하고싶은것이다. 만 약진짜로그렇게생각하는사람이있다면, 매력없는사람 의쭈구리같은인생이얼마나괴로운지모르기때문에하는 소리이다. 진지하게따진다면별할말없을것이다.

성적 매력이 뛰어나지 않은 사람들의 대부분은 친 절함과 편안함을 무기로 삼으려 한다. 허세로부족함 을숨기는사람들은순식간에도태되니언급할필요도없 다. 그리고상대입장에서는친절하지만약한사람이제공 하는안정감, 안락함이매력적일수있다. 섹스가불만족스 럽지만, 섹스는그다지중요하지않다고할수도있고, 만족 스러웠다고거짓말을해주며살아갈수있다. 하지만그건 어떤강력한매력의상대가나타나헤집어버리면한순간 에뒤집어지는불안한행복일뿐이다. 겸손과친절은그자 체만으로의미있는게아니다. 남에게해를끼칠수있는사 람이베풀때아름다운것이다. 나약한사람이겸손하고친 절하다면, 그것을비굴함으로해석될뿐이다. 그러니, 누군 가가나약한사람의겸손과친절함에감동한다면, 그것은 자기보다더나은존재에대한경탄과존경이아닌, 나약한 사람의노력에주어지는동정의시선일뿐이다. 그렇기때 문에, 뛰어난사람과뛰어나지않은사람간의관계는결국 깨질수밖에없으며, 유지된다하더라도그것은거짓말이 섞인관계다.

친구와 비슷한 주제로 대화를 나눈 적이 있다. 그 친구는내말이틀렸다며, 유재석을예로들었다. 유재석의 편안한매력과친절함을보아라, 그유재석을사람들이좋 아한다. 그렇다면사람들이원하는것은성적매력과별상 관없는편안함과안락함아닌가? 그리고어쩌면, 그편안 함과안락함이곧성적매력아닌가?

천만의 말씀이다. 내가보기에유재석이야말로본질적 으로성적매력이가득한사람이고, 지금대한민국에서가 장섹슈얼한사람을꼽자면유재석이단연최고이며, 장동 건이나원빈과는비교할수없을정도의카리스마를가지고 있는사람이다. 유재석을섹슈얼한사람으로만드는것은 그의유머와능력이다. 그리고유재석을완전하게만든결 정적인요인은최근대폭업그레이드된그의신체적매력과 돈이다.

먼저 유머에 대해 생각해보자. 사람이자신의소유라 고할수있는것은몇가지없다. 자기가갖고있는모든물 건들을내존재와는상관없는외부의것이다. 말그대로몸 밖에있고, 내정신밖에있으니내것이아니라는것이다. 그리고자신의아내, 친구등등은, 내정신과신체밖에있 는데다가, 자주성, 주체성까지있으니두말할것없이내 것이아니다.

그렇다면인간이자신의소유라할수있는것은, 신체와정 신뿐이다. 그리고이정신은기분과같은빠른본능에좌지 우지되는부분과, 논리적명제와같은느린이성에지배되 는부분으로나뉘어져있다. 그중우리의일상에가장큰영 향을주는것은기분이다. 본능에가깝게맞닿아있는것이 기분이고, 기분은이성보다강력하다할수있는데, 이성의 방향을기분이설정하기때문이다. 기분이나쁘면모든것 이나빠보이고, 사고역시나쁜방향으로흘러간다. 위에서 이야기한네토라레물을보고난다음에, 사랑에대해어떻 게생각하느냐고묻는다면개같은소리하지말라며쏘아 붙일것이고, 'The Notebook'과 같은영화를본다음에는사 랑이란아름다운것이라며녹아내리는모습을보여줄것이 다. 유머는이기분을좌지우지할수있는강력한무기이다 . 인간이가지고있는두가지중하나인정신을좌지우지할 수있기때문이다.

여기서 인간이 원하는 것이 무엇인지 살펴보면, 이 유머의 힘이 무엇인지 알 수 있다. 인간이원하는것 은행복이다. 그러니자신을행복하게해줄수있는사람을 좋아하는것이다. 행복은책에씌여있는것도아니고, 물리 적실체가없으며, 일관성도없다. 다시말해, 행복이란'기 분'인 것이다.

물론, 어떠한 기분을 제대로 느끼기 위해서는 몇 가지 조건이 갖춰져야 한다. 굶지말아야하고, 배설을 할수있어야하고, 신체적고통을느끼고있지않아야한다 . 하지만이런조건은비교적쉽게달성할수있다. 현대사 회에서는이런조건을충족하고있는사람이대부분이다. 그렇다면기분이좋으면그순간에는행복을느끼는것이며 , 기분이나쁘면그순간에는불행한것이다. 다른사람의 기분을지배할수있는유머는다른사람에게인위적으로 행복감을불어넣을수있는강력한사람인것이다. 사랑의 미약을손에쥐고있는것이다. 하지만이정도로는유머가 왜진짜강력한무기인지완전하게설명하지못한다. 유머 가강한이유는유머는무기가될수도있기때문이다.

남녀가한데모여술을먹고있는상황을가정해보자. 거기 서누군가가내기분을긁으며, 사람들앞에서나를무시한 다. 흘려넘기기힘든수준이되었고, 자신의남성성에대한 도전이되었다. 그자리에내가관심을갖고있는여성이자 리했는데, 그여자앞에서창피당할것같다. 그상황에서 자신의남성성을어필하며상대방을찍어내릴수있는가장 강력한대처는무엇인가?

첫째로, 폭력을꼽을수있는데, 그건반쪽짜리방법이다. 남성성의세련되지못한과시이고, 자신이폭력적인사람을 광고하는꼴이되며, 법으로사람이옭아매여져있는현대 사회에어울리지않는다. 무엇보다여자들은폭력에서자신 을방어할수있는남자는좋아하지만폭력으로남을먼저 제압하려는사람은좋아하지않는다.

언쟁을 한다면 그 사람과 같은 수준으로 인식될 것 이다. 게다가목소리크고시비걸기좋아하는놈들은대체 로멍청하기때문에설득하기굉장히어려워, 시비건놈이 들이는노력보다더많은노력을들여야한다. 그긴대화와 많은말에사람들은주로귀기울이지않는다. 귀를기울인 다하더라도시비거는놈의바보같은작태에지쳐서포기하 고, 둘다분위기망치는똑같은놈들이라고맘편하게생각 해버릴것이다.

그 상황에서 제일 좋은 방법은 유머로 대처하는 것 이다. 촌철살인의위트로포인트를콕짚어내고, 시비거는 놈을제외한나머지사람들을웃게한다면, 그사람들은전 부당신의편이되는것이고, 그시비거는놈은패배하는것 이다. 그래서유머러스한사람은타인에게위협적인것이다 . 힘센놈, 똑똑한놈, 모두유머러스한사람에게질수밖에 없다. 위에서이야기한대로, 웃으면행복하기때문에유머 러스한사람을좋아하는측면도있지만, 유머는정말로강 력하다. 그래서유머러스한사람을적으로돌리려는사람은 많지않다.

그리고 유재석은 대중적 인식과 달리 타고난 유머 감각이 엄청난 사람이다. 울렁증을극복하기전까지안 정적으로매번터트리는사람이아니었고진행을하면서본 격적으로떴기때문에유머감각이상대적으로저평가되고, 가끔보여줬던그의센스는진짜라는것을알수있다. 센스 로먹고산다는신정환이나탁재훈보다훨씬뛰어나다. 그 유머가만들어준매력에친절함과겸손이추가된것이다. 그반대가아니다. 거기에그는성실함으로돈까지벌었으 며안정적인생활을구축해놓았기때문에, 그는상대에게 행복감을줄수있는조건들을전부갖춰놓은상태인것이 다.

하지만 무엇보다 유재석을 완전하게 만든 결정타, 부족한 10%를 채워준 것은, 그가 근 몇년동안 만들 어 놓은 자신의 신체적 매력이다. 아무리웃긴남자라 도, 아무리돈이많은남자라도, 신체적인매력이부족하다 면상대의욕망을완전하게충족시켜줄수없다. 욕망을충 족시켜주지못하는관계는반쪽짜리관계이다. 항상1%건 10%건, 뭔가부족한여지가남는것이다. 신체적매력이없 는남자는자기여자를지키기힘들다. 결혼한여자니까남 자들이들이대지않는다고? 바람을피우는건더러운행위 이고, 내가남의여자를뺏으면다른사람에게상처를주기 때문에그러지않는다고? 어림반푼어치도없는웃기는소 리다. 당장살펴볼수있는모든성인물을한번살펴봐라. ' M.I.L.F.'라는 말은이미포르노계을떠나일상어로장착한 수준이며, '인처'는 대표적인모에속성중하나다. 유부녀 라서매력이떨어지는건절대아니며, 오히려유부녀라서 매력이상승한다. 다른사람이내게매력적인것을소유한 다하더라도그것에대한소유욕은절대줄어들지않고, 빼 앗을수있는것이기때문에매력은오히려증가한다.

그러니, 자기여자가성적매력을완전히상실하지않는이 상들개처럼발정난수컷들이달려들기마련이고카리스마 가없는사람은그들개들에게여자를뺏길수밖에없다. 수 많은부잣집아주머니들이헬스트레이너들과바람을피우 는이유가무엇이라고보는가? 능력있고, 세상에서아랫사 람들등쳐먹으며갑중의갑노릇하는자신의남편을배신 하면서위험한줄타기를하는이유가무엇인가? 부인으로 서의책임, 엄마로서의책임, 도덕, 윤리따위를갖다던지 면서아무리욕망을누르려해봐도, 어쩌다닿은손길에, 탄탄한가슴에, 남편에게없는신체적매력에마음이동하 는것은어쩔수없는것이다. 남자들역시비슷하지않은가 ? 집에조강지처가기다리고있는데왜룸싸롱에서여자들 을주무르고있는가? 착한여자친구가내일함께소풍가려 고도시락을싸고있는마당에왜클럽에서애먼여자번호 를따려고안달이나있는가? 그리고, 당신이그러고있는 데왜당신의처는, 여자친구는, 다를것이라고생각하는가 ?

신체적 매력이 아예 없는 사람은 항상 불안 요소를 안고 있는 것과 마찬가지다. 기본적인 매력은 갖췄 는데, 신체적 매력이 아예 빵점이니 뭔가 불안한 것이다. 스파르타 병사들은 용맹하고, 페르시아 군 대는 뒷길에 대해 모르는게 확실하지만, 그래도 후 위를 방어하고 있는 병력이 전혀 없으니 뭔가 불안 한 것이다. 그리고유재석은, 성공적으로그것을보충했 고그렇게그는완벽한남자가된것이다. 그러니나경은에 게는자신에게들이대는헬스트레이너가별로대단해보이 지않는다. "물론트레이너몸도괜찮고, 매력있지만, 내남 편의몸도괜찮은데굳이도박을할필요는없다. 무엇보다 이남자는전체적으로내남편보다훨씬떨어지는남자"라 고생각하게되는것이다. 물론가정사는당사자외에는아 무도모르는것이지만, 드러나는요소만을따져보면그런 결론이나온다. 고로, 유재석은자기여자를지켜낼수있는 남자이고, 그래서현재대한민국에서가장섹슈얼한사람 중하나이다.

내 말의 포인트는 이것이다. 신체와정신둘다타인에 게위협이될만큼강해야하고, 그래야그것이성적인매력 으로이어진다는것이다. 그리고이성적인매력없이는자 기여자를지켜낼수없고, 여자뺏긴비참한남자가되는것 이다.

나는 성적 매력이 없는 사람이다. 평범한외모에, 돈 도없으며, 신체능력역시뛰어나지않다. 그렇다고위트있 는사람도아니다. 모두다알고있는당연한사실들을누가 물어보지도않았는데이렇게길게얘기하는걸봐도알수 있지않은가? 소위비장의무기라고불리는'대물'도 없다. 아마이글을읽고있는사람들의대부분이나와같은처지 일것이라고생각한다. 우리대부분은그런사람들이다. 뛰 어나지않으며, 뛰어난사람에게질수밖에없다. 뛰어난 사람들이우리의여자를뺏고자한다면, 두말못하고뺏기 거나, 우리의여자가자비를베풀어하잘것없는나와남아 주기를기대할수밖에없는불쌍한처지의사람들이다.

그렇다면 우리는 어떻게 이런 불쌍한 처지에서 벗 어날 수 있을까? 겸손과친절, 물론말은좋다. 하지만그 게타인에게겸손과친절로받아들여지지않을것이다. 주 제파악을해야된다. 지금의우리는너무나약한사람들이 다. 만약내가손석희가차고다니는카시오전자시계를차 고나갔는데, 누군가검소해서참좋다고칭찬한다면나는 죽빵을한대갈길것이다. 지금사람놀리냐고. 돈없어죽 겠는데검소는개뿔이검소......

하지만 그런 사람이 아니랍시고 또 교만을 부린다 면 더더욱 안된다. 그것은못이"나 좀갈겨줍쇼" 하면서 일부러비뚤어지는것과다름없다. 교만은누가해도밉상 이다. 강한사람이잘난체하는것도짜증나죽겠는데, 나약 한우리가그러면진짜험한꼴볼수도있다. 그리고나약 한우리는거기에더상처를받고, 악순환만계속되는것이 다. 강해지기전까지우리는교만도, 겸손도떨자격없는 쭈구리같은존재들이다.

그렇다면, 겸손을 떨 만한 사람이 되어야 한다. 자 신의친절에타인이감사해할만큼의사람이되어야한다. 어떻게강한사람이되는가? 답은간단하다. 약한사람이 아니면된다.

일단 내가 쓴 이 글을 약한 사람의 예시로 삼아보 자. 사실아무것도아닌하잘것없는몇개의2D그림들일 뿐 인네토라레망가에가슴이놀라서세상을저주하는이꼴 이약한사람의모습이다. 내가네토라레를보고이렇게상 처를받은이유는그게현실이기때문이다. 실제로존재하 는현실을이야기하는것이아니라, 나의현실을말하는것 이다. 실제현실과구분되는나의현실이다. 내가바라보는 세상을그망가가망친것이다. 그리고네토라레에묘사된 세상은, 실제현실, 그러니내현실과독립적으로존재하는 현실과어느정도의유사성을보이는순간, 나는그유사성 에만집중하며그것을바로내현실로만들어버린것이다. 네토라레에묘사된세상은, 오르가즘이야말로최고의가치 이며, 나보다성기도크고섹스를더잘하는남자가달려들 기만한다면내여자는나를배신하는현실이다. 그리고더 중요한것은, 내여자가나를배신하면내세상이끝나버리 는현실이다. 위에이야기했듯이성적매력은실제현실에 서도중요하다. 하지만실제현실의성적매력과그법칙은, 네토라레에묘사된현실과다르다. 실제현실은내가항상 지는현실이아니기때문이다. 실제현실의나는루저가아 니기때문이다. 하지만그네토라레물의충격을견디지못 하고무너져버리고, 네토라레물에의해새로이구성된나의 현실에서의나는매력이라곤전혀없는돼지이고, 남들에 비해뒤쳐지기만할뿐인루저이다. 이렇게나는약한사람 이되어버렸다. 약한사람은자신의현실이왜곡되도록허 락하는사람이다.

그리고약한사람에게성적매력은없다. 그나약한내면은 얼굴에, 말에, 행동에드러나고, 부정적이고패배적인모습 그대로드러난다. 부정적인외부적자극을걸러내지못하고 그에의해왜곡된현실에서살아가는사람은한치도아름답 지않다.

내 현실이 왜곡된 이유는 무엇인가? 플라톤의'국가' 에등장한유명한비유처럼, 우리에게현실이란벽을바라 보는것과같다. 플라톤의비유와는다르게, 우리의현실을 순백의벽이라고생각해보자. 갓밑칠을한순수한벽이다. 다빈치가프레스코를그리기직전의벽과같은순수한상태 이다. 그리고지금까지나를가르쳤던선생님, 부모님, 내 친구들뿐만아니라, 내가만났던모든경험들은나와함께 그벽에조금씩그림을그리는것이다. 이사람들과경험들 은모두나를가르치기도하고, 내게배우기도하며, 자신의 벽화를그리고나의벽화를바라보기도했다. 그림을망치 려는나쁜경험들, 나쁜사람들도있었지만나는그때마다 그경험들을잊어기도하고그사람들을제지하기도했다. 그사람들을통해배운현실을그림에어느정도반영하기도 했다. 내가그벽화의주인이고내가그벽화를만드는사람 이며, 그벽화는나의손길이숨쉬는벽화다.

하지만 어느 순간부터 나는 벽화를 그리는 것을 포 기했다. 그리고그것을우두커니바라보기만했다. 그리고 그사이수많은나쁜경험들과나쁜사람들이내벽화에마 구낙서를하기시작한것이다. 네토라레를예로들어이야 기하자면, 네토라레는내벽화위에검은페인트를끼얹은 것이다. 내가계속벽화를그리고있었다면, 검은페인트가 가득들고오는네토라레를알아보고, 제지하고, 원한다면 그검은페인트만벽화에반영했을수도있다. 하지만내가 포기했기때문에, 나는그벽화를그리는게너무힘들다고 생각해버렸기때문에손을놓아버렸고, 결국네토라레를올 바로벽화에반영하기는커녕, 그검은페인트가내벽화를 완전히망치도록내버려둔것이다.

다시 화구를 잡아야 한다. 검은페인트를긁어내고, 그 밑에있는아름다운것들의흔적을찾아내다시그려야한 다. 하나하나천천히다시만들어내야한다. 내삶의주체성 을찾아야하고, 내현실을내가스스로만들어나가야한다. 내가벽화에그려넣는것은, 내가받은가르침과내가한경 험들, 내가만난사람들이다. 그러니, 우리의현실의주체성 을다시회복하고, 수많은관념들과존재들이주었던상처 에서회복하려면우리는다시경험하고, 배우고, 사람들을 만나야한다.

회복을 위한 첫번째 단계는 노동이다. 신체적 노동 과 정신적 노동 둘 다 포함한다. 쟁기로 밭을 갈건, 책상 앞에 하루종일 앉아있건, 노동을 결국 육체를 소모하는 것이다. 내 손으로 벽화를직접그려야한다. 벽화는알아서그려지지않는다. 부모님이벽화를그려준다 면그것은나의벽화가아니라부모님의것이다. 난그벽화 에이질감을느낄수밖에없고, 부모님이떠나갔을때벽화 를그리는법을익히지못해누가낙서를해놓을때벽화를 고치지도못하고, 누가낙서하는것을막지도못한다. 그 리고노동이란곧책임을의미한다. 책임감이없다면, 노동 하지않을것이고, 노동하지않는다면, 화구를놓고벽화를 그리지않을것이다. 그러니, 노동하기때문에노동하는것 이고, 노동해야하기때문에노동한다. 불완전함으로가득 찬세상에, 몇안되는완전한것중하나다.

그리고 두 번째는 지성이다. 인간은태어나면반드시 죽는다. 그러니우리가하는모든경험은언젠가는끝난다. 현실은냉혹하다. 허리케인하나에재즈의성지가쓸려나갈 수있는것이현실이다. 우리가이런현실을항상직시하며 살아가는것은불가능하다. 우리는현실의무게를온전히 감당할수없다. 그리고이현실의무게를우리가조금이라 도소화할수있는형태로바꾸어주는것이이성이다. 자꾸 현실적현실적운운하면서부정적인견해를내놓는놈들을 불쌍하게바라봐야하는이유도이것이다. 짊어질수없는 것을짊어지려애쓰며자신의뼈를부수고있는있는불쌍 한사람들이다. 벽화를그리는게고작인우리는, 진짜리얼 쓰리디현실을감당할능력이없다. 움직이는역동적인현 실을현실그대로벽화로그릴수있는가? 본질적으로다른 것이다. 지성은그현실을내가그릴수있는형태로, 내머 리속의관념으로바꾸어주는것이다. 나스스로세상을이 해할수있는힘이다.

노동을 하는 사람은 강하다. 타인에게종속적이지않 기때문이고, 자기외의관념에쉽게휘둘리지않는다. 자기 할일이있는데왜타인에게의존하겠는가? 의존하지않는 사람은, 동시에누군가에게굴복할필요도느끼지않는다. 자신의삶의의미가자신안에서완성되었기때문에, 굴복 해서얻을것이전혀없기때문이다. 누군가가내현실을마 구왜곡해서, 당신을루저로만들어버리는것을허락하지 않는다. 여기서, 나는열심히일하지만직장에서상사에게 매일욕먹고, 맨날을질하고다닌다며반문하는사람들이 있을수있다. 하지만, 비록내가경험하지못한당신의인 생이지만, 최소한나는당신이누군가에게굴복한다고생각 하지않는다. 상사에게욕안먹을수는없고, 을이라면을 노릇을할수밖에없다. 그것은당신의노동의일부이며, 당신은그것을충실하게이행하고있는훌륭한사람이다. 그러니당신의인생이굴복하는것이아니며, 당신은완전 한인생에가까워지고있다.

그리고 지성을 갖춘다면 어떤 매체나 왜곡된 현실 이 위협이 되지 않는다. 세상을있는그대로바라보되, 그것을어떻게해석할지는내가결정할수있게된다. 그리 고노동을통해그세계관을매일확인하며, 강화하게된다. 한마디로외부세계에의존하지않고자신만의세계관과가 치관을확립할수있기때문에, 동시에외부세계의위협에 정신이굴하지않게되는것이다. 그러니, 나처럼영화'은 교'를 보면서한은교와서지우가섹스하는장면을제발보 여주지말라고마음속으로끊임없이빌고또비는나약한 정신에서진화할수있다. 그영화를온전히바라보고, 또 오히려그영화에서보여주는충격적인장면에놀라고, 진 정영화를즐기기까지할수있다.

이렇게 자신의 본질적인 존재, 육체의 노동과 정신 의 운동을 차돌처럼 강하게 만들어야 한다. 강해지 기위해신체가건강해야하는건당연한얘기이고, 신체가 건강해지는과정에서성적능력의향상이최소한조금은있 으리라생각한다. 그리고최후의단계로운동을하고, 자신 의외형을꾸밈으로서, 잘구워진케이크에아이싱을해야 한다.

이렇게 강해지고, 세상에나가는것이다. 그렇게독립된 하나의존재로서세상을마주할수있다. 남에게의존하는, 폐가되는사람에서, 허물을벗고더좋은사람이되어사회 에기여하고주변사람들에게힘이될수있다. 성적매력은 강함에서온다. 이렇게강한사람에게서는성적매력이차 고넘친다. 그리고당신은, 당신이사랑하는사람이당신의 나약함에지쳐유혹에넘어가는상황을방지할수있을것 이며, 웬만한잡것들이당신의사랑을무너뜨리려할때그 것을막을수있는힘을가질수있다. 물론모든이성이당 신을사랑하지는않을것이다. 당신을싫어하는이성도있 을것이며, 당신을배신하는이성도있을것이다. 하지만당 신은그어떠한현실도온전히감내할수있는힘이생길것 이다. 배신앞에서당당할수있다. 상처를받아도회복할 수있다는희망을가질수있다.

나는인터넷을많이하는사람이지만, 성대사랑에는글을 처음쓴다. 처음보는사람, 심지어이상한고민을하고있 는사람이, 이렇게잘난체하는게우스워보일수도있다. 하 지만나는내주변동기들뿐만아니라, 수많은사람들이나 와같은고민을하고, 같은것때문에고통스러워하는것같 다. 특히인터넷공간에서, 이러한고통으로인해터져나오 는절규를들을수있다. 하루종일디씨, 일베, 오유, 엠팍, 아고라, 네이버/다음 뉴스댓글란, 등등을비롯한수많은 인터넷공간에상주하면서쏟아내는수많은말들에서이러 한절규를들을수있다. 그곳은음지이다. 양지와는다르다 .

'멘토'들이 대세가 된 이유는 고통스러워하는 사람 들이 많기 때문이다. 그들이책이불티나게팔리는이유 는그책에서위안을찾으려는사람들이많기때문이다. 하 지만청춘멘토라고하는사람들이이런음지에서터져나오 는절규들을온전히들어줄수있는지의문이다. 그들이부 족해서가아니라, 그들은결국양지의사람들이고양지의 방식으로음지의문제를접근하고있다. 우리가원하는것 은뻔한얘기가아니다. 그리고우리가원하는것은양지가 얼마나좋은곳이며양지에서살아가는방법이아니다. 우 리가원하는것은우리앞에놓인이현실이대체뭔지, 어떻 게이런현실이만들어졌는지이해하는것이고, 이현실을 이겨내는방법이다.

덴젤 워싱턴이 주연한 영화 'Malcolm X'를 보면, 백 인 여학생이 말콤 엑스에게 접근해, 인종차별 문제 를 해결하는데 내가 백인으로서 할 수 있는게 뭐가 있냐고 묻는 장면이 있다. 그리고말콤엑스는'Nothing '이라고 차갑게대답하고갈길을간다. 과연그들은우리의 문제에얼마나공감을하는가? 그들의문제인가? 공감하 는것이가능한가?

우리가 마주하고 있는 질문들은 특수한 것이며, 우 리 외의 다른 사람들이 이해하기 힘든 질문이다. 결 국우리가우리스스로의답을찾아야한다.

누가 요약좀

야한 망가를 보고 나서 아 나는 성적매력이 없

어, 망했다.라고 생각하다가

그럼 어떻게 해야 성적매력이 있는 사람이 될

까.

노동과 지성을 통해 강해져야해. 라고 하는 것

같은데요.

거 남자가 여자 뺏기는 야한만화 보고 이런 장

문의 글을 써내려간거 보면

진짜 충격을 받긴 받았나보네요.

하지만 제목이 또 봤다 인걸로 봐서 충격을 받

을 걸 알면서도

본거고 거기서 쾌감을 느꼈다면 이미 훌륭한 M

이 아닙니까?

매력 있어도 괴로움 있을수 있어요... 남들이 봐

서 매력이 있지만 그것이 허울 일 수 있고 내면

적으로 내가 보는 내 삶이 지속적으로 주체적

일 수 있는지 ... 사람들한테 유머나 위트나 언

변으로 사기치고 다닌건 아닌지 ... 매력이 절대

가치는 아닐거예요~~ 섹슈얼하다는 것이 전적

으로 매력을 담보하지도 않아요...

살 빼면 곧휴 커져요

일리가 있지만 전부는 아닐 거라는 생각이 드

네요..

어쨌든..추천합니다..

ㅎㅎ전체적으로 공감도안되고, 무엇보다 글쓴

분이의 자존감이 심히 걱정됩니다.....

글을 굉장히 잘 쓰시네요!

엄청 정성들여 쓴 글 같아서 추천

이분도 생물학적 관점에서 사회를 설명하는것

이 괴벨스님과 비슷한게 있네요

뭐 별로 공감은 안가지만, 사람도 이성이라는

허울속에 있다지만 결국 일개 생물이니 생물학

적 관점에서 사회를 설명하는게 상당히 현실설

명력이 있다는 생각도 들어요.

요즘 상당수의 사람들은 성형수술이라는 방법

을 택하고 있죠.

성형수술은 아니라도 외형 치장에 공들이는 이

유가 여기 있네요.

성적 매력이라는 것이 일단은 외형에서 가장

많이 발산되니까요.

그럴 듯한 외형은 인간 사회에서 '우대권' 같은

거죠.

여러모로 공감이 많이 되는 글입니다.

글 잘봤습니다. 많은 글 부탁드려요~

댓글입력

--------------------------------------------------------------------------------------------------

사람 사는 꼴을 보면 재밌다. 한 울타리 안에 살면 서 뭘 그리 재고 따지는지. 도토리 키 재는 모습이 귀여우면서 처량하다. 내가 너고, 네가 나인데 잘 나면 어떻고 못나면 어떠하리. 대개 이를 모르고 경쟁하다 죽는다. 도토리 키만 재다가 먹지도 않고 뒈지는 것이다.

지인이 들려준 얘기다. 지하철을 탔단다. 노인끼리 싸움이 벌어졌단다. 싸움이 끝났는데도 한 노인이 화를 못 참았던지 이렇게 말했단다. "내가 누군지 알아? 응?! 내가 이래뵈도 초등학교에서 교장까지 한 사람이야! 이거 왜 이래?" 듣는 사람 없는데 노 인은 장광설을 늘어놓았단다. 제3자가 들었을 때 는 웃긴 얘기다. 싸움이랑 교장이랑 뭔 상관? 노인 입장에서는 다르다. 노인에게 교장이란 싸움의 필 살기다. 나는 이만큼 배운 사람이라는 뜻이다. 배 운 사람이니까 너희보다 낫다는 뜻이다. 나는 교장 까지 한 사람이니 까불지 말라는 뜻이다. 일종의 자부심이다.

노인이 한심하지만 우리라고 다를까? 사람은 모두 자부심을 가진다. 자부심이란 곧 자아(ego)다. 예 를 들면 이렇다. "나는 성균관대라는 명문 사학에 다니고, 과는 문과 탑(TOP)인 경영학이고, 학벌도 괜찮으니 취직도 잘될 것이고, 키와 외모도 좋으니 결혼도 잘할 것이고, 조건이 받쳐주니 자본주의 사 회에서 넉넉하게 살 것이다." 여기까지는 괜찮다. 이렇게 생각해도 누가 뭐라 할 사람 없다. 이정도 야 누구나 하는 생각이지 않은가. 문제는 다음이다 .

"성대요? 전 연대 다녀요. 과는 이과 탑(TOP)인 의 대구요. 근데 성대가 나쁜 학벌은 아니지만 자찬할 정도는 아니죠. 그쵸? 제가 말이 너무 심했나? 죄 송해요. 그렇고 요즘 SKY 나왔다고 취직 잘되는 것 도 아니더라고요. SKY가 이정도인데 다른 학교는 어쩌겠어요. 저는 키가 179예요. 1센치 모자라서 루 저입니다. 하하. 특별히 어려움은 없어요. 집안이 좀 살거든요."

울컥한다. 발끈한다. 반박하지 않고서는 잠이 안 온다. 눌러주고 싶은데 스펙이 달린다. 독기를 품 고 집에 돌아와 엉엉 울거나 책상에 앉는다. 그래 봤자 작심삼일이지만. 인간이 이렇다. 서로 재고 따지면서 승자와 패자를 나눈다. 승자는 웃고 패자 는 운다. 이 싸움은 계속된다. 평생. 누구도 이 싸움 이 가짜라는 사실을 깨닫지 못한다. 판 자체가 없 는데 수를 놓으면서 울고 웃는다. 가히 코미디다. 옆에서 구경하는 사람은 배꼽 잡는다. 연대? 성대? 그게 뭔 상관인데? 죽을 때 저승사자가 연대생은 늦게 데려가나?

세속적인 가치가 죄다 이런 식이다. 국산차는 외제 차 앞에서 깨갱거리고, 강북은 강남 앞에서 깨갱거 리고, 지방대는 명문대 앞에서 깨갱거리고, 루저는 위너 앞에서 깨갱거리고, 추녀는 미녀 앞에서 깨갱 거린다. 모두 상대성 탓이다. 다름을 차이로 여기 면 되는데 호오, 선악, 미추로 여기니 차별이 생긴 다. 차별하는 자는 속으로 키득거리고, 차별받는 자는 겉으로 열폭한다. 둘 다 꼴사납다.

혹자는 말한다. 잘못된 교육 시스템이 낳은 문제라 고. 일리가 있다. 대한민국은 어릴 때부터 줄서기 를 가르친다. 한 반에 1등이 있고 꼴등이 있다. 문 제는 순위가 아니라 순위를 가늠하는 기준이다. 기 준이 하나다. 하나밖에 없다. 공부만 잘하면 장땡 이다. 선생은 학생을 공부 순위로 인식한다. 너는 1 등, 너는 14등, 너는 꼴등. 수학을 잘하는 영희, 축 구를 잘하는 철수, 노래를 잘하는 미숙 따위는 없 다. 수학은 알아줄지 몰라도 축구와 노래는 안 알 아준다. 그딴 것은 안 쳐준다. 기준이 하나니까 협 동성도 없고 다양성도 없다. 전쟁이다. 총만 안 들 었지 군대나 다름없다. 1등은 시스템에 적응해 발 전하고, 꼴등은 시스템에 부적응해 퇴보한다. 시스 템은 무자비하다. 얄짤없다. 승자는 칭찬해주고, 패자는 걷어찬다. 애들이 주눅 든다. 시스템은 초 중고를 넘어 대학과 사회까지 점령한 상태다. 심지 어 국가까지 이 시스템 하나로 돌아간다. 인간들이 줄서기에 목매는 것도 무리는 아니다.

시스템만으로는 부족하다. 뭔가 풀리지 않는 의문 이 남는다. 왜 예뻐야 하고, 왜 키가 커야 하고, 왜 돈이 많아야 하고, 왜 학벌이 좋아야 하는가? 신경 안 쓰면 안 돼? 포기하면 편하잖아. 말이 쉽지 행동 은 어렵다. '나'를 버리지 못하는 인간은 키 · 외모 · 돈 · 학벌이 전부다. 인생이 키요, 도덕이 외모 요, 꿈이 돈이요, 목표가 학벌이다. 아침에 눈 떠서 밤에 눈 감을 때까지 '키외모돈학벌'로 남과 나를 비교한다. 멈추는 법이 없다. 나이 먹고 철 들면 정 신 차릴 때도 됐는데 끝이 없다. '나'를 버리지 못해 서 그렇다. 한 번이라도 '나'를 탐구해 보지 않아서 그렇다. '나'가 누구인지 모르고 세속에 휘둘려 20 년을 살아와서 그렇다. 상대성이 행복을 주지 않는 다는 사실을 알면서도 비교가 주는 쾌감에 찌들어 서 그렇다. '키외모돈학벌' 포기하면 남에게 꿀릴 까봐 그렇다. 죄다 겁쟁이다.

상대성에 찌든 현대인의 특징을 말해 본다. 겉은 정상인데 속은 비정상이다. 말은 잘하는데 논리가 없다. 생각은 많은데 깊이가 없다. 욕망은 있는데 신념은 없다. 우위는 따지는데 평등은 무시한다. 이외에 수없이 많다. 비교만 하니까 이리 치이고 저리 치여서 왔다 갔다 하는 것이다. 제자리에 앉 아서 몰입하는 자세가 부족하다. 뚝심이 없다는 소 리다. 내가 성대 다니면 누가 연대 다녀도 안 꿀려 야 한다. 남한테 떠벌리려고 학교 간 것이 아니라 공부하려고 간 것이기 때문이다. 공부가 목적이지 자랑이 목적이 아니다. 학문이 즐거우면 '설연고 서성한 중경외시' 따위는 눈에 안 들어온다. 학벌 순위는 중요하지 않다. 학문의 즐거움이 중요하다. 나는 공부만 하면 된다. 철학이 좋으면 철학과에 가라. 수학이 좋다면 수학과에 가라. 여자한테 자 랑하려고, 남자한테 시집 잘 가려고 인기 있는 과 에 가는 년놈이 많다. 남의 눈치 보면서 적성과 무 관한 과에 앉아 있는 년놈도 많다. 제자리도 모르 면서 대학생이라고 뻐긴다. 앞서 말했지만, 코미디 가 따로 없다.

타인은 나의 지옥이다. 내 삶에 타인을 배재하고 나를 추구하는 순간 자유가 찾아온다. 지옥에 머물 것인가, 천국에서 자유를 찾을 것인가. 사람들은 말한다. 자기는 열심히 산다고. 꿈을 이뤄 행복해 질 것이라고. 천만에. 과연 그럴까? 남을 의식하는 삶, 남이 알아주기를 바라는 꿈은 헛되다. 허상은 버려라. 분별도 놓아라. 호오, 선악, 미추는 애초에 없다. '키외모돈학벌'은 가짜다. 가짜를 부여잡고 왜 웃는가? 가짜를 놓치고 왜 우는가?

진짜만 봐라. 진짜는 어디에 있는가? 노래 가사도 있지 않은가. "네가 진짜로 원하는 게 뭐야?" 답하 라. 당신은 무엇을 진짜로 원하는가? 좋은 대학 나 와서 좋은 직장 다닌다고 여자 앞에서 떠벌리는 것 ? 얼굴 예쁘고 몸매 착해서 남자 시선을 한 몸에 받 는 것? 동창회에 외제차 끌고 나와서 있는 척하는 것? 우리 남편은 의사라고 수다 떠는 것?

다 버리면 나만 남는다. 천지에 우주와 나밖에 없 다. 나는 고요하고 명료해진다. 삶과 꿈이 확고해 진다. 남의 시선에 이리저리 끌려다니지 않게 된다 . 주관이 생기고 뚝심이 바로 선다. 무소의 뿔처럼 혼자서 가는 것이다. 남이 알아주는 것은 관심밖이 다. 내가 즐거우면 그만이다. 세상이 잘난 놈, 못난 놈 뒤섞여 싸울 때 나는 세상을 관망한다. 상대성 이 무의미하다는 사실을 안다. 도토리 키재기라는 사실을 안다. 허망한 싸움에 승자도 패자도 없다는 사실을 안다. 그냥 쓴웃음 지을 뿐이다.

아인슈타인이 여자 꼬득이려고 노벨물리학상 받았 나? 고다르가 멋있는 척하려고 영화 만드는가? 안 드레이 류블로프가 남한테 자랑하려고 그림을 그 렸나? 석가모니가 부르조아 되려고 출가했나? 예 수가 고상한 척하려고 십자가에 희생했나? 이들은 자기 길을 갔다. 물리학이 좋아서 하다 보니까 노 벨상이 따라 왔고, 영화가 좋아서 찍다 보니까 영 광이 따라 왔고, 예술이 좋아서 그리다 보니까 좋 은 작품이 따라 왔고, 생이 고(苦)라서 하다 보니까 깨달음이 따라 왔고, 신념이 확고해서 추구하다 보 니까 사랑이 따라 온 것이다. 역사가 알아주는 것 은 절대성이지 상대성이 아니다. 상대성에 물든 자 패망한다. 상대성에 물든 자는 자립하지 못한다. 상대성 자체가 비교에 근거하므로 남이 없으면 존 립이 불가능하다. 존재 자체가 허상이다.

사랑도 마찬가지다. 어떤 놈은 자기 여자와 남의 여자를 비교한다. 성욕을 사랑으로 착각하기 때문 이다. 어떤 년은 자기 남자와 남의 남자를 비교한 다. 남자에게 의지만 하려는 속셈 때문이다. 두 년 놈 다 사랑을 모른다. 남자 친구, 여자 친구도 남에 게 보이려고 사귀는 세상이다. 말세다. 내가 좋아 하면 그만이다. 남이 뭐래도 내가 좋으면 사랑이다 . 얼굴이 못생겼든, 키가 작든, 학벌이 후지든 나만 좋으면 장땡이다. 나랑 대화하고, 나랑 껴안고, 나 랑 키스하고, 나랑 살 사람인데 남이 뭔 상관이람? 남의 눈치만 보고, 남의 얘기만 들으면 사랑이 어 렵다. 네 스스로 판단하라. 사랑하는 일까지 엄마, 아빠, 친구한테 물어 볼래? 둘이 좋으면 그만이다. '남의 여자 친구는 예쁜데, 남의 남자 친구는 돈 많 은데.'라는 생각일랑 집어치워라. 사랑도 뚝심 있 게 가 봐라. 끝까지 가 봐라. 자기 맘이 다할 때까지 사랑해 봐라. 사랑의 끝에 무엇이 있는지 파헤쳐 봐라. 이리저리 휘둘리지 말고 줄 때까지 다 줘 봐 라. 준 만큼 못 받을까봐 두려워하지 마라. 겁쟁이 는 사랑 못 한다.

말이 길었다. 어쨌든 20년을 살았는데 상대성에 매 여 있다면 문제 있는 것이다. 남의 눈치 보지 마라. 아까운 시간 낭비하지 말자. 내 삶은 내가 살고, 내 죽음도 내가 당한다. 처음부터 끝까지 나밖에 없다 . 상대성은 남이 없으면 무너지지만, 절대성은 남 이 없어도 홀로 빛난다. 20년을 상대성에 허비했다 . 가짜는 버려라. 도토리 키 잴 시간에 그냥 먹고 자 라. 큰 도토리 뽐내다가 굶어 죽는다.

*수학

미분적분학

-spivak, Calculus

-James Stewart, Calculus:Concepts and Contexts

선형대수학

-이상구, 선형대수학

-Gilbert Strang, Linear algebra and its applications

확률및통계

-Alberto leon-garcia, Probability, statistics, and random processes for Electrical Engineering.

정수론

-Kenneth Rosen, Elementary Number theory and its applications

이산수학

-Richard Johnsonbaugh, Discrete Mathematics

기하학개론

-Marvin Jay Greenberg, Euclidean and non-euclidean geometries:development and history

미분방정식

-Martin Braun, Differential equations and their applications

해석학

-Wade, Introduction to analysis

행렬론

-Kwak and Hong, Linear algebra

공학수학

-Erwin Kreyszig, Advanced Engineering Mathematics

실변수함수론

-Antoni Zygmund, Measure and Integral

-(대학원)Royden, Real analysis

대수학

-Fraleigh, a first course in abstract algebra

-(대학원)Dummit, Abstract Algebra

보험수학

-Newton, Actuarial mathematics

복소해석학

-Herb silverman, Complex analysis

위상수학

-Munkres, Topology

조합 및 그래프이론

-Bona, A Walk Through Combinatorics - An Introduction to Enumeration and Graph Theory

실해석학

-Walter Rudin, Real and complex analysis

응용미분방정식

-Zill, Differential equations with boundary value problems

르베그적분론

-Frank jones, Lebesgue integration on euclidean space

복소수함수론

-Stein, Complex analysis

계산적금융수학

-Desmond Higham, An introduction to Financial Option Valuation

수치해석학

-곽도영, Numerical analysis(Lecture notes)

확률론

-Resnick, A probability path

미분기하학

-John Lee, Introduction to smooth manifolds

군표현론

-Bruce Sagan, Symmetric groups

대수적 위상수학

-Allen harcher, Algebraic topology

대수적 그래프이론

-Godsil, Algebraic graph theory

*물리

일반물리학

-Halliday, Fundamentals of physics

전자기학

-Griffiths, Introduction to Electrodynamics

일반역학

-Marion, Classical dynamics of particles and systems

수리물리학

-Afken, Essential Mathematical Methods for Physicists

계산복잡도 수업 내용 정리

*Def

-FA(finite automata): FA are finite collections of states(Q) with transition rules that take you from one state to another.

-apb(alphabet):apb is any finite set of symbols

-str over apb:apb에 속한 원소들의 lists(juxtapositions)

-apb^*, the set of all strs over apb with empty string eps

-eps:empty string

-L(over apb)(language):a subset of apb^*

-DFA(deterministic finite automata): FA(5, Q,Σ,δ,q0,F)

with input apb(Σ), start states(q0), final states(F⊆Q), 이때 transition function δ은 domain이 (state, symbol), extend하면 (state, string)까지도 됨

-L(A):the set of all strs s.t. δ(q0,str) is in final states for some DFA A

-L is regular if L=L(A) for some DFA A.

-NFA(Nondeterministic finite automata):FA(5, Q,Σ,δ,q0,F) with δ(q,a) is a set of states

특히 NFA에서는 a string w is accepted if δ(q0,w) contains at least one final state.

-TM(Turing machine):(7, Q,Σ,Γ,δ,q0,Β,F), Γ:tape apb set(읽고 쓰기가 가능, 쓸대는 Σ에 없는 것도 사용 가능, Σ<Γ)

(input의 양옆에는 blank로 채워서 들어가는 infinite tape)

(δ(state,tape symbol)=(변경 후 state, 변경 후 tape symbol, head이동방향))

(algorithm이 없는 language를 보이기 위해서 TM다룸, C program보다 simple하면서도 powerful함)

-ㅏ:TM에 input 한개 계산

-ㅏ*:TM에 input 모두 계산

-L(TM):the set of all strs w s.t. q0wㅏ* in final

-L=L(TM)이면 L을 recursively enumerable languages라 한다.

-Algorithm:=TM s.t. 어느 input이어도 halt할지 안할지 guaranteed된 TM을 가리킨다.

-L=L(TM) with algorithm TM이면 L을 recursive language라 한다.

-CFG(Context-free grammar): CFG(4, V,Σ,R,S)

with V:variables, Σ:terminals, R:rules(variable넣으면 variable과 terminal의 조합으로 이루어진 string이 output인 rule), S(in V):start variable

-L(CFG):the set of all strs w s.t. Sㅏ*w(즉 start variable S로부터 시작해서 나올 수 잇는 모든 strings with only terminals)

*Thm

the reverse of a regular language is also regular

Equivalence of DFA and NFA using subset construction

(NFA, DFA모두 the same language를 갖게 만들 수 있고, NFA가 state개수가 exponentially 적게 가능하지만, 구현가능 한 것은 DFA뿐)

가능한 L over {0,1}의 개수는 uncountable(임의의 language는 infinitely binary seq로 만들 수 있고, infinitely binary seq의 개수는 uncountable이므로)

Language가 program보다 많다는 것을 가리킴, 즉 There are languages with no membership algorithm(w in L인지 아닌지 판단하는 것을 membership algorithm), 이러한 류의 증명 방식을 Hungarian Arguments라 한다. 가능한 총 개수가 더 많음을 보여서 무언가 존재하는지 안존재하는 지 보이는 방식을(존재성은 알지만 particular language를 제시하는 데에 어려움(with no membership algorithm인 language를 건설하기 어렵다)

DFA->TM(DFA꺼 그대로 하고 방향도 R만 쓰고 tape write안하면 됨)

모든 Data type은 integer로 변환 가능

Binary strings to Integer는 Binary sting마다 앞에 1 붙여서 순서매기면 된다. 101->1101 =  13번쨰 integer, 0101->10101 = 21번째 integer

GIF는 ASCII string으로 구성, ASCII string을 binary string으로 바꾸고 integer로 바꾸면 됨, 따라서 i번째 image라는 걸 생각 가능

*Example

(Non-regular language)

L={0^n1^n|n>=1}, a^i means a가 i개 병렬나열

L={0^n1^n|n>=1}={01,0011,000111,...}, finite state을 가지는 DFA로는 얻을 수 없다. 따라서 non-regular

TM으로는 가능

L={01*0}={00,010,0110,...}을 TM으로 묘사하기

(Mortality of matrices)S:given finitely generated submonoid of nxn matrices from MT(nxn)(Z)

Determine whether there exists a seq of matrices M1,M2,...,Mk in S s.t. M1M2...Mk = 0(link1)(link2)(link3)(link4)

===========================================================

CFG이후의 내용 쭉 읽어서 PDA까지도 이해하기

수업내용 이해하기

undeciable관련해서 이해하기

1. 화음인식

-Theano돌려보기, 

-Viterbi내용정리

2. 텝스

3. Hypergraph Theory

4. Random Graph Theory

5. a(G)관련

-Find Lower bound

-path의 Laplacian egv구할때처럼, cos, sin을 포함하는 spectrum을 찾은 다음에 graph로 해석해보기

-GWG관련해서 연구해보기

-Homotopy method, complete split graph등 생각하고 적용할 수 있는 예 찾기

5. 기타

-수학복습(함수해석학 내용중 정리안된 부분, 산업수학 특강 자료 내용, NIMS에서 배운 내용 특히 RBM부터, MCMC내용)

-한국사정리

-물리정리

-노트북 정리(매틀랩, 파이썬, 오피스, 한글 등 설치)

-Frequentist, Bayesianist 내용 정리

-NRF신청하기

*요일별 할일

-일요일

-화음인식 했던 거 복습

-RBM공부

-CNN공부

-코딩 생각하지말고 내 공부만하면 됨

*방학 계획(Teps를 꼭 따내야한다.)

0. 매일 아침 달리기

1. Teps

-매일 Part1~3복습

-매일 part1,2 or part3, 1200제

-매일 Part4, 5개 dictation, 15개 복습

-Voca, Grammer, Reading 복습(1시간)

-Voca, Grammer, Reading(5) 풀기

따라서 이번 방학에 Teps성적을 꼭 따자.

2. 한국사

-근현대사 매일 1단원씩 정리, 암기(블로그)

-이야기 한국사 1편씩 보기

-국사 예전에 정리한거보며 추가 정리, 암기, 1단원씩

3. 화음인식

-화음인식 세미나때 열심히

-

4. 그래프이론 Diestel 읽고 정리

-

5. 그래프이론 논문 3일에 1개씩 읽고 정리

6. 기타 수학

-수학 복습(함수해석, 산업수학, 대수위상, MCMC, 표현론, FReqVSBayes,, 미분기하, 등등 수학 자체를 좋아해서 정리하는 시간을 가져야한다.)

*2학기 계획

수업

천기상 교수님 수업

박정형 교수님 수업

논문연구

------------------------------------------------------------

전반적인 계획

TEPS->TOEFL->...영어공부를 계속 해야함

한국사->물리->...교양 공부

화음인식

Diestel->Hypergraph and Random graph

그래프이론 논문, a(G)관련

-Matrix Decomposition 마저정리

-여름학회내용정리(메일보고)

-Theano설치 및 실행

Discriminative Model

-P[input, C_i], P[C_i]는 관심없고 P[C_i|input]만 modeling, learning하여서 P[C_i|input]을 구하여서 Classification

-특징

-SVM, Logstic regression 등 

Generative Model

-P[C_i], P[input, C_i] 혹은 P[C_i], P[input|C_i]을 modeling, learning하여서 P[C_i|input]을 구하여서 Classification

-특징

-HMM, GMM 등

1. Prior만 있을 때(P[Ci])

주어진 것:개와 고양이의 비율(0.6과 0.4)

문제:수영이네 애완동물이 개냐 고양이냐?

->개로 선택하는 것이 가장 best, error는 항상 0.4

2. P[Ci]와 P[Observation|Ci]가 주어졌을 때

주어진 것:개와 고양이의 비율, 어떤 개가 가지는 키의 분포, 어떤 고양이가 가지는 키의 분포

문제:수영이네 애완동물의 키가 k일때, 그 동물이 개냐 고양이냐?

->P[개|k]와 P[고양이|k]중 큰 것을 고르는 게 best

3. Loss Function(=cost function) 설정

L(true parameter, estimated parameter from input)을 최소화하고 싶지만

input으로만으로 true parameter을 모르므로, expectation of L을 최소화하자. 

근데 그것 또한 expectation of L given input을 최소화 하는 것과 동치이므로 expectation of L given input을 최소화 하자.

이렇게  expectation of L given input을 최소화시키는 estimator for parameter from input을 bayes estimator라 한다.

Loss function을 어떻게 설정하냐에 따라 Bayes Estimator의 형태가 달라진다.

3주차 전자기파와 빛

-암페어 법칙과 페러데이 법칙을 써놓고보니, 암페어 법칙에 항이 추가되어야함을 알게 됐다(int dE/dt)

-암페어 법칙은 전류가 직선을 타고 흐를 때만 생각하는데, 만약 축전기가 있을 때를 고려하면 추가 항이 붙는 다는 것이다.

-전기장이 변하면 자기장이, 자기장이 변하면 전기장이, 이러한 파동, 전자기파가 존재할 것이라고 맥스웰은 예언하였다.

-20년 뒤에 헤르쯔라는 사람이 전자기파 존재를 증명함(거리가 떨어진 곳 A,B에 A에서 전기의 변화가 B에서의 전기가 생김을 확인함)

-그 후 20~30년 뒤에 마르코니라는 사람이 무선통신을 발명함(전보, 라디오 등)

-전자기파의 존재는 전기장과 자기장의 존재를 증명한다.

-전기장과 자기장은 에너지 형태로 존재

-보통 에너지는 물체에 종속된다. 운동에너지는 운동하는 물체에, 석유에너지는 석유에, 등등

-전자기파는 순수한 에너지이다. 전자기파의 이동은 순수한 에너지의 이동

-맥스웰이 단순한 예언으로 그친게 아니라 전자기가 만족해야될 방정식을 만들고(운동방정식), 파동으로서 만족해야될 방정식도 만들었다.

-그렇게 파동으로서 만족해야될 방정식으로부터 구한 전자기파의 속도 v_0

-당시에 잰 빛의 속도 v_1

-v_0와 v_1이 같음을 알게됨

-아! 빛이 전자기파구나!

-빛의 주파수=1초당 전기장과 자기장이 진동한 횟수

-예를 들면 95.9MHz, 이런 진동을 만드는 방법은, 전하를 들고 초당 9천5백9십만번 흔들면됨

-전자기파는 여러가지가 있는데, 그 중에 빛도 전자기파란 얘기

-전자기파의 진동수에 따라 빨간색, 자외선, x선, 감마선,...(진동수가 점점 커지는)

-자외선, 적외선, 빛 모두 이미 알고 있었던 건데, 알고봤더니 그것들이 전자기파란 사실을 알게된 것

-진동수만 다른거구나 라는 걸 알게됨

-

Chapter 1 Hilbert Space

*용어정의

1. vector space의 semi-inner product란? inner product란?

2. Hilbert space의 정의

3. Absolutely continuous for f:[a,b]->F의 정의와 동치 2가지

4. G:open in C일 때 the bergman space for G란?

5. perp(E)의 정의, projection of a closed linear subspace(P_K)의 정의

6. S:subset of HS, VS란?

6. bdd linear functional f:HS->F의 정의

7. basis for HS의 정의

8. infinite subset S of HS가 linearly independent란, any finite subset of S가 linearly independent

9. dimension of HS란?

10. HS1,HS2:isomorphic이란 linear, surjective, preserve ip map이 존재

11. f:MetricS1->MetricS2가 isometry란?

12. f:HS->HS가 unitary operator란?(isomorphism인데 정의역=공역)

13. direct sum of HS1,HS2란?direct sum of countable HS_i란? direct sum of HS_i란?(net)

*Thm

1. CBS inequality and equality iff there are scalar a,b(not both 0)...

2. Absolutely continuous for f:[a,b]->F의 성질

-+,-,*,/에 닫혀있다.

-Lipschitz Continous이면 Absolutely Continuous이다.

-Absolutely Continuous이면 Uniformly Continuous이다.

3. Completion of IPS(extention of <,>, norm, and metric)

4. Polar Identity란

5. if K:closed convex, then dist(h_o,K)=d(h_0,k_0)인 k_0 in K존재 and unique

6. if K:closed linear subspace, then dist(h_0,K)=d(h_0,k_0)인 k_0 in K존재 and unique and h_0 - k_0:orthogonal to K

7. if K:closed linear subspace and h_0 - k_0:orthogonal to K인 k_0 in K 존재, then dist(h_0,k_0)=d(h_0,k_0)

8. perp(E):closed linear subspace of HS

9. projection of a closed linear subspace(P_K)의 성질

-linear

-norm<=1

-idempotent

-ran(P_K)=K, ker(P_K)=perp(K)

10. K:closed linear subspace of HS이면 perp(perp(K))=K

11. perp(perp(E))=closed linear span of E

12. S:linear subspace of HS일 때 S:dense in HS iff perp(S)={0}

13. f:HS->F, linear, TFAE

-conti, uniformly conti, conti at 0, conti at any pt, bdd

14. (Riesz for HS)f:HS->F, linear, bdd일 떄 f(h)=<h,h_0>인 h_0가 유일하게 존재 with ||f||=||h_0||

15. (Gram-schmidt) S:linearly ind이면 S':orthonormal s.t. ....

16. S:finite orthonormal일때 projection of VS의 representation

17. (Bessel)S:countable orthonormal일때 sum of (coefficients)^2 <= ||h|| 

18. S:orthonormal일때 sum of (coefficients)^2 <= ||h||(net)

19. net으로 cv이면 걍 cv

20. S:orthonormal일때 sum of <h,s>s는 always cv(net)

21. S:orthonormal일때 TFAE

-S:basis

-hㅗS이면 h=0

-VS=HS

-h=sum of <h,s>s(net)

-<h1,h2>=sum of <h1,s><s,h2>(net)

-(Parseval's Identity)||h||=sum of ||<h,s>||^2(net)

22. S1,S2:basis then, |S1|=|S2|

23. HS:separable iff dim(HS):at most countable

24. f:HS1->HS2가 linear일때 f:isometry iff f:preserve ip

25. f:HS1->HS2가 linear, isometry일 때

-ran(f):closed

26. HS1,HS2:isomorphic iff dim(HS1)=dim(HS2)

-HS with basis S, HS와 l^2(S)는 isomorphic

(Fourier는 따로 보고, 보고나서는 Chapter2, Example 4.12보기)

Chapter 2 Operators on Hilbert Space

*용어정의

1. B(HS1,HS2)란?

2. M_Φ란?

3. k:MSxMS->F, measurable, K:integral operator란?

4. u:HS1xHS2->F, sesquilinear란? sesquilinear가 bdd란? 대표적인 bdd sesquilinear는?

5. f in B(HS1,HS2)일 때, adj(f)란?

6. f in B(HS1,HS2)가 invertible이란?

7. f in B(HS)가 hermitian이란?, normal이란?

8. f in B(HS)가 idempotent란?, projection이란?(of a closed linear space란 거 없이)

9. K_i:closed linear subspace of HS일 때 the direct sum of K_i란?

10. f in B(HS)에 대해 invariant subspace for f란?(closed필요), reducing subspace for f 란?(closed필요)

11. f in B(HS)에 대해 f:compact란?

12. B_0(HS1,HS2)란?

13. f:HS->HS가 finite rank를 가진다란?

14. B_00(HS1,HS2)란?

*Thm

1. f:HS1->HS2, linear, TFAE

-conti, uniformly conti, conti at 0, conti at any pt, bdd

2. B(HS1,HS2):NVS

3. f in B(HS1,HS2), g in B(HS2,HS3), then g o f in B(HS1,HS3)

4. u:sesquilinear, bdd이면 u(h1,h2)=<Ah1,h2>=<h1,Bh2>인 A:HS1->HS2, B:HS2->HS1, linear, bdd가 유일하게 존재

5. f in B(HS1,HS2)일때 f:surjective isometry iff adj(f)=inv(f)

6. about adjoint, f,g in B(HS), a:scalar

-adj(af+g)=conj(a)adj(f)+adj(g)

-adj(gf)=adj(f)adj(g)

-adj(adj(f))=f

-if f:invertible, then adj(f):invertible and adj(inv(f))=inv(adj(f))

-||f||=||adj(f)||=(||adj(f) o f||)^1/2

7. (Consequence of Open Mapping Theorem) f in B(HS1,HS2), bijective이면 invertible이다.

8. f:HS->HS, linear, bdd일때 f:hermitian iff <f(h),h>:real for all h in HS(Base field가 C일 때만 성립)

9. f:HS->HS, hermitian일때

-||f||:=sup over ||h||=1 {|<f(h),h>|}

-<f(h),h>=0 for all h in HS이면 f=0(HS over C이면 f:hermitian조건 없어도 됨)

10. f:HS->HS, linear, bdd일때 TFAE

-f:normal

-||f(h)||=||adj(f)(h)|| for all h

-the real and imaginary parts of f commute(HS over C일 때만)

(real part of f := (f+adj(f))/2, imaginary part of f := (f-adj(f))/2

11. f:HS->HS, linear, bdd일때 TFAE

-f:isometry

-f:preserve ip

-adj(f)f=identity

12. f:HS->HS, linear bdd일 때 TFAE

-adj(f)f=fadj(f)=identity

-f:unitary

-f:normal isometry

13. f:HS->HS, linear bdd일 때

ker(f)=perp(ran(adj(f)))

ker(adj(f))=perp(ran(f))

perp(ker(f))=closure of ran(adj(f))

perp(ker(adj(f))= closure of ran(f)

(perp(ker(f))=ran(adj(f))는 아닐 수 있음, 조심)

14. f:idempotent iff I-f:idempotent

15. if f:idempotent, then ran(I-f)=ker(f), ker(I-f)=ran(f), and HS=the direct sum of ker(f) and ran(f) (여기서 direct sum은 그냥 Vector Space에서의 direct sum)

16. HS=the direct sum of S1 and S2이면 te! f in B(HS) s.t. ran(f)=S1 and ker(f)=S2

17. f:nonzero idempotent이면 TFAE

-f:projection

-f:orthogonal projection onto ran(f)

-||f||=1

-f:hermitian

-f:normal

-<f(h),h)> >= 0 for all h

18. K1,K2:closed linear subspace of HS일때 the direct sum of K1 and K2는 K1+K2와 같다.(finite는 다 됨, infinite는 안됨)

19. K:closed linear subspace of HS일 때 HS=the direct sum of K and perp(K)

20. f in B(HS), K:closed linear subspace of HS, P:projection onto K, TFAE

-K:invariant subspace for f

-PfP=fP

-f:K->perp(K)는 0가 된다.

21. f in B(HS), K:closed linear subspace of HS, P:projection onto K, TFAE

-K:reducing subspace for f

-Pf=fP

-f:K->perp(K)는 0, f:perp(K)->K도 0

-K:reducing subsapce for f and adj(f)

22. f in B(HS), K:invariant closed linear subspace of HS일 때 ||the restriction of f onto K||<=||f||

23. B_0(HS1,HS2):closed in B(HS1,HS2)

24. f in B(HS1), g in B(HS2), T in B_0(HS1,HS2)일 때 Tf in B_0(HS1,HS2)이고 gT in B_0(HS1,HS2)이다.(two-sided ideal)

25. f in B(HS1,HS2)일때 TFAE

-f:compact

-adj(f):compact

-te seq {f_n} s.t. f_n:finite rank and ||f_n - f||->0

26. f in B_0(HS1,HS2)일 때

-cl(ran(f)):separable

-if {e_n}:basis for cl(ran(f)) and P_n:projection onto V{e_j | 1<= j <=n}, then ||P_n o f - f||->0

27. HS:separable with basis {e_n} and {α_n} s.t. sup|α_n|=M<inf일때

-if f e_n=α_n e_n for all n, then f can be extended by linearity to a bdd f with ||f||=M. 그리고 그 f:compact iff α_n -> 0

28. f in B_0(HS), λ:nonzero egv for f일때, eigenspace는 finite dimension

29. f in B_0(HS), λ:nonzero s.t. inf{||(f-λ)h|| over ||h||=1}=0이면 λ:egv for f

30. f in B_0(HS), λ:nonzero, nonegv for f, conj(λ):nonegv for adj(f)이면 ran(f-λ)=HS and inv(f-λ):bdd

Chapter 3 Banach Spaces

*용어정의

1. seminorm on VS란?

2. two norms가 equivalent란?

3. C_b(X)란?C_0(X)란?C^(n)[0,1]이란?

4. NVS1,NVS2가 isometrically isomorphic이란?(linear, surjective, isometry)(그냥 isomorphic하면, linear, bijective, homeo를 가리킴, 즉 topologically iso)

5. direct sum of NVS using finite p, using inf, using cv to

6. hyplerplane of VS란?

7. NVS가 reflexive란?

*Thm

1. two norms가 equivalent iff C1||x||<=|||x|||<=C2||x||

2. B(NVS1,NVS2):BS iff NVS2:BS

3. dim(NVS):finite이면 any two norms on NVS are equivalent

4. any finite dimensional linear manifold is closed in larger one.

5. f:NVS1->NVS2, linear, dim(NVS1):finite이면 f:continuous

6. K:closed linear subspace of NVS이면

-NVS/K:normed vector space

-natural map Q:NVS->NVS/K, linear, conti, open

-if NVS:BS, then NVS/K도 BS

-U:open in NVS iff Q(U):open in NVS/K

7. X:NVS, M:closed linear subspace of X, N:finite dim of X이면 M+N은 closed linear subspace of X

8. direct sum of NVS using cv to 0 is linear subspace of direct sum of NVS using inf

9. X:direct sum of NVS using finite p

-X:NVS and projection onto NVS_i is linear, conti, bdd with 1 norm, open map, surjective

-X:BS iff NVS_i:BS

10. S:hyperplane of NVS이면 S는 dense in NVS or closed in NVS

11. f:NVS->F, linear functional일때 f:conti iff ker(f):closed

12. (NVS)^*:BS(if NVS is nonzero)

13. (Hahn-Banach Theorem)X:VS over R and g:sunlinear functional, S:linear subspace of X, f:linear functional on S s.t. f<=g

then te F:X->R s.t. F=f on S and F<=g

(이 Theorem의 의미는 g에 dominate가 계속 유지되면서 extension을 찾는 것임)

(Lemma6.3부터 Cor6.8까지 읽기)

(Thm 6.13부터 Cor6.14까지 읽기)

14. (Open Mapping Theorem)f in B(BS1,BS2)가 surjective이면 open map

15. (Inverse Mapping Theorem)f in B(BS1,BS2)가 bijective이면 f^(-1)도 conti(bdd)

16. (Closed Graph Theorem)f:BS1->BS2, linear가 closed graph를 가지면 f는 conti

17. (Uniform Boundedness Principle)F:a collection of f:BS->NVS s.t. for any x in BS, sup over f {|f(x)|}<inf이면 sup over f ||f||<inf

*example

1. semi-inner product인데 not inner product인 예?

2. {f:[0,1]->F, f:AC, f(0)=0, f' in L^2[0,1]} with int from x=0 to x=1 f'coj(g')=<f,g>, HS임을 보여라.

3. 걍 cv인데 not net cv인 예?(net cv를 abs cv로 생각하면 예 찾기 쉬움)

4. idempotent인데 not projection인 예 (1 0 1 0) matrix

5. NVS/S가 seminorm은 되는데 norm안되는 예 X=C_0, M=C_00

6. natural map Q:NVS->NVS/K가 not closed map인걸 보이는 예, X=L^2(-pi,pi), M=V{e_n}, F=V{f_n} where f_n(t) = e_(-n)(t) + n*e_n(t), e_n(t)=exp(int)

7. ker(linear functional):not closed in NVS, dense in NVS인 예 X=C_0(N), {e_n(i)=1 for only i=n}, x_0(i)=1/i, then Hamel basis containing {e_1,...,x_0}, make f

*특정 concepts

-L^p with MS, 1<=p<=inf

-BS

-(L^p)^* = L^q

-p=1일땐 sf-M여야 가능

-reflexive for 1<p<inf

-about K with k

-K:L^p(MS)->L^p(MS), linear, bdd, ||K|| <= (c_1)^1/p * (c_2)^1/q

-l^2(I)

-{simple functions}:dense in l^2(I)

-HS

-basis = {e_i s.t. i in I}

-HS with basis S일때 HS와 l^2(S)는 isormophic as HS

-I=N일 때

-unilateral shift

-isometry

-not surjective

-not normal

-backward shift

-adj(unilateral shift)

-l^inf(I)

-I=N일때

-all bdd seq of scalars

-the bergman space for G

-HS(Cauchy, Riesz, Morera Theorems 필요)

-L^2[0,2pi] with C

-HS

-basis = {1/sqrt(2pi) * exp(int) s.t. n in Z}

-L^2(-pi,pi) with C

-L^2 with MS

-about K with k

-K:L^2(MS)->L^2(MS), linear, bdd, ||K||<=(c1*c2)^(1/2), compact operator, ||K|| <= ||k||_2 (L^2 norm)

-adj(K)는 with kernel conj(k(y,x))

-about Volterra, k:[0,1]x[0,1] ->R, char function of {(x,y) s.t. y<x}

-no eigenvalues

-k:L^2(-pi,pi)xL^2(-pi,pi) -> C,

-L^2 with sf-M

-M_Φ in BS(L^2) and ||M_Φ||=||Φ||

-adj(M_Φ)=M_(conj(Φ))

-M_Φ:normal

-M_Φ:hermitian iff Φ:real

-M_Φ:unitary iff |Φ|=1 a.e.

-L^p with sf-M, 1 <= p <= inf

-M_Φ in BS(L^p) with ||M_Φ||=||Φ||

-C_b(X)

-BS

-C_0(X)

-closed in C_b(X)

-X=N일때

-all seq cv to 0

-C^(n)[0,1]

-BS
 

로지스틱 회귀

-종속 변수가 범주형인 데이터를 대상으로 한다.

-독립 변수를 통해 종속 변수값을 얻고 그것을 통해 classification하는데 사용한다.

-즉, (종속, 독립)=(범주,기타)로 regression돌리고, 실제로 사용은 (얻은값, 입력값)을 통해서 classification

-범주의 종류가 2개보다 많으면 multinomial logistic regression이라 한다.

-범주의 종류가 2개보다 많고 순서가 존재하면 ordinal logistic regression이라 한다.

-얻은값의 범위가 [0,1]이기 위해 logsistic function(1/(1+exp(-x))), gumbell function(exp(-exp(x)))등을 합성해서 사용한다.

-계산 편의상 전자를 많이 쓴다.

-1/(1+exp(-~~~~))는 p(y=1|x)를 가리킨다. 즉 독립변수 x가 주어졌을 때, 그것이 y=1(카테고리)일 확률을 가리킨다.

-추정계수를 구하는 건 Maximum likelihood method쓰거나 gradient descent사용

*정의 

1. X:J->R, rdv, f:pdf of X, 이때 Information entropy(or Shannon entropy) of X is defined as H(X):=(-1)*E[ln(f(X))]

(이때 밑이 2인 log를 사용할 경우 단위는 비트이고 자연로그를 사용할 경우 단위는 nat이다.)

(혹은 H(f)라고도 쓴다.)

2. X,Y:J->R, rdv, f,g:pdf of X,Y, 이때 두 분포의 Kullback-Leibler divergence, KLD is defined as 

D_(KL)(f||g) = int from x=-inf to x=inf f(x)*log(f(x)/g(x))dx (Radon-Nikodym derivative를 사용한 것도 있다.위키참조)

3. H(f,g), the cross entropy between f,g, := E[-log(g)] using pdf f

*의의

1.

-H(X) using parameter p1 > H(X) using parameter p2라면, parameter 값이 p1일 때 불확실성이 더 높다는 의미를 가진다. 예를 들면 동전던지기의 경우, 동전의 앞면이 나올 확률이 1/2일 때가 entropy값이 가장 높게 나오고 그때가 불확실성이 가장 높다는 것. 즉 entropy란 불확실성을 정량화한 지표이다.

-H(f)란 f를 묘사하기위해 필요한 불확실성(정보량)을 가리킨다. 

2. 

-D_(KL)(f||g)는 f가 있는데 샘플링 과정에서 그 f를 근사적으로 표현하는 확률분포 g를 f대신에 사용할 경우 엔트로피 변화를 의미한다. 

-따라서 D_(KL)(f||g) = H(f,g) - H(f)

3. 

-H(f,g)란 f를 묘사하기위해  g를 쓸 경우 필요한 정보량(불확실성)을 가리킨다.

-machine learning and optimization에서 사용되기도 하는데, error function(=cost, loss function)으로서 사용한다. 

-예를 들면 logistic regression의 경우, 분류의 실제 분포가 베르누이를 따른다고 하고 (p=P(y=1)), 실제로 우리가 regression을 통해 얻은 분포(g=P(y=1|x), 

이때 H(p,g)=(-p)*log(g) - (1-p)*(log(1-g)), 이값이 작아지도록 regression 계수 추정 가능(대게는 Maximum likelihood method사용하기도 하지만)

-혹은 samples모두 의 H(p,g)의 평균을 줄이는 방향으로 regression 계수 추정하기도 함

-동등원리

-1905년 특수상대성이론 발표

-특수 상대성이론은 로렌츠변환이 전부다.

-로렌츠변환

간추린 전자기학

-힘:두 물체 사이의 상호작용

-기본힘:두 물체 사이의 상호작용인데, 각 물체가 가지고 있는 고유한 성질 때문에 접촉하지 않고도 작용하는 힘

-중력, 전기력, 강력, 약력

-중력(질량때문), 전기력(전하때문)은 멀리 떨어져 있어도 작용

-강력, 약력은 가까이 있어야 작용(원자핵(10^-15 m)안에서 작용하는 정도임)

-전기력이란 힘을 배우는 분야이다.

-양전하, 음전하 두 가지가 원자에 똑같은 양이 있을때가 많아서, 전기력은 인간이 인위적으로 만든 상황에서나 고려 대상이 된다. 조선시대에는 번개말곤 전기력 볼 일이 없음

-만유인력 F_g = -Gm1m2/r^2

-전기력 F_e = +1/(4pieps_0) * q1q2/r^2, eps_0:유전율(전기장이 생기는 공간에서 전기장으로 반응하는 정도를 나타냄, 진공, 물속, 등에 따라 다른 유전율 써야함)

-크기를 갖지 않는 점전하 사이의 공식이다.

-크기를 갖는다면 그리고 그 모양도 여러가지가 가능하다면, 이 전기력 공식만으론 풀기가 어려워진다. 새로운 물리량 필요

-전기장

-점전하 두개가 서로 떨어져있는데 하나가 다른 하나의 위치이동을 어떻게 알고 힘을 작용할까?(*)

-전하 1개(혹은 여러개가)만든 전기장이란 개념을 도입, 그 전기장에 놓인 전하는 전기장때문에 전기력을 받는다고 생각

-따라서 전기장은 원격힘(접촉하지 않았는데도 작용하는 힘)이란 개념을 설명하기 위해 도입한 것

-진짜 전기장이란게 있는지 없는지는 모른다. 사람이 도입한 개념이긴한데 원격힘을 잘 설명해줌(*질문)

-전기장은, 점전하, 전하량 q_0인걸 뒀을 때 그 점전하가 받는 힘 F_0, 그때 전기장은 E = F_0/q_0, 즉 단위전하가 받는 힘

-전기현상:전하가 전기장을 만들고 거기에 전하를 두면 전기력을 받는 현상

-중력장과 전기장은 독립이다.

-자기현상:자석이 자기장을 만든다.(좀 더 구체적으로는 움직이는 전하가 자기장을 만든다.) 그리고 거기에 자석을 두면 자기력을 받는 현상

-자기장:자성을 띈 물체가 힘을 받는 공간

-전기장:전하가 힘을 받는 공간

-중력장:질량이 가진 물체가 힘을 받는 공간

-전기장과 자기장은 독립인 줄 알았는데 아니더라.

-나침반은 항상 북쪽을 가리킨다. 왜냐하면 지구가 거대한 자석이기 때문

-나침반에 자석을 가져다대면 침의 방향이 바뀌었는데, 어느날 우연히 전깃줄을 떨어트렸더니 나침반의 침이 바뀌는 걸 보았다.(외르스테드, 덴마크인)

-이전까지는 자기현상과 전기현상이 독립인 줄 알았는데, 자기현상이 전기현상으로부터도 생기더라는 걸 발견함

-움직이는 전하가 자기장을 만들더라

-자기현상의 원인은 전하가 움직이냐 안움직이냐에 의해 생기는 걸 알게 됨(전류가 자기를 만든다.)

-전하가 움직이면 전기장, 자기장 모두 생긴다.

-기본적으로 원자1개의 주위 전자들은 움직여서 원자자체가 자기장을 만든다.

-자석이란 일정한 규칙으로 원자들을 배열해서 자성을 띄게한 것, 따라서 자석을 망치로 몇번때려서 전자들이 무질서하게 배열하게 만든다면 자석도 자성을 잃게 된다. 혹은 가열시켜주면 자성을 잃는다.

-전기력선:전기장을 보여주는 방법 중 1개(유사한게 중력선, 자기력선)

-전기력선(+전하1개, -전하1개가 만든)과 자기력선(막대자석1개)의 차이점은, +전하와 -전하사이의 전기력방향과 N극과 S극 사이의 자기력 방향이 반대이다.

-이해하기 쉬우려면, 원형 실린더 모양을 코일로 감아 만들어서 전류를 흐르게해서 얻은 자기력을 보면 된다.

-자기력선은 시작과 끝이 없고, 전기력선은 시작과 끝이 있다.

-자기쌍극자, 전기쌍극자라 한다.(양극이 있는 모형을)

-점전하 1개만으로 전기장을 생각할 수 있는데, 자기장은 그렇게 불가능하다.

-그래도 간단한 자기장 모형은 직선 전류가 흐르는 모형이다. 오른나사 법칙

-역학은 뉴턴이 다하고 전자기학은

-쿨롱법칙, 전기력의 방향과 크기

-가우스법칙

-쿨롱법칙을 포함한다.

-전기장에 대해 사용하면(폐곡면, 면적분), 닫힌곡면 속에 든 전하와 그 곡면에서의 전기장 사이의 관계로 바꾸어 표현함

-자기장에 대해 사용하면(페곡면, 면적분), 결과가 항상 0이다. 따라서 자기장은 N극과 S극을 분리할 수 없다는 결론을 얻는다.

-비오-사바르 법칙

-자기장에 대한 법칙

-자기장 = mu_0/(4pi) * i*1/r^2*(dl외적r),

-mu_0:투자율(자기장을 유발시키는 성질),

-dl:극소 전류(전기 이동),

-r:전기이동의 중심을 중점으로 봤을 때 자기장에서의 관심 위치벡터

-i:전류의 크기

-암페어법칙

-자기장에 대해 사용하면(폐곡선, 선적분), 닫힌곡선 속에 든 전류와 그 곡선에서의 자기장 사이의 관계로 바꾸어 표현함

-페러데이법칙, 전하가 움직이면 자기장을 만든다.는 것을 듣고 자석이 움직이면 전기장이 생긴다?는 소리

-발견하기가 힘든게, 전하가 움직이면 자기장 만든다는 것은 나침반같은 걸로 알 수 있는데, 자석이 움직이면 전기장 생기는걸 발견할 도구가 없었음

-임의의 폐회로에서 발생하는 유도 기전력의 크기는 폐회로를 통과하는 자기 선속의 변화율과 같다는 것을 의미한다.

-자기장에 대해 사용하면(폐곡선, 면적분) 그리고 그것의 변화율은 전기장에 대해 사용한 것(폐곡선, 선적분) 사이의 관계

-전자기파가 만들어질 수 있는 가능성을 제시해주는 법칙이다.

-페러데이가 알아낸 방법은

-전선으로 원모양을 만들어서(폐사이클)그 원안에 자석을 이동시켜 본다. 그리고 전선에 전류가 흐르는지 확인하기 위해 전류계를 달아 둔다.

-자석을 넣을때와 뺄 때 각각 다른 방향으로 전류가 검출되더라.

-따라서 자석이 움직이면 전기장이 생기는 걸 발견!

-맥스웰 방정식

-자기장에 대한 면적분, 전기장에 대한 면적분, 자기장에 대한 선적분, 전기장에 대한 선적분, 4개를 맥스웰 방정식이라 한다.

-상대성이론을 알고나면, 이 4개의 식이 1개의 식으로부터 얻을 수 있게된다.

-맥스웰은 4개의 방정식을 보고 전자기파의 존재를 예언했다.(전기장과 자기장이 모두 변화하여 나아가는 파동, 그냥 보고 예언한게 아니라 수학을 써서 4개의 방정식을 풀어서 예언함)

-태양이 지구에게 에너지 주는 것도 전자기파 형태임

-다음시간엔 빛=전자기파를 보이고 그러기위해선 빛은 파동으로서의 성질을 만족해야되는데 만족하지않는 부분을 살펴보고 그로인해 상대성이론의 배경을 이해한다.

*기본 기법 관련

Markov Chain/Process

HMM

RNN

Viterbi

short-term Fourier transform, sliding Blackman window, hop size, zero-padded, L2-normalized, dynamic range

*분야별

*코드 인식(Chord Recognition) 및 음성 인식(Voice Recognition)

acoustic model:audio signal에 집중한 model

musicological(or language) model:연속적인 chord label을 고려하는 model

RNN 사용시:

복잡한 long-term temporal dependencies가 반영되어 음악계에 성능이 좋다.

HMM을 능가한다.

 A/D(Analog to Digital), 참고자료:  

https://m.blog.naver.com/PostView.nhn?blogId=angleriniraq&logNo=220914462863&targetKeyword=&targetRecommendationCode=1

https://m.blog.naver.com/PostView.nhn?blogId=mino_0206&logNo=220664693016&proxyReferer=http%3A%2F%2Fwww.google.com%2Furl%3Fsa%3Dt%26rct%3Dj%26q%3D%26esrc%3Ds%26source%3Dweb%26cd%3D2%26ved%3D0ahUKEwi8oorKgoXbAhUIE5QKHXPrDccQFggrMAE%26url%3Dhttp%253A%252F%252Fm.blog.naver.com%252Fmino_0206%252F220664693016%26usg%3DAOvVaw1jT0FTPy6kVTGK7gVpX54I

A to D는 다음과 같은 절차를 거친다.

1. Sampling

2. quantization

3. coding

Decibel(dB): 

데시벨 = 10*log(P/P_0),

P_0:reference power(참고 소리, 주로 0데시벨의 소리 크기이며, 0데시벨은 사람이 겨우 들을 수 있는 소리의 크기),

log은 밑이 10인것을 사용

P의 소리의 크기의 데시벨의 정의이다.

10데시벨은 0데시벨보다 10배 큰 소리

20데시벨은 0데시벨보다 100배 큰 소리

60데시벨은 40데시벨보다 100배 큰 소리

(일상대화가 60데시벨, 록밴드는 110데시벨정도가 된다.)

디지털 오디오는 "6데시벨 규칙"이라는 법칙을 주로 적용한다. 1비트(depth)당 6데시벨을 할당하여 오디오의 강도(소리의 크기)를 표현하는 방법

Sampling rate, Sample rate: 1초당 추출되는 샘플의 수

ex)44.1KHz란 1초당 44100개로 샘플을 추출, 대개의 CD음질은 44.1KHz이다.

Sample rate가 높으면 정확한 오디오 데이터(고음질), 하지만 음성 데이터 분석시 데이터 양이 많아져서 처리하기 힘들다.

bit rate:초당 전송되는, 처리하는 데이터 양

(보통 bps라 함은 bits per second이다. kb:킬로비트, Mb:메가 비트, kB:킬로바이트 MB:메가 바이트, Mbps:초당 메가비트(주로 인터넷 속도에 씀))

bit depth:bit depth가 자연수 n이라 함은, 0부터 최댓값까지 2^n의 단계로 나눈 디지털 데이터를 가리킨다. n이 1커질수록 데이터는 정확해지지만, 데이터양은 2배씩 늘어난다.

sample size:bit depth와 마찬가지 개념인데 다른 것을 가리킴, bit depth가 8이면 즉 2^8, 1byte로 표현하겠다는 것, 이때 sample size는 1, 만약 bit depth가 16이면 2byte로 sample size는 2

frame size:채널수*sample size

채널수(mono면 1, streo면 2, 5.1채널은 6이 된다.)

frame의 길이와 오해하면 안됨, frame의 길이는 시간의 길이를 가리킨다. sampling rate*frame의 길이=1개의 frame에 있는 sample의 개수

Ex)16비트(depth) 48KHz 오디오란, 1초에 48000개의 sample을 얻으며, 0dB~96dB(16*6, 6데시벨 규칙에 의해)의 소리의 크기를 2^16개로 세분화시킨(즉 2byte로 표현) 정밀도로 샘플링해 표현하는 음향 신호라는 의미이다.

PCM(Pulse Code Modulation):Sampling부터 시작해 양자화(quantization)을 거쳐 2진 신호로 변환하는 것 까지의 일련의 과정을 가리킨다.

mel scale:

MFCC(Mel-frequency cepstral coefficients):

analog->digital->analog 처리 관련

Sampling, Shannon Sampling Theorem

phasor표현법

신호이론에서 대부분 2pi*f를 w라 나타낸다. 익숙해질 필요가 있다.

임의의 신호 x(t)=Acos(2pi*f*t + Φ)는 x(t)=Xcos(2pi*f*t) - Ysin(2pi*f*t)로 나타낼 수 있다. (코사인 덧셈-뺄셈 정리)

이것을 복소수 z=X+Yi로 나타내는 것을 phasor representation of x(t)이라 한다.(X=AcosΦ, Y=AsinΦ)

f가 시간에 대해 일정할 때, phasor표현의 가장 큰 장점은

x(t)=Xcos(2pi*f*t) - Ysin(2pi*f*t) <-> Z=(X,Y) 

dx(t)/dt <-> Z, 이때 Z는 x(t)의 Z에 2pi*f*i(즉 wi)를 곱해주기만 하면된다.

(여기서 미분했으니 w가 밖으로 곱해지겠고, sin과 cos은 서로 미분하면 실수에선 평행이동이지만, 복소평면상의 좌표로 봤을 땐 90도 회전이동이고 그것은 i곱셈연산에 해당되기 때문이다.)

변환관련

FS(Fourier Series)

CTFS(Continuous-time Fourier Series)

input:유한길이(t-domain)에서 정의된 함수 or 주기함수, 공역은 C여도 된다.

output:함수를 정형파의 선형 무한 급수로 나타낸 것일 뿐

별다른 약속 없이는 다음 관례를 익히도록 한다. 

input의 함수를 [-L,L]로 다룬다. 

FS사용시 복소수에서의 FS에 익숙해지도록한다. sin/cos말고

의미:

각 주파수(sin(wt), cos(wt))에 해당하는 진폭, 위상(phrase)을 알 수 있다.

DTFS(Discrete-time Fourier Series)

input:sampling period(T), sample size N, T와 original analog 신호로부터 얻은 유한개의 함숫값들(x(0), x(T), x(2T), ... x((N-1)T)), 그리고 애초에 원래 함수는 주기함수(유한길이였다면 그걸 이어붙인 주기함수 등일 때)

output:함수를 정형파의 선형 유한 급수로 나타낸 것이다.

의미:

DT domain(Discrete time domain)이란, 0, T, 2T, ..., (N-1)T에서 T를 제외한 0,1,2,...,(N-1)을 정의역으로 하는 것을 가리킨다.

sample time T(최소주기)일 때 DT domain에선 0<=f<=f_s=1/T가 0<=f<=1이 된다.

LT(Laplace Transform)(input: / output:)

double-sided LT

single-sided LT

FT(Fourier Transform)

CTFT(Continuous-time Fourier Transform)

input:실수전체(t-domain)에서 정의된 L1 function, 공역은 C여도 된다.

output:실수전체(f-domain)에서 정의된 (적분형태의)function, 공역은 C 

의미:

푸리에 변환하여 얻은 함수(X(f)), X(f)의 크기는 진폭의 밀도함수(의 절반)이다. X(f)의 각은 f에서의 위상(phrase)를 가리킨다.

DTFT(Discrete-time Fourier Transform)

input:time-resolution(T), sample size N, T와 original analog 신호로부터 얻은 유한개의 함숫값들(x(0), x(T), x(2T), ... x((N-1)T)) 

output:실수전체(f-domain)에서 정의된 (급수형태의)function, 공역은 C 

의미:

x(iT)에 pulse function을 곱한다음 CTFT을 씌운 것이 정의이다.

결과는 1/T을 주기로 하는 함수가 나온다(frequency-domain에서의)

반대로 frequency-domain에서 이산적인 값들(delta f(frequency-resolution)를 간격으로)로 pulse function곱한다음 CTFT의 inverse를 씌우면씌워서 얻은 time-domain의 결과는 1/f를 주기로 하는 함수가 나온다.

DT domain(Discrete time domain)이란, 0, T, 2T, ..., (N-1)T에서 T를 제외한 0,1,2,...,(N-1)을 정의역으로 하는 것을 가리킨다.

sample time T(최소주기)일 때 DT domain에선 0<=f<=f_s=1/T가 0<=f<=1이 된다.

DFT(Discrete Fourier Transform)

01.pdf

02.pdf

03.pdf

04.pdf

input:time-resolution(T), sample size N, T와 original analog 신호로부터 얻은 유한개의 함숫값들(x(0), x(T), x(2T), ..., x((N-1)T))

output:

[0,NT]에서 얻은 N개의 이산신호으로부터 구한 DFT는

원래의 연속시간 x(t)의 푸리에 변환 X(f)를 주파수상에서 frequency-resolution (1/NT)로 표본화한 이산 스펙트럼과 같다(다만 크기만 1/(delta t) 을 이산스펙트럼에 곱하면 DFT랑 같다.)

역변환도 존재

고려사항

Shannon Sampling Theorem, Analog(Original)의 관심가는 최대주파수를 B라 할 때 

delta t <= 1/(2B) // time-resolution delta t (f=(1/delta t) >= 2B에서 유도됨, f는 주파수영역에서의 주기길이)

delta f <= gamma // gamma는 신호 x(t)의 지속 구간(Shannon...을 f->t로 반대로 써서 얻은)(T_0 = 1/(delta f) >= gamma에서 유도됨, T_0는 신호영역에서의 주기길이)

N= T_0/delta t = 1/(delta t * delta f), 샘플 개수 N

실제 할 때 T_0선택하고(조금 크게), delta t을 선택(어느정도 작게)

T_0을 크게할수록 주파수의 높은 정밀도를 얻지만 N값이 커지므로 계산량이 증가한다. 

FFT(Fast Fourier Transform)

의미:DFT를 빠르게(계산량이 N^2에서 N*log(N)으로 줄여주는)해주는 방법

방법:N을 2의 power로 만들고 복소 지수함수의 특성을 이용한 것(zero-padding하는 이유)

STFT(Short-term Fourier Transform)

DFT를 하는 데에 있어서, window function을 정해서 적당히 옮겨가면서 계속 DFT를해서 시간영역에 따른 주파수 정보를 얻어내는 기법

실제론 DFT말고 FFT를 쓴다. sampled input signal에 window function을 씌운 것에 FFT씌워서 주파수의 진폭과 위상을 분석하는 것을 STFT라 한다.

STFT를 사용하는 데 결정해야될 parameters

window type(Blackman, Hanning etc)

window length L

FFT size N

frame offset(혹은 hop size라 불리는)I

time sampling(아날로그 신호(시간에 대한) 함수를 컴퓨터가 처리할 수 있게 digital화 한 다음, 다시 아날로그 신호로 바꾸는 과정)

-x_c(t):아날로그 오리지날 신호

-y_c(t)=x_c(t)*p_c(t), p_c(t):uniform impulse train이라 불리는 신호

여기서 y_c(t)의 정의역을 sample period T의 정수배로 제한시키고, DT domain화 시키면 x_d[n]을 얻는다.

-y_c(t)는 비주기 연속신호이므로 CTFT

-p_c(t)는 주기를 T로 하는 연속신호이므로 CTFS

-p_c(t)에 CTFT도 적용

-관심사

x_c(t)을 CTFT하여 얻은 X_c(f)와 x_d[n]을 DTFT하여 얻은 X_d(f)사이 관계는 무엇이며, X_d(f)을 통해 X_c(f), x_c(t)을 복구할 수 있는가?(X_c(f)만 복구하면 당연히 x_c(t)로 복구는 되겠지만)

-y_c(t)=x_c(t)*p_c(t), 모두 CTFT 적용하고 곱셈<->convolution을 이용하면 

Y_c(f)=X_d(Tf)=1/T sum over all integer k X_c(f - (k/T))를 얻는다. 

따라서 X_d(Tf)는 X_c(f)를 여러개 옆으로 붙이고 1/T배 한 것이다.

여기서 shannon sampling theorem이란, 

원래 신호의 CTFT인 X_c(f)에 대해 te B>0 s.t. |f|<B이면 X_c(f)=0, 이러한 B에 대해 T<1/(2B)인 time-resolution T를 잡았다면 왜곡현상(aliasing)이 없다는 정리 이다.

Y_c(f) 혹은 X_d(Tf)를 통해 X_c(f)로 바꾸기 위해선 an ideal low pass filter를 사용하면 된다.(어느 특정 간단한 함수일뿐)

-정리

아날로그 신호->x_d[n]만듦(적절한 T, N)->DTFT적용하여 주파수 분석->원래로 돌릴 땐 Y_c(f)=X_d(Tf)에서 Y_c(f)에 an ideal low pass filter를 곱하기만하면됨

frequency sampling(위의 time sampling에서 DTFT를 적용하여 주파수 분석에서, 결국 DTFT의 결과가 연속적인 변수를 갖게 되므로 frequency sampling도 해줘야 결국 컴퓨터 알아먹고 일처리를 하게 된다.)

-x_d[n]에 DTFT를 적용하여 얻은 연속f의 무한급수에서 유한개의 합만을 택하자. 이것을 DFT라 한다.

STFT쪽 다 정리하기(Window, truncation, hopsize, sample rate, frequency의 resolution 정의 등)

신호분석에서는 복소수 i말고 j를 사용한다.

2pif:각속력의 크기, rad/s단위 혹은 분당회전수 RPM을 쓰기도 함

스펙트럼이란, {(주파수, 그 주파수에 해당하는 진폭)}을 가리킨다.

Ex) Acos(wt)=A/2(exp(iwt)+exp(-iwt)), 이경우 스펙트럼은{(-f, A/2), (f,A/2)}

Ex)cos(wt)-0.2cos(3wt)는

{(-3f, 0.1), (-f, 0.5), (f, 0.5), (3f, 0.1)}

다음에 익숙해지자

f_0 = 1kHz

이면 time domain에서는 1ms(0.001초)가 주기(period)

푸리에 시리즈의 핵심내용:

모든 "주기 함수"는 하모닉의 합으로 나타낼 수 있다.

(기본주파수의 정수배를 하모닉이라 한다. exp(하모닉)*푸리에계수)

이때 주기함수의 기본 주기(fundamental period) 혹은 기본 주파수(fundamental frequency)

주기함수를 하모닉의 합(푸리에급수)으로 나타낼 때의 필요한 것은 기본주파수와 신호 x(t)의 함수 explicit형태(그래야 푸리에 계수 적분을 하니까)

만약 주기함수의 기본주기는 알지만 x(t)을 explicit하게 표현을 못한다면 X_n을 구할 때 구분구적법의 partial sum N까지만 사용(여기서 N은 sample 개수)해서 구하면 (x의 FFT)*1/N = X_n이 된다.(근사)

즉, 기본주기 T, sample 개수 N을 알면 가능

푸리에 계수를 구하는 것은 orthogonality를 사용

(주의할 것은 conjugate씌우고 내적)

푸리에시리즈의 주된 성질

superprinciple(linear)

(시간에서의)컨볼루션<->곱셈(주파수의 계수)

(time shift)x(t-t_0)<->exp(-jwnt_0)*X_n

(Parseval's thm)시간 영역 평균 전력은 주파수 성분의 제곱의 합과 같다.

------------------------------------------

푸리에변환

:비주기함수(x(t))를 X(f)로 바꾸는 것

x(t)가 비록 실수(real)신호이더라도 X(f)는 복소수가 나오며

X(f)의 크기는 f의 진폭성분(스펙트럼)을 다룸

X(f)의 각은 f의 위상성분(스펙트럼)을 다룸

x(t)가 실수이면 X(f)는 대칭성을 갖는다.

X(f)의 크기는 우함수

X(f)의 각은 기함수

기본적인 함수들의 푸리에변환 이해(그래야 읽고 비슷하게 생긴것을 예상하기 쉽다.)

δ(t)dirac delta(t)<->1인 상수함수(즉 모든 주파수를 다 갖는다)

1<->dirac delta(f), δ(f), 즉 0인 주파수만을 갖는다?

exp(j2pif_c t)<->δ(f-f_c), 즉 1개의 주파수만을 갖는다

cos(2pif_c t)<->1/2δ(f-f_c) + 1/2δ(f+f_c)

Π(t/τ) <-> τsinc(τf) (즉 rect 신호는 sinc형태로 주파수가 흔들리는 형태)

sum over all int i δ(t-iT) <-> 1/T * sum over all int i δ(f-i*1/T)

푸리에변환을 x(t)의 식을 알면 구할 수 있겠지만 현실적으론 불가능

FFT을 이용하여 보통 구한다.

먼저 필요한 것은 Ts(sample사이의 간격)을 설정(자동으로 Fs도 결정됨)

그리고 nTs마다의 sample 획득(0,x(0)), (Ts,x(Ts)), ...의 총 N개

이때 X(Fs * n/N)는 (즉 X(f)에서 f=Fs/N의 n번째 nFs/N일때의 X(f)의 값)FFT[x]*Ts가 된다. 즉 X(Fx * n/N)을 0~(N-1)까지의 부분합으로만 근사하면 얻는다.

푸리에변환의 주요 성질

불확정성원리(time resolution과 frequency resolution을 둘다 늘릴 순 없다.)

쌍대성

컨볼루션

컨볼루션이란, 

time-domain의 곱<->frequency-domain의 컨볼루션

time-domain의 컨볼루션<->frequency-domain의 곱

신호x(t)의 전력 스펙트럼(power spectrum)

10log|X(f)|^2이 전력 스펙트럼의 정의이다

주파수 영역 필터의 종류

필터는 LTI시스템

H(f)의 요구 조건(스펙)을 설계하고자 하는 목적

주파수 관점에서 필터의 종류

LPF(Low pass filter), HPF(high pass filter), BPF(Band pass filter)

저주파수만 통과, 고주파수만 통과, 중간 주파수만 통과(보통 tuner로 사용됨, 라디오같은)

구현 관점에서 필터의 종류

FIR:Finite impulse response, t-domain의 필터의 길이가 유한한

IIR:Infinite impulse response, t-domain의 필터의 길이가 무한한(다만, t->inf일 때 진폭은 0에 가까워지지만)

--------------------------------------------------------------------------------------------------------------------------------------------------------------

frequency resolution이란, frequency의 한개의 bin의 길이

논문별 분석

Audio Chord Recognition with Recurrent Neural Networks

Learning Deep Audio Features

1. STFT로 magnitude spectrogram 구함

window:Blackman (따라서 FFT의 size는 언급안함, 만약 무한길이의 window function을 truncate하여 쓰는 경우라면 FFT size도 언급 필요)

window size:500ms

hop size:64ms

기타: 

truncated at 4kHz(즉 4kHz 초과 주파수는 제거)

zero-padded

*기본 컨셉

-Hidden Layers의 개수와 nodes 개수

-Hidden layer는 abstract representation of the training data를 가리킨다. (Abstraction)

-Hidden layer가 1개여도 충분히 input->taget인 function에 approximation되지만,(Universal Approximation Theorem) 여러개 사용하면 pros and cons가 있다.

-장점:더 좋은 결과(주어진 데이터 양만으로는)

-단점:Vanishing Gradient, Overfitting

-Error종류

-학습방법 종류

-SGD

*각종 모델링 기법(NN, FNN, RNN, LSTM, etc)

*핵심예제

*논문내용 요약, 테크닉

------------------

*심층 신경망(Deep Neural Networks, DNN)

-단일층 신경망과의 핵심적인 차이점은 층의 개수가 입력과 출력 층을 포함해 3개가 넘는 경우에 우리는 이 신경망이 깊다(deep)고 한다.

-첫 layer의 노드(특징, feature)들은 단순하고 구체적이며 후반으로 갈수록 더욱 복잡하고 추상적이다. 

-라벨링이 되어있지않더라도 각 입력값들끼리의 유사도를 비교하여 비슷한 것끼리 군집화 시켜주는 데에도 능하다.

-일반적인 기계 학습과 다른 점은 특징 추출(feature extraction)이 자동적이라는 것

-그 예로 RBM(Restricted Boltzmann Machines)가 있다.

*Autoencoder

-3 layers로 구성

-Input = output = target

-중간에 Hidden Layer 1개, nodes개수는 input의 nodes개수보다 적게

-2개의 Weight Matrix를 학습시킨다. 결국 input의 node보다 적은 abstraction을 얻는다.

-Hidden layer를 feature detector라 한다.

-Deep Learning에서의 overfitting문제를 해결할 수 있는 도구다.

*RBM(Restricted Boltzmann Machines, RBM)

-Generative Model

-2 layers로 구성(input, hidden)

-심층 신경망의 학습을 돕기 위해 쓰이기도 한다.

-연달아 은닉충을 잇고 학습하는 것이 각자 다른 층위의 특징값(feature hierarchy)을 학습하는 과정입니다. 심층 신경망은 이런 구조로 더 추상적이고 복잡한 데이터를 이해합니다. 은닉층을 새로 추가할 때마다 기존 층의 데이터를 근사할 수 있도록 가중치의 학습이 이뤄집니다. 이런 과정을 층별 탐욕 비지도 선행학습(layerwise, greedy unsupervised pre-training)이라고 합니다.

-각 층마다 최대한 오차를 줄이는 방향(D_(KL))->layerwise, greedy

-라벨의 정보가 없이 입력 데이터만을 가지고 이루어짐->unsupervised

-학습한 결과를 다시 다른 학습에 쓸 수 있기 때문에->pre-training

-이렇게 선행학습이 된 가중치는 데이터의 분포를 이미 알고있기 때문에 이 값으로 초기화한 심층 신경망은 더 좋은 성능을 보인다.(즉 RBM을 쓰는 이유는 초기가중치를 얻기 위함도 있음)

-특히 unsupervised learning에 쓰인다.

-입력층과 출력층 2개로만 구성되어 있다.

-입력층의 확률분포와 출력층으로부터 얻어온 추정한 입력층에서의 값의 확률분포에서 D_(KL)이 작아지는 방향으로 학습(자세한 이해 필요)

-이 과정을 재구성(reconstruction)이라 한다.

-입력층과 출력층의 바이어스가 다를 수 있다.

-구체적인 내용

-v:visible units, h:hidden units

-E(v,h):=energy와 softmax를 사용하여 p(v,h)의 distribution을 얻는다. 그리고 p(v)도 얻는다.

신호의 요소

T:period, 주기

f:frequency, 주파수, 

note)

인간은 20Hz 이하의 저주파는 듣지 못한다.

인간은 22kHz 이상의 고주파는 듣지 못한다.

어떠한 신호(소리)가 갖고 있는 주파수 폭(저주파수~고주파수까지의 범위)를 (주파수) 대역폭이라 한다.

일반적으로 사람의 음성은 300Hz~4kHz, 음악은 20Hz~20kHz까지의 대역폭을 갖는다.

T=1초 <-> f=1Hz

T=1ms(1/1000초) <-> f=1kHz

T=0.22ms <-> f=44kHz

기본적인 audio(analog)데이터를 컴퓨터가 처리하는 방법

Analog(Original) ->Digital ->Analog

여기서 

Analog(Original) ->Digital을 Step 1

Digital ->Analog을 Step 2라 하자.

SR(sampling rate):초당 signal이 read된 횟수(Step1에서) 대개는 44.1kHz, 48kHz 등으로 표현

note)

SR=44kHz <-> signal의 sample들 간의 시간 간격=1/44000=0.22ms

Fmax(frequency range 혹은 Nyquist Frequency):signal을 sample화하여서 read할 때 SR이 주어져있겠고 Shannon Sampling Theorem에 의해 이렇게 sample화한 신호를 복기하여서(Step 2) 들을 때의 최대 진동수(Fmax)는 SR/2이다.(즉 Shannon Sampling Theorem의 결과로서 복기(FFT등을 하여서)해서 듣는 최대진동수를 SR/2라는 것을 알 수 있고 그것을 Fmax라 하자.)

즉 Fmax는 Analog(Original)가 큰 진동수를 포함한 상황에서 SR이 그 큰 진동수를 표현하기엔 적은 양이었다면 우리가 듣는 진동수는 낮은 SR때문에 Analog(Original)가 가진 큰 진동수를 듣지 못하고 Step 2에서 최대 Fmax까지만 듣게 된다.(왜곡 aliasing이 발생)

따라서 SR을 결정하는데에 있어서 Analog(Original)의 최대 주파수(F)를 안다면, SR은 2F보다는 크게해야만 한다는 것이다. 그래야 Step 2에서 원래의 Audio에 가진 최대주파수까지 포함되어서 나온다.

어떠한 Analog(Original)(혹은 결과의 Analog든)이 최대진동수를 가지는 경우를 bandlimited라고 한다.

하지만 현실에서 이렇게 최대진동수(즉 일정 진동수 이상의 진동수를 포함하지 않는 데이터는 거의 없다.)

Analog(Original)과 Step 2의 결과물인 Analog 상에는 반드시 차이가 있을 수 밖에 없다.(애초에 Analog(Original)이 bandlimited할 경우도 없을 뿐더러 있었다 하더라도, Step 2에서의 처리과정에서는 푸리에변환등이 결국 컴퓨터가 무한개의 항에대해서 시행하진 않기 때문)

이렇게 해서 발생한 원본과의 차이를 Aliasing이라 한다.

-------------------------------------------------

Sampling:표본화, analog signal을 discrete in time

discrete-time signals을 continuous-time signals로 바꾼느 것을 reconstruction이라 한다.

Quantization:양자화, analog signal을 discrete in frequency

A/D converter라 함은 sampling과 quantization을 함께 하는 것을 가리킨다.

int over all real t |x(t)|^2 dt를 Total Energy라 한다.

----------------------------------------------------

즉 window legnth는 주파수를 분석하는데 쓸 시간

hop size는 주파수를 분석하는 것을 얼만큼 자주할거냐와 관련

(즉 magni.. spectrum에서 주파수 데이터의 시간간격을 조절하는건 hop size)

*Zero padding의 의의

N개의 샘플에 윈도우 씌운다음 윈도우 밖에 zero를 더 넣는 것을 zero padding

zero padding을 한다음에 DFT한 하면은

안한것보다 일단 DFT의 x축의 개수가 더 늘어난다.(늘린 zero만큼)

(DFT의 x축에서의 sample개수가 f의 bin의 개수인지는 모른다.???? STFT를 더 봐야할듯)

그리고 side lobes가 늘어난다.

zero padding을 많이 할수록 side lobes의 개수가 줄어들고 크기가 작아질까?아니다

zero padding을 하는 이유

X(k)(즉 DFT의 결과)가 더 detail하게 보인다.

이것이 주 사용 이유:sample의 개수가 2의 거듭제곱이면 DFT의 계산이 빠르다.

DFT를 통해 원래의 정보를 제대로 recover하려면 window의 size를 늘려야함

(window의 size를 키우면 main lobe의 크기가 커지고 side lobe의 크기를 줄이고 main이든 side든 lobe의 width를 줄임)

-------------------------------------------------------------------------------

주파수의 정밀도란 

The frequency resolution of a spectrum-analysis window is determined by its main-lobe width (Chapter 3) in the frequency domain, where a typical main lobe is illustrated in Fig.5.6 (top).  https://www.dsprelated.com/freebooks/sasp/Frequency_Resolution.html

For maximum frequency resolution, we desire the narrowest possible main-lobe width, which calls for the rectangular window (§3.1), the transform of which is shown in Fig.3.3. When we cannot be fooled by the large side-lobes of the rectangular window transform (e.g., when the sinusoids under analysis are known to be well separated in frequency), the rectangular window truly is the optimal window for the estimation of frequency, amplitude, and phase of a sinusoid in the presence of stationary noise [230,120,121].

----------------------------------------------------------------------------------

1옥타브 차이난다는 것은

주파수에서 2배차이(혹은 1/2배 차이)

pitch란 음높이(즉 주파수 혹은 A4, B3 등으로 표현한다.)

mel scale:사람의 청각은 저주파에서는 주파수의 변화를 잘 인지하는데, 고주파에서는 잘 인지 못한다. 즉 주파수가 어느정도 변했는데도 같은 음이라고 생각하는 그 주파수의 구간길이가 저주파일때 짧으나 고주파일땐 길다. 따라서 mel scale = 상수 * ln(1 + (f/700))으로 pitch를 다른 scale로 만든 것일 뿐이다.

-----------------------------------------------------

PCA가 아마 Courant-Fischer 결과아닌가 싶은데

*LSTM에 대한 이해

1. RNN의 특징

-이전 정보를 사용한다.(구름이 '하늘'에 떠있다)

-하지만 매우 이전 정보를 잊기도 한다.(나는 프랑스에서 자랐습니다. ... 나는 유창한 '프랑스어'를 합니다)

(이러한 문제를 해결하기 위해 LSTM도입, 무언가 배우려고 애쓰기보다는 오랫동안 정보를 기억하는 것이 LSTM의 기본 동작)

2. LSTM의 구성

-1개의 시점마다 cell을 갖고 그 안에는 4개의 layer를 갖는다.

-LSTM의 핵심은 cell state라는 것, 이것은 매 시점을 지나면서 약간의 가벼운 linear operation만 하고 지나간다.

-t-1시점에서의 output과 t시점에서의 input으로 forget(gate)값(using sigmoid)을 정해서 cell state의 forget비율을 선정한다.

-t-1시점에서의 output과 t시점에서의 input으로 input(gate)의 값(using sigmoid)과 새로운 cell후보값(using tanh)을 정한다.

-t-1시점에서의 cell state와 t시점에서의 forget(gate)의 값, input(gate)의 값, 새로운 cell후보값을 이용하여 t시점에서의 cell state를 정한다.

-t-1시점에서의 output과 t시점에서의 input으로 output(gate)의 값(using sigmoid)을 정한다.

-output(gate)의 값과 t시점에서의 cell state를 곱해서 t시점에서의 output을 결정한다.

자주성:
영어(군문제로 시작하였지만, 영어듣기능력은 반드시 필요하다, 듣기능력을 갖추고는 말하기 능력도 갖추자.)

그래프이론(박사때까진 그래프이론에 대한 전반적인 지식을 갖추자.)

Spectral(박사때까진 Spectral 그래프이론에 대한 지식을 갖추자.)

궁극적인 목표가 무엇이냐?

그래프이론를 바탕으로한 데이터분석가가 되는 것이다. 그러기위해선 다음을 갖추어야 한다.
1. 순수 그래프이론에 대한 지식, 대학원수준의 책 한개를 정독하여야 한다. 끼고 사는 책이 필요하다.
2. Spectral Graph Theory책 또한 한개를 정독하여야 한다. 끼고 살아야 한다. 어떠한 지식을 습득할때면 여기에 접목시켜서 보아야한다. 그래야 전공자다.
3. 머신러닝에 관한 지식을 갖추어야 한다. 강연, 책, 실습 기회가 있다면 적극적으로 이용한다.

숙달:
그래프이론, Spectral Graph Theory를 공부한 다음엔 Random Graph에 관한 지식을 갖추도록하자. 혹은 다른 분야 또한 공부해야한다.
전문가가 되어야한다. 전문가란, 자기가 아는 것이 무엇이고 모르는 것이 무엇인지 분명해야 하며, 모르는 것이 나오면 아는 것을 바탕으로 고민할 수 있어야 한다. 즉 아는 것을 정확하게 알아야 하며, 그것을 토대로 누군가와 협력을 할 수 있다.

소명:
분명히 할 것은 나는 연구를 할 것이다. 여기에는 의심을 갖지 않는다. 이러한 연구는 인간 사회에 발전에 기여하는 방향을 할 것이다. 나는 순수히 통계적인 것에만에는 관심이 가지 않는다. 이러한 연구들의 특징은 기술에 데이터를 맞추는 오류를 자주 범하기 때문이다. 순수수학으로만의 발전 또한 지금의 나는 흥미를 느끼지 못한다. 구체적인 도움과 흥미가 있는 분야에 도전할 것이다. 그래서 해결하여 성취감을 느낄 것이다. 순수수학으로만의 발전 또한 의미가 있다. 하지만 그 의미는 나에게 반만 전달된다. 지금의 나는 그렇다.

이해는 생각만 해도 할 수 있지만 실천은 삶으로 몸으로 해야하기 때문에 더 어렵다.

외적 동기가 오히려 흥미를 떨어뜨릴 수 있다. 따라서 어떠한 일을 계획할 때 내 기존의 흥미를 유지할 수 있는 수준에서 할 수 있는 건지 판단해야한다. 독립적인 한 인간이라는 인식이 점점 흐릿해지고 흥미 따위는 눈사태처럼 우르르 쏟아지는 과제와 의무에 깔려 사라지고 만다.

----------------------------------------------------------------------------------------------------------------------------------

Teps듣기 -> Teps총점 -> TOEFL -> ...

-Teps듣기 마지막 책까지 공부한 다음 들었던거 다시 듣기

-Teps듣기 Part1,2,3 정답률 80%이상되면 Part4랑 독해등 나머지부분 총 집중해서 성적만들기(800돌파가 목표)

-이후 TOEFL 시험응시, 다 공부하되 스피킹도 확실히

순수 그래프이론 -> Random Graph -> ...

-Oum Syllabus따라, 매주 1Chapter씩(3번씩 읽어주고 필요한 경우 따라 적어본다. 모든 내용을 스스로 증명할 수 있게끔한다.)

Spectral graph theory -> Application to other area

-Applications of combinatorial matrix theory책 따라 매주 Chapter1개씩, 특히 Chapter6부터보고 앞부분필요하면 그부분 다시보고, 3번씩 읽어주고 필요한 경우 따라 적어본다. 스스로 증명할 정도로 익숙해져야한다.)

ML학부생세미나+CRF등 당장 필요한 지식+NIMS+콜로퀴움

-ML책 보며 세미나 따라가고 블로그에 간단히 내용정리

-CRF강의보기, 코세라

-NIMS, 월요일갔다와서 당일날 바로 정리

-콜로퀴움 중 빅스관련 보고 정리

연구실에서는 컴퓨터 거의 사용하지 말기
공부정리는 영어만 그즉시하고 나머진 몰아서하기, 정리보다 생각이 우선이어야 함

운동은 무분할로, 공부 충분히 한 날 하기

조교일관련

Chapter 2 Preliminaries

Dataset = Training set, Validation Set, Test set, 3개의 subset으로 partition

Validation은 overfitting문제 해결을 위함

Test은 Train+Validation까지로 나온 classifier의 성능을 test하기 위함

Dataset이 적을 경우 Leave-some-out(Cross-validation)방법을 사용

Overfitting과 the curse of dimensionality(input의 dimension이 적당해야함)은 다음을 참고

Classifier를 test하는 기준들

Confusion Matrix, accuracy, sensitivity, specificity, precision, ROC, AUC, MCC(unbalanced dataset일 때 사용),

precise란 유사한 inputs을 넣을 때 마다 outputs도 유사하게

true란 output과 prediction사이의 거리의 평균값

classify를 하는 과정은 Maximum a posterior를 주로 택함

Bayes' Optimal classifier란

“What is the most probable classification of the new instance given the training data?”

의 문제를 풀기위함, 즉 가장 확률 높은 class가 존재하고 그것이 optimal(평균적으로 그 class인 경우가 많다는 것)

Misclassification할 경우를 대비해 Loss matrix를 통해 risk를 정의하여 risk를 최소화하는 방향으로 classifier를 정하기도 함

Naive Bayes' classifier는 조건부 독립을 이용하여 계산량을 줄임, 특히 the curse of dimensionality때처럼 조건부파트의 dimension이 크지 않게하여 계산량 줄임

Mahalanobis Distance를 통해서 주어진 input이 어느 class인지 판단하기도 한다.(Dataset의 평균과 분산을 이용함), 0에 가까울 수록...그 class에 X가 포함될 가능성이 높다는 것

the bias-variance tradeoff, bias와 variance를 동시에 적게할 순 없다. 대게는 bias가 좀 높더라도 variance가 낮은게 classify엔 좋음, 어찌됐든 둘다 적당히

*Class of Graphs and their a(G) in terms of graph invariants

K_n

-a(G) = n

K_(a,b)

-a(G) = min(a,b)

P_n

-a(G) = 2 - 2cos(pi/n)

C_n

-a(G) = 2 - 2cos(2pi/n)

W_n

-a(G) = 3 - 2cos(2pi/n)

S_n

-a(G) = 1

S_n^*(K_(1,n-2)의 pendant vertex와 P_2의 한 점을 identifying)

-a(G) < 0.5(직접 characteristic polynomial 구해서)

Q_n

-a(G) = 2

X(Z_n,C)

-C={1,n-1}

-a(G) = 2 - 2cos(2pi/n)

-C={1,2}

...

J(v,k,i)

-v>=2k, i=(k-1), johnson,

-v>=2k, i=0, kneser

-J(5,2,0), petersen, a(G) = 2

CS(n,w)

-a(G) = n - w

PA(n,w)

-a(G) = 1

Ki(n,w)

ST(a,b)

T(n,a,b)

multipartite

split graph

difference graph

cograph

threshold graph(=maximal graph)

r-regular

(r,s)-semiregular

caterpillar, CTPL

binary tree

------------------------------------------------------------------------------------------------------------------------

*Graph Invariants

V와 V의 subset의 개수

n

τ(G)

γ(G)

α(G)

p(G)

q(G)

E와 E의 subset의 개수

m

Τ(G)

ν(G)

degree관련

δ(G)

d(G)

Δ(G)

1-Zagreb(G)

2-Zagreb(G)

decdseq(G)

tr(G)

path, length관련

r(G)

D(G)

md_G

d(G,k)

W(G)

H(G)

TW(G)

HW(G)

RCW(G)

MTI(G)

DD(G)

topological관련

genus(G)

subgraph관련

sd(G)

g(G)

G(G)

ω(G)

t(G)

Tree관련

Type 1 or Type 2

Connectivity관련

connectivity

# of components

cutvertex

bridge

κ(G)

λ(G)

Color관련

χ(G)

Homomorphism관련

Aut(G)

------------------------------------------------------------------------------------------------------------------------

*Related bounds for a(G), G:connected

a(P_n) <= a(G) <= n (Fiedler 1973)

a(G)<=κ(G)<=λ(G)<=δ(G), (Fiedler 1973)(G:K_n일땐 성립안할 수 있음, 조심)

처음 <은 path생각, 두번째 <은 triangle 2개를 1개꼭지점을 common, 세번째 <은 T1(a,b)에다가 양 끝에 path을 attach한 것

처음 = iff G=G1VG2, where G1:disconnected of order n - κ(G), G2:of order κ(G) with a(G2) >= 2 * κ(G) - n (Kirkland, Molitierno, Neumann and Shader 2002)

if G:not K_n, then a(G) <= [[-1 + 2 * sqrt(1 + 2 * m)]] (Belhaiza, Abreu, Hansen and Oliverita 2005)

a(G) >= 4/(n * D(G)) (Mohar 1992)

a(T) <= 2 * (1 - cos(pi/(D(T)+1))) (Grone, Merris and Sunder 1990)

if T:planar, then a(G) <= 4, with = iff G=K_4 or K_(2,2,2)

if n >= 6 and G:non-isomorphic to K_n, then a(G) < 0.49

a(G) <= a(P_(D(G)+1))

2*cos(pi/n - cos(2pi/n))*κ(G) - 2*cos(pi/n * (1-cos(pi/n)))*Δ <= a(G)

------------------------------------------------------------------------------------------------------------------------

*Main Theory of matrix, or Fiedler vector, etc

y_i = 0 and i~j and y_j > 0이면 te k s.t. i~k and y_k < 0

y_i > 0이면 te j s.t. i~j and y_j < y_i

v:cut vertex, G - k = G_0+G_1+...+G_r일 때

y_k > 0이면 te! G_j s.t. contains a vertex(vertices) with negative valuation이고 나머지 components의 y값은 y_k보다 큼

y_k = 0이고 te G_j s.t. containing both positive and negative이면 te! G_j이고 나머지 components는 다 0

y_k = 0이고 te no G_j s.t. containing aboth positve and negative이면 각 G_k들은 모두 only positive or only negative or only zero

(y_k < 0인 경우도 결국 설명됨, eigenvector니까)(Fiedler 1975)

G:connected with at least one cut vertex일 때 다음 2가지 중 1가지는 반드시 성립(Fiedler 1975)

(a)

te! B0 in which contains both positively and negatively.

Each other block has either vertices with positive only, negative only, or zero only

Every pure path P starting at B0 and containing just one vertex k in B0 has the property that the valuations at the cut vertices contained in P form either an increasing, decreasing, or zero sequence along this path.(pure path란 각 block의 articulation을 0,1번만 지나는 path)

a(G) is simple

(b)

No block of G contains both positive and negative.

te! j which has zero and is adjacent to a nonzero and j is a cut vertex.

Each block contains either positive only, negative only, or zero only.(zero랑 positive가 같이 있는 경우도 없는!)

Every pure path P starting at j has the property that the valuations at the cut vertices contained in P form either an increasing, decreasing, or zero sequence along this path.

the induced subgraph from zero is connected

위의 내용을 Tree에 적용하면(Fiedler 1975)

(a)

all valuations are nonzero

te! ij s.t. yi >0 and yj < 0

any path from i not containing j 는 increasing concave down(위로 볼록)

any path from j not containing i 는 decreasing concave up(아래로 볼록)

a(G):simple

(b)

te! i s.t. yi = 0 and i is adjacent to nonzero

any path from i 는 increasing concave down(위로볼록), decreasing concave up(아래로 볼록), or identically zero.

T:tree일 때

L_k:invertible,

inv(L_k)_(i,j) = sum over all edge in P_(i,j) 1/w(edge)

, where P_(i,j):the set of edges of T which are simultaneously on the path from i to k and on the path from j to k, w:weight

inv(L_k) permutationally similar to a block diagonal matrix in which each block is positive and correponds to a branch at k.(즉 Lap(T)에서 branch에 해당하는 submatrix의 inverse가 됨)(Kirkland, Neumann, Shader, 1996)

T:tree일 때

T:type I with characteristic vertex k iff te two or more Perron branch of T at k.

Moreover, a(T) = 1/specR(inv(L_k)), where L_k:Lap(G)에서 kth row와 kth column제거한 것. (Kirkland, Neumann and Shader 1996)

T:tree, i~j일 때

T:type II with characteristic vertices i,j iff te 0 < eps < 1 s.t. specR(M1 - eps * J) = specR(M2 - (1 - eps) * J)

Moreover, a(T) = 1/specR(M1 - eps * J) = 1/specR(M2 - (1 - eps) * J) and the branch at i containing j is the unique Perron branch at i and the branch at j containing i is the unique Perron branch at j

where M1:bottleneck matrix for the branch at j containing i, M2:bottleneck matrix for the branch at i containing j. (Kirkland and Neumann 1997)

T:tree일 때

T:type I iff te! i s.t. te two or more Perron branches at i

T:type II iff for any i, te! Perron branch at i(Kirkland, Neumann and Shader 1996)

T:tree type I with characteristic vertex i이고 am(a)=k이면 i has exactly k+1 Perron branches(Grone and Merris 1987)

T:tree, i:non-characteristic vertex이면 te! Perron branch at i and the branch contains all of the characteristic vertices of T(Kirkland, Neumann and Shader 1996)

For positive integers k1,k2,...,km, form an tree T by taking a vertex x and making it adjacent to the root vertices of both T(k1,k2,...,km) and T(km,...,k1). Then T is a type I tree with characteristic vertex x.

where T(k1,k2,...,km):한 vertex x에서 k1개 pendant붙이고 각 pendant에 k2개 pendant붙이고...km까지(Kirkland 1999)

T:tree, B:branch at i which does not contain all of the characteristic vertex(vertices) of T. Form T' from T by replacing the B by some other branch B' at i.

M:the bottleneck matrix of B, M':the bottleneck matrix of B'

if M << M', then

a(T') <= a(T)

the characteristic vertices of T' are either on the path joining the characteristic vertices of T to i, or they are located on B'(Kirkland, Neumann 1997)

(A << B means te P,Q s.t. P:Permutation MT, Q:permutation MT, if the order of A < the order of B, PArt(P) is entrywise dominated(<=) by a psubMT of QBrt(Q), if the order of A = the order of B, PArt(P) is entrywise dominated by QBrt(Q) with at least one strictly inequality)

the corollaries

위의 내용을 adding a pendant vertex로 보면

a(T') <= a(T)

the characteristic vertices of T' lie on the path between the characteristic vertices of T and the new pendant vertex.(Kirkland, Neumann 1997)

위의 내용을 change B to path로 보면

Form T' from T by replacing B(the order of B is k) by P_k with i adjacent to the end of P_k, then

a(T') <= a(T)

위의 내용을 change B to star로 보면

Form T' from T by replacing B(the order of B is k) by K_(1,k-1) with i adjacent to the center of the star, then

a(T) <= a(T')

위의 내용을 subtree인 경우를 보면

Any subtree T' of T, a(T') <= a(T)

T:type I with characteristic vertex i, d(i)=d, B1,B2:Perron branches, B3,B4,...,Bd:other branches, |B3UB4U...Bd|=k

Let H:any graph on k vertices

Form G from T by discarding B3,B4,...,Bd and adjoining i to some or all vertices of H.

Then a(G) <= a(T) (Grone and Merris 1990)

------------------------------------------------------------------------------------------------------------------------

*Graph Perbutation and related theorems

G -> G'=L(G)

G -> G'=bar(G)

a(G') = n - μ_G(1)

G -> G'=T(G)

(G,v) -> G'=G-v

a(G') >= a(G) - 1

(G,v) -> G'= (G-v and then +e), smoothing of v

(G,v,k,l), k >= l >= 1, -> G' = v에서 길이가 k, l인 path를 attaching, G'' = v에서 길이가 k+1, l-1인 path를 attaching

a(G') >= a(G'') (Guo 2010)

(G,v) -> G' = adding some edges among pendent vertices at v

if a(G) != 1, then a(G) = a(G') (Shao, Guo and Shan 2008)

(G,U,V) -> VD(G) = (G[U], G[V])

a(VD(G)) <= min(a(G[U]) + |V|, G[V] + |U|)

(G,v,u1,u2,...,uk), each ui not adjacent to v -> G' = G+H, where V(H)=(v,u1,...,vk), v~ui for any i

if G' not K_n, then a(G') - a(G) <= k - eps where eps is the smallest positive root of

"d(v) * eps * (k - eps) - (1 - eps)^2 * (k - 1 - eps)^2" (Kirkland, Oliveira and Justel 2011)

(G,e) -> G'=subdivision of e

a(G') <= a(G)

(G,e) -> G'=contraction of e

(G,e) -> G'=G-e

a(G') <= a(G)

(G,e) -> G'=G+e,

a(G') >= a(G)

(G,v,e) -> G'=G+pe

if G, G':both trees, then a(G') <= a(G)

G1, G2 -> G1+G2

a(G1+G2) = 0

G1, G2 -> G1VG2

a(G1vG2) = min(a(G1)+n2, a(G2)+n1)

G1, G2 -> G1xG2

a(G1xG2) = min(a(G1), a(G2))

G1, G2 -> EDP(G1,G2)

G1, G2 -> DS(G1,G2)

a(DG(G1,G2)) >= a(G1) + a(G2)

(G1,u), (G2,v) -> G = identifying u and v

a(G) <= min(a(G1),a(G2))

(G1,u), (G2,v) -> G' = (G1+G2) + (uv), G'' = G' and then identifying u and v(say u) and then +(uw),

a(G') <= a(G'') (Guo 2010)

(G,u,v) with some nbds of v(Specifically, {v1,v2,...,vs}:subset of N(v) - N(u) and any vi is different from u), G' = G - vv1-vv2-...-vvs + uv1 + uv2 + ... + uvs

if y(u)=y(v), then a(G') <= a(G)(Lama 2016)

-----------------------------------------------------------------------------------------------------------------------

*Extremal Problems

(Among tree, n, D(G))a(T(a,b,c)) is the minimum where a = ]](n-c)/2[[, b = [[(n-c)/2]], c = D(G) - 1(Fallat and kirkland 1998)

------------------------------------------------------------------------------------------------------------------------

*Problems

(Among Tree)one edge subdivision always make a(G) decreasing.

------------------------------------------------------------------------------------------------------------------------

읽었는 논문

읽을 논문

*Special Functions

1. Gamma function(T(z)라 적자.)

-History:Euler가 Factorial function n!의 domain 확장할 때 알아냄

-정의:factorial의 일반화(link1)(link2)

-성질:

-T(z):meromorphic with poles 0, (-1), (-2), ... 

-(1/T(z)):entire with zero at 0, (-1), (-2), ... 

-T(z+1)=z*T(z), T(1)=1(link)

-T(1/2)=sqrt(pi), T(3/2)=sqrt(pi)/2 (더 감소한다, 증가할 것 같았는데)(link)

-Re(z)>0인 z에 대해 T(z)는 적분으로 표현가능(link1)(link2)

2. Beta function(Β(z1,z2)라 적자.)

-정의:for Re(z1)>0, Re(z2)>0, Β(z1,z2):=int over [0,1] t^(z1 - 1) * (1-t)^(z2 - 1) dt.

-성질:

-Β(z1,z2)는 z1,z2에 대해 symmetry

-Β(z1,z2)={T(z1)*T(z2)}/(T(z1+z2))(link1)(link2)

Probability, Statistics, and Process

-About Random Variable(rdv:(J1,C4(J1))->(R(std),C4(TS)), Z라 표현, ((ETR,C4(TS))에서도 다룰 때가 있음))

-Z는 MF이다. MF성질 다 만족

-rdv충분조건

-monotone이면 rdv이다.

-(R(std),C4(TS))에서 C4(TS)의 generating set에 대해서만 판단해도 됨

-정의역이 metric space인 경우, rdv가 conti이면 MF됨

-conti(rdv):rdv됨, 특히 rdv_1+rdv_2 같은 것도 rdv(각 rdv의 C4들이 같을 때 이야기)

-{rdv_n}에서 각 rdv_n의 C4들이 다 같을 때

-sup rdv_n, inf rdv_n, limsup(rdv_n), liminf(rdv_n) 모두 MF가 된다.(ETR,C4(TS))

-{x in J1 s.t. lim rdv_n(x) exists}는 C4(J1)의 원소이다.

-Event 분석

-E1=liminf {rdv_n = a}, E2=limsup {rdv_n = a}

-E3={liminf rdv_n = a}, E4={limsup rdv_n = a} 

-E5={lim rdv_n = a}

이면 

-E1:rdv_n(x)가 어느 순간부터 쭉 a인 x들

-E2:rdv_n(x)가 무한번 a인 x들

-E3:rdv_n(x)의 subsequence의 수렴값 중 가장 작은게 a인 x들

-E4:rdv_n(x)의 subsequence의 수렴값 중 가장 큰게 a인 x들

-E1<E2

-E1<E3

-E1<E4

-E1<E5

-E3교E4=E5

-E3=c-intersection over k, liminf {1-c_k<= rdv_n} 교 limsup{rdv_n<=1+c_k} for dec seq c_k cv to 0

-E4=c-intersection over k, liminf {rdv_n<=1+c_k} 교 limsup {1-c_k<=rdv_n} for dec seq c_k cv to 0

(따라서 E1혹은 E1의 여집합의 정보를 아는 것이 가장 강력하다.)

(Borel-Cantelli, Fatou, Borel Zero-one Law 등 rdv의 liminf, limsup이 아니라, Event의 liminf, limsup에 관한 것)

(따라서 E3, E4등이 나오면 Event의 liminf, limsup으로 바꾸고 다뤄라.)

-C4(f), (f:(J1,C4(1))->(R,C4(TS), f가 rdv란 가정은 없음)

-정의:f가 rdv되게끔 하는 smallest C4 of subsets of J1

(rdv_1, rdv_2가 있을 때 C4(rdv_1 + rdv_2) or C4(sup rdv_1, rdv_2)등은 rdv_1, rdv_2의 형태에 따라 다르다, 단지 알 수 있는 것은 C4(rdv_1 + rdv_2)<C4(rdv_1, rdv_2)와 C4(sup rdv_1, rdv_2)<C4(rdv_1, rdv_2)라는 것만 알 뿐)

-C4(rdv_i)

-정의:rdv_i들 모두가 rdv가 되게끔 하는 smallest C4 of subsets of J1(rdv_i들의 정의역은 모두 같을 때 논의)

-C4(rdv_n>k)

-정의:rdv_(k+1), rdv_(k+2)...모두가 rdv가 되게끔 하는 smallest C4 of subsets of J1

-C4(rdv_n<=k)

-정의:rdv_1, rdv_2, ..., rdv_k 모두가 rdv가 되게끔 하는 smallest C4 of subsets of J1

-C4(rdv)<C4(1)

-for C:collection of subsets of R s.t. C4(C)=C4(TS) of R, C4(rdv^(-1)(C))=C4(rdv) 

-C4(lim rdv_n)의 대표적인 예

-C4(limsup rdv_n)의 원소들

-C4(liminf rdv_n)의 원소들

-{x in J1 s.t. lim rdv_n(x) exists}

-{x in J1 s.t. c-sum rdv_n(x) cv}

-{x in J1 s.t. lim n->inf [rdv_1+rdv_2+...+rdv_n]/n = a}

-ProbM(|rdv1|<inf)=1이면 for any eps>0, te bdd rdv2 s.t. ProbM(rdv1 ≠ rdv2)<e

-Two seq of {rdv1_n}, {rdv2_n}이 tail-equivalent

-정의:c-sum ProbM({rdv1_n ≠ rdv2_n})<inf

-성질

-{rdv1_n}과 {rdv2_n}이 tail-equivalent이면 

-c-sum (rdv1_n - rdv2_n)<inf a.e.

-c-sum (rdv1_n):pt cv a.e. iff c-sum (rdv2_n):pt cv a.e.

-te {a_n} in R^N and te rdv s.t. (sum from k=1 to k=n rdv1_k)/a_n:pt cv a.e. to X이면

(sum from k=1 to k=n rdv2_k)/a_n:pt cv a.e. to X이다.

-About Random Vector((J1,C4(J1))->(R^n,C4(TS)), RDV라 표현, coordinate function은 rdv1,rdv2,...로 표현)

-RDV가 MF이다. 따라서 MF의 성질을 따름

(예를 들면 RDV가 Random Vector iff rdv1, rdv2, ..., rdvn이 rdv)

(또는 MF를 composite해도 MF유지)

-C4(RDV)=C4(rdv1, rdv2, ..., rdvn)

-rdv와 마찬가지로

-RDV가 있으면 (R^n,C4(TS))에 Distribution을 정의할 수 있고, DF(x):=Distribution((-inf,x])로 정의함

((-inf, x]따위를 논하기 위해 R^n에 ordering을 줌)

-DF(x)가 다음을 만족하면, (R^n,C4(TS))에 Distribution(Probability Measure)을 정의할 수 있다.

-lim x->inf(각각의 coordinate모두가) DF(x)=1

-for some x_i, lim x_i ->inf DF(x)=0

-DF is conti from above

-R^n 에서 inc

-DF(x)로도 rdv1,...,rdvn의 ind판정가능

-rdv1,rdv2...등 여러개 있고, 그것의 함수의 distribution 구하기(즉 f(RDV) 형태의 distribution)

-Method1, Use Transformation theorem

-Method2, Use chf

-Method3, Use Transformation and Jacobian(RDV의 joint density을 알고 있을 때)(link)

-About Probability Mass Function for RDV

-정의:discrete RDV가 있을 때 (R^n,C4(TS))에 정의된 Measure을 Probability Mass Function이라 하고 pmf라 적자.

-About Marginal Distribution 

-정의:RDV에서 rdv1을 제외하곤 나머진 inf을 둠으로써 marginal DF을 얻을 수 있다.

(RDV의 Density를 통해 Marginal의 Density도 구할 수 있다.)

-성질

-Marginal Distribution이 같다고해서 Joint Density가 같다곤 보장 안해줌

-RDV가 density를 가지면 marginal density도 항상 존재한다.

-

-About Probability Measure(ProbM이라 하자.)

-f-M이다.

-f:C4->[0,1], f(J)=1이고 f가 finite-additive이면 다음 4개가 모두 동치이다.

-f가 ProbM이다.

-f가 conti from below

-f가 conti from above

-for {E_n} in (J,C4,M) s.t. ProbM(E_n)=1, ProbM(c-intersection E_n)=1

-for {E_n} in (J,C4,M) s.t. ProbM(E_n)=0, ProbM(c-union E_n)=0

(따라서 liminf, limsup 형태의 set을 ProbM을 구할 때 도움 됨)

-almost trivial C4란, 모든 원소의 ProbM이 0이거나 1일 때, C4를 almost trivial C4라 하자.

-ProbM(f-intersection k=1 to k=n E_k)=ProbM(E_1)*(f-product k=2 to k=n ProbM(E_k|f-intersection j=1 to j=k-1 (E_j))(link)

-(The Inclusion-Exclusion Formula)(link)

{E_n}:finite seq, 

M(f-union E_n}=f-sum(M(E_n)) 

- sum 1<=i<j<=n M(E_i 교 E_j) 

+ sum 1<=i<j<k<=n M(E_i 교 E_j 교 E_k)

...+(-1)^(n+1) * M(E_1교E_2교...교E_n)

-Transformation Theorem에 의해, E[X]를 abstract space인 X의 정의역상의 적분으로 구하지 말고, ProbM을 이용하여 Distribution F을 구한다음에 R에서 적분하면 된다.

-(J1,C4(J1))=(R(std),C4(TS))인 경우

-Probability Measure induced by DF라면 {all atoms}={{x} in R s.t. DF(x)-DF(x-)>0}

-About Independence(1개의 ProbM에 대한 Concept)

-{finite개의 events}, {finite개의 classes of events C_n}, {arbitrary개의 classes of events C_t}, {arbitrary개의 rdv_t}

(각각 정의 조심)

-{arbitrarily index개의 classes of events C_t}가 ind이고 각 C_t가 PC이면 {C4(C_t)}도 ind이다.(link)

(이걸로써 two events E_1과 E_2가 ind이면 (E_1)^C와 E_2가 ind인 것도 앎)

(이걸로써 rdv_1, rdv_2가 ind인지는 ProbM(rdv_1<=x, rdv_2<=y)=ProbM(rdv_1<=x)*ProbM(rdv_2<=y)만 따지면 됨)

-rdv_1, rdv_2가 ind, f:MF, g:MF이면 f(rdv_1), g(rdv_2)도 ind이다.

(절댓값을 씌우든 제곱을 하든, exp()을 하든... ind가 유지됨)

-{rdv1_n}, {rdv2_n}, for each n rdv1_n과 rdv2_n이 ind이고 {rdv1_n}:pt cv a.e. to rdv1, {rdv2_n}:pt cv a.e. to rdv2라면 rdv1과 rdv2는 ind이다.(link1)(link2)

-(Grouping Lemma)(link)

:T:index set, {arbitrary개의 C4_t}가 ind, S:another index set, {T_s} is a partition of T일 때 {C4_(T_s)}는 ind이다.

(C4_(T_s)란 T_s의 원소 t_0의 C4인 C4_(t_0)들을 포함하는 (over t_0 in T_s) 가장 작은 C4를 가리킴)

({arbitrary개의 rdv_t}가 ind일 때 주로 사용함)

-f-dim DF를 이용하여 {arbitrary개의 rdv_t}의 ind판정 가능(iff로)

-(Reyni's Theorem)(ind가 아닐 것 같은데 ind인 경우)

:{X_n}:iid with common conti DF, {R_n}:relative rank of {X_n}, E_n=[X_n is a record]일 때

(R_n은 X_1,...,X_n 중 X_n의 순위, 따라서 1,2,3,...,n이란 값을 가질 수 있다.)

(E_n은 X_n이 X_1,...,X_(n-1) 모두 보다 큰 event)

-ProbM[a tie occurs]=0

-{R_n}:ind이고 ProbM[R_n=k]=1/n for k=1,2,3,...,n

-{E_n}:ind이고 ProbM[E_n]=1/n(사실 ProbM[R_n=1]과 같음)

-(Kolmogorov's Convergence Criterion+Kronecker's Lemma을 이용하면)

lim n->inf (n까지 record일어난 횟수/ ln(n)) =1 a.e.인 것도 알 수 있다.(link1)(link2)

-(Borel Zero-One Law, BZO){E_n}:ind events일 때

-c-sum ProbM(E_n)<inf이면 ProbM(limsup(E_n))=0

-c-sum ProbM(E_n)=inf이면 ProbM(limsup(E_n))=1

(ProbM(liimsup(E_n))은 0아니면 1이다. 따라서 ProbM(limsup(E_n))형태로 만들고 주어진 것과 ProbM비교하라.)

note)ProbM(limsup(E_n))=1이 되는 다른 충분조건

-c-sum n=k to n=inf ProbM(E_n|f-intersection i=k to k=n-1 (E_i)^C)=inf for all k({E_n}이 ind일 조건이 없어도)

(Kolmogorov Zero-One Law)(link)

:{X_n}:ind일 때, for any E in C4(lim X_n) ProbM(E)=0 or 1(즉 C4(lim X_n) is almost trivial)

-따라서 [c-sum X_n:cv] 등 대표적인 C4(lim rdv_n)의 원소들은 {rdv_n}이 ind이면 ProbM이 1이거나 0이다.

-{X_n}:ind일 때, tail rdv Z에 대해 P[Z=c]=1인 c가 유일하게 존재

-{X_n}:ind일 때, 대표적인 tail rdv는 

-limsup X_n

-liminf X_n

-{X_n}:ind일 때, 대표적인 tail event

-lim X_n(it exist하는 event)

-c-series X_n(it cv하는 event에서)

-{E_n}:iid, seq of events 이면 ProbM(c-intersection E_n)=c-product ProbM(E_n)

-(J1,C4(1),ProbM1), (J2,C4(2),ProbM2)의 Product Measure on PrC1에서

-C4(1)*와 C4(2)*는 independent

-X1:(J1,C4(1))->(ETR,C4(TS)), X2:(J1,C4(2))->(ETR,C4(TS))

X1*와 X2*는 independent

-rdv1, rdv2:ind이면 E[rdv1*rdv2]=E[rdv1]*E[rdv2](link)

-rdv1 with DF1, rdv2 with DF2, rdv1, rdv2:ind이면 rdv1+rdv2의 DF는 DF1 conv DF2(link) 

-rdv1 with density1, rdv2 with density2, rdv1,rdv2:ind이면 rdv1+rdv2의 density는 density1 conv density2

-RDV=(rdv1,rdv2)의 density = rdv1의 density * rdv2의 density iff rdv1과 rdv2는 ind

-{rdv_n}:ind이고 S_n = sum from i=1 to i=n rdv_i의 성질(iid인 경우는 random walk와 Sample Distribution 참조)

-(Skorohod's Inequality)(link)

:a>0, c=sup over 1<=i<=n ProbM(|S_n - S_i|>a)<1이면

ProbM(sup over 1<=i<=n |S_i|>2a)<={ProbM(|S_n|>a)}/1-c

(즉 stochastic process의 sum의 sup의 확률이 final term의 확률로 표현이 가능하다.)

-(Kolmogorov's Inequality)(link)

:a>0, E[rdv_n]=0

ProbM(sup over 1<=i<=n |S_i|>a) <= E[(S_n)^2]/a^2

(Skorohod's Inequality보단 가정이 쎄서 이론적으로 약하지만, 응용하기엔 좋음)

-(Levy's Theorem)(link)

:{S_n}:pt cv a.e. iff {S_n}:cv in M

(즉 ind인 rdv_n의 S_n은 cv in M만 보여도 pt cv a.e.까지 됨)

-(Kolmogorov's Convergence Criterion, KCC)(link)

:lim n->inf V[S_n]<inf이면 lim n->inf (S_n - E[S_n]):pt cv a.e.

(가정부분이 성립하면 사실상, {S_n - E[S_n]}:cauchy in L2, 따라서 {S_n - E[S_n]}:cv in L2도 됨)

-(Partial Converse)(link)

:{rdv_n}이 uniformly bdd가 되면 역이 성립

-{rdv_n}:uniformly bdd이고 S_n:pt cv a.e.이면 E[S_n]:cv to finite value(link)

-(Kolmogorov's Three Series Theorem, KTS)(link)

:S_n이 pt cv a.e.iff te c>0 s.t.

-sum from n=1 to n=inf ProbM(|rdv_n|>c)<inf

-sum from n=1 to n=inf E[rdv_n * indi_{|rdv_n|<=c}]<inf

-sum from n=1 to n=inf V[rdv_n * indi_{|rdv_n|<=c}]<inf

(한 c에 대해 성립하면 모든 c에 대해서도 성립하고 {rdv_n}:nnn, ind였다면 V[~]조건은 redundant)

 -Convergence

-(Egoroff's Theorem)(link)

:{rdv_n}:finite a.e., pt cv a.e. to rv rdv이면 {rdv_n}:almost uni cv

-{rdv_n}:pt cv a.e. to a rdv이면 {rdv_n}:cv in M(link)

-{rdv1_n}:cv in M, {rdv2_n}:cv in M이면 {rdv1_n * rdv2_n}:cv in M

-{rdv_n}:cv in M iff every subseq of {rdv_n} has a further subseq that pt cv a.e.(link)

-{rdv_n}:cv in M(real-valued) g:(R,C4(TS))->(R,C4(TS)):conti이면 {g(rdv_n)}:cv in M

-{rdv_n}:cv in M(real-valued), monotone이면 {rdv_n}:pt cv a.e.도 된다.

-{rdv_n}:pt cv a.e. to 0이면 표본평균(iid조건없이 general)도 pt cv a.e. to 0

-{rdv_n}:cv in Lp(p>=1) to 0이면 표본평균(iid조건없이 general)도 cv in Lp to 0

-다음 3개는 동치이다.(1<=p<inf)(link1)(link2)

-{MF_n}:cv in Lp

-{MF_n}:cauchy in Lp

-{|MF_n|^p}:u.i. and cv in M (즉 Lp with finite measure, 1<=p<inf는 BS임을 보여준다.)

-(Scheffe's Lemma for DF_n)(link1)(link2)

:{DF_n} with densities {f_n}, DF with density f가 있을 때(즉 DF_n이나 DF 모두가 abs conti with another measure)

sup over E in C4(TS) of R(std) |DF_n(E) - DF(E)| = 1/2 int |f_n - f| (int는 LM에 대해서)

(즉 {DF_n}이 cv in total variance to DF이면 {densities_n}:cv in L1 to density of DF)

역으로 {f_n}:pt cv (another measure)-a.e. to f이면 {f_n}:cv in L1 to f and thus DF_n cv in total variation to DF

-{rdv_n}:pt cv a.e. to rdv이면 {rdv_n}:cv in distrb to rdv(link)

-{rdv_n}:cv in distrb to rdv ({DF_n}, DF)일 때, 

for t s.t. 0<t<1 and DF^(-1):conti at t, {(DF_n)^(-1)(t)}:cv to DF^(-1)(t)(link)

(즉, {rdv_n}:cv in distrb하면 left-conti inverse도 거진 cv in distrb)

-{rdv_n}:cv in distrb to constant이면 cv in M도 됨(link)

({rdv_n}:cv in distrb to constant iff {rdv_n}:cv in M to constant)

-{rdv_n}:cv in distrb to rdv(with DF:conti)이면 DF_n:uni cv to DF(link1)(link2)

-(Baby Skorohod's Theorem)(link)

:{rdv1_n}:cv in distrb to rdv1이면 

te {rdv2_n}, rdv2 s.t.

-{rdv2_n}와 rdv2 defined on ([0,1],C4(TS),LM)

-rdv2_n =_d rdv1_n

-rdv2 =_d rdv1

-{rdv2_n}:pt cv a.e. to rdv2

-(Continuous Mapping Theorem)(link1)(link2)

:{rdv_n}:cv in distrb(pt cv, M) to rdv, MF:R->R with ProbM({rdv in {x s.t. MF is conti at x}})=1이면

{MF(rdv_n)}:cv in distrb(pt cv, M) to MF(rdv)

게다가 MF가 bdd이면 {E[MF(rdv_n)]}:cv to E[MF(rdv)]

(왜 continuous mapping Theorem이라 하냐면, MF가 conti일 때가 자주 쓰이므로)

(따라서 {rdv_n}:cv in distrb to rdv이면 {(rdv_n)^2}:cv in distrb to rdv 등 성립)

(주의해야할 것은, {rdv1_n}:cv in distrb to rdv1, {rdv2_n}:cv in distrb to rdv2한다해서 {rdv1_n + rdv2_n}:cv in distrb to rdv1+rdv2인 것은 아니다. 이러한 주장이 continuous mapping theorem적용해서 얻으려면 먼저 RDV_n의 element의 cv in distrb가 {RDV_n}:cv in distrb to RDV을 보장해주어야 하는데 이게 성립 안함, 따라서 Slutsky's Theorem이 의미가 있는 것)

-(Portmanteau Theorem)(link1)(link2)

:TFAE

-{rdv_n}:cv in distrb to rdv

-for any bdd and conti f, E[f(rdv_n)]->E[f(rdv)]

(bdd and uni-conti f에 대해서도 성립)

(conti and with compact support에 대해서도 성립)

-for any E in C4(TS) of R(std) with DF(bd(E))=0, {DF_n (E)}:cv to DF(E)

-{rdv_n}:cv in M이면 {rdv_n}은 cv in distrb(Using Portmanteau)

-(Slutsky's Theorem)(link)(asymptotically equivalent의 motive)

:{rdv1_n}:cv in distrb to rdv1, {rdv2_n}:cv in M to 0이면 rdv1_n + rdv2_n:cv in distrb to rdv1

(rdv3_n:=rdv1_n + rdv2_n이라두면 다음과 같이 state가능

-{rdv1_n}:cv in distrb to rdv1, {rdv3_n - rdv1_n=rdv_2}:cv in M to 0이면 {rdv3_n}:cv in distrb to rdv1

(즉 seq1가 cv in distrb하고 seq1-seq2가 cv in M to 0이면(asymptotically equivalent라함), seq2:cv in distrb to same of seq1)

-(Second Converging Together Theorem)(link)

:{rdv1_(un)}:cv in distrb to {rdv1_u} as n->inf

{rdv1_u}:cv in distrb to rdv1

for any eps>0, lim u->inf (limsup n->inf ProbM(|rdv1_(un) - rdv2_n|>eps)=0이면

{rdv2_n}:cv in distrb to rdv1

({rdv1_(un)}은 주로 {rdv1_n}의 truncation으로 택해짐)

(3번째 조건때문에 rdv1_(un)과 rdv2_n의 domain with C4가 같아야됨)

-About Convergence in Moments(기본적으로 integral과 limit의 change임, MCT, DCT 등을 이용할 생각)

-{rdv_n}:cv in Lp to rdv이면 ||rdv_n||_p:cv to ||rdv||_p

-{rdv_n}:cv in Lp to rdv이기 위한 충분조건은 {rdv_n}:cv in distrb to rdv and {(rdv_n)^(p+delta)}:u.i. for delta>0

(증명은 baby skorohod and u.i.이용)

-Integration on Probability Measure Space(f-M일 때를 가리킴, 만약 ProbM여야만 한다면 (ProbM일때만 가능)을 적기)

-rdv:integrable iff lim n->inf int over {|rdv|>n} |rdv| = 0(link)

-rdv_n:integrable, uni cv to rdv이면 rdv가 integrable이고 lim과 int change가능

-(Bounded Convergence Theorem)

:{rdv_n}이 uniformly bdd이면 DCT이용가능

-{rdv_i}:u.i. iff (link1)(link2)

sup over i int |MF_i|<inf and

for any eps>0. te delta>0 s.t. for any E in C4 with M(E)<delta, sup over i int over E |MF_i|< eps

-{rdv_i}:u.i.이고 rdv:integrable이면 {rdv_i - rdv}:u.i.이다.(link)

-(Jensen's Inequality)f:R->R, convex이면 E[f(Z)]>=f(E[Z])(ProbM일 때만 가능, 즉 전체 Measure가 1)(link)

-f:inc, g:inc, s:dec, t:dec일 때, 

E[f(rdv)*s(rdv)]<=E[f(rdv)]*E[s(rdv)]

E[f(rdv)*g(rdv)]>=E[f(rdv)*g(rdv)]

E[s(rdv)*t(rdv)]>=E[s(rdv)*t(rdv)]

(직관적으로는 E[f(rdv)]=0, E[s(rdv)]=0일 때, Cov생각)(link)

-Lp-space with f-M

-0<a<b<=inf에 대해 Lb<La(link)

-구체적으로, for f in Lb, ||f||_a <= ||f||_b (link)

(따라서 {MF_n}이 f-M에서 cv in Lb하면 cv in La도 됨)

-lim p->inf ||rdv||_p = ||rdv||_inf(link)

-{rdv_n}:uni cv이면 {rdv_n}:cv in Lp 된다.(0<p<=inf)(link)

-0<a<b<inf에 대해, {rdv_n}:cv in Lb이면 {rdv_n}:cv in La이다.

-About Cov, Cor

-rdv1, rdv2:ind이면 Cov[rdv1,rdv2]=0(역은 성립안함)(둘다 ND이면 역도 성립)

-(-1)<=Cor[rdv1, rdv2]<=1(link)

-Cor[rdv1,rdv2]=1 iff te a>0 s.t. ProbM(rdv2=a*rdv1+b)=1(link)

-Cor[rdv1,rdv2]=(-1) iff te a<0 s.t. ProbM(rdv2=a*rdv1+b)=1(link)

(즉, Cor은 rdv1과 rdv2의 linear 정도를 판단하는 기준이 되며, 주의할 것은 rdv1과 rdv2가 strong relation이 있다하더라도 linear가 아니라면 Cor의 절댓값은 작게 나올 수 있다.)

-몇가지 examples

-sample space J=countable, C4=P(J), 

-PrC1의 Measure(Product Measure보다 general한, using Kernel, or Transition function)

-건설(link1)(link2)

-Step 1 (J1,C4(1),ProbM1), (J2,C4(2)) (J2에는 ProbM가 없음), 에서 transition function을 건설

-Step 2 Prc1을 generating 하는 {all MR}에 PM 건설 using transition function and ProbM1

-Step 3 PM on {all MR}을 PrC1으로 extension(PM이 finite measure이므로 unique하게 extension가능)

-의의

-Transition function을 이용한 Measure on PrC1은 2개의 measure를 이용한 Product Measure on PrC1 보다 general하다.

-성질

-rdv on (J1xJ2,PrC1)이 있으면 Tonelli, Fubini Theorem처럼 rdv의 section의 int가 잘 정의되고, 

rdv의 int=rdv의 section의 int의 int(link1)(link2)

-Conditional Expectation, Conditional Probability

-정의:

-rdv:(J,C4,ProbM)->(ETR,C4(TS)), C:sub sigma-algebra of C4, rdv is in L1(ProbM)일 때, 

rdv로 만든 C에서의 f-sM의 density를 E[rdv|C]라 하고, Conditional Expectation of rdv given C라 읽는다.

(따라서 Conditional Expectation은 density이므로, 항상 적분형태로 써서 이용하도록 버릇들이자.)

-(J,C4,ProbM), E is in C4, C:sub sigma-algebra of C4일 때, ProbM(E|C):=E[indi_E|C]

-E[rdv|rdv_t, t is in T, T:index set]:=E[rdv|C4(rdv_t, t is in T)]

-V[rdv1|rdv2]:=E[(rdv1-E[rdv1|rdv2])^2|rdv2]

-for E1, E2 in C4 s.t. ProbM(E2)>0, ProbM(E1|E2)=ProbM(E1 intersection E2)/ProbM(E2)

-RDV=(rdv1,rdv2)이고 각 density(f)가 존재할 때, density of rdv1을 f1, density of rdv2을 f2라 할 때, 

f(x2|x1):=f(x1,x2)/f1(x1)으로 정의하고 conditional density of rdv2 given rdv1=x1이라 읽는다.

-

-성질

-E[rdv|C]:C-measurable and in L1(rdv:in L1이므로)

-for any E in C, int over E E[rdv|C] dProbM = int over E rdv dProbM

-(J,C4,ProbM)->(rdv1,rdv2) with joint density whose is abs conti with LM일 때, for E in C4(TS) in R(std)

ProbM(rdv2 in E|rdv1)은 marginal density of rdv1을 이용하여 표현된다.

-(linearity), rdv1 in L1, rdv2 in L1, a,b가 실수일 때, E[a*rdv1+b*rdv2|C]=a*E[rdv1|C]+b*E[rdv2|C]

-rdv:C-measurable and in L1이면 E[rdv|C]=rdv a.e.

-E[rdv|{empty, 전체}]=E[rdv]

-(Monotone)

:rdv:nnn and in L1이면 E[rdv|C]>=0 a.e.

-(Modulus Inequality)

-rdv:in L1이면 |E[rdv|C]|<=E[|rdv||C]

-(Monotone Convergence Theorem for Conditional Expectation)(link)

:{rdv_n}:nnn and pt cv a.e. to rdv and in L1, rdv:in L1일 때, E[rdv_n|C]:pt cv a.e. to E[rdv|C]

-(Fatou's Lemma for Conditional Expectation)(link)

:{rdv_n}:nnn and in L1일 때, E[liminf rdv_n|C]<=liminf E[rdv_n|C] a.e.

-(Dominated Convergence Theorem for Conditional Expectation)(link)

:{rdv_n}:pt cv a.e. to rdv and in L1, rdv1:in L1, |rdv_n|<=rdv2 s.t. in L1일 때, E[lim rdv_n|C]=lim E[rdv_n|C] a.e.

-(Product Rule)(link)

:rdv1:in L1, rdv2:C-measurable, rdv1*rdv2:in L1일 때, E[rdv1*rdv2|C]=rdv2*E[rdv1|C] a.e.

-(Smoothing, or Tower Property)(link)

:C*:sub sigma-algebra of C, rdv:in L1일 때, E[E[rdv|C]|C*]=E[E[rdv|C*]|C]=E[rdv|C*]

(특히, E[E[rdv|C]]=E[rdv], 특히 mixtured distribution에 쓰인다.)

-(Projections)(link)

:E[rdv|C] is the projection of rdv onto L2(C) if rdv is in L2(C4)

(즉, L2에선 Conditional Expectation을 Projection으로 볼 수도 있다.)

-C와 C4(rdv)가 ind일 땐 E[rdv|C]=E[rdv](link)

-rdv1, rdv2, rdv1:C-measurable, rdv2:ind wrt C, MF:R^2->R, bdd일 때

E[MF(rdv1,rdv2)|C](w)=E[MF(rdv1(w),rdv2)](link)

-(Jensen's Inequality for Conditional Expectation)(link1)(link2)

:f:R->R, convex, rdv:in L1, f(rdv):in L1일 때, f(E[rdv|C])<=E[f(rdv)|C]

-rdv:in Lp(p>=1)일 때, p-norm of E[rdv|C] <= p-norm of rdv(link)

(따라서, {rdv_n}:cv in Lp to rdv이면 {E[rdv_n|C]}:cv in Lp to E[rdv|C])

-rdv:in L1, {E[rdv|C]}, where collection of conditional expectation over C, is u.i.(link)

-for E in C4(TS) in R(std), (rdv1,rdv2) have joint density일 때 ProbM(rdv2 in E|rdv1)=?(link1)(link2)

-rdv1:in L2, rdv2:in L_inf일 때, E[rdv1*E[rdv2|C]]=E[rdv2*E[rdv1|C]]

-rdv:nnn(or | |취함) and in L1일 때, E[rdv|C]=int over [0,inf] ProbM(rdv>t|C] dt(link)

-(Markov's Inequality, Chebysheff's Inequality for conditional expectation)(link)

:ProbM[|rdv|>=a|C]<=a^(-k)*E[|rdv|^k | C]

-(Conditional Variance Identity)(link)

:V[rdv1]=E[V[rdv1|rdv2]+V[E[rdv1|rdv2]]

-----------------------------------------------------------------------------------------------------------

-Conditional Expectation을 알 경우 전체 Expectation을 구할 수 있음

(1반과 2반의 평균과 학생수를 알면 1반+2반 전체의 평균을 구할 수 있단 소리)

(Conditional variance는 위와 같은 성질이 만족하지 않음)

(반대로 E[Z]구함에 있어서 E[Z|X]를 이용할 수도 있다. unconditional mean=mean of conditional mean)

-E[Z1|Z2]:rdv, Z2->R->R

-E[Z1+Z2|Z3]=E[Z1|Z3]+E[Z2|Z3]

-E[aZ1|Z2]=aE[Z1|Z2]

-E[Z|Z]=Z

-E[Z1|Z1,Z2]=E[Z1], E[Z1|Z2,f(Z2)]=E[Z1|Z2]

-(unconditional mean=mean of conditional mean)E[E[Z1|Z2]]=E[Z1]

-E[E[Z1|Z2,Z3]]=E[Z1|Z2], E[E[Z1|Z2]|Z2,Z3]=E[Z1|Z2]

-V[Z1]=E[V[Z1|Z2]]+V[E[Z1|Z2]]

-----------------------------------------------------------------------------------------------------------

-About Distribution Function, DF, PDF

-DF의 정의:R(std)->[0,1], right-conti, inc, F(-inf)=0, F(inf)=1

(F(-inf)=0이나 F(inf)=1 둘 중 하나가 성립하지 않고 나머진 다 성리한다면, defective DF라 하자.)

-DF의 motive는 rdv:(J1,C4, ProbM)->(ETR,C4(TS)), ProbM과 rdv를 이용하여 (ETR,C4(TS))에 ProbM에 주는 것

(특히 ETR을 generating하는 closed left rays에 관해서)

-Distribution의 정의:ProbM2(E)=ProbM(rdv^(-1)(E)) for any E in C4(TS)

(즉 DF는 Distribution(Measure)의 정의역이 제한된 형태)

-DF((a,b]):=DF(b)-DF(a)

-rdv1 =_d rdv2란, rdv1과 rdv2의 DF가 같음을 의미한다.

-{DF_n}:cv to DF(which is DF or defective DF)

-{DF_n}:cv vaguely to DF 

:for I=(a,b] s.t. DF is conti at a and b, DF_n (I) cv to DF(I) (pt cv 랑 비슷하게 임의의 I fixed하고 n을 inf로)

-{DF_n}:cv properly to DF

:{DF_N}:cv vaguely to DF and DF:non-defective

-{DF_n}:cv weakly to DF

:{DF_n}:pt cv to DF for x s.t. DF:conti at x

-{DF_n}:cv completely to DF

:{DF_n}:cv weakly to DF and DF:non-defective 

(위 4개의 cv의 definition은 DF가 non-defective이기만 하면 4개 모두 equivalent)

(DF_n, DF 모두 rdv에서 induced된거인 경우, 위의 4개 모두 equivalent하다.)(link)

(그때 {DF_n}의 cv를 cv in distrb 혹은 {rdv_n}:cv in distrb라 하자.)

-{DF_n}:cv in total variation to DF

:{sup over E in C4(TS) of R(std) |DF_n(E) - DF(E)|}:cv to 0(real numbers seq의 cv) 

(rdv_n, rdv로 induced된 DF_n, DF의 cv를 논할 땐 rdv_n과 rdv의 domain이 일치할 필요가 없다.)

-DF의 성질({DF_n}의 cv관련해서는 {rdv_n}의 convergence란에 적기로 한다.)

-DF is determined on a dense set of R(std)(link)

(즉 DF1과 DF2가 dense set에서 같다면, R에서도 같음)

-inc이므로 불연속점이 at most countable

-right-conti

-{x in R s.t. DF(x)>=y} is closed in R(std)

-DF가 conti이면 uni conti도 됨

-DF가 conti이고 rdv with DF라면, DF(rdv)~UD([0,1])(link)

-DF:conti iff ProbM(X=a)=0 for any a in R

-rdv1 =_d rdv2이면 E[rdv1^n]=E[rdv2^n] 따라서 V[rdv1]=V[rdv2]도 앎

-rdv1 =_d rdv2이면 MF(rdv1) =_d MF(rdv2) where MF:(R, C4(TS))->(R, C4(TS)), measurable

-Continuous rdv의 FR(Failure Rate, Hazard Rate라 하기도 한다.)

-정의:for x>0, FR(t):=lim x->0+ {ProbM(t<=rdv<t+x|rdv>=t)/x}

-의미:rdv가 the failure time of an item일 때, FR(x)는 the rate of instantaneous failure을 가리킨다.

-성질:(rdv:the failure time of an item, DF:the rdv의 DF, pdf:the rdv의 density)

-FR(t)=pdf(t)/(1-DF(t))

-{DF}, family of DF(defective일 수 있음)의 성질

-E:countable dense in R(std), {DF_n}:seq of DF(defective일 수도 있음)일 때, 

te subseq {DF_(n_k)} s.t. weakly cv to DF(defective일 수도 있음)(link)

-(Selection Theorem)

:Any seq {DF_n} contains a weakly cv subseq(defective일 수도 있음)(증명은 바로 위 문장 이용)

-Collection of DF(not defective)관련

-Collection of DF(not defective)가 relatively compact의 정의

:every seq in the collection has a subseq weakly cv to DF(not defective)(즉 complete cv도 됨)

-Collection of DF가 tight의 정의

:for all eps>0, te K in R(std) s.t. for all DF in the collection, 1-DF(K)<eps

-{rdv_n}이 stochastically bdd의 정의

:{DF_n}이 tight

-(Prohorov's Theorem)(link)

:collection of DF(not defective)가 relatively compact iff the collection is tight

-{rdv_n}관련해서 stochastically bdd 충분조건

-{rdv1_n}, {rdv2_n} 둘 다 stochastically bdd이면 {rdv1_n + rdv2_n}도 stochastically bdd

-te a>0 s.t. limsup n->inf E(|rdv_n|^a)<inf

-{rdv_n}이 [a,b]에서만 함숫값을 가질 때(for all n)

-rdv_n =_d rdv2_n s.t. rdv2_n ~ND(mu_n, (sigma_n)^2), 이 때 {mu_n}, {sigma_n}이 bdd일 때

-DF(x)가 ProbM on (R(std), C4(TS))(즉, DF(E) for E in C4(TS))를 정의할 수 있다. using LM on (0,1]

-DF가 있으면 left-conti inverse of DF(DF^(-1)라 하자)를 생각할 수 있다.

-DF^(-1)의 성질

-DF^(-1):(0,1)->R(std)

-DF가 y값을 가지는 구간이 [x1,x2)일 때, DF^(-1)은 y에서 jumping

-DF가 x1에서 jumping이면(DF(x1-)<DF(x1)=y), DF^(-1)은 (DF(x1-),DF(x1)]에서 x1값을 갖는다.

-inc

-left-conti(link)

-DF(DF^(-1)(y))>=y

-DF(x)>=y iff DF^(-1)(y)<=x

(따라서 DF(x)<y iff DF^(-1)(y)>x도 성립)

(정리하면

DF(x)>=y이면 x>=DF^(-1)(y)

DF(x)>y이면 x>=DF^(-1)(y)

DF(x)<=y이면 x<=DF^(-1)(y)

DF(x)<y이면 x<DF^(-1)(y), 마지막 결과가 중요, 'x<...'에 등호가 안붙음

마찬가지로 DF^(-1)(y)<x일 때가 중요, y<DF(x)가 성립, 등호없이)

-for E in C4(R(std)), the inverse image of E of DF^(-1) is in C4(TS), TS=(0,1] as subspace of R(std) 

-{arbitrary개의 rdv_t} with index set T가 있을 때, E:finite subset of T이라 하면 f-dim DF for E를 정의 가능

-f-dim DF for E로 {arbitrary개의 rdv_t}의 ind 판정 가능(iff로써)

-About MGF

-정의:

-MGF_(rdv)(t):=E[exp(t*rdv)]

-MGF_(rdv)(t):exists if te a>0 s.t. (-a,a)에서 MGF_(rdv)가 finite

-성질:

-MGF_(rdv)(t):exists iff te K>0, c>0 s.t. for any x>0, ProbM(|rdv|>x) <= K*exp((-c)*x) (link)

-MGF_(rdv)(t):exists이면 

-kth-moment:finite(for all k=1,2,3,...), 즉 rdv in Lp for all p(link)

-MGF_(rdv)(t)의 t에 대한 taylor expansion에서 degree n의 계수=E[rdv^k]/k!(link)

-MGF_(rdv1)(t)=MGF_(rdv2)(t) for all t in R iff rdv1 =_d rdv2이다.

(MGF_(rdv1)(t)=MGF_(rdv2)(t) for all t in some neighborhood containing 0 이기만해도 ->성립)

-rdv1, rdv2:ind일 때, MGF_(rdv1+rdv2)=MGF_(rdv1)*MGF_(rdv2)

(모든 moments가 존재하더라도, MGF는 not exist가능)

-(Convergence of MGFs)

MGF_(rdv_n)(t):exists for all n, lim n->inf MGF_(rdv_n)(t)=MGF_(rdv)(t) for t in a nbd(0)이면 

rdv_n:cv in distrb to rdv

(rdv_n이 cv in distrb하는 지랑, limit의 distrb를 알 수 있게 해준다.)

-About chf

-정의:

-chf_(rdv)(t):=E[exp(i*t*rdv)] (iv function이고 항상 modulus가 1보다 같거나 작음)

-성질:

-elementray properties(modulus, uni-conti, etc)(link1)(link2)

-{chf_(rdv)}^2은 rdv - rdv*의 chf이다. where rdv*:iid with rdv

-rdv in L1이면 chf으로 E[|rdv|]구할 수 있다.(prob path책 p324, #9-(f)참고)

-MGF_(rdv)(t) exists for all t in R, 이면 Taylor Expansion가능 using exp(ix)(link1)(link2)

(MGF_(rdv)(t)가 exists하지 않더라도 어느 정도까지 expansion가능하기도 하다.)

-k-th abs moment가 finite이면 chf는 k번 미분가능하고, 

chf_(rdv)(t)를 k번 미분하면 E[(i*rdv)^k * exp(i*t*rdv)] for all t in R (link)

-for any rdv1 rdv2, rdv1 =_d rdv2 iff DF1=DF2 iff chf_(rdv1)=chf_(rdv2)(link1)(link2)(link3)

(rdv, DF, chf s.t. chf:integrable이면 bdd, conti인 density가 존재하고 chf를 적분함으로써 구할 수 있음도 앎)

-(Easy Part of Continuity Theorem for chf)

:{rdv_n}:cv in distrb to rdv이면 대응되는 chf_(rdv_n)(t) cv to chf_(rdv)(t) for all t in R

(continuous mapping theorem이용하면 바로 증명됨, deeper가 자주쓰임)

-(Deeper Part of Continuity Theorem for chf)(link1)(link2)

:lim n->inf chf_(rdv_n)(t)가 exist for all t in R, 일 때

-limit function이 0에서 conti이면 {DF_n}:cv in distrb to DF(not defective)

(이 때 DF는 limit function을 chf로 갖는 것)

(즉 cv in distrb의 충분조건이 될 수 있다. 역도 성립, 역이 바로 밑 문장)

-About Laplace Transform of densities

-성질:

-density1, density2가 다르면 laplace transforms도 각각 다르다. 

(단, density1, density2 둘 중 하나가 [0,inf)에서 0인 경우 제외)

->따라서 laplace transform of density를 보고 density를 알 수도 있다.

-Family of densities

-(Curved, or Full)Exponential families, Natural Parameter Space

-정의:(link)

(natural parameter space는 link안에서 w_i(theta)를 eta_i로 reparametrization해서 얻음)

-의미:어떠한 properties을 만족하는 densities의 family, 구체적인 density가 exponential families의 원소라면, 성질에 의해 moment계산등이 간편해짐

-curved exponential family란, exponential family와 같은 형태의 densities를 갖지만, parameter사이 restriction이 존재해서 dim(parameter)<k일 때를 가리킴, dim(parameter)=k일 때를 full exponential family라 함.

(즉, curved든 full이든 모두 exponential family이므로 일단 exponential family의 성질을 따름?)

-성질:

-어느 family of densities에서 원소의 support가 parameter vector에 depend하면 대게 exponential family되기 힘듦

(여기서 support는 pmf나 pdf가 양수인 정의역의 영역) 

-(Interchange differentiate and integral)(link)

-density function에 ln취하고 partial diff wrt theta한 뒤 pmf나 pdf에 x말고 X를 대입해서 E취하면 0

-density function에 ln취하고 partial diff wrt theta한 뒤 pmf나 pdf에 x말고 X를 대입해서 V취했을 때

-(Population의 density가 exponential families의 원소라면 statistic의 densities의 형태)

-Cramer-Rao Inequality에서의 Information Number를 구하기가 쉽다.

-Natural parameter space의 경우

-Natural parameter space는 항상 convex이다.

-Natural parameter space 또한 exponential families이므로 exponential families성질 만족

-E[t_i(X)]를 C^*(eta)로 구할 수 있다.(link)

-curved exponential family란, exponential families처럼 densities형태

-not exponential family의 예

-UD(0,theta)

-BD(n,p) with n:vary

-TD(n)

-Beta-binomial(a,b,n,p)

-Dirichlet-multinomial

-FD(n,m)

-CD(l,s)

-HGD(N,n,K)

-logistic distribution

-Location families, Scale families, Location-Scale families of the standard density 

-정의:density하나를 평행이동한 것들의 모임, scale한 것들의 모임, 둘다 한 것들의 모임(link)

-성질:

-families의 원소의 ProbM는 Standard density로 구할 수 있다.

-f:density이면 1/a*f((x-b)/a)) 또한 density(for any b, any a>0)

-rdv1 have density f1일 때, rdv2=b+(a*rdv1)은 density를 1/a*f((rdv2-b)/a))를 갖는다.

-복원추출 관련 분포

-Bernoulli-Distr(rdv~BrnD(p)로 표현)

-의미:rdv가 0,1(일반적으론 2개의 값)만 가질 때의 distribution 

-DF, MGF, moment(link)

-Exponential family됨

-chf(link)

-Binomial-Distr(rdv~BD(n,p)로 표현)

-의미:동일한 그리고 독립인 시행을 n번 했을 때 사건 A가 발생하는 횟수의 distribution

-DF, MGF, moment(link)

-Exponential family됨(n이 known이라 not in parameter vector일 때)

-rdv_n~BrnD(p)이고 iid이면, rdv=sum from i=1 to i=n rdv_i, rdv~BD(n,p)

-Characteristic, 

-rdv~B(n,p)일 때, Y=(rdv/n)이라 하면, E[Y]=p, V[Y]=p*(1-p)/n, 즉 n이 커질수록 Y는 p에 가까운 값을 가질 확률이 증가한다. 

-approximation by ND(np,npq) using CLT가능

-p=0.5이면 symmetric해서 approximation이 이해가 될 수 있으나

-예를 들어 p=0.3인경우 오른쪽 tail이 ignorable 

-np>3이면 ND로 approximation, np<=3이면 PD로 approximation

(PD(lambda=np)로 근사가 가능한 이유는 PD는 non-overlapping intervals에선 발생이 ind인 점과 lambda가 1초 동안 poisson process에서의 평균발생횟수임을 이용)

-approximatio할 때, rdv~BD(n,p), P[rdv<=30] approximated, P[ND<=30.5]로 한다. 0.5 correction필요

-Geometric-Distr(rdv~GD(p))

-의미:첫번째 사건 A가 일어날 때까지 시행하는 독립시행의 횟수의 distribution

-독립시행의 횟수의 분포이므로, memoryless property가짐

-DF, MGF, moment(link)

-Exponential family됨

-Characteristic, 

-Negative Binomial-Distr(rdv~NBD(r,p), r은 기준횟수, p는 1번 시행에서 A가 일어날 확률)

-의미:사건 A가 일어난 횟수가 r번이 될 때까지 시행하는 독립시행의 횟수(적어도 n)의 distribution

(사건 A가 r번 나오는 순간, 더이상의 시행은 없는 상황)

(혹은 사건 A가 r번 나오는 순간까지의 실패횟수로 rdv를 정의할 수도 있고, 그때도 NBD(r,p)라 한다. NBDF(r,p)라 적자)

-DF, MGF, moment(link)

-(Hwang)(link)

:rdv~NBDF(r,p), g(rdv):in L1, g(-1):finite일 때, E[(1-p)*g(rdv)]=E[rdv*g(rdv - 1)*(1/r+rdv-1)]

-r이 known이면 Exponential family됨

-Uniform-Distr(rdv~UD(interval), conti Uniform Distrb도 참고)

-의미:n회의 독립시행에서 단 한번 사건 A가 일어났다고 했을 때, A가 발생한 시행의 분포, 이 경우 1/n으로 동일(link)

-Multinomial-Distr(RDV~MND(n,E1,p1,E2,p2,...,Ek,pk)), {E1,E2,...,Ek}는 partition of sample space,ProbM(Ei)=pi)

-의미:n회의 독립시행에서, (E1이 일어난 횟수, ..., Ek가 일어난 횟수)의 분포

(Binomial-Distr는 n=사건A일어난 횟수+사건A^C일어난 횟수 인 경우다. 따라서 Binomial은 Multinomial의 특수한 경우)

-Exponential family됨(n:known이어서 n:not in parameter vector일 때)

-RDV~MND(n,E1,p1,...Ek,pk)의 conditional distrb on (rdv_1,...,rdv_g) 또한 MND을 따른다.(link)

(normalizing 과정 실수 주의)

-비복원추출 관련 분포

-Hypergeometric-Distr(rdv~HGD(N,n,K))

-의미:N개 중 K개의 관심대상이 있는데 n번 비복원으로 추출할 때, 관심대상의 개수의 분포

-PMF, Expectation, Variance(link)

-Negative Hypergeometric-Distr

-의미:사건A가 일어난 횟수가 n이 될 때 까지의 시행횟수(추출 횟수)의 distribution

-Multivariate Hypergeometric-Distr

-의미:n회의 비복원 추출시, n=사건A1일어난 횟수+...+사건Ak일어난 횟수=j1+...+jk, (j1,j2,...,jk)의 분포

note:

Binomial<->Hypergeometric(복원이냐 비복원이냐)

Binomial<->Negative Binomial(총 시행횟수:fixed이고 일어난횟수 관심<->일어난 횟수:fixed이고 시행횟수 관심)

Binomial<->Multinomial(사건A만 관심<->여럿 사건 관심)

Hypergeometric<->Negative Hypergeometric(시행횟수:fixed, 일어난횟수 관심<->일어난 횟수:fixed, 시행횟수 관심)

Hypergeometric<->Multivariate Hypergeo(사건 A만 관심<->여럿 사건 관심)

Multinomial<->Multivariate Hypergeo(복원이냐 비복원이냐)

...비교하며 이해하고 외우기 필요

-Poisson Process 관련 Distribution

-Poisson-Distr(rdv~PD(lambda), poisson process with lambda,t에서 t=1일 때 사건발생횟수의 분포)

-Exponential family의 원소 됨

-PMF, MGF, Moment(link)

-chf

-rdv_n~PD(lambda_n):cv in distrb to rdv~PD(lambda) iff parameter의 cv(link)

-[{PD(n)-n}/sqrt(n)]:cv in distrb to ND(0,1)(link)

-S_n~BD(n,p)에서 p->0, n->inf, 단 np=lambda이면 S_n:cv in distrb to PD(lambda)(link)

-ProbM(rdv=a+1)=lambda/(a+1) * ProbM(rdv=a)(link)

-(Hwang)(link)

:rdv~PD(lambda), g(rdv):in L1, g(-1):finite일 때, E[lambda*g(rdv)]=E[rdv*g(rdv - 1)]

-rdv1~PD(lambda1), rdv2~PD(lambda2), rdv1, rdv2:ind이면 rdv1+rdv2~PD(lambda1+lambda2)(using MGF)

-rdv1~PD(lambda1), rdv2~PD(lambda2), rdv1, rdv2:ind이면 

rdv1|(rdv1+rdv2)~BD(rdv1+rdv2,lambda1/(lambda1+lambda2)가 성립

-Exp-Distr(rdv~ED(lambda))

-의미:Poisson Process에서 첫 사건A가 일어날 때까지의 걸리는 T의 분포

(GMD의 special case로 간주 가능)

-DF, MGF, Moment(link)

-chf(link)

-Exponential family됨

-특징:

-rdv~U((0,1))일 때, -log(rdv)~ED(1)이다.

-FR(t)=lambda

-memoryless property를 갖는다.

-{rdv_n}:iid, {rdv_n}~ED(1)이면 ProbM(limsup rdv_n/ln(n) = 1)=1이다.(link)

-{rdv1_n}:iid, {rdv1_n}~ED(1), M_n:=sup over 1<=i<=n (rdv1_i), {M_n - ln(n)} =_d rdv2

s.t. DF(of rdv2)(x)=exp(exp(-x))

-태생적으로, rdv1~ED(lambda), rdv2~PD(x/lambda)일 때, P[rdv1>=x]=P[rdv2=0]을 만족

-Double Exp-distr(rdv~DED(mu, sigma))

-의미:

-ED를 평균을 중심으로 reflection시킨 형태, 따라서 symmetric이고 tail이 fat(ND보다 훨씬) 하지만 moment도 다 가짐(CD처럼 moment가 없을정도의 tail은 아님)

-혹은 X1~ED(lambda), X2~ED(lambda), X1,X2:iid일 때, X1-X2의 distribution이 motive(합하면 GMD)

-density, Moment(link)

-Erlang-Distr(rdv~ERLD(lambda, n))

-의미:Poisson Process에서 사건 A가 n번째 일어날 때까지의 걸리는 T의 분포

-rdv_n ~ ED(lambda)이고 iid일 때, rdv=sum from i=1 to i=n rdv_i, rdv ~ ERLD(lambda,n)

-Density(link)

-rdv1~ERLD(lambda,n), for any x, ProbM(rdv1<=x)=ProbM(rdv2>=n) where rdv2~PD(lambda*x)(link)

-Gamma-Distr(rdv~GMD(lambda, y))

-의미:Poisson Process에서 사건 A가 y번째 일어날 때까지의 걸리는 T의 분포(y는 실수)

(이때 gamma function필요, 실수!을 위해)

-lambda^(-1)는 scale parameter라 불리고 y는 GMD의 pdf의 shape parameter라 한다. 

-DF, MGF, moment(link)

-Exponential family됨

-using GMD(lambda, y-1), Computation가능, identity(link)

(y=0일 땐 지수분포이므로(상대적으로 쉬운), 반복해나가면 확률 구할 수 있음)

-태생자체가, PD랑 관련있어서, 다음과 같은 부등식 성립

:rdv1~GMD(lambda,y), rdv2~PD(lambda*x)일 때, P[rdv1<=x]=P[rdv2>=y]

-rdv1~GMD(lambda,y1), rdv2~GMD(lambda,y2), rdv1,rdv2:ind일 때 

rdv1+rdv2~GMD(lambda,y1+y2)를 따른다. using MGF

-Weibull-distr(rdv~WBD(lambda, n)

-의미:(ED(lambda))^(1/n)해서 얻은 것

-lambda는 scale parameter라 불리고 n은 shape parameter라 한다.

-DF, MGF, Moment(link)

-Exponential family됨

-FR(t)=(lambda)*n*t^(n-1)

-주로 사용되는 모델형태

-기계의 수명의 분포(각 부품들마다 WBD(lambda, n)대응 시켜버림)

(왜냐하면 FR(t)가 간단함, ProbM(rdv>t)따위도 간단하게 나옴)

(Distribution 관계도 link)

-Conti Uniform-Distr(rdv~UD(interval)

-의미:interval=(0,s)동안에 한번 사건 A가 발생했을 시, (T,T+dt)에서 발생했을 확률은 모든 (T,T+dt)에 대해서 dt/s로 동일한, T의 분포(link)

-DF, MGF, moment(link)

-Beta-Distr(rdv~BTD(a,b), a>0, b>0)

-의미:(0,1)동안에 Poisson Process에서 사건 A가 a+b-1번 발생시 (T,T+dt)에서 a번째 A가 발생할 확률을 가진 시간 T의 분포

(dt->0, a,b는 양의 실수이고 이 때 a!, b!을 위해 gamma function, beta function필요)

(a,b모두 shape parameter라 한다.)

-성질:

-Density유도(link)

-Density, DF, Moment(link)

-Exponential family됨

-a=b=1일 때, rdv~BTD(a,b)=UD([0,1])된다.

-Dirichlet-Distr(RDV~DD(vec{theta_K}) where theta의 성분은 positive real, theta의 dimension은 K)

-의미:

-BTD의 일반화된 것, RDV의 성분의 값들이 각각 (0,1)사이에 놓이는 경우이고 성분의 값 합이 1이 됨

-MND의 probability들의 conjugate prior로써 사용됨

-vec{theta}의 dimension=K라 하면 RDV은 dimension이 K-1(RDV의 마지막 성분:=1-(나머지성분합))

-성질:

-RDV~DD((theta_1,theta_2,theta_3))라 하자. 이 때를 bivariate DD라 한다.

-marginal RDV_1~BTD(theta_1, theta_2+theta_3)

-marginal RDV_2~BTD(theta_2, theta_1+theta_3)

-Normal Distribution(rdv~ND(expectation, variance))

-의미:{Z_1,...,Z_n}이 iid이고 E[Z_1]<inf, V[Z_1]<inf일 때, Sample mean은 ND(E[Z_1],V[Z_1]/n)을 따른다.

(Z_1이 무슨 분포이든 상관없다.)

-성질

-DF, density, MGF, moment(link)

(특이하게 density에 평균과 분산이 포함되어있다.)

-Exponential family됨

-chf

-rdv_n~ND(mu_n,(sigma_n)^2):cv in distrb to rdv~ND(mu,sigma^2) iff 각 parameters의 cv(link)

-X~ND(E[X],V[X])일 때

-E[X]+SD[X]에서 변곡점을 갖는다.

-E[X]에서 선대칭인 density를 갖는다.

-X_n~ND(mu, sigma^2)일 때 sample mean~ND(mu, sigma^2/n)이 된다.

-E[g'(rdv)]을 위한 identity(link)

(g가 특히 polynomial일 때가 유용, Stein's Lemma라 하고, Stein의 shrinkage estimator만들 시에 알게된 identity)

-ND와 관련 분포

-Cauchy Distribution(rdv~CD(l,s))

-의미:이론적인 의미가 큼, moment of any order가 존재하지않는 distribution

-l:location parameter, s:scale parameter, (l,s)=(0,1)일 때, standard cauchy distribution이라 한다.

-rdv1~ND(0,1), rdv2:iid with rdv1일 때, rdv1/rdv2~CD(0,1)(link)

(증명에서 꼭 |rdv2|로 정의하지않아도 됌, V=rdv2로 절댓값없이 해도 결과는 같음)

-성질

-density, DF, chf(link)

-rdv1~CD(0,s1), rdv2~CD(0,s2), rdv1, rdv2:ind일 때 rdv1+rdv2~CD(0,s1+s2)

-rdv~CD(0,s)일 때 a*rdv~CD(0,a*s)(using chf)

-Chi-Squared-Distr(rdv~CSD(d), d은 degrees of freedom이라고 rdv_k~ND(0,1)인 것의 개수)

-의미:rdv_n~ND(0,1)인 iid인 것의 d개의 각각 제곱의 합으로 볼 수도 있고, GMD의 특수한 경우로도 볼 수 있다.

-성질

-Exponential family됨

-sample variance의 distribution approximation때 사용

-density, DF, Moment(link)

-E[h(rdv_d)]=d*E[h(rdv_(d+2))/rdv_(d+2)], where rdv_d~CSD(d), rdv_(d+2)~CSD(d+2)(link)

-활용

-model화한 distribution과 empirical density사이의 거리가 CSD를 따를 수 있다. 그것을 통해, hypothesis test하기도 함

-Noncentral Chi-Squared-Distr(rdv~NCSD(d,lambda)), d는 degrees of freedom, lambda는 noncentrality parameter)

-의미:총 N개,rdv_n~ND(mu_n,sigma^2_n), {rdv_n}:ind일 때, Z=sum from n=1 to n=N (rdv_n/sigma_n)^2의 분포

-성질:

-lambda=sum from n=1 to n=N (mu_n/sigma_n)^2

-rdv1~PD(lambda), rdv2|rdv1~CSD(d+2*rdv1)으로 hierarchy를 구성하면 

-marginal rdv2는 NCSD(d,lambda)임을 알 수 있다.

-E[rdv2], V[rdv2]를 쉽게 구할 수 있다. 

-t-Distr(rdv~TD(d))

-의미:population~ND(mu,sigma^2)일 때, 얻은 random sample로서 mu을 inference할 때, sigma도 모른다. 이 때 standard ND에 sigma자리에 sqrt(V_n)을 넣었을 때 얻는 distribution이고 sample size가 n일 때 TD(n-1)을 따르며 이것을 이용해 mu추정함

-성질

-의미로부터 density 유도 가능(link)

-MGF 존재 안함

-rdv~TD(d)일 때, d-1번째 까지의 moments만 존재

-rdv~TD(d)일 때, E[rdv]=0, V[rdv]=(d/d-2) for d>2

-rdv~TD(d)일 때, rdv^2 ~ FD(1,d)

-F-Distr의 특수한 경우로도 볼 수 있다.

-F-Distr(rdv~FD(n,m))

-의미:population1~ND(mu1,(sigma1)^2), population2~ND(mu2,(sigma2)^2), population1과 population2가 ind일 때, sigma1, sigma2을 비교하고자 {(V1_n)/(sigma1)^2}/{(V2_m)/(sigma2)^2}을 조사하고 싶고, 이것의 distribution이 F-Distr, FD(n-1,m-1)을 따른다. 이것을 이용해 두 populations의 sigma ratio을 추정할 수 있다.

(두 population이 굳이 ND을 따르진 않더라도, 어떠한 조건이 성립하면  

{(V1_n)/(sigma1)^2}/{(V2_m)/(sigma2)^2}은 FD(n-1,m-1)을 따르기도 한다.(Kelker)

-성질

-rdv~FD(n,m)이면 rdv^(-1)~FD(m,n)

-rdv~FD(n,m)이면 {(n/m)*rdv}/{1+(n/m)*rdv)} ~ BTD(n/2, m/2)

-Lognormal-Distr(rdv~LND(mu, sigma^2))

-의미:rdv~ND(mu, sigma^2)인 rdv에 exp을 씌우면 exp(rdv)~LND(mu,sigma^2)

(right-skewed인 모델에 사용, 예를 들면 income~LND(mu, sigma^2))

-성질

-rdv~LND(mu, sigma^2)일 때, log(rdv)~ND(mu sigma^2)이다.

(즉, rdv~LND(mu, sigma^2)에서 mu와 sigma는 log(rdv)의 평균과 표준편차지 rdv의 평균과 표준편차는 아님)

-DF, density, MGF, moment, variance(link)

(모든 moments가 존재하는데 MGF는 exist하지 않는 예)

-Multivariate Normal Distribution(RDV~ND_k(mu, ∑))

-정의

-RDV=(rdv1,rdv2,...,rdvk)인 random vector, every linear combination of its component ~ ND일 때, RDV~ND_k라 한다. (k는 random vector RDV의 size)(link)

-RDV~ND_k(mu, ∑)일 때, ∑가 pdHMT(주로 pdSMT겠지만)일 때, non-degenerate라 한다.(link)

(별말 없으면 non-degenerate만 다루기로 하자.)

-성질

-non-degenerate RDV~ND_k(mu, ∑)일 때 density function은 간편하게 나타내진다.(link)

-rdv1~ND, rdv2~ND라 해서 RDV=(rdv1,rdv2)~ND_2 인것은 아니다.

-특히 Bivariate Normal Distribution((rdv1,rdv2)~BND(mu, ∑)

-rdv1|rdv2또한 ND를 따른다.(link)

-E[rdv1|rdv2]은 rdv2에 의존, V[rdv1|rdv2]은 rdv2값과 무관(link)

-Brownian Motion, Random walk 관련 Distribution

-arcsine-Distb(rdv~arcsine-distrb)

-의미:rdv의 값이 [0,1]까지만 가지고 rdv의 DF, DF(x)=(2/pi) * arcsine(sqrt(x))일 때를 가리킨다.

-Mixture Distribution

-어느 distribution을 보고 hierarchy를 만들 수 있다. 예를 들면 BD(n,p)의 pmf를 보면, p^a*(1-p)^b의 형태를 포함하고 있어서 이것을, p의 분포로써 BTD를 도입하면 hierarchy를 만들 수 있다.

-위의 사실을 이용해, X~distrb1의 평균, 분산 계산등이 용이하지 않을 때, Y~distrb2, X|Y~distrb3 형태로 분석해보고 이 때, distrb3가 비교적 간편하게 나온다면, X의 expectation, variance 등을 distrb1대신 distrb3를 이용 with tower property

(예를 들면 NSCD가 있다.)

-대표적인 예

-rdv1~NCSD(d,lambda), rdv2~PD(lambda), rdv1|rdv2~CSD(d+2*rdv2)

-rdv1~BD(n,p), rdv2~BTD(a,b), rdv1|rdv2~Beta-binomial distribution(rdv2는 p를 결정하는 rdv)

-Beta-binomial distrbution(a,b,n)(rdv~BBD(a,b,n))

-not exponential family(n:known이라면 어떻게 될 까?)

-RDV1~MND(n,E1,p1,E2,p2,...,EK,pK)), RDV2~DD(vec{theta_K}), RDV2|RDV1~Dirichlet-Multinomial

-Dirichlet-Multinomial Distribution(RDV~DMND(vec{theta_K})

-not exponential family

-About 통계량 계산, 의의

-평균과 기댓값의 차이

-평균은, 총 변량/총 개수

-기댓값은 확률변수가 가질 값의 가중치인 확률을 곱해서 모두 더해 놓은 것

-둘이 같을 수도 있으나 태생이 다름

-평균과 중앙값(median)

-N개의 data, z_1<z_2<...<z_N이라 하고 각각이 발생할 확률이 1/N으로 같다고 하자. 

-이때 z의 평균은 z_i들로부터의 거리를 제곱한 값의 합이 최소가 되는 값이다.

-이때 z의 중앙값은 z_i들로부터의 거리의 절댓값의 합이 최소가 되는 값이다.

(N이 홀수이면 중앙값은 z_{(N+1)/2}이고 N이 짝수일 땐 관례상, z_(N/2)와 z_{(N/2)+1}의 평균으로 정의한다.

-Z1과 Z2가 not ind일 때

-(Cauchy-Schwartz Inequality)E[Z1Z2]<={E[(Z_1)^2]*E[(Z_2)^2]}^(1/2)

-V(Z1+Z2+Z3+...+Zn)=sum over i,j cov(Zi,Zj)=sum V(Zn) + sum over i≠j cov(Zi,Zj)

-V(aZ1+bZ2)=a^2V(Z1)+b^2V(Z2)+2abcov(Z1,Z2)

-V(aZ1-bZ2)=a^2V(Z1)+b^2V(Z2)-2abcov(Z1,Z2)

(X=Y1+Y2, A에 투자, B에 투자한 금액이 각각 1억이고 1년 뒤 Y1,Y2억이 된다 했을 때를 생각하면, 투자할 때 cov(Y1,Y2)<0인 곳에 투자를 해야 V(X)가 작아진다. 즉 risk가 작아진다.)

-cov(Z1,Z2)=E[(Z1-E(Z1))(Z2-E(Z2))]=E(Z1Z2)-E(Z1)E(Z2), 중간의 식으로 cov의 의미를 생각할 수 있다.

-cov(Z,Z)=V(Z), 따라서 분산은 cov의 일종을 볼 수 있다.

-cov(sum a_i X_i, sum b_j Y_j)=sum sum a_i b_j cov(X_i, Y_j)가 성립

(i와 j의 ending index가 같을 때, cov(sum a_i X_i, sum b_j Y_j)=0 iff sum a_i b_i =0, 이때 sum a_i X_i와 sum b_j Y_j가 orthogonal이라고 통계학에선 부른다.)  

-cor(Z1,Z2)=cov(Z1,Z2)/[SD(Z1)*SD(Z2)]

(cor은 Z1과 Z2의 선형종속성의 척도, |cor|가 1에 가까울수록 Z1과 Z2는 선형종속에 가까움, i.e. Z1=aZ2+b꼴에 가까움)

(Z1=aZ2+b, a가 양수이면 cor(Z1,Z2)=1, a가 음수이면 cor(Z1,Z2)=(-1))

-About Stochastic Process(SP)

-정의:

-(J,C4,P):Probability Space, (S,C4):MAS가 있을 때, 

S-valued stochastic process(S-SP)란 collection of S-valued random variables on J, indexed by a totally ordered set T

(S를 State Space라 하고, T를 time이라 한다.)

-S-SP(X라 하자.)가 있을 때, for every finite seq T'=(t1,t2,...,tk) in T^k, X_T'의 distribution on (R^k, C4(TS))을 f-dim distribution of X라 한다. 

-Independent Increment

-Stationary Increment

-Markov Property

-

-분류방법

1. Time이 discrete이냐 continuous이냐

2. State Space가 discrete이냐 continuous이냐

3. Special

-AR Process

-Branching Process

-Brownian Motion

-Cox Process

-Covariance Stationary(=2nd Order Stationary=Weakly Stationary)

-Gaussian Process

-Linear Process

-MA(q), MA(inf)

-Markov Process

-Markov Shot Noise Process

-Martingale

-Poisson Process

-Renewal Process

-Random Walk

-Stationary Process

-Semi-Markov Process

-WN, IWN

-성질(time, state의 discrete여부로 성질분류해보고, 이후 중요 Process별로 성질 정리)

-

-Discrete Time

-(Duality Principle)

:{rdv_n}:iid이면 (rdv_1,rdv_2,...,rdv_n) has the same (multivariate) distribution (rdv_n,...,rdv_2,rdv_1). 

(이것으로써 다른 events이지만 같은 ProbM값을 갖는 경우를 만들 수 있다. 문제 해결이 더 쉬운 것으로 change가능)

-Discrete State

-

-Continuous State

-

-Continuous Time

-

-Discrete State

-

-Continuous State

-

-Using Filter and Lag Operation

-filter with {x_n}란 x_0 + x_1 L + x_2 L^2 +..., where L:lag operator

-p-th degree lag polynomial (1) of {x_n}란 filter with {x_n}에서 L^p까지만 

-p-th degree lag polynomial (2) of {x_n}란, 1 - x_1 L - x_2 L^2 - ... - x_p L^p

-abs summable filter with {x_n}란 {x_n}이 abs summable일 때

-inverse of a filter with {x_n}란, (~)*(filter with {x_n})=1인 ~를 가리킴

-multivariate filter with {MT_n}란, 각 성분이 filter with {성분 in MT_n}을 따르는 것(MT가 square일 필요는 없음)

-성질

-filter with {x_n conv y_n}=product of filter with {x_n} and filter with {y_n}(multivariate filter일 때도 성립)

-따라서 filter는 multiplication에 대해 commutative(multivariate filter일 때는 성립안함)

-x_0가 nonzero이기만하면 inverse of a filter with {x_n}이 항상 존재

-abs summable filter with {x_n}이고 inverse가 존재한다해서 inverse가 abs summable임은 보장안됨

-p-th degree lag polynomial (2) of {x_n}의 inverse가 abs summable할 충분조건은 the polynomial에 L대신 z 넣고 = 0 해서 얻은 방정식의 모든 근의 절댓값>1이면 된다. stability condition

-Autocovariance-Generating Function of weak stationary process

-정의:autocovariance를 계수로하는 -inf에서 inf의 power series(centered at 0)

-성질:

-weak stationary process만을 다룬다면, series의 index를 j=1 to j=inf로 one-side로 표현가능

-

-주요 Process

-AR(1)

-정의:SP(={X_n}, n:integer)가 AR Process란, {eps_n=X_n - lambda*X_(n-1)}가 uncorrelated, E[eps_n]=0, V[eps_n]=sigma^2일 때 {X_n}을 AR Process of order 1이라 한다.(deviation-from-the-mean form)

(즉, 다른 form으로는 X_n=c+lambda*X_(n-1)+eps_n, {eps_n}:WN

-성질

-|lambda|<1일 때

-Y_k:=sum from j=1 to j=k (lambda)^j * eps_(n-j)라 할 때, {Y_k}:cv in L2 to X_n(link)

(즉, AR(1) with |lambda|<1은 MA(inf) representation을 갖는다.)

-Cov(X_n,X_(n+k))=(sigma)^2 * lambda^k * (1/(1-(lambda)^2)(link)

(즉 n에는 independent하고 k에만 dependent함)

(사실상 AR(1)을 MA(inf)로 표현해서 MA(inf)에서 cov구하는 방법따른 것)

-|lambda|>1일 때

-AR(1) with |lambda|>1은 future values of eps_n의 MA(inf)로 표현된다.

-|lambda|=1일 때

-AR(1)은 weak stationary process solution을 갖지 않는다. random walk됨

-AR(p)

-정의:

-성질:

-phi_t:Stability Condition을 만족하면 

-MA(inf) 표현가능

-Autocovariance-GF가짐

-weak stationary

-

-ARMA(p,q)(no common root일 때만 다룸)

-정의:

-성질:

-phi_t:Stability Condition을 만족하면

-MA(inf) 표현가능

-Autocovariance-GF가짐

-weak stationary

-theta_t:Stability Condition을 만족하면

-AR(inf) 표현가능 

-Stationary Process

-정의:SP(={X_t})가 stationary process란, for any h>0, for any finite seq T', X_(T') =_d X_(T'+h)

-성질

-for any t, E[X_t]:finite, V[X_t]:finite이면 E[X_t]=constant, V[X_t]:constant이다.(over t)

-Cov[X_t1,X_t2]=R(|t2-t2|), where R(h)=E[(X_h - E[X_h]*(X_0 - E[X_0])]

-Autocorrelation(h)=R(h)/R(0)로 표현가능

-Covariance Stationary Process(second order stationary, weakly stationary라고도 한다.)

-정의:SP(={X_t})가 Covariance Stationary Process란, 

for any t, E[X_t]=constant, Cov[X_t1,X_t2] depends on |t2-t1|

(따라서 Stationary Process일 때처럼 R(h)란게 존재)

-성질

-E[(X_t)^2]=constant over t(따라서 first two moment에 대해서 constant over t라서 second order라고도 함)

-{X_t}:covariance stationary, X_n predict하고 싶을 때 {a_1*X_(n-1)+a_2*X_(n-2)+...+a_p*X_(n-p)|a_i:real}중에서 Mean Square Error(L2 norm error)가 최소인 estimator가 존재하고 estimator을 구할 수 있다.(link)

-(Mean Square Ergodic Theorem)(link)

:{X_t}:covariance stationary with R(h)일 때

lim n->inf (sum from i=0 to i=(n-1) R(i))/n = 0 iff {S_n / n}:cv in L2 to E[X_1]

-abs summable filter with {x_n}은 mapping, {weak stationary process}->{weak stationary process}

(X_t가 vector process이고 multivariate filter여도 성립한다.)

-{X_t}:weak stationary with abs summable autocovariance and Autocovariance-GF이면

for any abs summable {a_n}, a(L)X_t 또한 weak stationary with abs summable Autocovariance-GF 

(X_t가 vector process이고 multivariate filter여도 성립한다.)

-Gaussian Process

-정의:SP(={X_t, t>=0}가 Gaussian Process란, for any finite T'=(t_1,...,t_n), X_T'~ND_n

-Linear Process

-정의:{eps_t}:WN이고 X_t=mu+[sum from j=(-inf) to j=inf (theta_j * eps_(t-j))] with theta_0 =1, {X_t}를 Linear Process라 한다.

-MA(q)

-정의:

-{eps_t}:WN이고({eps_t}:weak stationary이기만해도 정의하기도 함)

X_t=mu + [sum from j=0 to j=q (theta_j * eps_(t-j))] with theta_0 = 1, {X_t}를 MA(q)라 한다.

-성질:

-{X_t}:weak stationary

-MA는 기본적으로 not stochastic, initial condition만 주어지면 이후 값은 not random

-Autocovariance-GF이 존재

-MA(inf)

-정의:{eps_t}:WN이고({eps_t}:weak stationary이기만해도 정의하기도 함)

X_t=mu+[sum from j=0 to j=inf (theta_j * eps_(t-j))] with theta_0=1, {X_t}를 MA(inf)라 한다.

-성질:    

-{theta_j}가 square-summable이면 

-[sum from j=0 to j=inf (theta_j * eps_(t-j))]:cv in L2, 즉 정의 잘됨

-{X_t}:weak stationary

-E[X_t]=mu

-{theta_j}가 abs summable이면 

-{X_t}의 jth autocovariance=sigma^2 * sum from k=0 to k=inf {theta_(j+k) * theta_k}

-{eps_t}의 autocovariance가 abs summable이면, {X_t}의 autocovariance도 abs summable됨

-{eps_t}가 iid이면 {X_t}는 stationary and ergodic됨

-Autocovariance-GF존재

-Markov Process, discrete-time

-정의:Stochastic Process {Z_n}이, P(Z_(n)=j_(n)|Z_(n-1)=j_(n-1),...,Z_0=j_0)=P(Z_(n)=j_(n)|Z_(n-1)=j_(n-1))을 만족할 때, {Z_n}을 Markov Process라 한다.

-성질:

-어떤 Stochastic Process가 Independent Increments라면, Markov Process가 된다.

(역은 성립 안함)

-Markov Decision Process, discrete-time

-정의:(S,A,{transition probability P_a(s,s') depending action a at time t from state s at time t to state s' at time t+1}, R), where S:set of state, A:set of actions, R:set of reward

-Martingale({mg_n}을 martingale로 표현하겠다. 그냥 stochastic process는 {rdv_n}으로)

-정의:

-mg, supermg, submg, fair seq, superfair seq, subfair seq

{C4_n}:Filtration of C4이고

{rdv_n}:(J,C4)->(ETR,C4(TS))이 integrable and adapted이고

for 0<=m<n, E[rdv_n | C4_m] = rdv_m a.e.일 때 {(rdv_n,C4_n)}을 martingale이라 한다.(mg) 

(마지막 조건은 for any n>=0, E[rdv_(n+1) | C4_n] = rdv_n a.e.와 동치이다.)

(E[rdv_n | C4_m] >= rdv_m a.e.일 때는 {(rdv_n, C4_n)}을 submartingale이라 한다.(submg))

(E[rdv_n | C4_m] <= rdv_m a.e.일 때는 {(rdv_n, C4_n)}을 supermartingale이라 한다.(supermg)

(대게는 {Z_n}이 mg, submg, supermg라고 한다. Filtration은 생략하고 적기로 함)

특히 1,2번째 만족하면서 3번째 조건이 다음과 같을 땐 fair seq라 하고 {(d_n,C4_n)}으로 적는다.

"for 0<=m<n, E[rdv_n | C4_m] = 0" (>=일 땐 subfair, <=일 땐 superfair라 한다.)

-{(rdv_n,C4_n)}:predictable이란, rdv_0:C4_0-measurable, rdv_n:C4_(n-1)-measurable

-{(rdv_n,C4_n)}:increasing process(inc process)란, predictable and 0=rdv_0<=rdv_1<=rdv_2<=...(a.e.)

-τ:J->{0,1,2,3,...,inf} wrt filtration {C4_n}가 stopping time이란, for any n in {0,1,2,3,...,inf}, {τ=n} is in C4_n

-C4(τ):={E in C4(C4_n) s.t. for any n in {0,1,2,3,...,inf}, ([τ=n] intersection E) in C4(C4_n)}

(따라서 C4(τ)는 C4(C4_n)의 sub sigma algebra가 된다.)

-{(mg_n,C4_n)}:closed란, lim n->inf mg_n이 exist a.e.이고 E[lim n->inf mg_n |B_m]=mg_m

-regularmg_n란, mg_n이 rdv:in L1, E[rdv|C4_n]=mg_n되는 rdv가 존재하는 mg_n을 regularmg_n이라 한다.

-성질:

-general한 mg, seq만들기

-(From rdv in L1 with Filtration)

:rdv:in L1(C4-measurable), C4_n:inc(to C4)일 때, rdv_n:=E[rdv|C4_n]하면 {(rdv_n,C4_n)}:mg

-(From {rdv_n} in L1)

:C4_0:=Trivial, C4_n:=C4(rdv_1,...,rdv_n)일 때, {(rdv_n-E[rdv_n|C4_(n-1)],C4_n)}:fairseq

-(From {rdv_n} in L1 s.t. ind, mean zero)

:{rdv_n}:ind, in L1, E[rdv_n]=0, rdv_0:=0, C4_n:=C4(rdv_0,...,rdv_n)일 때, 

{(sum from i=1 to i=n (rdv_i),C4_n)}:mg

-(From fairseq with predictable rdv_n)

:{(d_n * U_n, C4_n)}:fairseq if U_n:predictable

-(From {rdv_n}:iid, {0,1,2,3,...} valued, C4_0=trivial, C4_n=C4(rdv_1,...,rdv_n), using generating function)

:{(mg_n(t),C4_n)}:mg where mg_n(t) := {t^(S_n)}/{generating function (t)}^n, 0<=t<=1

-(From State Space = integer인 Markov Chain {Y_n} with transition prob matrix P)

:a=egv(P), f=egv(P,a)라 할 때, {(f(Y_n)/a^n,C4(Y_1,...,Y_n)}은 mg

-Stopping Times(filtration생략하고 τ라 적자.)관련 성질

-τ:C4(τ)-measurable, and C4(C4_n)-measurable

-[τ=n],[τ<n],[τ>n],[τ<=n],[τ>=n] 모두 in C4_n(in C4(τ)은 당연)

-sup τ_n, inf τ_n 모두 stopping time이 된다.

-τ_n이 monotone이면 lim n->inf τ_n은 존재하고 stopping time도 된다.

-τ_1 + τ_2:stopping time이 된다.

-[τ_1 < τ_2], [τ_1 = τ_2], [τ_1 <= τ_2] 모두 C4(τ_1) intersection C4(τ_2)에 속한다.

-for E in C4(τ_1), E intersection [τ_1 <= τ_2]는 C4(τ_2)에 속한다.

-for E in C4(τ_1), E intersection [τ_1 < τ_2]는 C4(τ_2)에 속한다.

-τ_1 <= τ_2 on J이면 C4(τ_1) < C4(τ_2)

-rdv:in L1이면 E[rdv|C4(τ)]=sum from i=0 to i=inf E[rdv|C4_i]*indi_(τ=i)(link)

-{rdv_n}:adapted, in L1일 때 {rdv_n}:mg 

iff for any bdd, predictable {U_n}, for any N, E[sum from i=0 to i=N U_n*d_n]=0 where d_n:mg difference, d_0=rdv_0 - E[rdv_0](link)

-supermg(supermg_n)의 성질(별말 없으면 같은 filtration에 대한 내용임)

-(Pasting Two Supermgs)(link)

:{supermg1_n}, {supermg2_n}, τ s.t. supermg1_τ >= supermg2_τ on {τ<inf}일 때, 

{rdv_n:=supermg1_n * indi_{n<τ} + supermg2_n * indi_{n>=τ}}은 supermg가 된다.
-(Freezing)(link)

:rdv_n:=supermg_min(n,τ)은 supermg이다.

-Positive Supermg({supermg_n}이 nnn라 하자. 생각)에 대해서

-(Boundedness of positive supermg)(link)

:a>0 or C4_0-measurable rdv일 때, 

ProbM(sup over n (supermg_n)>=a|C4_0) <= min(supermg_0/a, 1)이고

sup over n (supermg_n) < inf a.e.

-(Dubin's Inequality, with upcrossing)(link1)(link2)

:0<a<b, k>=1일 때

ProbM(beta(a,b)>=k|C4_0)<=(a/b)^k*min(supermg_n/a , 1)이고 beta(a,b)<inf a.e.

(beta(a,b)란, supermg_n이 a->b을 upcrossing하는 횟수, link참조)

-(Convergence Theorem for a positive supermg)(link1)(link2)

:{supermg_n}은 limit을 갖고 supermg property가 limit에서도 적용, (limit in L1)

-τ_1<=τ_2 a.e.일 때 E[supermg_(τ_2)|C4_(τ_1)]<=supermg_(τ_1) a.e.(link1)(link2)

-submg(submg_n)의 성질

-(Doob Decomposition)(link)

:for any submg_n, te! {mg_n} and {inc process_n} s.t. submg_n = mg_n + inc process_n

-f:R->R, convex, inc, E[|f(mg_n)|]<inf일 때, {(f(mg_n))}:submg(link)

-(Krickeberg's Decomposition)(link1)(link2)

:{submg_n} with sup over n E[(submg_n)^+]<inf에 대해 

te {mg_n}, {supermg_n} s.t. mg_n:nnn, supermg_n:nnn, submg_n = mg_n - supermg_n

-(Submg Convergence Theorem)(link)

:{submg_n} with sup over n E[(submg_n)^+]<inf에 대해

te limit of submg_n whose is in L1

(만약 submg_n가 mg_n이었다면 closed mg_n도 된다.)

-{rdv_n}이 mg이면({mg_n}이라 적자)

-iff {mg_n}:submg and supermg(따라서 submg, supermg 성질들 다 만족함)

-E[mg_n]=E[mg_(n-1)]=...=E[mg_1], 즉 E[mg_n]:constant over n

-te fairseq(subfair, superfair) iff te mg(submg, supermg)(link)

(즉, martingale <-> fairseq, 둘중 하나를 체크하든, 둘중 하나를 만들든...)

-fairseq {(d_n,C4_n)}의 각 d_n이 in L2였으면 d_n은 orthogonal(link)

(이때 {(d_n,C4_n)}으로 induced된 mg_n, E[(mg_n)^2]=E[sum from i=1 to i=n (d_i)^2])

-f:R->R, convex, E[|f(mg_n)|]<inf일 때, {(f(mg_n))}:submg(link)

-rdv:nnn, in L1, {C4_n}:filtration, {mg_n=E[rdv|C4_n]}:pt cv a.e. and cv in L1 to E[rdv|C4(C4_n)]

-About Regularmg_n

-{(mg_n,C4_n)}에 대해 TFAE(link)

-{mg_n}:cv in L1

-{mg_n}:sup over n E[|mg_n|]<inf and E[lim n->inf mg_n|C4_n]=mg_n(closable)

-te rdv in L1 s.t. E[rdv|C4_n]=mg_n , 즉 regularmg_n

-{mg_n}:u.i.

-τ에 대해 mg_τ is in L1(link)

-τ_1 <= τ_2이면 E[mg_(τ_2)|C4(τ_1)]=mg_(τ_1) a.e.(link)

-f:R->R, convex, {f(mg_n)}은 submg by Jensen's Inequality

(따라서 {|mg_n|}, {(mg_n)^2}은 submg됨)

-for any eps>0 and any fixed n in N, 

P(max{|mg_1|,...,|mg_n|}>eps)<=E[|mg_n|]/(eps)

P(max{|mg_1|,...,|mg_n|}>eps)<=E[(mg_n)^2]/(eps)^2

-n<m에 대해 E[mg_n * mg_m]=E[(mg_n)^2](link)

-(Martingale Convergence Theorem)

:sup over n {E[(mg_n)^2]}<=M for some 0<=M<inf이면 lim n->inf mg_n은 exist and finite w.p.1

-(Extended Martingale Convergence Theorem)

:sup over n {E[|mg_n|]<=M<inf for some M>=0이면 lim n->inf mg_n은 exist and finite w.p.1

(따라서 nnn {mg_n}은 반드시 lim n->inf mg_n은 exist and finite w.p.1)

-(Azuma's Inequality)(link)

:mg_0=E[mg_1], -α_i <= mg_i - mg_(i-1) <= β_i for some α_i, β_i >=0 for any a>0이면

ProbM(mg_n - E[mg_n] >= a)<=exp((-2a^2)/sum from i=1 to i=n (α_i+β_i)^2)

ProbM(mg_n - E[mg_n] <= -a)<=exp((-2a^2)/sum from i=1 to i=n (α_i+β_i)^2)

-{rdv_n}이 submg이면({submg_n}이라 하자.)

-iff {-submg_n}이 supermg

-E[submg_n]:inc over n

-(Kolmogorov's Inequality)

:for any eps>0 and {Z_n}:nnn submartingale, ProbM(max{Z_1,...,Z_n}>eps)<=E[Z_n]/eps

-te {mg_n}, {rdv_n} s.t. submg_n = mg_n + rdv_n and {rdv_n}:inc(link)

-{rdv_n}이 supermg이면({supermg_n}이라 하자.)

-E[supermg_n]:dec over n

-mg만들기

-{rdv_n}:iid, integrable, E[rdv_n]=0일 때, 처음부터 n까지 합 S_n, {S_n}:mg

-{rdv_n}:iid, rdv_n=sum from i=1 to i=n rdv_i, E[e^(a*rdv_1)]=1인 a가 존재하면 {e^(a*S_n)}:mg(link)

-{rdv_n}:iid, integrable, E[rdv_n]=1일 때, k=1 to k=n까지 rdv_k의 곱 P_n, {P_n}:mg

-{rdv1_n}:integrable, {rdv2_n=rdv1_n - E[rdv1_n|rdv1_1,rdv1_2,...,rdv1_(n-1)]}일 때 

S_n=sum from i=1 to i=n Y_i, {S_n}:mg

-Branching Process

-Doob Martingale

-정의:rdv1:integrable, {rdv2_n}가 있을 때, 

{E[rdv1|rdv2_1,rdv2_2,...,rdv2_n]}:mg가 되고, Doob martingale이라 한다.(D-mg라 하자.)

-{rdv_n}:D-mg iff {rdv_n}:u.i.(link1)(link2)

-About Random Time(꼭 {mg_n}이 주어진건 아닌 상황)

-정의:

{rdv_n}:(J,C4)->(ETR, C4(TS))

N:(J,C4)->(ETR, C4(TS)), integer-valued or inf-valued인 rdv

{N=t} depends on only values of rdv_1, rdv_2, ..., rdv_t일 때, N을 random time for {rdv_n}이라 한다.

(ProbM(N<inf)=1이면 random time N for {rdv_n}을 stopping time for {rdv_n}이라 한다.)

(random time N for {rdv_n}에 대해, bar{rdv_n}:=rdv_n(if n<N) or rdv_N(if n>=N), 이 때 bar{rdv_n}을 stopped process with N이라 한다.)

-성질:

-N이 random time for {rdv_n}일 때 

-{N>=n}은 rdv_1, rdv_2,..., rdv_(n-1)만 주어지면 determined(여사건 생각)

-N이 stopping time for {rdv_n}일 때

-lim_n->inf bar{rdv_n}=rdv_N w.p.1

-bar{rdv_n} - rdv_N = [bar{rdv_n} - rdv_N]*indi_{n<N}

-rdv_N = rdv_1 * indi_{N=1} +rdv_2 * indi_{N=2} +....

-(Wald's Equation)(link)

:{rdv_n}:iid, quasi-integrable이고 N:stopping time for {rdv_n}, integrable이면 

E[sum from i=1 to i=N X_i]=E[N]*E[X_1]

(P(N<inf)=1보다 E[N]<inf가 강한 조건이다.)

-{mg_n}과 N:random time for {mg_n}, {submg_n}, {supermg_n} 이 주어지면

-stopped process {bar{mg_n}}도 martingale이다.(link)

(따라서 E[bar{mg_n}]=E[bar{mg_(n-1)}]=...=E[bar{mg_1}]=E[mg_1]이다.)

-N:stopping time for {mg_n}이기도 할 때

-{bar{mg_n}}:uniformly bdd이면 lim n->inf E[bar{mg_n}]=E[mg_N](=E[mg_1])(link)

-N:bdd w.p.1이면 lim n->inf E[bar{mg_n}]=E[mg_N](=E[mg_1])(link)

-N:integrable and te M<inf s.t. E[|mg_(n+1)-mg_n| | mg_1, ..., mg_n]<=M for all n이면

limE[bar{Z_n}]=E[Z_N](=E[Z_1])(link1)(link2)

(for all n을 for all n s.t. n<N으로 바꿔도 상관 없음)

-N:stopping time for {submg_n}

-stopped process bar{submg_n}도 submg이다.

-{bar{submg_n}}:uniformly bdd이면 E[submg_N]>=E[submg_1]

-N:bdd w.p.1 by (n_0)이면 E[submg_(n_0)]>=E[submg_N]>=E[submg_1]

-N:integrable and te M<inf s.t. E[|submg_(n+1)-submg_n| | submg_1, ..., submg_n]<=M for all n이면 

E[submg_N]>=E[submg_1]

(for all n을 for all n s.t. n<N으로 바꿔도 상관 없음)

-N:stopping time for {supermg_n}

-stopped process bar{supermg_n}도 supermg이다.

-{bar{supermg_n}}:uniformly bdd이면 E[supermg_N]<=E[supermg_1]

-N:bdd w.p.1이면 E[supermg_N]<=E[supermg_1]

-N:integrable and te M<inf s.t. E[|supermg_(n+1)-supermg_n| | supermg_1, ..., supermg_n]<=M for all n이면 E[supermg_N]<=E[supermg_1]

(for all n을 for all n s.t. n<N으로 바꿔도 상관 없음)

-About Random Walk

-{rdv_n}:iid, E[rdv_1]>0, S_0=0, S_n:=sum from i=1 to i=n rdv_i, N=min{n|S_n>0}이면 E[N]<inf이다.(link1)(link2)

-{rdv_n}:iid, E[|rdv_1|]>0, S_0=0, S_n:=sum from i=1 to i=n rdv_i, A>0, B>0, N=min{n|S_n>A or S_n<(-B}이면 E[N]<inf이다.(link)

-(Spitzer's Identity){S_n}:random walk, {Max_n=max{0,S_1,...,S_n}}일 때, E[Max_n]=sum from k=1 to k=n E[S_k^+]*1/k

-WN(White Noise)

-정의:E[X_t]=0, E[(X_t)^2]=sigma^2, Cov[X_t,X_(t-j)]=0 for j not equal to t

-성질:

-Covariance Stationary 성립

-iid이면서 WN을 IWN이라 한다.

-VWN(Vector White Noise)

-정의:{X_t, column vector}, E[X_t]=0, E[X_t * ct(X_t)]=positive-definite(fixed for t), E[X_t * ct(X_(t-j))]=0

-성질:

-E[X_t * ct(X_t)]의 대각성분이 다 같다라는 제한이 없다.

-X_t의 성분끼리의 perfect correlation은 있을 수 없다.(positive-definite때문)

-VMA(inf)(Vector MA(inf) process)

-정의:MA(inf)와 유사, 단지, mu, theta_j(seq of square matrix), {eps_t}:VWN, theta_0=IMT일 뿐

-성질:

-{theta_j}가 abs summable이라함은 각 성분들이 각각의 series가 abs summable이란 것

-MA(inf)의 성질들이 모두 만족함

-Continuous-time Process

-{Z_t, t>=0}가 continuous time stochastic process on the probability space (J,C4,M) whose paths are continuous인 경우, rdv_1:(J,C4)->[0,inf)가 있다면 Z_rdv_1는 rdv가 된다. P(rdv_1<inf)=1이라는게 중요

-Counting Process{N(t):t>=0}

-정의:[0,t]까지 사건 A가 일어난 횟수가 N(t)

-몇가지 용어들

-N(t)가 independent increments:for any two disjoint time intervals I1,I2, 각각에서 A가 일어난 횟수는 independent

-N(t)가 stationary increments:사건 A가 일어난 횟수의 distribution on any interval은 interval의 길이에만 dependent(interval의 위치와는 independent)

(즉 N(t2+s)-N(t1+s)와 N(t2)-N(t1)의 distribution이 같음, t1<t2, s>0)

-성질

-N(t)>=0

-N(t) integer valued

-t1<t2이면 N(t1)<N(t2)

-t1<t2이면 N(t2)-N(t1)은 (t1,t2]에 일어난 횟수

-Poisson Process with lambda>0

-정의:counting process N(t)가 N(0)=0 and independent increments and 길이가 dt인 interval에서 사건 A가 일어난 횟수가 poisson distributed with mean (lambda*dt)인 counting process을 Poisson Process라 한다.

혹은 (link)처럼 건설 가능

-성질

-counting process의 성질들을 만족한다.

-stationary increments

-counting process N(t)가 poisson process with lambda>0 

iff N(0)=0, stationary increments, independent increments, P{N(h)=1}=lambda*h+o(h), P{N(h)>=2}=o(h)

(이 성질로써 어떠한 counting process가 poisson process인지 확인 하기 쉬워짐)

-Brownian Motion

-Motive:(link1)(link2)

-Definition

-X_0=0

-{X_t}:stationary increments, independent increments

-X_t~ND(0,c^2 * t) for some fixed constants c(c=1일 때, Standard Brownian Motion이라 한다.)

-Properties

-{X_t}:Brownian Motion이면 {X_t * 1/c}:Standard Brownian Motion이 된다.

(Standard Brownian Motion에 대해서만 공부해도 됨, 따라서 이하 별말 없으면 Standard인 경우만 고려)

-{X_t (w) : t>=0}, sample path, 모든 sample path는 continuous over t

-모든 Sample path는 nowhere differentiable

-X_t의 density는 f_t(x)=1/sqrt(2*pi*t) * exp(-x^2/2t)

-{X_(t_1), X_(t_2), ..., X_(t_n)}의 joint density f(x_1,x_2,...,x_n)은 

f_(t_1)(x_1)*f_(t_2 - t_1)(x_2)*...*f_(t_n - t_(n-1))(x_n)

-for s<=t, Cov(X_s, X_t)=s(link)

-Markov Process가 된다.

-Gaussian Process가 된다.

-{X_s|s<t, X_t = b}의 분포는 ND((b*s)/t, s*(t-s)/t)을 따른다.(link)

(b=0, t=1일 때, {X_s}을 Brownian Bridge라 한다. {X_t}:Standard Brownian Motion, {X_s}:Brownian Bridge)

-Gaussian Process이다.X_s~ND(0, s*(1-s))

-0<a<=b<1일 때, Cov[X_a, X_b|X_1 =0]=a*(1-b)(link)

-Z_t = X_t - t*X_1로 표현가능하다.(Z_t는 Brownian Bridge)(link)

-About Hitting Time

-a>0, T_a :=inf{t>0|X_t =a}, 즉 T_a는 {X_t}가 a를 hit하는 최소시간일 때

-(Reflection Principle)(link)

:Y_t:=(X_t) * indi_(t<=T_a) + (2*X_(T_a) - X_t) * indi_(t>T_a)도 standard brownian motion

-ProbM(T_a<inf)=1(link1)(link2)

-ProbM(T_a<=t)도 앎(link1)(link2)

-ProbM(T_a<=t)=2*ProbM(X_t>=a)=ProbM(|X_t|>=a)=ProbM(sup over s in [0,t] X_s >=a)

(link1)(link2)

(따라서 |X_t| =_d sup over [0,t] X_s)

-E[T_a]=inf(link1)(link2)

-(Absorbed Brownian Motion)

-X_t:=X_t for t<=T_a, a for t>T_a일 때, X_t를 absorbed brownian motion이라 한다.

-Absorbed Brownian Motion의 CDF(link)

-t1<t2에 대해 E(t1,t2):={x in J s.t. X_t hits 0 at least one in (t1,t2)}

-ProbM(E(t1,t2))=1 - {(2/pi) * arcsine(sqrt(t1/t2))}(link)

(따라서, for 0<x<1, ProbM(X_t has no zeros in (xt,t))=(2/pi)*arcsine(sqrt(x)))

-(Arcsine Law)

-L:=sup{t in [0,1] s.t. X_t = 0}, L~arcsine-distrb(link)

-M*:=argmax over t in [0,1] (X_t), M*~arcsine-distrb(link)

-(Occupation Time)

-A_t:=the amount of time in [0,t] s.t. X_t>0일 때, {A_t / t}~arcsine-distrb

-About Reflected Brownian Motion

-|X_t|를 reflected brownian motion이라 한다.

-reflected brownian motion의 CDF, Expectation, Variance(link)

-About Maximum process {sup over s in [0,t] X_s}

-ProbM(sup over s in [0,t] X_s >= a) = ProbM(T_a <= t)=ProbM( |X_t| >= a) = 2*ProbM(X_t>=a)

({sup over s in [0,t] X_s}과 |X_t|은 have the same law라 한다.)

-(Levy's Theorem on the maximum process)

:{(sup over s in [0,t] X_s) - X_t} is a reflected brownian motion

-About Geometric Brownian Motion

-exp(X_t)를 Geometric Brownian Motion이라 한다.

-Expectation, Variance(link)

-About Integrated Brownian Motion

-int over [0,t] X_s ds(pathwise integration)을 Integrated Brownian Motion이라 한다.

-

-About Brownian Motion with drift mu

-X_0=0, {X_t}:stationary increment and independent increment, X_t~ND(mu*t, t)일 때 

{X_t}를 Brownian Motion with drift mu라 한다.

-Approximation by random walk(link)

-About Hitting time 

-A>0, B>0, P(X_t hits A before -B)=(1-exp(-2*mu*B))/(1-exp(-2*mu*(A+B)))

-

-About Queueing Theory(A/B/C model이란, A는 Customer arrive의 분포, B는 Service time의 분포, C는 server개수)

-G/G/1 Model

-Situation:

-Customer arrive at time C_1, C_2, ...

-Interarrival time X_1=C_1, X_2=C_2-C_1,...

-Service time C_1 has Y_1, C_2 has Y_2, ...

-{X_n}:iid, {Y_n}:iid

-D_n:=n번째 손님이 도착했을 때, 남아있었던 workload, 즉 D_n:=max(D_(n-1)+Y_(n-1)-X_n,0)

-성질

-U_n:=Y_n - X_(n+1)이라 할 때

-E[U_1]>0이면 D_n->inf w.p.1

-E[U_1]<0이면 D_n->D_inf w.p.1 for some rdv D_inf

-for any C>0, P(U_1>0)>0 이고 te theta>0 s.t. E[exp(theta*U_1)]=1이면 

-P(D_inf>=C)<=exp((-theta)*C)(link1)(link2)

-(G/M/1)게다가 {Y_n}~ED(mu)라면 P(D_inf>=C)={(mu-theta)*e^(-theta*c)}/(mu), P(D_inf = 0)=(theta)/(mu)(link1)(link2)

-(M/M/1)게다가 {X_n}~ED(lambda)라면 

-lambda<mu

-P(D_inf>0)=(lambda)/(mu)

-About Statistics

-기초

-Sample(표본)을 이용하여 Population(모집단)의 Characteristic(성질)을 Inference(추론)하는 것

-Inference는 estimation(추정)과 hypothesis test(검정)으로 이루어짐

-prediction(or forecasting, 예측)은 대게 시간이 지나면 실제값이 알려지나 안 알려질 수도 있다.

-population은 '필요한 정보'가 무엇이고 '얻을 수 있는 정보'가 무엇인지에 달려있다.

-통계학의 주요과제는 통계적 추론의 목적에 적합한 통계량(statistic)을 찾은 다음, 그 분포(표본분포, 통계량의 분포)를 구하는 것인데, 이 때 likelihood function이 핵심적인 역할을 한다. (sample {Z1,...,Z_n}이 iid인 경우)

LF는 통계량의 분포를 구하는데에만 쓰이는 게 아니라, 적합한 통계량을 찾는데에도 쓰인다.

-Data Type, categorical(=nominal, category가 2개이면 binary), numerical

-Data Presentation

-categorical data용

-bar chart

-Pareto chart

-pie chart(각 category의 total data set에서의 proportion 강조)

-numerical data용

-histogram

-box plot

-"복원 추출", "독립 시행"과 관련된 모든 것이 독립인 것은 아님

-About Sample

-정의:

-(Z_1,Z_2,...,Z_n), random sample(of size n from the population), if {Z_1,Z_2,...,Z_n}:iid일 때

-(Z_1,Z_2,...,Z_n), simple random sampling, if 비복원 from a finite population(별 언급없으면 random sample)

-S(Z_1,Z_2,...,Z_n)을 statistic이라 한다. (rdv, RDV 가능)

(즉 random sample의 function(scalar-valued일 수도, vector-valued일수도)

(S의 distribution을 sample distribution of S라 한다. 대표적인 statistic으론 sample mean, sample median, sample trimmed mean, sample mode, sample variance, sample quantile 등이 있다.)

-SS(Z_1,Z_2,...,Z_n), sufficient statistic for theta란, (Z_1,...,Z_n)|SS(Z_1,Z_2,...,Z_n), 즉 conditional distribution이 not depend on theta일 때의 statistic

-minimal SS(Z_1,Z_2,...,Z_n)란, 임의의 SS(Z_1,Z_2,...,Z_n) for same parameter의 function으로 표현되는 SS(Z_1,...,Z_n)을 가리킨다.

-AS(Z_1,Z_2,...,Z_n), ancillary statistic for theta란, the statistic의 distribution이 not dependent on theta일 때를 가리킨다.

-{densities of statistic along theta}:complete란 

for any theta, for any MF인 g s.t. independent of theta 

E[g(the statistic)]=0이면 ProbM(g(the statistic=0))=1 for any theta. 

그리고 이 때 statistic을 complete statistic이라 한다.

-Order Statistic, (Z_(1),Z_(2),...,Z_(n)), random sample을 ascending순으로 나열한 것

-sample range, Z_(n) - Z_(1)을 가리키며 population의 dispersion의 indicator가 될 수 있음

-sample median, Z_({(n+1)/2})(n이 odd일 때), (Z_({n/2})+Z_({n/2 + 1}))/2, sample mean보다 outlier에 덜 영향을 받는게 주요특징 

-sample midrange, (Z_(1)+Z_(n))/2

-estimate error란 estimator of parameter - parameter를 가리키고, estimator - parameter는 확률변수가 된다. 왜냐하면 estimator가 확률변수이므로, parameter는 확률변수 아님, 단지 모를 뿐임

-estimate error가 양수이면 overestimation, 음수이면 underestimation이라 한다.

-Notation:

-observed(or realized) sample의 표현은 {z_1,z_2,...,z_n}으로 나타낸다.(각각은 real number)

-모집단의 평균을 mu, 표준편차 sigma, 그냥 density는 모집단의 density

-S_n:=Z_1+Z_2+...+Z_n

-bar{Z}:=(sum from i=1 to i=n Z_i)/n, 즉 sample mean

-V_n:=(sum from i=1 to i=n (Z_i - bar{Z})^2)/(n-1), 즉 sample variance

-성질:

-simple random sampling의 경우 ind는 보장안되지만 identically distributed는 됨

-simple random sampling이더라도 population의 size N이 n에 비해 많이크면 random sample취급 가능

-About Sample Distribution

-About Sample mean, bar{Z}(Sample Variance의 내용도 많이 포함됨)

-E[bar{Z}]=mu

-V[bar{Z}]=(sigma)^2/n

-bar{Z}는 d((z_1,z_2,...,z_n),(bar{Z},bar{Z},...,bar{Z}))가 최소가 되게한다. 

where d:euclidean metric

-Population의 density가 Location-Scale Family의 원소였다면, standard의 sample mean에 대해서만 조사해도 나머지 family의 원소의 density를 따를 때도 sample mean의 distribution쉽게 앎

-{Z_n}:iid일 때 TFAE(link)

-Z_1:integrable

-for any eps>0, sum from n=1 to n=inf ProbM(|Z_1|>eps*n)<inf

-|Z_n / n|:pt cv a.e. to 0

(처음거랑 두번째거는 iid와는 무관하게 equivalent, 걍 하나의 rdv에 관한 이야기)

(Kolmogorov's S-LLN과도 연관있음)

-(Weak Law of Large Number, W-LLN)(bar{Z}의 cv in M)

:{Z_n}:iid, V[Z_1]:finite일 때(finite mean도 됨, finite variance->L2->L1->finite mean)

-bar{Z}:cv in M to mu(link)

-V_n:cv in M to (sigma)^2(link)

-(General W-LLN)(identically distribution과 finite mean, finite variance조건이 없어짐)(link)

:{Z_n}이 ind이고 

lim n->inf sum from i=1 to i=n ProbM(|Z_i|>n) = 0이고 

lim n->inf [sum from i=1 to i=n E[(Z_i)^2 * indi_{|Z_i|<=n}]]/n^2 = 0이면

for a_n=sum from i=1 to i=n E[(Z_i)*indi_{|Z_i|<=n}], S_n=sum from i=1 to i=n (Z_i)

[S_n - a_n]/n : cv in M to 0

note)(General W-LLN의 배경)

-finite mean 조건 약화시키기

-Z:integrable(즉 finite mean과 동치)이면 lim n->inf n*ProbM(|Z|>n) = 0 (역은 거짓)(link)

-Z:integrable iff for any eps>0, sum from n=1 to n=inf ProbM(|Z_1|>eps*n)<inf)(link)

note)(General W-LLN으로 나머지 W-LLN체크)

-{Z_n}:iid with finite variance(link)

-(Khintchin's W-LLN){Z_n}:iid with finite mean(link)

-{Z_n}:iid with finite mean using chf(link)

-(Feller's W-LLN){Z_n}:iid with lim x->inf x*ProbM(|Z_1|>x)=0(link)

-(Strong Law of Large Number, S-LLN)(bar{Z}:pt cv a.e.)

:{Z_n}:ind, {a_n}:inc with lim n->inf a_n = inf, sum from i=1 to i=inf V[Z_i / a_i] <inf이면

{S_n - E[S_n]}/a_n:pt cv a.e. to 0

(Kronecker's Lemma+Kolmogorov's Convergence Criterion 이용하여 증명)

(a_n = n일 때를 생각해보라.)

-(S-LLN Using MGF)

:{Z_n}:iid with MGF(Z_1)(t) is finite for |t|<=T for some T>=0이면

[S_n/n]:pt cv a.e. to mu(link1)(link2)

-(Kolmogorov's S-LLN)(link1)(link2)

:{Z_n}:iid일 때

-te c in R s.t. [S_n/n]:pt cv a.e. to c iff Z_1:integrable in which case E[Z_1]=c

(만약 Z_1 in L2라면, [(sum from i=1 to i=n (Z_i - E[Z_i])^2)/n]:pt cv a.e. to V[Z_1])

(cv in L1도 된다.)(link)

(Generalizd version은 Ergodic Theorem이 있다.)

-(Central Limit Theorem, CLT)(link1)(link2)

:{Z_n}이 iid이고 in L2일 때

bar{Z}:cv in distrb to Z, Z~ND(mu, [sigma^2]/n)

(S_n=sum from k=1 to k=n (Z_k):cv in distrb to ND(n*mu, n*sigma^2))

(S_n/sqrt(n):cv in distrb to ND(sqrt(n)*mu, sigma^2))

-(Delta Method, using first-order derivative)(parameter의 function을 inference할 때)(link)

:{rdv_n}이 sqrt(n)*(rdv_n - theta):cv in distrb to rdv1, rdv1~ND(0,sigma^2)이고

for g and specific theta_0, g'(theta_0):exist and nonzero이면

sqrt(n)*(g(rdv_n)-g(theta_0)):cv in distrb to rdv2, rdv2~ND(0,sigma^2*[g'(theta_0)]^2)

(쉬운 예로는 rdv_n이 bar{Z}이고 추정 대상이 모평균 mu의 function일 때)

(일반화하면 rdv1~ND일 필요 없다. 단지 가정을 만족하는 경우가 bar{Z} with CLT일 때가 많음)

-(Delta Method, using second-order derivative)

:{rdv_n}이 sqrt(n)*(rdv_n - theta):cv in distrb to rdv1, rdv1~ND(0,sigma^2)이고

for g and specific theta_0, g'(theta_0)=0 and g''(theta_0):exist and nonzero이면

n*(g(rdv_n)-g(theta_0)):cv in distrb to rdv2, rdv2~sigma^2*g''(theta_0)*0.5*CSD(1)

(Delta Method using first-order derivative에서 first-order derivative가 0일 때 사용)

-(Delta Method for Multivariate)

:나중에 필요할 때 정리

-(Demoivre-Lapalce Theorem)

:{Z_n}:iid, 각각이 BrnD(p)을 따를 때, S_n:cv in distrb to ND(np,np(1-p))

(S_n ~ BD(n,p))

(물론 n이 무한대로 가므로 ND(np,np(1-p))로 approximation이 가능하다는 것을 뜻함)

-simple random sample인 경우

-E[bar{Z}]=mu

-V[bar{Z}]=[(sigma)^2/n]*[(N-n)/(N-1)], N은 모집단의 크기(link)

-About Sample Variance, V_n

-E[V_n]=(sigma)^2

-(n-1)*(V_n) = {sum from i=1 to i=n (Z_i)^2} - n*(bar{Z})^2(link)

-V[V_n] cv to 0 as n->inf이면 V_n:cv in M to sigma^2(using chebysheff inequality and W-LLN)

-About Order Statistic

-성질

-discrete population으로 얻은 random sample order statistic인 경우

-각 order statistic의 pmf(link)

-conti population으로 얻은 random sample order statistic인 경우

-각 order statistic의 DF와 density(link)

-order statistic에서의 joint DF와 joint density(link)

-About Generating a Random Sample

-의미:어떠한 distribution(원하는)을 따르는 random sample을 만드는 방법

-과정

-기본적인 fact:UD을 따르는 random sample은 만들 수 있다.

-Direct Method(U_n~UD((0,1))이라 하자.)(구체적인 DF^(-1)을 이용하는 방법)

-ED(lambda)을 만드는 방법(random sample)(link)

-CSD(2d)을 만드는 방법(1개의 rdv)(link)

-GMD(lambda,y)을 만드는 방법(y가 integer일때만, 즉 ERLD(lambda,y))(1개의 rdv)(link)

-BTD(a,b)을 만드는 방법(a,b가 integer일때만)(1개의 rdv)(link)

-(Box-Muller Algorithm)

:rdv1~ND(0,1), rrdv2~ND(0,1) s.t. rdv1과 rdv2는 ind인 rdv1, rdv2 만드는 방법

-BD, NBD, PD 등 discrete distribution 만드는 방법

-Indirect Method

-(Accept/Reject Algorithm)(link)

원하는 distribution의 density과 ind인 UD(0,1), UD(0,1) 두개로 원하는 rdv~the distribution을 만들 수 있다.

(Criteria인 M<inf도 중요하고(즉 V선택이 중요함), 원하는 rdv가 heavy-tail distrb인 경운 힘듦)

-(Markov Chain Monte Carlo Method)

-(Metropolis Algorithm)

:heavy-tail인 rdv도 만들 수 있지만, 정확한 density를 만들기보단 그 density로 수렴하는 rdv_n을 얻을 수 있다.

-About Data Reduction

-의미:적절한 statistic으로, sample모두의 value말고 statistic의 value만으로 parameter의 inference가능

-About SS(Z_1,Z_2,...,Z_n), sufficient statistic

-Joint density of (Z_1,...,Z_n)과 density of S(Z_1,...,Z_n)로써 S(Z_1,Z_2,...,Z_n)이 SS(Z_1,...,Z_n)인지 판단가능

-exponential family의 원소가 아닌 경우(population의 density) 혹은 nonparametric density인 경우, Order Statistic말곤 SS(Z_1,Z_2,...,Z_n)찾기가 어렵다. 크게 Reduction되지 않음

-(Factorizatioon Theorem)

:Joint density of (Z_1,Z_2,...,Z_n)을 보고 적절한 SS(Z_1,...,Z_n)을 찾을 수 있다.

:

-population의 density가 exponential family의 원소였다면, SS(Z_1,Z_2,...,Z_n)을 쉽게 알 수 있다.

(게다가 parameter space가 open set을 포함한다면 complete이기도한 statistic 얻음)

-(Lehman-Scheffe's Theorem)(SS(Z_1,Z_2,...,Z_n)이 minimal인지 판단하는Theorem)

:

(minimal SS(Z_1,Z_2,...,Z_n)이라 할지라도 dimension이 parameter의 dimension보다 클 수도 있다.)

(minimal SS(Z_1,...,Z_n)은 not unique)

-About AS(Z_1,Z_2,...,Z_n), ancillary statistic

-parameter가 location-parameter인 경우, sample range는 ancillary statistic이 된다.(link)

-parameter가 scale-parameter인 경우, (Z_1/Z_n, Z_2/Z_n,...,Z_(n-1)/Z_n)으로 이루어진 function(즉 statistic)은 ancillary statistic of scale-parameter가 된다. (link)

(특히, rdv1~ND(0,sigma^2), rdv2~ND(0,sigma^2), rdv1,rdv2:iid이면 rdv1/rdv2~CD(0,1) for any sigma)

-(Basu's Theorem)(직관적으론 sufficient가 ancillary랑 ind일 것 같은데 completeness필요)

:statistic이 complete and sufficient이면 ind of every ancillary statistic이 된다.

(그리고 the complete and sufficient statistic은 minimal임도 알 수 있다.)

(두 statistic이 ind임을 보일 때 유용, 하지만 complete임을 보이는게 문제인데...바로 밑 theorem이용)

-Using Likelihood Function

-(Likelihood Principle)(한 population에서 2개의 random sample을 얻었을 때)

-In the inference about parameter, after (Z_1,Z_2,...,Z_n) is observed, all relevant experimental information is contained in the likelihood function for the observed (Z_1,...,Z_n).

-(Z_1,Z_2,...,Z_n), (Z'_1,Z'_2,...,Z'_n) 두개의 random sample1, random sample2을 얻었을 때, for all parameter, LF from (Z_1,Z_2,...,Z_n) = LF from (Z'_1,Z'_2,...,Z'_n) * C(random sample1, random sample2)로 표현된다면, random sample1으로 parameter를 inference하나 random sample2으로 parameter를 inference하나 같은 결론을 얻는다. 

-한 random sample에서 parameter1, parameter2 각각이 LF1<LF2라면 parameter2가 더욱 plausible

(그리고 LF2/LF1만큼 plausible하다는 결론을 내릴 수 있다.

-4 Principles(link1)(link2)(link3)

-Equivariance Principle을 따른다면, 

-About Inference(population의 parameter에 관한 지식 from sampling,은 population 전체 density에 관해서 알려준다. 따라서 parameter을 estimate하는게 관건, 동시에 이 parameter의 function을 estimate할 수도 있다.)

-About Point Estimation

-About Finding Estimator

(MM, MLE, Bayes Estimator, EM-Algorithm, min MSE, MVUE)

-정의:

-theta, theta란 parameter of population를 가리킨다고 하자.

-모집단의 property(예를 들면, 모평균, 모분산, 모집단의 density의 parameter 등)을 parameter라 한다.

-추정용 statistic을 estimator라 하고

-검정용 statistic을 test statistic이라 한다.

-bias of a statistic for a parameter:=|E(statistic) - the parameter|, 작을수록 better statistic

(절댓값없이 정의하기도하고 절댓값을 포함해서 정의하기도함)

-bias=0인 statistic을 unbiased statistic이라 한다.

(표본분산(n)대신에 표본분산(n-1)을 이용하면 unbiased됨)

-MSE of a point estimator of a parameter란 parameter의 function, E[(estimator-parameter)^2]

(parameter와 관련된 population의 density형태는 이미 modeled됐을 때)

-MVUE:Minimum Variance Unbiased Estimate(좋은 statistic이 됨)

-efficiency of statistic:=V[parameter]/V[statistic] where statistic=MVUE

-relatively efficiency of (statistic1 for parameter, statistic2 for the same):=V[statistic1]/V[statistic2] where both statistics are unbiased 

(unbiased인 2개의 statistics 중 어느게 variance가 작아서 좋은지 비교시 쓰임, 작은걸 efficient라 한다.)

-statistic_n for a parameter depending on sample size n이 consistent란, 

as n->inf, {the statistic_n}:cv in M to the parameter

-asymptotic bias of statistic for a parameter란, cv in M limit of (statistic - parameter)

-statistic ~_a Distribution이란, n이 커질수록 statistic의 DF의 approximation(cv in distrb가 보장된)

-consistent estimator_n(statistic)이 asymptotically normal이란, sqrt(n)*(estimator - parameter):cv in distrb to ND일 때를 가리키고, 이때의 estimator를 sqrt(n)-consistent라 한다. 혹은 CAN estimator라 한다. 그리고 이때 ND의 variance matrix을 asymptotic variance라 하고 Av[estimator_n]라 하자.

-E_theta란 expectation function of theta를 가리킨다고 하자.

-UMVUE of f(theta)란, E_theta [UMVUE]=f(theta)인 것중 the smallest variance를 갖는 것

-Method of Moments(MM)

-방법:sample의 moment랑 population의 moment(parameter의 function)을 = 두고 equation풀어 estimator 얻는 방법

-특징:

-MM으로 얻은 estimator의 range와 estimating하는 parameter의 range가 일치하지 않을 수 있다.

-Method Maximum Likelihood Estimators(MMLE)(얻은 Estimator나 Estimate모두 MLE라 적자.)

-방법:

-likelihood function을 argumax하는 parameter를 estimator로 함

-일단 first-derivative로 필요조건 구함(log 이용하기도)

-Hessian 등 이용해서 maximum인지 minimum인지 판단

-Bd에서 Check해서 Global Maximum인지 판단

-특징:

-MLE의 range와 estimating하는 parameter의 range가 일치함

-parameter의 range내에서만 MLE를 찾아야한다. parameter의 어떠한 physical한 assumption이 들어가 있을 때, global maximum이 estimator의 값에 따라 달라질 수 있음,

-MLE 자체를 구하기가 어려울 수 있음, 그래도 Numerical Method이용하면 됨

-sample이 약간만 달라져도 MLE가 크게 달라질 수 있음(Maximization의 problem)

(이럴 경우 MLE로 얻은 Estimator의 신뢰도가 떨어짐)

-(Invariance Property of MLE)

:MLE for parameter가 있을 때 MLE for g(parameter) for any transformation g는 g(MLE for parameter)

(즉 sqrt(V_n*(n-1)/n)이 모표준편차의 MLE가 된다.)

-CLT를 이용하면 MLE ~_a ND가 된다.

-Bayes Estimator

-방법:

-parameter가 어떠한 distribution을 따른다는 생각이 있다면,

-sample로써 parameter의 distribution을 update하고

-conditional expectation of parameter given sample이 estimator가 된다.

-특징:

-parameter에 따른 sample의 distribution의 collection C1과 parameter의 distribution의 collection C2, 이때 C2가 conjugate family for C1이란, prior distribution이 update되서 posterior되서도 다시 C2에 속할 때를 가리킨다. 이경우 계산이 편리해진다는 장점이 있다.

-parameter의 분포와 sample의 data를 합한 정보를 준다는 특징이 있다.

-EM-Algorithm(Incomplete-data가 있을 때, Estimator를 만드는 방법)

EMalgorithmpdf.pdf

(Statistical Inference, 2nd edition보고 작성한 글)

-About Evaluating Estimators

(위에 4가지 방법으로 만든 Estimator가 다를 수가 있다. 이경우 어느 게 좋은지 판단기준필요)

-Mean Square Error(MSE)(Finding Estimator의 한방법이 되기도 함, MSE가 최소인 estimator를 찾는다거나, MVUE를 찾는다거나 등)

-방법:estimator of parameter가 있을 때, (The estimator - parameter)의 L2-norm을 재서, L2-norm이 작은게 좋은 것

-특징:

-L2-norm이 analytically tractable, bias란 개념도입가능한 해석가능해서 좋음

-MSE는 estimator의 variance와 bias 둘다 다룸, unbaised이면 estimator의 variance만 고려

-MSE가 낮을수록 좋은 estimator같지만, 항상 그런 것만은 아님

-unbiased estimator가 좋을 것 같지만, bias를 약간 늘리고 variance를 확 줄일 수도 있기도 하다.

(예를 들면, population~ND(mu,sigma^2)일 때, MLE로 얻은 estimator of (population의 variance)가 MM으로 얻은 estimator of (population의 variance)보다 더 MSE가 낮다, 비록 전자가 biased이고 후자가 unbiased일지더라도. unbiased이면 평균적으로 parameter 전후로 놓여진다. biased이면 평균적으로 parameter 전후중 한방향에만 놓이게 된다. 이런 이유로 MLE로 얻은 estimator of (population의 variance)보다 MM으로 얻은게 더 많이 이용된다.)

-MSE는 parameter의 function이므로 best estimator가 1개만 있는 것은 아니다.

-estimator1이 estimator2보다 uniformly better하지 않을 수 있다. parameter의 distribution이나 n에 따라서

-MSE는 group of transformation이 주어진 equivariance principle을 따르는 estimator중에서 best estimator를 찾는데 도움이 되기도 함

-Unbaised Estimator중에서만 생각하면(or, E_theta [estimator]=f(theta)인 class만 생각, 으로 확장가능)

-for any parameter value, the smallest variance인 게 최고 좋음

-(Cramer-Rao Inequality)

:estimator of theta의 variance의 lower bound를 제공해준다. 

((Z_1,Z_2,...,Z_n)에 apply하면, lower bound를 take하는 estimator가 UMVUE가 될 수 있다.)

(discrete case도 사용 가능)

(Information Number가 크면 theta에 관한 정보가 많다는 뜻이며 동시에 variance lower bound가 작아짐)

(General한 Inequality로는 Information Inequality가 있다.)

(Assumption, interchangble of int and diff, 이 성립안할 때도 있다. 체크필요)

-Cramer-Rao Inequality를 쓰더라도 정작 lower bound가 attainable인진 모를 수 있다. 

(좀 더 look into해야할 지, 어떠한 estimator도 lower bound를 take안할지 모른다는 게 단점)

하지만 필요충분조건 있음

-Cramer-Rao를 이용못하는 population density인 경우 Stuart, Ord, and Arnold책 참조

-구체적인 Population의 Distribution class를 알 때

-population이 CD(0,1)을 따를 때

-bar{Z}~CD(0,1)

-population이 ND(mu, (sigma)^2)을 따를때

-bar{Z}, V_n:ind(link)

-{(n-1)*(V_n)}/(sigma)^2 ~ CSD(n-1)(link)

-(bar{Z}, V_n):SS(Z_1,Z_2,...,Z_n) for (mu, sigma^2)이 된다.

(SS(Z_1,...,Z_n)은 model-dependent이다. population이 ND(mu, (sigma)^2)이 아닐 땐, SS(Z_1,Z_2,...,Z_n)이 (bar{Z},V_n) 보다 더 많이 필요할 수 있다.)

(V_n:SS(Z_1,Z_2,...,Z_n) for (sigma^2)이 되는진 모른다. 그런데 Equivariance Principle을 따른다면 알 수 있다.) 

-bar{Z}, V_n 모두 unbiased estimator

-MSE of bar{Z}=(sigma)^2/n

-MSE of V_n=2*(sigma)^4 / (n-1)

-About Bayesian Statistics

-

-About Estimate

-정의:

-구체적인 Sample Distribution

-Sample Proportion(hat(p))

-Estimate Quantile, DF

-상황, DF를 모르는 모집단에서 random sample을 통해 quantile, DF을 Estimate할 수 있을까?

-정의:

-Empirical Cumulative Distribution Function DF_n이란, 

DF_n(x):=(1/n)*sum from i=1 to i=n indi_{X_i<=x}, (w는 생략)

(when, {X_i}:random sample일 때, 즉 iid with DF)

-(Glivenko-Cantelli Lemma)(link1)(link2)

:Empirical CDF는 DF에 uni cv(a.e. Empirical CDF 또한 rdv인 것을 상기)

-(Empirical CDF)^(-1)는 DF^(-1)를 estimate한다.(cv in M)

-(Kolmogorov-Smirnov Test)

:나중에 보충,CLT+Hypothesis Testing 익숙해지고나서 복습

-About Hypothesis Test

-About LRT(Likelihood Ratio Test)

-LF(x)/L_max가 significance level보다 이상이면 X=x라는 주장을 받아들인다.

-{0,1,2,...,n-1} is not laplacian realizable for any n>=2, (즉 S를 Spec(Lap(G))로 갖는 graph는 존재하지 않는다.)

-

-λ_G(2) <= 2 * λ_G(1)

-About Weighted Graph

-About Matrices

-About Lap(wG)

-Lap(wG):exactly psd

-(Matrix Tree Theorem for wG)

:the sum over all spanning trees of wG (prod of all weights of the spanning tree)

= |the cofactor of Lap(wG)|

-About a(wG)

-for wG, any r >= 0, f:Fiedler vector, M(r):={vi|fi + r >= 0}, induced subgraph on M(r) is connected(link)

-for wG, any r <= 0, f:Fiedler vector, M(r):={vi|fi + r <= 0}, induced subgraph on M(r) is connected

-for wG, f:Fiedler vector, any 0 <= c < max{fi}, M:={vi|fi < c}, induced subgraph on M is connected

-for wG, f:Fiedler vector s.t. for all i, fi:nonzero, then {vivj s.t. fi*fj < 0}:subset of E(G)를 제거하면 components가 2개가 나온다.

-if G:unweighted, te a subset E' of E(G) s.t. G - E' have two connected components, then te weight on G s.t. f:Fiedler vector, fi:nonzero for all i and {vivj s.t. fi*fj <0 }=E'(link)

-for G:connected wG, f:Fiedler vector, if fi > 0, then te j s.t. vi~vj, and fj < fi(link)