<div dir="ltr"><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">---------- Forwarded message ---------<br>From: <strong class="gmail_sendername" dir="auto">Juyang Weng</strong> <span dir="auto"><<a href="mailto:juyang.weng@gmail.com">juyang.weng@gmail.com</a>></span><br>Date: Tue, Jun 21, 2022 at 6:15 PM<br>Subject: Re: Connectionists: The symbolist quagmire<br>To: Gary Marcus <<a href="mailto:gary.marcus@nyu.edu">gary.marcus@nyu.edu</a>><br>Cc: Post Connectionists <<a href="mailto:connectionists@mailman.srv.cs.cmu.edu">connectionists@mailman.srv.cs.cmu.edu</a>><br></div><br><br><div dir="ltr">Dear Gary:<br>You wrote:  consciousness is not a requirement for "common sense or natural language understanding".  I respectfully do not agree.  <div>If you read my paper, you would see that consciousness is required by not only "common sense or natural language understanding" but also examples that do not need a natural language like driverless cars.</div><div>All living and dead objects are doing "natural sign languages" in our environment.   Consciousness corresponds to "contexts that are larger and higher than an immediate context".<br>If an immediate context is an ASCII symbol in your design document, your machine cannot derive "larger and higher contexts" from the symbol because the machine does not read your design document.  </div><div>What is a larger and higher context?  For example, when I follow a lane, I must have the consciousness beyond the lane following, like the following larger and higher contexts.   </div><div>(a) Am I doing well?  </div><div>(b) Did I do wrong?  If I did wrong, what should I do?</div><div>(c) How do I improve?</div><div>Without consciousness of (a), (b) and (c), the learner is brittle, like all deep learning algorithms (including AlphaFold) that only do data fitting.  That is why all deep learning projects must do data deletion, deletion of undesirable data.</div><div>Read my report to Nature:<br><a href="http://www.cse.msu.edu/~weng/research/2021-06-28-Report-to-Nature-specific-PSUTS.pdf" style="font-family:Times;font-size:medium" target="_blank">Data Deletions in AI Papers in <i>Nature</i> since 2015 and the Appropriate Protocol, </a><span style="color:rgb(0,0,0);font-family:Times;font-size:medium">June 28, 2021.</span><br></div><div><span style="color:rgb(0,0,0);font-family:Times;font-size:medium">-John</span></div><div><br></div><div><br></div><div><br></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Jun 21, 2022 at 5:19 PM Gary Marcus <<a href="mailto:gary.marcus@nyu.edu" target="_blank">gary.marcus@nyu.edu</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div dir="ltr"></div><div dir="ltr">not that i really know what consciousness is, but i doubt that it is requirement for any of the challenges i have raised, eg with respect to common sense or natural language understanding. </div><div dir="ltr"><br></div><div dir="ltr">systems like AlphaFold and turn-by-turn directions presumably lack consciousness but give us perfectly reasonable answers using symbolic inputs. I don’t see why more general forms of AI need to be different, though they undoubtedly will require richer representations than are currently trendy.</div><div dir="ltr"><br><blockquote type="cite">On Jun 21, 2022, at 2:14 PM, Juyang Weng <<a href="mailto:juyang.weng@gmail.com" target="_blank">juyang.weng@gmail.com</a>> wrote:<br><br></blockquote></div><blockquote type="cite"><div dir="ltr"><div dir="ltr">Dear Gary,<br><br><div>You wrote: "My own view is that arguments around symbols per se are not very productive, and that the more interesting questions center around what you *do* with symbols once you have them.  If you take symbols to be patterns of information that stand for other things, like ASCII encodings, or individual bits for features (e.g. On or Off for a thermostat state), then practically every computational model anywhere on the spectrum makes use of symbols. For example the inputs and outputs (perhaps after a winner-take-all operation or somesuch) of typical neural networks are symbols in this sense, standing for things like individual words, characters, directions on a joystick etc."  <br><br>I respectfully do not agree, since that is why "practically every computational model anywhere" cannot learn consciousness.  They are basically pattern recognition machines for a specific task.  </div><div><br></div><div>I  skip "data selection" in deep learning here.   Deep learning not only hits a wall.  All its published data appear to be invalid.</div><div><div><br></div><div>Gary, this issue is probably too fundamental if you do not try to understand the conscious learning algorithm (see below), first ever in the world, as far as I humbly aware of.  <br><br>Let me try in intuitive terms:  <br><br></div><div>(1) You have a series of ASCII symbols, e.g., ASCII-1, ASCII-2, ASCII-3, ASCII-4 ...  You have 1 million such ASCII symbols.  Any number, as long as it is a large number.<br><br></div><div>(2) You specify the meanings of such ASCII symbols in your design documents:</div><div> ASCII-1: forward-move-of-joystick-A,<br>ASCII-2: backward-move-of-joystick-A,<br>ASCII-3:left-move-of-joystick-A, </div><div>ASCII-4: right-move-of-joystick-A </div><div>...</div><div>You have at  least 1 millions of lines.<br><br></div><div>(3) Your machine does not read your design document in (2), they cannot think about your design document in (2).  They only learn the mapping from sensory inputs to one of these ASCII symbols.</div><div><br></div><div>(4) Therefore, your machine is not able to understand the consciousness that is required to judge that it is doing a joystick work (e.g., driving using a joystick) well, because your knowledge hierarchy (using these 1 million symbols) are static.  The machine cannot recompose new meanings from these symbols, because it does not understand any symbols at all!  Why do I understand my moving forward?   I do not have (2).  Moving forward is my own intent, my own volition!  I feel the effects of my volition and decide whether I want to repeat. </div><div> </div><div>(5) Without consciousness, machine learning is static.   Consciousness must go beyond any static hierarchy. <br>(a) My children do.  They told me some views (and intents) that surprise me.  I did not teach such views. <br>(b) That is also why a human brain can do research.  My subject research surprised my father-in-law and he does not believe I can do what I told him I can.</div><div><br></div><div>In summary, all ASCII symbols are a dead end.  They like AI drugs, are addictive, and waste our resources in AI.   </div><div><br></div><div>As the first ever conscious learning algorithm, the DN-3 neural network must autonomously create any fluid hierarchy that any consciousness requires during human-like thinking.</div><div>Please read the first conscious learning algorithm that will be able to do scientific research in the future:</div><div><br></div><div>Peer reviewed version:<br><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">@INPROCEEDINGS{WengCLAIEE22</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">,AUTHOR= "J. Weng"</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">,TITLE= "An Algorithmic Theory of Conscious Learning"</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">,BOOKTITLE= "2022 3rd Int'l Conf. on Artificial Intelligence in Electronics Engineering"</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">,ADDRESS= "Bangkok, Thailand"</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">,PAGES= "1-10"</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">,MONTH= "Jan. 11-13"</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">,YEAR= "2022"</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">,NOTE="\url{<a href="https://urldefense.com/v3/__http://www.cse.msu.edu/*weng/research/ConsciousLearning-AIEE22rvsd-cite.pdf__;fg!!BhJSzQqDqA!UavIWCT1Jd7u9ReWK-A7KAUlxyP0HNqi44mp--paz7YYkLuN404bT914FodGBojK2z0Cl6doVaoxsVY3vSJiP4w$" target="_blank">http://www.cse.msu.edu/~weng/research/ConsciousLearning-AIEE22rvsd-cite.pdf</a>}"</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">}</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica"><br></p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">Not yet peer reviewed:<br></p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">@misc{WengDN3-RS22</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">,AUTHOR= "J. Weng"</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">,TITLE= "A Developmental Network Model of Conscious Learning in Biological Brains"</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">,Howpublished= "Research Square"</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">,PAGES= "1-32"</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">,MONTH= "June 7"</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">,YEAR= "2022"</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">,NOTE="doi: \url{<a href="https://urldefense.com/v3/__https://doi.org/10.21203/rs.3.rs-1700782/v2__;!!BhJSzQqDqA!UavIWCT1Jd7u9ReWK-A7KAUlxyP0HNqi44mp--paz7YYkLuN404bT914FodGBojK2z0Cl6doVaoxsVY3NWQZChU$" target="_blank">https://doi.org/10.21203/rs.3.rs-1700782/v2</a>}, desk-rejected by {\em Nature}, {\em Science}, {\em PNAS}, {\em Neural Networks} and {\em ArXiv}" </p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica"></p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">}</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica"><br></p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">Please kindly read them, get excited and ask questions.</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica"><br></p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">Best regards,</p><p style="margin:0px;font-variant-numeric:normal;font-variant-east-asian:normal;font-stretch:normal;font-size:12px;line-height:normal;font-family:Helvetica">-John</p></div></div>-- <br><div dir="ltr"><div dir="ltr">Juyang (John) Weng<br></div></div></div>
</div></blockquote></div></blockquote></div><br clear="all"><div><br></div>-- <br><div dir="ltr"><div dir="ltr">Juyang (John) Weng<br></div></div>
</div><br clear="all"><div><br></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">Juyang (John) Weng<br></div></div></div>